# \#mel-to-wave **URL:** https://discuss.pytorch.kr/tag/mel-to-wave/4525.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Step-Audio: 오디오 이해와 생성이 통합된, 다국어 대화 및 감정 표현이 가능한 음성 모델에 대한 연구](https://discuss.pytorch.kr/t/step-audio/6183)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 20, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/step-audio/6183 "2025-02-20T21:30:17Z")
Step-Audio 소개 Step-Audio는 이해와 생성 기능을 통합한 최초의 오픈소스 프레임워크로, 다국어 대화(중국어, 영어, 일본어 등), 감정 표현(기쁨, 슬픔 등), 지역 방언(광둥어, 사천어 등), 조절 가능한 말하기 속도, 그리고 랩과 같은 다양한 운율 스타일을 지원합니다. 특히 130B(1300억) 파라미터를 갖춘 멀티모달 모델을 기반으로 음성 인식, 의미 이해, 음성 합성, 음성 복제 등 다양한 기능을 수행할 수 있습니다. Step-Audio는 기존 TTS(Text-to-Speech) 시스템의 한계를 극복하기 위해 개발된 차세대 음성 AI 프레임워크입니다. 기존 TTS 모델들은 대량의 수동 데이터 수집이 필수적이었지만, Step-Audio는 “생성형 데이터 엔진(Generative Data Engine)” 을 활용해 고품질 음성 데이터를 자동으로 생성합니다. 이를 통해 더 적은 자원으로도 높은 품질의 음성 합성이 가능합니다. Step-Audio의 주요 특징들은 다음과 같습니다: 130B 파라미터 멀티모달 모델: 음성 인식, 의미 이해, 대화, 음성 복제 및 음성 합성을 통합한 대규모 모델. 생성형 데이터 엔진: 수동 데이터 없이도 자체적으로 음성 데이터를 생성하여 더 효율적인 학습 가능. 세밀한 음성 제어: 감정(기쁨, 분노, 슬픔), 방언(광둥어, 사천어 등), 스타일(랩, 허밍) 등의 세부 조절 지원. 고급 지능 탑재: 도구 호출 기능(ToolCall)과 롤플레잉 기법을 활용하여 복잡한 작업 수행 가능. 이러한 특징을 통해 Step-Audio는 단순한 음성 합성 기술을 넘어 더욱 자연스러운 인간-컴퓨터 인터랙션을 가능하게 하는 것을 목표로 합니다. Step-Audio 모델 구조 및 개요 Step-Audio는 듀얼 코드북(Dual-Codebook) 프레임워크 를 활용하여 오디오 스트림을 토크나이징합니다. 이는 병렬 의미 토크나이저(16.7Hz, 1024개 코드북 엔트리) 와 음향 토크나이저(25Hz…