ACE-Step 소개
ACE-Step은 음악 생성 분야에서 빠른 속도, 높은 품질, 정교한 제어력을 동시에 제공하는 오픈소스 기반 모델입니다. 기존 모델들이 갖는 한계를 극복하고, 음악 제작자와 개발자들에게 새로운 가능성을 열어줍니다.
ACE-Step은 중국의 ACE Studio와 StepFun이 공동 개발한 오픈소스 음악 생성 모델로, 기존의 LLM 기반 모델과 확산 모델이 갖는 한계를 극복하고자 합니다. LLM 기반 모델은 가사와의 정렬은 우수하지만 생성 속도가 느리고 구조적인 결함이 있으며, 확산 모델은 빠른 생성 속도를 제공하지만 음악의 장기적인 구조적 일관성이 부족합니다.
ACE-Step은 이러한 문제를 해결하기 위해 확산 기반 생성, Deep Compression AutoEncoder(DCAE), 경량화된 선형 트랜스포머, 그리고 MERT와 m-hubert를 활용한 REPA를 통합하여 빠른 수렴과 높은 품질의 음악 생성을 실현합니다. 이를 통해 A100 GPU 기준으로 4분 길이의 음악을 20초 만에 생성하며, 기존 LLM 기반 모델보다 15배 빠른 속도를 자랑합니다.
또한, ACE-Step은 세밀한 음향 디테일을 유지하면서 음성 복제, 가사 편집, 리믹스, 트랙 생성 등 다양한 고급 제어 기능을 제공합니다. 이는 음악 아티스트, 프로듀서, 콘텐츠 제작자들이 창작 워크플로우에 AI를 원활하게 통합할 수 있도록 지원합니다.
기존의 음악 생성 모델들은 주로 LLM 기반 모델과 확산 모델(Diffusion Model)로 나뉘며, 각각의 장단점이 있습니다. LLM 기반 모델은 가사와의 정렬은 우수하지만 생성 속도가 느리고 구조적인 결함이 있습니다. 또한, 확산 모델은 빠른 생성 속도를 제공하지만 음악의 장기적인 구조적 일관성이 부족합니다. ACE-Step은 이러한 두 접근 방식의 장점을 결합하여, 빠른 생성 속도와 높은 음악적 일관성을 동시에 달성합니다.
ACE-Step의 주요 기능
- 다양한 음악 스타일 지원: 팝, EDM, 재즈, 클래식 등 다양한 장르의 음악 생성이 가능합니다.
- 다국어 지원: 영어, 중국어, 러시아어, 스페인어, 일본어, 독일어, 프랑스어, 포르투갈어, 이탈리아어, 한국어 등 19개 언어를 지원합니다.
- 정교한 제어 기능 :
- Variations Generator: 노이즈 조절을 통해 새로운 스타일의 음악 생성이 가능합니다.
- Repainting: 특정 부분의 보컬, 가사, 장르를 변경할 수 있습니다.
- Lyric Editing: 특정 가사 라인을 수정하면서 곡의 구조를 유지할 수 있습니다.
- 응용 프로그램 :
- Lyric2Vocal: 가사를 즉시 보컬 데모로 변환합니다.
- Text2Samples: 텍스트로부터 루프와 효과음을 생성합니다.
- Voice Cloning & Remixing: 보컬을 정밀하게 커스터마이징할 수 있습니다.
사용 방법
ACE-Step은 GitHub에서 제공하는 코드를 통해 설치 및 실행할 수 있습니다. 또한, ComfyUI와의 통합을 통해 사용자 인터페이스에서 직접 음악 생성을 시도할 수 있습니다. 설치 방법은 GitHub 저장소 README의 Installation 섹션을 참고하시고, ComfyUI 통합을 위한 설치 방법은 ComfyUI ACE-Step Native Example 문서를 참고하시기 바랍니다.
라이선스
ACE-Step 프로젝트는 Apache-2.0 라이선스로 공개되어 있으며, 상업적 사용에 제한이 없습니다.
ACE-Step 프로젝트 홈페이지
ACE-Step 프로젝트 GitHub 저장소
ACE-Step 모델 다운로드
ACE-Step 데모 (Hugging Face)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 