요즘 글이 좀 뜸했는데 2024년에 한번 반짝했던 구글의 Transformer를 대체할 인공지능 트레이닝 알고리즘으로 알져진 Mamba SSM을 응용한 TTS 모델이 나와서 여기에 소개드립니다.
닷새 전에 발표된 따근따근한 Zonos TTS Beta 0.1에 Mamba TTS로 트레이닝된 Zyphra/Zonos-v0.1-hybrid 모델이 올라와 있습니다.
같이 올려진 트랜스포머 모델보다 훨씬 더 빠르고 VRAM도 적게 사용하며 돌아갑니다. 제 컴터는 RTX-3060 6G라 인공지능 앱을 돌릴 수 있는 미니멈 스펙이라 트랜스포머 모델을 설정하면 에러를 내는데 오히려 Mamba SSM으로 훈련된 모델은 에러도 없고 훨씬 빨리 인퍼런싱을 수행합니다. 물론 트랜스포머 모델은 제 노트북에서 안돼 허깅페이스에서 돌려봤습니다.
로컬에 쉽게 설치 가능하니 한번 가서 깔아보시기 바랍니다. 참고로 한국어 및 30개 언어가 지원됩니다.