# \#image-to-audio-video **URL:** https://discuss.pytorch.kr/tag/image-to-audio-video/5756.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Ovi: 텍스트 또는 이미지로부터 영상과 음향을 동시에 생성하는 AI 모델 (feat. Character.AI)](https://discuss.pytorch.kr/t/ovi-ai-feat-character-ai/8009)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 23, 2025, 12:00오후 UTC](https://discuss.pytorch.kr/t/ovi-ai-feat-character-ai/8009 "2025-10-23T12:00:27Z")
Ovi 소개 Ovi는 Character AI와 Yale University가 공동 개발한 차세대 오디오-비디오 동시 생성(AI Video+Audio Generation) 모델입니다. 기존의 영상 생성 모델들이 주로 시각적 요소에 집중했다면, 이번에 공개된 Ovi 모델은 단순히 텍스트에서 비디오를 생성하는 수준을 넘어, 음성, 배경음, 음악, 사운드 효과(SFX) 등을 함께 만들어냄으로써 인간의 감각적 몰입도를 극대화여 더욱 현실적이고 몰입감 있는 콘텐츠를 생성할 수 있습니다. 즉, “AI가 만든 영상”이 아니라 “AI가 만든 장면(scene)”을 재현하는 단계로 나아간 것입니다. Ovi의 핵심은 이름에서 드러나듯 Twin Backbone Cross-Modal Fusion(이중 백본 교차 모달 융합) 구조에 기반한 ‘오디오-비디오 동기화’ 접근입니다. 즉, 비디오와 오디오를 각각의 백본 네트워크에서 병렬적으로 학습시키되, 중간 단계에서 이들을 상호 연결함으로써 \*\*시간적 일치(temporal alignment)\*\*와 \*\*의미적 일관성(semantic coherence)\*\*을 유지합니다. 이 설계 덕분에 인물의 입 모양, 대사, 배경음, 감정 변화가 자연스럽게 조화됩니다. 이 모델은 Character AI와 Yale University의 공동 연구 결과로, 연구 논문이 arXiv에 공개되어 있으며(arXiv:2510.01284), Hugging Face에서도 모델이 공개되어 있습니다. 흥미로운 점은 Ovi가 단순히 ‘영상 생성 AI’가 아니라, \*\*멀티모달 생성(Multi-modal Generation)\*\*의 진정한 형태를 구현한다는 것입니다. 즉, ‘소리와 영상이 하나의 문맥 아래에서 함께 만들어진다’는 점에서 기존 Text-to-Video(T2V) 모델과 뚜렷이 구분됩니다. 연구팀은 Character AI의 자체 구축한 고품질 오디오 데이터셋을 사용하여 5B 규모의 오디오 브랜치를 처음부터 새롭게 학습(pretrain from scratch) …