# \#audio-to-video **URL:** https://discuss.pytorch.kr/tag/audio-to-video/2681.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [HunyuanCustom: 사용자 맞춤형 멀티모달 비디오 생성 모델 (feat. Tencent)](https://discuss.pytorch.kr/t/hunyuancustom-feat-tencent/6964)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 17, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/hunyuancustom-feat-tencent/6964 "2025-05-17T09:30:19Z")
HunyuanCustom 소개 비디오 생성 기술이 날이 갈수록 발전하고 있지만, 여전히 해결되지 않은 문제들이 존재합니다. 특히, ‘특정 인물의 일관된 등장’이나 ’사용자가 원하는 다양한 입력 조건(텍스트, 이미지, 오디오, 비디오 등)’에 맞춘 영상 생성은 까다로운 문제인데요. 최근 공개된 HunyuanCustom은 이런 문제들을 해결하기 위해 나온 멀티모달 기반의 커스터마이징 비디오 생성 모델입니다. 특히, 텍스트와 이미지를 융합하고, 오디오나 영상 기반의 제어도 가능하다는 점에서 매우 인상적입니다. HunyuanCustom은 ‘텍스트+이미지+오디오+비디오’와 같은 다양한 조건을 바탕으로, 사용자가 원하는 인물을 중심으로 커스터마이징된 비디오를 생성할 수 있도록 설계된 모델입니다. 기존 비디오 생성 모델들이 주로 텍스트나 이미지 한 가지 입력 방식에만 의존해왔던 것과 달리, 이 모델은 LLaVA 기반 이미지-텍스트 융합 모듈과 시간 기반 ID 보강 기법을 통해 ‘인물 일관성’을 강력히 유지하면서 다양한 입력 조건을 수용합니다. 뿐만 아니라, 오디오-텍스트 매핑을 위한 AudioNet 모듈이나, 영상 조건 삽입을 위한 patchify 기반 피처 정렬 모듈 등 멀티모달 조건 주입 설계도 매우 디테일하게 되어 있습니다. 이처럼 여러 조건을 개별적으로 또는 복합적으로 활용할 수 있다는 점에서 커스터마이징 유연성도 뛰어납니다. HunyuanCustom은 단일 인물뿐만 아니라 다수의 인물을 포함한 비디오 커스터마이징에서도 높은 성능을 보여줍니다. 특히, 기존의 open-source 및 closed-source 영상 생성 모델들과 비교했을 때 다음과 같은 우위를 보입니다: ID 일관성 (같은 인물이 장면 전체에서 일관되게 표현됨) 텍스트-비디오 정합성 (텍스트에서 설명한 장면이 실제 영상에서도 정확히 재현됨) 현실감 있는 비주얼 품질 기존 텍스트-투-비디오 모델들이 다소 추상적이거나 이미지 중심의 결과를 보였던 것과 비교해보면, 이 모델은 실… --- ## [Hallo: 인물의 사진과 음성으로 말하는 영상을 계층적으로 생성하는 인공지능 모델](https://discuss.pytorch.kr/t/hallo/4655)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 18, 2024, 12:07오후 UTC](https://discuss.pytorch.kr/t/hallo/4655 "2024-06-18T12:07:16Z")
소개 Hallo 프로젝트는 인물 사진을 기반으로 영상을 생성하기 위해 음성 데이터를 활용하는 인공지능 기술입니다. 이 프로젝트는 기존의 이미지 및 비디오 생성 기술과는 차별화된 접근 방식을 채택하고 있습니다. 음성을 이용한 애니메이션 생성 기술은 최근 여러 연구에서 주목받고 있으며, Hallo는 이러한 기술을 더욱 발전시킨 모델을 제공합니다. 특히, Hallo는 다음과 같은 기술적 특징을 가지고 있습니다: 계층적 접근 방식: 이미지의 다양한 레벨에서 세밀한 조정을 가능하게 합니다. 음성 기반 애니메이션 생성: 음성을 통해 얼굴의 표정과 움직임을 자연스럽게 구현합니다. 다양한 프레임워크 지원: 기존의 여러 기술을 통합하여 높은 품질의 애니메이션을 생성합니다. 이 기술은 특히 영화, 게임, 가상 현실 등 다양한 분야에서 응용 가능성이 높아, 향후의 기술 발전에 큰 영향을 미칠 것으로 기대됩니다. 주요 특징 Hallo의 주요 특징을 정리하면 다음과 같습니다: 계층적 구조: 얼굴의 세부적인 부분까지 정밀하게 조정할 수 있는 계층적 구조를 채택하였습니다. 음성 인식 기술: 음성 데이터를 분석하여 얼굴 애니메이션의 움직임을 자연스럽게 생성합니다. 다양한 모델 통합: 여러 사전 학습된 모델을 통합하여, 높은 정확도와 효율성을 자랑합니다. 주요 모델로는 denoising UNet, face locator, image & audio proj 등이 있습니다. 라이선스 이 프로젝트는 MIT License로 공개 및 배포되고 있습니다. 상업적 사용에 대한 제한 사항이 없으므로 자유롭게 사용할 수 있습니다. :github: Hallo GitHub 저장소 :hugs: Hallo 모델 다운로드 :books: Hallo 논문 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시… --- ## [\[2024/02/26 ~ 03/03\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-02-26-03-03-ml-top-ml-papers-of-the-week/3679)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 4, 2024, 9:58오전 UTC](https://discuss.pytorch.kr/t/2024-02-26-03-03-ml-top-ml-papers-of-the-week/3679 "2024-03-04T09:58:22Z")
\[2024/02/26 ~ 03/03\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들을 보면, 대규모 언어 모델(Large Language Models, LLMs)에 초점을 맞춘 연구가 주를 이루고 있는 것으로 보입니다. "Genie", "Mistral Large", "The Era of 1-bit LLMs", "Dataset for LLMs", "PlanGPT" 등의 제목에서 언어 모델링과 이를 개선하거나 새로운 데이터셋을 활용하는 접근에 대한 관심이 높다는 것을 알 수 있습니다. 이는 최근 몇 년 간 언어 처리 기술의 급격한 발전과 거대한 언어 모델이 다양한 자연어 처리 작업에서 뛰어난 성능을 발휘하고 있기 때문일 수 있습니다. 언어 모델, 특히 GPT-4와 같은 대규모 모델들은 다양한 산업과 연구 분야에서 응용되고 있으며, 이로 인해 이들 모델을 더 효율적으로 학습시키고, 더 다양한 데이터에 적용하며, 심지어는 더 적은 비트로도 높은 성능을 유지할 수 있는 새로운 기술의 개발에 대한 요구가 증가하고 있습니다. 또한, "On the Societal Impact of Open Foundation Models"와 같은 제목은 언어 모델들이 사회에 미치는 영향에 대한 연구가 이루어지고 있음을 시사하며, 기술 발전뿐만 아니라 그로 인한 사회적 변화와 책임에 대한 인식도 높아지고 있다는 것을 의미합니다. 한편, "LearnAct"나 "EMO"처럼 덜 구체적인 제목들도 눈에 띄는데, 이러한 논문들은 언어 모델에 국한되지 않고, 더 넓은 응용이나 이론적 발전에 초점을 맞추고 있을 가능성이 있습니다. 전반적으로 이번 주는 언어 모델링에 대한 새로운 접근과 이를 활용한 다양한 응용 연구들이 중심 트렌드로 자리매김한 것으로 확인되며, 이는 AI 분야 내에서 중요하게 여겨지는 다양한 도전 과제들에 대한 …