JoyAI-Echo 소개
긴 영상을 생성하는 모델은 오랫동안 세 가지 문제에 시달렸습니다. 프레임이 쌓일수록 오차가 누적되고, 시간축을 따라 일관성이 무너지며, 지연 시간이 커서 대화형 시나리오에 쓰기 어렵다는 것입니다. 몇 초짜리 짧은 영상은 잘 만들어도, 인물의 얼굴과 목소리가 몇 분 동안 유지되는 긴 이야기를 만드는 일은 여전히 까다롭습니다.
JoyAI-Echo 는 JD 의 Joy Future Academy Echo 팀이 공개한, 이 문제를 정면으로 다루는 긴 영상 생성 프레임워크입니다. 하나의 프롬프트 JSON 에서 여러 개의 연속된 샷(shot)으로 이루어진 최대 5분 분량의 멀티샷 스토리를 만들고, 영상과 오디오를 하나의 파이프라인에서 함께 생성합니다. 이번 공개는 추론(inference) 전용 릴리스로, 텍스트-투-비디오(T2V)와 오디오-비디오 메모리를 사용하는 멀티샷 긴 영상 생성에 초점이 맞춰져 있습니다.
핵심은 두 가지 구성 요소입니다. 하나는 인물의 외형과 목소리 음색을 5분 길이 내내 일관되게 유지하는 교차 모달(cross-modal) 오디오-비주얼 메모리 뱅크이고, 다른 하나는 메모리 기반 강화학습과 분포 매칭 증류(Distribution Matching Distillation, DMD)를 결합한 사후 학습(post-training) 파이프라인입니다. 저자들은 이 파이프라인으로 원래의 다단계(multi-step) 파이프라인 대비 약 7.5배의 속도 향상을 얻으면서 화질과 정합성도 함께 끌어올렸다고 설명합니다. 본 게시물에서는 JoyAI-Echo 의 주요 특징과 보고된 평가 결과, 설치·실행 방법을 정리합니다.
JoyAI-Echo의 네 가지 핵심 특징
저자들이 정리한 이 프로젝트의 특징은 다음과 같습니다.
분 단위 멀티샷 스토리: 하나의 프롬프트 JSON 에서 서로 이어지는 여러 샷을 생성합니다. JSON 파일은 prompts 리스트를 담은 하나의 객체이며, 리스트의 각 문자열이 하나의 완결된 샷에 대응합니다. 문자열이 하나면 단일 샷, 여러 개면 멀티샷 스토리가 되고, 새 샷은 앞선 샷들의 정보를 이어받아 생성됩니다.
DMD 증류 기반 소수 스텝 추론: 분포 매칭 증류로 학습해, 원래 파이프라인보다 약 7.5배 빠른 소수 스텝(few-step) 추론을 수행합니다.
영상과 오디오의 동시 생성: 하나의 파이프라인에서 서로 동기화된 영상과 오디오를 함께 만들어 냅니다.
교차 모달 메모리 뱅크: 새 샷을 만들 때마다 이전 샷의 시각적 정체성(visual identity)과 음성 맥락을 조건으로 주어, 이야기 수준의 일관성을 유지합니다.
이와 별개로 저자들은 대화형 지시로 실시간 편집을 지원하는 인터랙티브 에이전트, 그리고 스트리밍 지연 시간에서도 고해상도를 유지하는 경량 초해상도(super-resolution) 모듈을 언급하고 있으나, 이 둘(Echo-SR, Director Agent)은 저장소의 TODO List 기준 아직 공개 예정 항목입니다.
JoyAI-Echo가 보고한 평가 결과
저자들이 기술 보고서에서 밝힌 규모와 사용자 선호도 평가는 다음과 같습니다. 아래 선호도 수치는 저자들이 수행한 GSB(Good/Same/Bad) 사용자 연구에서 나온 것으로, 저자 측이 자체적으로 보고한 값이라는 점을 함께 감안해 읽는 것이 좋습니다.
| 항목 | 값 |
|---|---|
| 긴 영상의 일관된 스토리 길이 | 5분 |
| 원래 다단계 파이프라인 대비 속도 향상 | 7.5배 |
| 벤치마크 스토리 수 | 100개 |
| 생성된 평가 샷 수 | 3,000개 |
| 샷당 프레임 | 241프레임 @ 25fps |
긴 영상에 대한 GSB 평가에서 저자들은 비교 대상(HappyOyster, 디렉팅 모드) 대비 시각적 완성도 63.6%, 오디오 품질 81.7%, 프롬프트 준수 80.6%, IP 일관성 59.4%의 선호도를 보고했습니다(나머지는 무승부 또는 비교 대상 우세). 짧은 영상에서는 짧은 영상 전문 모델인 Wan 2.6 과 비교해 시각적 완성도에서 58.8%의 선호도를 보고했습니다.
JoyAI-Echo 설치 및 실행
참조 환경은 Python 3.11 + PyTorch 2.8 + CUDA 12.8 입니다. 저장소를 클론하고 conda 또는 uv 로 환경을 만든 뒤, 샷 이어붙이기를 위해 ffmpeg 가 PATH 에 있어야 합니다.
git clone https://github.com/jd-opensource/JoyAI-Echo.git
cd JoyAI-Echo
conda env create -f environment.yml
conda activate echo-long
이어서 릴리스 체크포인트(echo-longvideo-release.safetensors, 약 46GB)와 텍스트 인코더로 쓰이는 Gemma-3-12b(약 24GB)를 Hugging Face 에서 받아 checkpoints/ 아래에 둡니다. 프롬프트 JSON 을 prompts/ 에 작성한 뒤 추론을 실행하면, 모델을 한 번 로드해 prompts/ 안의 모든 프롬프트 파일을 처리합니다.
python inference.py
모든 추론 파라미터는 configs/inference.yaml 에서 관리하며, CLI 로 개별 값을 덮어쓸 수 있습니다(python inference.py --seed 42 --num-frames 121). 기본 설정(25fps × 241프레임 × 1280 × 736)에서 최대 GPU 사용량은 약 46~50GB 로, H100/A100 급(80GB)이나 48GB GPU 한 장이면 충분합니다. 더 작은 GPU 에서는 --num-frames 로 프레임 수를 줄일 수 있습니다.
JoyAI-Echo 는 ComfyUI_JoyAI_Echo 노드 패키지로도 사용할 수 있습니다. 이 프로젝트는 기반 영상 생성기로 Lightricks 의 LTX-2 를, 텍스트 인코더로 Google 의 Gemma-3-12b 를 사용합니다.
JoyAI-Echo의 라이선스
JoyAI-Echo 는 Lightricks 의 LTX-2 를 기반으로 하며, LTX-2 Community License Agreement 를 따릅니다. 저자들은 이 프로젝트가 학술·연구 목적의 비상업적(non-commercial) 용도로만 제공된다고 명시하고 있으며, LTX-2 또는 그 파생물의 상업적 사용은 Lightricks 에 문의해야 한다고 안내합니다. 도입 전 라이선스 조건을 직접 확인하시기 바랍니다.
JoyAI-Echo 프로젝트 페이지 및 데모 갤러리
JoyAI-Echo 모델 다운로드
JoyAI-Echo 프로젝트 GitHub 저장소
더 읽어보기
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 