Vidu S1 소개: 기다리는 영상에서 대화하는 영상으로
영상 생성 AI에 프롬프트를 넣고 몇 분씩 기다려 완성된 영상을 받는 경험은 이제 익숙합니다. 하지만 생성이 끝날 때까지 우리는 그저 수동적으로 기다릴 뿐, 만들어지는 도중에 끼어들어 방향을 바꿀 수는 없습니다. Vidu S1 은 바로 이 지점을 겨냥한 연구입니다. 사용자가 음성으로 지시하면 화면 속 디지털 캐릭터가 실시간으로 그 동작을 수행하는, 음성 제어 기반의 실시간 대화형 영상 생성 모델(real-time interactive video generation model)입니다.
이 모델은 Tsinghua University와 Shengshu Technology(生数科技, Vidu 개발사)가 공동으로 발표했습니다. 핵심 특징을 한 줄로 요약하면, 사용자가 언제든 말로 개입해 캐릭터의 다음 행동을 지시할 수 있고, 흐릿함이나 화면 붕괴 없이 무한 길이로 이어지며, 일반 소비자용 GPU에서 540p 해상도를 최대 42 FPS로 만들어 낸다는 것입니다.
오프라인 일괄 생성 방식의 한계
Sora, Veo, Wan, Seedance 같은 최근 영상 생성 모델들은 고품질 영상을 만드는 능력을 이미 충분히 입증했습니다. 그러나 이들 대부분은 여전히 오프라인 일괄 생성(offline, one-shot generation) 패러다임을 따릅니다. 사용자가 프롬프트를 입력하면 수 분에서 수십 분을 기다린 뒤에야 완성된 영상 하나를 통째로 받는 방식입니다.
이런 구조가 나오는 이유는 확산 모델(diffusion model)의 기본 동작 방식 때문입니다. 오프라인 확산 패러다임에서는 영상 전체를 여러 단계에 걸쳐 동기적으로 노이즈 제거(denoising)한 뒤, 맨 마지막에야 깨끗한 영상 하나를 내놓습니다. 생성이 진행되는 동안 사용자는 정보를 받기만 할 뿐, 능동적으로 어떤 상호작용도 시작할 수 없습니다.
이 방식은 미리 만들어 두고 감상하는 콘텐츠 제작에는 잘 맞습니다. 하지만 사람이 즐기는 시각적 경험은 미리 만들어진 영상에만 국한되지 않습니다. 우리는 얼굴을 마주 보는 대화, 라이브 스트리밍, 게임처럼 콘텐츠가 나에게 즉각 반응하는 상호작용적 경험도 즐깁니다. 논문은 여기서 흥미로운 수요 관점의 논증을 제시합니다. 사용자 한 명의 실시간 대화형 콘텐츠에 대한 평균 수요를 \alpha \in [0, 1] 라 하면 전체 수요는 대략 \alpha \times N (N 은 사용자 수)에 비례합니다. 반면 오프라인 생성 영상은 한 번 만들면 재생하고 공유할 수 있으므로, 영상 한 편당 평균 조회수를 m 이라 할 때 그 생성 수요는 \beta \times N / m 정도로 줄어듭니다. \alpha \approx \beta 이고 m > 100 이라면, 실시간 대화형 영상 생성의 수요가 오프라인 생성보다 훨씬 크다는 결론이 나옵니다. 저자들은 "실시간 대화형 영상 생성은 업계에서 가장 중요한 미래 방향 중 하나" 라고 강조합니다.
기존 자기회귀 모델이 넘지 못한 벽
물론 오프라인 방식의 대안으로 자기회귀(autoregressive) 영상 생성이 연구되어 왔습니다. 프레임을 순차적으로 생성해 스트리밍에 가깝게 만드는 접근입니다. 하지만 논문은 기존 자기회귀 영상 생성 모델들이 여전히 네 가지 벽에 막혀 있다고 지적합니다.
첫째, 많은 방법이 생성 방식을 오프라인에서 자기회귀로 바꾸었을 뿐, 생성 도중의 실시간 사용자 상호작용은 여전히 지원하지 못합니다. 둘째, 대부분의 방법은 앞으로 만들 영상 내용을 음성으로 직접 제어하지 못합니다. 자연스러운 말로 생성 과정을 통제하기 어렵다는 뜻입니다. 셋째, 긴 시간 영상 생성은 작은 오차가 시간이 지나며 누적되어 드리프트(drift), 불안정성, 결국 화면 붕괴로 이어지기 때문에 여전히 까다롭습니다. 그래서 많은 모델이 제한된 길이의 영상만 만들 수 있고, 끝이 정해지지 않은 스트림에서 안정적인 생성을 유지하지 못합니다. 넷째, 실시간 영상 생성은 단순한 모델링 문제가 아닙니다. 강력한 추론 커널, 서빙 시스템, 스케줄링 전략, 대규모 배포 인프라가 함께 필요합니다. 이런 인프라가 없으면 아무리 좋은 모델이라도 실사용에는 너무 느리거나 너무 비쌉니다.
Vidu S1의 발상 전환
Vidu S1은 이 네 가지 한계를 정면으로 겨냥해 설계되었습니다. (1) 사용자가 생성 시작 전에 모든 조건을 미리 지정하는 대신, 아무 시점에나 실시간으로 생성 과정에 개입할 수 있습니다. (2) 사용자의 음성을 직접적이고 명시적인 제어 신호로 취급하여, 말로 다음에 생성될 영상 내용을 계속 안내할 수 있습니다. (3) 스트리밍 생성 중의 오차 누적을 완화해 드리프트나 붕괴 없이 영상이 무한히 이어지도록 합니다. (4) TurboDiffusion과 TurboServe를 기반으로 한 효율적인 추론 및 서빙 스택 위에서 동작하여, 소비자용 GPU에서 540p 해상도와 42 FPS의 실시간 추론을 가능하게 합니다.
실험 결과, Vidu S1은 신원 일관성을 나타내는 CSIM 0.9192, 음성과 영상의 동기화를 나타내는 Sync-D 7.847, 지각적 영상 품질을 나타내는 DOVER 0.5660 에서 모두 최고 성능을 기록하면서도, 동시에 실시간 상호작용과 안정적인 장시간 스트리밍을 만족시켰습니다.
아래 그림은 Vidu S1의 세 가지 핵심을 한눈에 보여줍니다. 음성으로 미래 영상 내용을 제어하는 기능, 무한 길이의 효율적인 추론 및 서빙, 그리고 실제 인물부터 애니메이션 캐릭터, 반려동물까지 다양한 커스텀 캐릭터 지원입니다.
Vidu S1은 어떻게 만들어졌나
Vidu S1의 목표는 여러 조건(음성, 텍스트, 참조 이미지) 아래에서 시간적으로 일관된 영상과 동기화된 음성을 함께 만들어 내는 스트리밍 영상 및 음성 생성 모델을 학습하는 것입니다. 이를 위한 데이터 준비, 3단계 학습, 스트리밍 추론, 그리고 이를 실시간으로 돌리는 추론 인프라를 차례로 살펴보겠습니다.
학습 데이터 준비: 원본 영상을 신뢰할 수 있는 학습 데이터로
좋은 모델은 좋은 데이터에서 출발합니다. 연구팀은 다양하고 상호작용성이 높은 1인 단일 샷(single-person, single-shot) 영상을 모은 뒤, 아래 그림처럼 이질적인 원본 영상을 점진적으로 정제하는 데이터 처리 파이프라인을 구축했습니다.
원본 영상은 두 종류에서 가져왔습니다. 하나는 라이브 스트리밍이나 토킹헤드(talking-head) 영상으로, 표정, 몸동작, 입 모양 동기화 같은 세밀한 특성을 학습하는 데 쓰입니다. 다른 하나는 영화나 드라마의 고품질 영상으로, 다양한 촬영 각도, 장면, 시각적 스타일에 대한 일반화와 일관성을 높이는 데 쓰입니다.
정제 과정에서 특히 흥미로운 지점은 필터링 방식입니다. 연구팀은 실무에서 전문가 모델(expert model)만으로는 영상 데이터를 평가하는 데 명확한 한계가 있다는 것을 발견했습니다. 예를 들어 얼굴 검출 모델은 과장되거나 스타일이 강한 2D 애니메이션 캐릭터에는 잘 일반화되지 않고, 이미지 기반 모델은 샘플링한 몇 개 프레임만 보고 판단하므로 전역 정보가 부족해 오판하기 쉽습니다. 그래서 완전한 영상 전체에 대한 전역적 의미 이해를 수행하는 옴니 모델(omni model) 을 보완재로 도입했습니다. 옴니 모델은 편집, 대상, 동작, 감정, 얼굴, 음성, 장면, 샷, 톤 등 여러 품질 차원에서 의미 레이블을 생성합니다. 전문가 모델과 옴니 모델이 함께 전역 맥락 인식과 국소 세부 민감도를 모두 갖춘 통합 필터링 시스템을 이룹니다.
구체적으로 파이프라인은 여섯 가지 측면을 집중적으로 점검합니다. 대상이 정확히 한 명이고 화면에서 적절한 비율을 차지하는지(대상 검출), 워터마크나 자막, 광고 같은 불필요한 정보가 없는지(프레임 청결도), 흐림이나 떨림, 깜빡임 없이 선명하고 보기 좋은지(시각 품질), NSFW 등 부적절한 내용이 없는지(콘텐츠 안전성), 장시간 생성 중 샷 드리프트 위험을 줄이도록 정적이거나 느린 움직임의 샷인지(샷 안정성), 그리고 대상이 뚜렷한 동작이나 행동을 보이는지(상호작용성)입니다.
여기에 더해, 고품질 립싱크를 학습하려면 화면 속 인물과 그 음성이 일치해야 하므로 화자 분리(speech diarization) 를 수행합니다. 각 음성 구간을 화면 속 인물과 일치하는 온스크린(onscreen), 일치하지 않는 오프스크린(offscreen), 여러 목소리가 겹치는 오버랩(overlap)으로 분류하고, 오버랩 구간은 바로 걸러냅니다. 또한 노래나 강한 배경 음악이 있는 장면에서 화자 분리 모델이 불안정하게 동작하는 문제를 완화하기 위해, 발화 중인데도 음성 에너지 비율이 지나치게 낮은 구간을 버리는 휴리스틱 규칙을 추가했습니다.
마지막으로 캡션은 두 가지 세분도로 붙입니다. 영상 전체의 일관된 전역 의미 앵커 역할을 하는 클립 단위 캡션과, 설명을 해당 시간 구간에 정렬해 세밀하고 국소적인 조건 신호를 제공하는 음성 인지 청크 단위(speech-aware chunk-level) 캡션입니다. 이때 시각 속성은 영상 프레임에서만, 음향 속성은 오디오 트랙에서만 추론하는 이중 경로(dual-path) 전략으로 모달 간 환각(cross-modal hallucination)을 줄입니다.
3단계 학습: 양방향 교사에서 few-step 생성기까지
학습은 세 단계로 진행됩니다. 표기를 간단히 하면, i 번째 프레임의 깨끗한 영상 표현 v_0^i 와 음성 표현 a_0^i 를 모달리티 차원으로 이어 붙여 결합 상태 x_0^i = [v_0^i; a_0^i] 로 정의하고, 음성과 텍스트 프롬프트, 참조 이미지를 담는 조건은 c 로 나타냅니다.
1단계: 양방향 교사(Bidirectional Teacher)
먼저 전체 영상 및 음성 시퀀스에 대해 양방향 교사 모델을 학습합니다. 길이 N 인 시퀀스 전체 조건 c^{1:N} 에 대해, 노이즈가 낀 결합 상태를 깨끗한 상태 x_0^{1:N} 로 복원하도록 학습하며 손실은 다음과 같습니다.
이 단계는 뒤이은 인과적 적응과 증류의 토대가 되는 고품질 생성 사전 분포(generative prior)를 확보하는 역할을 합니다.
2단계: 인과적 교사(Causal Teacher)와 하이브리드 학습
다음으로 앞서 학습한 양방향 교사에서 인과적 교사 를 초기화하여 스트리밍 자기회귀 설정에 적응시킵니다. 영상 및 음성 토큰에 인과적 어텐션 마스크(causal attention mask)를 씌워, 각 목표 상태가 인과적 조건 맥락과 유효한 과거 접두부(prefix)에만 접근하도록 제한합니다. 프레임 i 의 복원은 다음과 같이 쓸 수 있습니다.
여기서 학습과 추론 사이의 간극을 줄이기 위해 Teacher Forcing 과 Diffusion Forcing 을 결합한 하이브리드 전략을 씁니다. 학습 샘플마다 베르누이 분포 \text{Bernoulli}(p) 에서 뽑아 둘 중 하나를 선택합니다. Teacher Forcing에서는 과거 접두부를 깨끗한 정답 상태 x_0^{<i} 로 주어(\tau_j = 0 에 해당) 조건 동기화와 동작 일관성에 안정적인 지도를 제공합니다. Diffusion Forcing에서는 과거 접두부를 노이즈가 낀 상태 x_{\tau_j}^{<i} (\tau_j > 0)로 두어, 자기회귀 롤아웃 중 불완전한 접두부에 대한 강건함을 높입니다.
이 발상은 마치 학생에게 처음에는 완벽한 모범 답안(깨끗한 과거)을 보여 주다가, 점차 스스로 만든 불완전한 답(노이즈 낀 과거)을 이어받아 문제를 풀게 하는 것과 비슷합니다. 실제 추론에서는 자신이 방금 생성한 불완전한 프레임을 다시 입력으로 써야 하기 때문에, 이런 훈련이 실전과의 괴리를 줄여 줍니다.
3단계: DMD 증류와 PCM 정규화
인과적 워밍업을 마치면 모델은 다단계 자기회귀 생성 능력을 갖추지만, 여전히 프레임마다 많은 노이즈 제거 단계가 필요해 추론이 느립니다. 이를 해결하기 위해 분포 매칭 증류(Distribution Matching Distillation, DMD) 를 적용해 자기회귀 생성 과정을 단 몇 단계의 샘플링으로 압축합니다.
다만 DMD 목적 함수만으로 최적화하면 모드 붕괴(mode collapse)가 자주 발생해 카메라 드리프트, 콘텐츠 퇴화, 시간적 불일치 같은 불안정한 생성이 나타납니다. 이를 완화하기 위해 Phased Consistency Models(PCM) 의 증류 목적 함수를 추가 정규화로 도입하고, PCM 목적 함수의 거리 함수를 지각적 특징 거리(perceptual feature distance)로 구현했습니다. 최종적으로 DMD 목적 함수와 PCM 일관성 목적 함수를 가중 결합해 생성기를 학습합니다. 결과적으로 생성 품질을 유지하면서 추론 효율을 크게 끌어올린 few-step 생성기를 얻습니다.
무한 길이를 가능하게 하는 스트리밍 추론
학습된 모델을 실제로 끝없이 돌리려면 추론 단계의 설계가 중요합니다. Vidu S1은 제한된 메모리와 연산으로 임의 길이의 영상 및 음성 시퀀스를 온라인으로 생성하기 위해 슬라이딩 윈도우 디코딩(sliding-window decoding) 을 사용합니다. i 번째 디코딩 단계에서 어텐션은 세 부분으로 이루어진 고정 길이 윈도우로 제한됩니다. (1) 사용자가 제공한 첫 프레임과 첫 생성 상태에서 뽑은 잠재 토큰으로 구성된 영속 참조 맥락(persistent reference context), (2) 윈도우 안에 캐시된 과거 영상 및 음성 상태, (3) 현재 노이즈를 제거 중인 상태입니다.
여기서 영속 참조 맥락은 대형 언어 모델의 어텐션 싱크(attention sink) 토큰이나 최근 스트리밍 영상 생성의 싱크 프레임과 유사한 역할을 합니다. 생성 내내 안정적인 전역 조건을 제공하는 앵커인 셈입니다. 어텐션을 이 고정 길이 윈도우로 제한하면 인과적 자기회귀 제약을 지키면서도, 생성된 시퀀스 길이와 무관하게 단계당 추론 지연 시간을 일정하게 유지할 수 있습니다. 이것이 "무한 길이"를 실용적으로 가능하게 하는 핵심입니다.
효율과 시간적 안정성을 더 높이기 위해 두 가지 기법을 얹었습니다. 첫째, RoPE 재배치(RoPE Repositioning) 는 회전 위치 임베딩(Rotary Position Embedding, RoPE)을 적용하기 전에 과거 키와 값 특징을 캐시해 둡니다. 슬라이딩 윈도우가 전진하면 캐시된 특징에 현재 윈도우에서의 갱신된 상대 위치에 맞춰 RoPE를 적용하므로, 과거 특징을 중복 재계산하지 않으면서도 위치 일관성을 유지하고 모든 위치가 학습 시 경험한 범위 안에 머무르게 합니다.
둘째, TwinCache 는 과거 상태에 대해 서로 보완적인 노이즈 캐시와 깨끗한 캐시를 동시에 유지하는 단계 인지(stage-aware) 캐싱 전략입니다. 각 과거 상태는 사전 정의된 노이즈 제거 단계에서 뽑은 노이즈 캐시와, 최종 단계 이후의 깨끗한 캐시라는 두 표현을 갖습니다. 중간 노이즈 제거 단계에서는 과거 맥락을 노이즈 캐시 \hat{x}_{\tau_j}^{<i} 로 표현하고, 최종 단계에서는 깨끗한 캐시 \hat{x}_0^{<i} 로 교체합니다.
왜 이렇게 나눌까요? 노이즈 캐시에 남은 잔여 노이즈는 거친 시간적 동역학은 보존하면서 긴 자기회귀 시퀀스에서 고주파 아티팩트가 누적되는 것을 억제하여, 시간 전파를 위한 암묵적 저역 통과 필터(low-pass prior)처럼 작동합니다. 즉 강한 외형 제약을 걸지 않으면서 안정적인 시간적 가이드를 줍니다. 반면 최종 단계에서 깨끗한 캐시는 영속 참조 맥락과 함께 어텐션되어 세밀한 시각적 디테일을 복원하고 신원 일관성을 유지합니다. 시간 전파와 외형 정제를 분리함으로써 장기 시간 일관성과 시각적 충실도를 동시에 잡는 것입니다.
저비용 GPU에서 실시간을 만드는 추론 인프라
앞서 강조했듯 실시간 영상 생성은 모델만의 문제가 아닙니다. Vidu S1은 TurboDiffusion의 기술 경로에 맞춘 하드웨어 및 소프트웨어 공동 설계 가속 스택을 배포하고, 클러스터 수준 스트리밍 서빙에는 TurboServe를 참조합니다. 주요 구성 요소는 다음과 같습니다.
- 어텐션 가속: 어텐션은 확산 모델에서 지연 시간과 연산 비용의 큰 부분을 차지합니다. SageAttention, SpargeAttention, 그리고 희소-선형 어텐션(Sparse-Linear Attention, SLA)으로 생성 품질을 유지하면서 어텐션 지연을 크게 줄입니다.
- 선형 계층 양자화: 양자화(quantization) 세분도 선택이 정확도에 결정적인데, 텐서 단위와 채널 단위 양자화는 모두 이상치(outlier)에 취약합니다. 소수의 극단값이 양자화 범위를 늘리면 나머지 값들이 낮은 정밀도로 표현되기 때문입니다. 이를 해결하기 위해 CUDA로 블록 단위 W8A8 양자화 GEMM 연산자를 직접 구현하여, 높은 정밀도를 유지하면서 메모리 사용량을 줄이고 선형 계층 연산을 가속했습니다.
- 커널 융합(Kernel Fusion): 여러 연산자를 커스텀 Triton/CUDA 커널로 융합해 호스트 실행 및 동기화 오버헤드를 줄이고, 중간 텐서를 전역 메모리로 흘리는 것을 피해 메모리 대역폭 부담을 낮춥니다. RMSNorm과 일부 원소별 연산의 결합이 대표적입니다.
- CUDA Graph: 스트리밍 영상 생성은 개별 연산 시간이 짧고 실행 패턴이 반복적이라 호스트 측 커널 실행 오버헤드가 누적되기 쉽습니다. 고정 구조의 부분 그래프를 한 번 캡처해 매 추론 단계에서 재생함으로써, 수많은 독립 커널 실행을 하나의 그래프 실행으로 합쳐 오버헤드를 줄이고 GPU 활용도를 높입니다.
- 다중 GPU 병렬화: Ulysses 방식의 컨텍스트 병렬화(context parallelism)로 연산을 여러 GPU에 분산합니다. 어텐션 전후로 all-to-all 집합 통신을 통해 활성화를 시퀀스 병렬과 헤드 병렬 배치 사이에서 재분할하여, 연산과 활성화 메모리를 GPU들에 고루 나눕니다.
실험 결과: 품질과 실시간성을 동시에
그렇다면 Vidu S1은 실제로 얼마나 잘 작동할까요? 그리고 어떤 요소가 이 성능에 기여했을까요?
벤치마크와 평가 설정
HDTF 같은 표준 공개 벤치마크는 통제된 환경에서 음성 구동 아바타(audio-driven avatar) 생성을 평가하지만, 모델이 실시간 상호작용에서 동작 지시를 따르고 자연스러운 움직임을 만드는지는 온전히 담아내지 못합니다. 그래서 연구팀은 실시간 대화형 아바타 생성을 위한 자체 벤치마크 Vidu-StreamBench 를 도입했습니다.
Vidu-StreamBench는 500개 샘플로 이루어져 있고, 각 샘플은 동작 지시, 참조 첫 프레임, 오디오 클립으로 구성됩니다. 다양한 동작 명령, 참조 이미지 스타일, 화자 속성, 감정, 응용 시나리오를 포괄하여, 모델이 자연스럽게 움직이고 시간이 지나도 안정적이며 신원을 보존하고 사용자 지시를 따르는지를 시험합니다. 이를 위해 세 개의 선도적 상용 시스템, 즉 HeyGen, LemonSlice, Kling Avatar 2.0과 쌍대 A/B 선호도 테스트를 수행했습니다. 공개 벤치마크 HDTF에서는 위 상용 시스템에 더해 Wan2.2-S2V-14B, LiveAvatar, OmniAvatar, Hallo3, StableAvatar 같은 최신 오픈소스 모델과도 비교했으며, 신원 보존을 재는 CSIM, 음성과 영상의 동기화를 재는 Sync-D, 지각적 영상 품질을 재는 DOVER를 보고합니다.
사람 선호도 평가
아래는 Vidu-StreamBench에서 HeyGen, LemonSlice, Kling-Avatar-2.0과 비교한 사람 선호도 평가 결과입니다.
선도적 상용 아바타 시스템과의 비교에서 Vidu S1은 전반적으로 일관되게 선호되었습니다. HeyGen과의 전체 선호도(Overall)에서 56\%, LemonSlice와 46\%, Kling-Avatar-2.0과 48\% 로 우위를 보였습니다. 특히 눈에 띄는 지점은 대상 제어 가능성(Subject Controllability) 으로, HeyGen과 LemonSlice를 상대로 각각 100\% 의 선호율을 달성했습니다. 이는 아바타가 명시적인 동작 지시를 따라야 하는 과제에서 평가자들이 Vidu S1을 압도적으로 선호했다는 뜻입니다. 즉 Vidu S1은 수동적인 음성 구동 얼굴 애니메이션에 그치지 않고, 상호작용적 사용자 지시를 자연스러운 몸동작, 제스처, 머리 움직임 같은 눈에 보이는 아바타 행동으로 옮기는 데 더 효과적이라는 것을 시사합니다. 움직임 역동성(Motion Dynamics)에서도 HeyGen 대비 68\% 로 뚜렷한 우위를, 음성 및 영상 동기화(Audio-Video Sync)에서도 꾸준한 이득을 보였습니다.
정성 비교: 지시가 실제 동작으로
수치만으로는 잘 와닿지 않는 차이를, 같은 조건에서 나란히 놓고 보면 분명해집니다. 아래는 동일한 참조 이미지(모나리자), 오디오, 동작 지시를 준 뒤 Vidu S1과 Kling Avatar 2.0의 결과를 비교한 것입니다.
"머리를 들고 사색하는 자세를 취하라(Lift the head and adopt a thoughtful pose)" 는 지시에서, Kling Avatar 2.0(빨간 박스)은 머리를 들지 못하고 배경에 눈에 띄는 아티팩트가 나타난 반면, Vidu S1(초록 박스)은 지시대로 머리를 들어 사색하는 자세를 정확히 만들어 냈습니다. "한 손을 들어 엄지를 치켜세우라(Raise one hand and give a thumbs-up gesture)" 는 지시에서도 Kling Avatar 2.0은 엄지 척 제스처를 제대로 수행하지 못했지만, Vidu S1은 이를 정확히 수행했습니다. 같은 참조 이미지와 오디오를 주었을 때 Vidu S1이 더 강한 시각적 안정성과 지시 따르기를 보여, 장시간 사용에 더 적합하다는 것을 확인할 수 있습니다.
정량 평가: HDTF 벤치마크
공개 벤치마크 HDTF에서의 정량 결과는 다음과 같습니다. Vidu S1은 신원 보존(CSIM), 음성 및 영상 동기화(Sync-D, 낮을수록 좋음), 지각적 품질(DOVER) 세 지표 모두에서 선두를 차지하면서도, 지시 따르기와 실시간 생성을 동시에 지원하는 유일한 모델입니다.
| 모델 | 지시 따르기 | 실시간 | 해상도 / FPS | CSIM ↑ | Sync-D ↓ | DOVER ↑ |
|---|---|---|---|---|---|---|
| OmniAvatar | ✗ | ✗ | 480p | 0.8062 | 9.242 | 0.5476 |
| StableAvatar-1.3B | ✗ | ✗ | 480p | 0.8358 | 11.18 | 0.5560 |
| Hallo3 | ✗ | ✗ | 480×720 | 0.7698 | 8.660 | 0.5313 |
| Wan2.2-S2V-14B | ✗ | ✗ | 480p/720p | 0.7936 | 8.255 | 0.5510 |
| LiveAvatar | ✗ | ✓ | - | 0.8127 | 8.447 | 0.5639 |
| LemonSlice | ✗ | ✓ | 368×560 | 0.8407 | 7.921 | 0.5196 |
| HeyGen | ✗ | ✓ | 25 FPS | 0.9191 | 8.037 | 0.4864 |
| Kling Avatar 2.0 | ✓ | ✗ | - | 0.8688 | 8.158 | 0.5406 |
| Vidu S1 | ✓ | ✓ | 540p / 42 FPS | 0.9192 | 7.847 | 0.5660 |
주목할 점은 지시 따르기가 되는 Kling Avatar 2.0은 실시간이 아니고, 실시간이 되는 HeyGen이나 LemonSlice는 명시적 동작 지시를 따르지 못한다는 것입니다. Vidu S1만이 두 축을 모두 만족하면서 품질 지표까지 최고 수준을 유지합니다.
실시간 생성 성능
품질을 넘어 실시간 대화형 영상 생성은 낮은 지연의 추론, 지속적인 사용자 제어, 안정적인 스트리밍 동작을 요구합니다. Vidu S1은 3단계(3-step) 구성으로 540p 영상을 생성하며, RTX 5090 GPU에서 평균 42 FPS의 처리량을 달성했습니다. 이는 실시간 재생 기준인 30 FPS 를 넘어서는 수치로, 라이브 대화, 가상 진행자, 엔터테인먼트 아바타, 교육용 에이전트처럼 지연에 민감한 응용에 실용적으로 쓸 수 있음을 보여 줍니다. 무엇보다 이 추론 효율은 HDTF에서 입증한 강한 신원 일관성, 음성 및 영상 동기화, 지각적 품질을 그대로 유지한 채 달성되었습니다. 실시간 성능을 위해 아바타 생성 품질을 희생하지 않았다는 뜻입니다.
한계와 남는 질문들
논문은 Vidu S1의 강점을 명확히 보여 주지만, 현재 공개된 범위에서 몇 가지 짚어 둘 지점이 있습니다.
먼저 해상도입니다. 실시간성을 확보한 대신 출력은 540p(960×540)로, 최근 오프라인 모델들이 목표하는 풀HD 이상 해상도에는 아직 미치지 못합니다. 실시간 상호작용이라는 목표와 소비자용 GPU라는 제약을 고려한 합리적인 절충으로 보이지만, 고해상도 실시간 생성은 남은 과제입니다.
또한 학습과 평가가 1인 단일 샷 캐릭터 시나리오에 집중되어 있습니다. 여러 인물이 상호작용하는 복잡한 장면이나 대규모 장면 전환에서의 동작은 이 논문의 범위 밖입니다. 사람 선호도 평가의 핵심 지표인 Vidu-StreamBench는 자체 제작 벤치마크(in-house benchmark)이므로, 공개 재현이나 제3자 검증에는 제약이 따릅니다. 공개 벤치마크 HDTF 결과가 이를 보완하지만, 두 축을 함께 보는 것이 균형 잡힌 해석입니다.
마지막으로 배포 관점에서, 42 FPS 수치는 RTX 5090급 GPU와 다중 GPU 병렬화를 전제로 합니다. 모델 가중치나 학습 코드가 공개되지는 않았고, 현재는 플레이 가능한 데모와 API 형태로 제공됩니다.
이런 한계에도 Vidu S1이 던지는 메시지는 분명합니다. 실시간 대화형 영상 생성은 모델링, 추론 알고리즘, 시스템 인프라가 함께 맞물려야 비로소 실용의 문턱을 넘는다는 것입니다. Vidu S1은 사실적이고 일관되며 제어하기 쉬운 실시간 생성 영상 시스템을 향한 의미 있는 한 걸음이며, 앞으로 얼굴을 마주 보는 대화처럼 콘텐츠가 즉각 반응하는 새로운 형태의 시각적 상호작용을 여는 이정표가 될 수 있습니다.
Vidu S1 사용해보기
Vidu S1은 별도 설치 없이 웹에서 바로 체험할 수 있는 플레이 가능한 데모로 공개되어 있습니다.
- 웹 데모: vidu.com/vidu-stream 에서 실제 인물, 애니메이션 캐릭터, 반려동물 등 원하는 이미지를 올리고 음성 톤을 골라 실시간 대화형 생성을 체험할 수 있습니다.
API를 통해 자신의 애플리케이션에 통합하려는 경우, 저장소는 사용자 가이드와 API 문서, 그리고 에이전트용 스킬을 제공합니다. Claude Code, Codex 등 스킬을 지원하는 에이전트라면 아래 한 줄로 API 통합용 스킬을 설치할 수 있습니다.
Install this skill: https://github.com/shengshu-ai/vidu-s1-api/tree/main/skills/vidu-s1-api
Vidu S1: A Real-Time Interactive Video Generation Model 논문
Vidu Stream 프로젝트 홈페이지 (플레이 가능한 데모)
Vidu-S1 GitHub 저장소
vidu-s1-api GitHub 저장소 (API 통합 에이전트 스킬)
TurboDiffusion: Accelerating Video Diffusion Models by 100-200 Times 논문
TurboServe: Serving Streaming Video Generation Efficiently and Economically 논문
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 