EgoControl 소개
우리는 손을 뻗어 식탁 위의 컵을 집으려 할 때, 실제로 팔을 움직이기 전에 머릿속에서 그 장면이 어떻게 보일지 미리 그려봅니다. 시선이 컵을 향해 내려가고, 손이 시야 아래쪽에서 들어와 컵을 감싸는 장면을 상상하는 것입니다. 이렇게 행동의 시각적 결과를 미리 시뮬레이션하는 능력 은 사람에게는 너무나 당연하지만, 로봇이나 인공지능(AI) 에이전트에게는 쉽지 않은 과제입니다.
이 글에서 소개하는 EgoControl은 바로 이 문제를 다룹니다. EgoControl은 카메라 착용자의 3D 전신 포즈(3D full-body pose) 시퀀스를 조건으로 받아, 그 움직임에 맞는 1인칭 시점(에고센트릭, egocentric) 영상을 생성하는 비디오 확산 모델(video diffusion model) 입니다. 짧은 과거 관측 프레임 몇 장과 앞으로 취할 목표 포즈 시퀀스를 주면, EgoControl은 그 포즈와 일관되면서도 시각적으로 사실적인 미래 프레임들을 만들어냅니다. University of Bonn과 Lamarr Institute, NVIDIA 연구진이 함께 발표했으며 CVPR 2026에 채택되었습니다.
1인칭 시점 영상 예측이 왜 중요한가
1인칭 시점 비전은 최근 컴퓨터 비전에서 중요한 주제로 떠올랐습니다. 3인칭 영상과 달리 1인칭 영상은 에이전트가 직접 겪는 감각과 운동의 경험을 담습니다. 빠른 카메라 움직임, 손과 물체에 의한 잦은 가림(occlusion), 그리고 신체 포즈와 시각 정보 사이의 긴밀한 결합이 그 특징입니다. 이런 특성 때문에 1인칭 시점은 체화된(embodied) 내비게이션, 물체 조작, 증강 현실(AR), 인간과 로봇의 협업처럼 지각과 행동이 서로를 규정하는 문제에서 특히 중요합니다. 커뮤니티는 Ego4D, Nymeria 같은 대규모 1인칭 데이터셋과 벤치마크에 많은 투자를 해왔습니다.
체화된 에이전트에게 미래의 1인칭 프레임을 예측하는 능력은 특히 핵심적입니다. 이는 계획한 행동의 시각적 결과를 내부에서 미리 시뮬레이션하는 수단이기 때문입니다. 위험한 결과를 상상해봄으로써 더 안전한 계획을 세울 수 있고, 계획한 움직임이 원하는 시점이나 물체 배치를 실제로 달성하는지 확인함으로써 세밀한 행동 조건화가 가능해지며, AR/VR이나 원격 조작 같은 상호작용 시스템에서 행동을 실행하기 전에 예상 시점을 미리 렌더링할 수 있습니다. 이런 쓰임새에 실제로 유용하려면 생성 모델은 사진처럼 사실적일 뿐 아니라, 사람이나 로봇이 움직이는 방식을 반영하는 세밀하고 물리적으로 그럴듯한 신체 수준 명령으로 제어 가능 해야 합니다.
기존 접근법과 그 한계
최신 비디오 생성 모델들은 콘텐츠 합성에서 인상적인 성능을 보여왔고, 최근에는 텍스트 프롬프트나 카메라 궤적 같은 상위 수준 신호를 조건으로 삼는 데까지 발전했습니다.
첫 번째로, Cosmos나 Wan 같은 대규모 확산 기반 비디오 생성 모델 은 텍스트나 카메라 움직임을 조건으로 고품질 영상을 만들 수 있습니다. 하지만 이런 조건화 방식은 카메라 착용자의 관절이 있는 신체(articulated body)를 직접적이고 명시적으로 제어하지 못합니다. 1인칭 환경에서 이는 치명적인 공백입니다. 카메라 움직임은 착용자의 머리가 이동하고 회전하면서 만들어지고, 팔과 손과 다리 같은 국소적 관절 움직임이 1인칭 장면을 정의하는 가림과 물체 상호작용을 만들어내기 때문입니다.
두 번째로, 사람의 신체 포즈를 제어 신호로 쓰는 연구들도 있었지만, 이들은 대부분 3인칭 시점(exocentric) 을 전제로 합니다. 즉 대상 인물이 대체로 화면에 보이고 카메라 움직임이 제한적인 상황에서 2D 골격 포즈로 배우의 움직임을 유도합니다. 그러나 2D 포즈는 강한 시점 변화, 잦은 자기 가림(self-occlusion), 풍부한 손과 물체 상호작용이 특징인 1인칭 영상에는 그대로 적용할 수 없습니다.
세 번째로, 동시기 연구인 PEVA는 3D 상반신 포즈를 조건으로 1인칭 이미지를 생성하는 첫 시도입니다. 다만 한 스텝에 한 프레임씩만 만드는 자기회귀(auto-regressive) 방식이라, 결과가 낮은 프레임률(4 FPS)과 낮은 해상도(224 \times 224 )에 머뭅니다.
EgoControl은 여기서 발상을 바꿉니다. 상반신에 그치지 않고 머리부터 발끝까지의 3D 전신 포즈로 1인칭 영상을 직접 제어 하며, 프레임을 하나씩 잇는 대신 영상 전체를 한 번에 생성해 더 높은 시간적, 공간적 해상도를 얻습니다.
EgoControl의 핵심 아이디어
EgoControl은 잠재 조건부 비디오 확산 모델(latent conditional video diffusion model)입니다. 두 가지 정보를 조건으로 받습니다. 하나는 현재까지 관측한 과거 시각 맥락 \mathbf{x} = (x_1, x_2, \ldots, x_N) 이고, 다른 하나는 앞으로의 움직임 의도를 담은 사람 포즈 시퀀스 \mathbf{P} = (p_1, p_2, \ldots, p_M) 입니다. 1인칭 영상에서 사람 포즈는 머리 포즈에 달려 있는 카메라 시점뿐 아니라, 생성된 프레임 \mathbf{y} = (y_1, y_2, \ldots, y_M) 안에 실제로 보이는 신체 부위까지 함께 제어합니다. 목표는 사실적으로 보이면서도 각각의 제어 포즈 p_i 와 시각적으로 일관된 프레임 y_i 를 만드는 것입니다.
마치 애니메이터가 캐릭터의 골격에 동작을 부여하면 그에 맞는 화면이 그려지는 것처럼, EgoControl은 3D 골격의 움직임을 그 사람의 눈에 비치는 1인칭 화면으로 번역합니다.
핵심 결과를 미리 언급하면, 머리 포즈만으로 제어할 때보다 전신 포즈로 제어할 때 팔의 정렬도를 나타내는 mIoU가 상대적으로 거의 55\% 증가했고, 생성된 프레임에서 팔이 보이는지 여부가 실제 영상과 일치하는 비율이 96\% 를 넘었습니다. 흥미롭게도 전신 포즈는 팔의 움직임뿐 아니라 머리 포즈와 카메라 시점의 일관성까지 함께 개선했습니다.
EgoControl의 동작 방식
EgoControl은 Cosmos를 기반 확산 모델로 사용합니다. 먼저 토크나이저 \mathcal{E} 가 프레임을 압축된 연속 잠재 표현 z_0 = \mathcal{E}(x) 로 변환합니다. EDM 방식을 따라, 모델은 연속적인 노이즈 수준 \sigma 로 깨끗한 잠재 표현을 교란합니다.
그리고 노이즈 제거 신경망 z_\theta 가 원래의 깨끗한 잠재 표현 z_0 를 직접 예측하도록 학습합니다.
여기서 w(\sigma) 는 각 노이즈 수준의 상대적 중요도를 조절하는 가중 함수이고, 노이즈 제거 신경망은 DiT(Diffusion Transformer) 로 구현됩니다. EgoControl의 핵심은 이 조건 c 에 과거 시각 맥락 \mathbf{x} 뿐 아니라 미래 움직임 의도인 포즈 시퀀스 \mathbf{P} 를 함께 넣고, 이를 확산 과정에 효과적으로 주입하는 방법을 설계한 것입니다.
포즈 표현: 상대 변환으로 카메라와 관절 움직임 담기
1인칭 데이터셋은 보통 전역 좌표계(global reference frame)에서 정의된, 프레임과 동기화된 3D 신체 포즈를 제공합니다. 그러나 EgoControl은 체화된 관점에서 동작해야 하므로, 공간상의 절대 위치보다 에이전트 자신의 움직임 을 반영하는 포즈 표현이 필요합니다. 이를 위해 각 포즈 시퀀스를 프레임 사이의 상대 변환(relative transformation)으로 표현합니다.
각 3D 포즈는 관절 하나하나의 위치와 방향을 전역 좌표계 기준으로 기술하는 J = 23 개의 변환 행렬로 주어집니다. 1인칭 시점에서 영상의 지각적 변화는 대부분 카메라의 움직임, 즉 머리의 움직임에서 비롯됩니다. 따라서 전역 머리 포즈 시퀀스 \mathbf{H} = (\mathbf{H}_0, \mathbf{H}_1, \ldots, \mathbf{H}_M) 에 대해, 연속한 프레임 사이의 상대적 머리 변환을 다음과 같이 계산합니다.
각 \Delta \mathbf{H}_i 는 다시 이동(translation)과 회전(rotation)을 오일러(Euler) 형식으로 담은 6차원 벡터 \Delta \mathbf{h}_i \in \mathbb{R}^{1 \times 6} 로 변환됩니다. 전신 상태를 담기 위해, 각 프레임에서 모든 관절을 골반(pelvis) 기준으로 상대 변환한 \mathbf{J} \in \mathbb{R}^{M \times 21 \times 6} 도 함께 계산합니다. 여기서 21 은 머리와 골반을 제외한 관절 수입니다. 또한 골반을 루트 관절로 삼아 머리와 마찬가지로 프레임 사이의 상대 움직임 \Delta \mathbf{r} 을 구합니다. 마지막으로 이 세 요소를 이어 붙여 M 개의 미래 프레임 생성을 제어할 전체 포즈 표현을 만듭니다.
이 표현 덕분에 EgoControl은 1인칭 카메라 동역학과 관절 신체 움직임을 하나의 통일된 형태로 담을 수 있습니다. 뒤의 Ablation에서 보겠지만, 이렇게 프레임 사이의 차분(differential)으로 표현하는 선택은 절대 위치를 누적하는 방식보다 수치적으로 훨씬 안정적입니다.
제어 메커니즘 1: 변조(AdaLN) 기반 전역 제어
포즈 표현을 어떻게 확산 모델에 주입할까요? EgoControl은 서로 보완적인 두 갈래를 함께 씁니다. 첫 번째는 변조(modulation)와 게이팅(gating)을 이용해 DiT 블록의 특징을 갱신하는 방식으로, 위 아키텍처 그림의 보라색 갈래에 해당합니다.
먼저 전체 포즈 텐서 \mathbf{P} \in \mathbb{R}^{M \times 23 \times 6} 를 시간과 관절 축에 대해 펼쳐 하나의 전역 벡터 \mathbf{P}_{\text{flat}} 로 만듭니다. 두 개의 2층 MLP g_e 와 g_m 이 이 벡터를 각각 임베딩 공간과 변조 공간으로 매핑해, 포즈 임베딩 \mathbf{e}_P 와 변조 벡터 \mathbf{m}_P^{\beta\gamma g} 를 만듭니다. 이 값들로부터 각 블록의 셀프 어텐션(self-attention), 크로스 어텐션(cross-attention), MLP 요소마다 서로 다른 시프트(shift), 스케일(scale), 게이트(gate) 파라미터가 예측됩니다. 각 요소 입력 \mathbf{u} 는 적응적 계층 정규화(Adaptive Layer Normalization, AdaLN)를 통해 정규화되고 변조됩니다.
여기서 k 는 셀프 어텐션, 크로스 어텐션, MLP 중 하나를 가리키고 \text{LN} 은 계층 정규화입니다. 각 요소의 출력은 게이트 \mathbf{g}_P 로 조절된 뒤 잔차 연결(residual connection)로 합쳐집니다. 이 메커니즘은 확산 스텝 t 를 주입하는 데도 함께 쓰입니다. t 를 사인파(sinusoidal) 임베딩 \mathbf{e}_t 로 바꾼 뒤, 포즈에서 얻은 임베딩과 변조 벡터에 더하는 방식입니다.
이렇게 더하는 조건화 덕분에 확산 스텝과 신체 포즈가 트랜스포머 블록 전체의 계층 정규화와 잔차 흐름을 함께 조절하게 됩니다. AdaLN 갈래는 전역적인 스타일과 머리 움직임을 잘 잡아내지만, 뒤의 Ablation에서 보듯 팔 같은 세밀한 관절 제어에는 약한 면이 있습니다.
제어 메커니즘 2: 크로스 어텐션 기반 세밀한 제어
두 번째 갈래는 이 약점을 메웁니다. AdaLN이 포즈를 하나의 전역 벡터로 뭉개는 것과 달리, 크로스 어텐션 갈래는 \mathbf{P} 의 시간 구조를 그대로 보존 해 프레임 단위의 정렬을 유지합니다. 각 프레임의 포즈 벡터 \mathbf{P}_m \in \mathbb{R}^{23 \times 6} 를 GELU와 계층 정규화를 거쳐 모델의 특징 공간으로 투영합니다.
이렇게 얻은 M 개의 포즈 토큰에 사인파 위치 인코딩(positional encoding)을 더해 시간 정보를 보존한 뒤, 이 토큰들을 크로스 어텐션의 맥락 \mathbf{c} 로 사용합니다. 이 크로스 어텐션 경로는 시간적으로 국소화된 제어 신호를 제공해, AdaLN의 전역 변조를 보완합니다. 저자들은 "두 갈래 모두가 사람 포즈 시퀀스와 잘 정렬된 사실적인 1인칭 영상 프레임을 생성하는 데 필요하다"고 강조합니다. 즉 전역적인 시점 제어(AdaLN)와 프레임별 세밀한 신체 제어(크로스 어텐션)를 결합해야 비로소 일관되고 제어 가능한 1인칭 영상 합성이 가능해집니다.
실험 설계와 평가 프로토콜
실험에는 Nymeria 데이터셋을 사용했습니다. Nymeria는 '실제 환경(in the wild)'에서 촬영한 현존하는 가장 큰 인간 움직임 데이터셋으로, 다양한 사람들이 여러 실제 환경에서 일상 활동을 수행하는 장면을 담고 있습니다. 1{,}100 개가 넘는 고해상도 1인칭 영상 시퀀스(1408 \times 1408 , 30 FPS)가 XSens 전신 모션 캡처로 얻은 3D 신체 포즈와 시간 동기화되어 있습니다. 연구진은 영상을 16 FPS로 리샘플링하고 480 \times 480 해상도로 조정한 뒤, 여러 참가자와 복잡한 상호작용을 포함하는 186 개 영상(총 약 50 시간)을 골라 45 프레임 단위의 겹치지 않는 클립으로 나눴습니다.
1인칭 포즈 제어 영상 생성 모델이 체화된 에이전트의 시뮬레이터 역할을 제대로 하는지 평가하려면 종합적인 프로토콜이 필요합니다. 저자들은 서로 보완적인 세 축으로 평가 체계를 설계했습니다.
첫째, 시각적 품질과 충실도(Visual Quality and Fidelity) 입니다. 시퀀스 수준에서는 Fréchet Video Distance(FVD)를, 프레임 수준에서는 SSIM, LPIPS, DreamSim을 사용해 실제 영상과의 지각적 유사도를 측정합니다. SSIM, LPIPS, DreamSim은 비교 편의를 위해 100 을 곱한 값으로 보고합니다.
둘째, 전역 움직임 제어(Global Motion Control) 입니다. 1인칭 시점에서 대부분의 시각 변화는 카메라 움직임으로 표현되므로, 카메라 포즈 추정 도구인 ViPE로 실제 영상과 생성 영상에서 각각 카메라 궤적을 뽑아 평균 이동 오차(TransError)와 회전 오차(RotError)를 측정합니다.
셋째, 에이전트 신체 제어(Agent Body Control) 입니다. 위 지표들은 포즈와의 정렬을 암묵적으로만 반영하므로, 전신 움직임 재현의 정확도를 명시적으로 측정하기 위해 시야에 들어오는 팔을 집중적으로 평가합니다. SAM2로 팔을 분할하고 추적한 뒤, 실제 영상과 생성 영상의 팔 마스크 사이 평균 IoU(mIoU)와 팔의 존재 여부를 올바르게 감지한 프레임 비율(Acc%)을 계산합니다.
구현 세부사항으로, 기반 모델은 대규모 영상 말뭉치(약 8\% 가 1인칭 영상)로 사전 학습된 cosmos-predict2(2 B, 480p, 16 FPS)를 사용했습니다. 45 프레임 영상에서 13 개의 과거 프레임을 맥락으로 주고 전신 포즈로 제어되는 32 개(2 초)의 미래 프레임을 생성하도록 학습했으며, Cosmos-Tokenizer의 시공간 압축 잠재 공간에서 입력은 12 개의 잠재 프레임으로 줄어듭니다. 전역 배치 크기 1024 , 학습률 1.1 \times 10^{-5} 로 H100 GPU에서 30{,}000 번 반복 학습했습니다.
실험 결과
정량적 결과: 전신 포즈가 만드는 차이
아래 표는 네 가지 설정을 비교한 주요 결과입니다. 화살표는 좋은 방향을 나타냅니다(↑ 높을수록, ↓ 낮을수록 좋음).
| 모델 | SSIM ↑ | LPIPS ↓ | DreamSim ↓ | FVD ↓ | TransError ↓ | RotError ↓ | mIoU ↑ | Acc% ↑ |
|---|---|---|---|---|---|---|---|---|
| Base Cosmos (사전 학습) | 42.29 | 50.62 | 23.00 | 71.00 | 16.53 | 15.60 | 20.03 | 85.36 |
| 미세 조정 (포즈 없음) | 47.47 | 45.74 | 18.14 | 40.70 | 9.93 | 13.65 | 25.13 | 85.20 |
| 머리 포즈만 제어 | 56.94 | 29.71 | 10.22 | 22.68 | 5.16 | 3.29 | 33.70 | 91.14 |
| 전신 포즈 (EgoControl) | 58.60 | 26.71 | 8.54 | 20.18 | 4.90 | 2.96 | 52.13 | 96.33 |
결과를 단계별로 읽어보면 이야기가 분명해집니다. 먼저 사전 학습된 Cosmos를 Nymeria로 미세 조정하기만 해도 모든 지표가 크게 좋아집니다(예: FVD 71.00 \to 40.70 ). 여기에 머리 포즈 제어를 더하면 신체 제어를 포함한 모든 지표가 다시 큰 폭으로 개선됩니다(mIoU 25.13 \to 33.70 ).
가장 좋은 결과는 전신 3D 포즈로 제어할 때 나옵니다. 팔이 제어 포즈와 얼마나 잘 맞는지 나타내는 mIoU는 머리 포즈만 쓸 때의 33.70 에서 52.13 으로, 상대적으로 거의 55\% 증가했습니다. 생성된 프레임에서 팔이 보이는지 여부가 실제 영상과 일치하는 경우도 96\% 를 넘었습니다(91.14 \to 96.33 ). 주목할 점은 전신 포즈가 팔 제어뿐 아니라 카메라 시점과 머리 포즈의 일관성(TransError 5.16 \to 4.90 , RotError 3.29 \to 2.96 )과 시각 품질(FVD, SSIM 등)까지 함께 개선했다는 것입니다. 이는 1인칭 영상을 온전히 제어하려면 전신 정보가 결정적 임을 보여줍니다.
동시기 연구 PEVA와의 비교
동시기 연구인 PEVA와도 비교했습니다. PEVA는 15 개의 과거 프레임(4 FPS, 224 \times 224 )을 받아 2 초 뒤의 단일 프레임을 생성합니다. 공정한 비교를 위해 EgoControl의 32 번째 생성 프레임을 같은 해상도로 다운샘플링해 동일한 시간 지평에서 맞췄습니다.
| 모델 | LPIPS ↓ | DreamSim ↓ | FID ↓ |
|---|---|---|---|
| PEVA XXL | 29.8 | 18.6 | 61.10 |
| EgoControl | 24.3 | 11.3 | 50.68 |
더 짧은 맥락 창을 사용했음에도 EgoControl이 세 지표 모두에서 PEVA를 앞섰습니다.
정성적 결과: 같은 장면, 다른 움직임
정성적으로도 EgoControl은 제어 포즈를 충실히 따르는, 시간적으로 일관된 1인칭 시퀀스를 만듭니다. 아래 그림은 동일한 맥락 프레임 에 서로 다른 포즈 시퀀스(앞으로 걸으며 기울이기, 왼팔 뻗기, 제자리에서 오른쪽으로 회전)를 적용한 결과입니다. 같은 출발점에서 시작하지만, 주어진 포즈에 따라 장면과 물체에 맞춰 각기 다른 미래가 생성되는 것을 볼 수 있습니다.
반대로 같은 포즈 시퀀스를 서로 다른 초기 맥락에 적용 해도, 사람의 초기 상태와 무관하게 포즈 조건대로 영상이 제어됩니다. 예를 들어 물체를 집으려 몸을 숙이는 포즈를 세 가지 다른 맥락에 적용하면, 세 경우 모두 에이전트가 몸을 숙이는 동작을 재현합니다.
이 밖에도 EgoControl은 마지막 생성 프레임을 다시 입력으로 되먹이는 자기회귀(auto-regressive) 방식으로 8 초 길이의 더 긴 영상을 만들 수 있고, 960 \times 960 해상도로 추가 2{,}000 번 미세 조정하면 더 높은 해상도의 영상도 생성할 수 있습니다.
Ablation: 두 제어 갈래는 서로를 보완한다
왜 AdaLN과 크로스 어텐션을 함께 써야 할까요? 이를 검증하기 위해 세 변형을 비교했습니다(계산 비용을 줄이려 7{,}000 번 반복으로 학습).
| 제어 방식 | SSIM ↑ | LPIPS ↓ | DreamSim ↓ | FVD ↓ | mIoU ↑ | TransError ↓ | RotError ↓ |
|---|---|---|---|---|---|---|---|
| AdaLN만 | 52.16 | 38.38 | 11.48 | 29.14 | 33.44 | 6.07 | 5.99 |
| 크로스 어텐션만 | 51.65 | 38.89 | 12.20 | 29.28 | 37.84 | 6.85 | 7.19 |
| AdaLN + 크로스 어텐션 | 52.60 | 36.79 | 10.94 | 27.51 | 37.40 | 5.59 | 5.23 |
AdaLN만 쓰면 전역 스타일과 머리 움직임(TransError, RotError)은 잘 잡지만 세밀한 관절 제어(mIoU 33.44 )는 약합니다. 반대로 크로스 어텐션만 쓰면 신체 정렬(mIoU 37.84 )은 좋아지지만 전역 움직임 지표는 오히려 나빠집니다. 두 방식을 결합하면 시각 품질과 움직임 정확도 모두에서 가장 좋은 결과를 얻으면서 신체 제어(mIoU)는 크로스 어텐션 단독과 비슷한 수준을 유지합니다. 각자의 강점이 다른 두 갈래가 서로의 빈틈을 메우는 셈입니다.
Ablation: 포즈를 어떻게 표현하느냐가 중요하다
움직임을 어떤 방식으로 표현하는지도 결정적입니다. 먼저 머리 제어에서, 연속 프레임 사이의 상대 변환을 쓰는 차분(differential) 표현과 초기 포즈 \mathbf{H}_0 기준의 누적(cumulative) 표현을 비교했습니다. 누적 표현의 TransError(12.31 )는 차분 표현(6.75 )의 거의 두 배에 달했습니다. 누적 방식은 개념적으로는 단순하지만, 긴 시퀀스에서 움직임 값이 제한 없이 커지면서 수치적 불안정을 겪기 때문입니다. 차분 표현이 더 안정적이고 시간적으로 정확한 신호를 제공합니다.
다음으로 전신 제어에서, 관절 위치를 골반 기준 으로 표현하는 방식을 검증했습니다. 각 관절의 프레임 사이 상대 움직임(\Delta \mathbf{j} )으로 인코딩하는 대안과 비교했더니, 골반 중심 좌표계가 mIoU에서 5.5 만큼(31.85 \to 37.40 ) 더 높았습니다. 프레임 사이 차분으로 각 관절을 인코딩하면 신체의 일관성을 유지하기 어려운 반면, 골반 중심 좌표계는 관절 신체 동역학을 학습하기에 더 견고하고 쉬운 표현임을 확인한 것입니다.
한계점과 향후 연구 방향
저자들은 성과와 함께 분명한 한계도 솔직하게 밝힙니다.
첫째, Nymeria가 명시적인 손 포즈 주석을 제공하지 않기 때문에, 현재 모델은 세밀한 손 관절 움직임을 명시적으로 다루지 못합니다. 전신 조건화가 팔과 대략적인 손 움직임을 크게 개선하긴 하지만, 정밀한 손 제어에는 여전히 공백이 남아 있습니다.
둘째, 학습 데이터가 어안(fisheye) 카메라를 장착하고 모션 캡처 슈트를 착용한 특정 촬영 환경에 치우쳐 있어, 일상적인 시점이나 평상복, 다른 센서 장비에 대한 분포 밖(out-of-distribution) 일반화가 약할 수 있습니다.
향후 연구로는 명시적인 손 표현을 포즈 조건화에 포함하고, 더 다양한 카메라와 의상 조건을 담은 추가 데이터로 학습 범위를 넓히는 방향이 제시됩니다. EgoControl은 전신 포즈라는 물리적으로 그럴듯한 제어 신호를 확산 기반 1인칭 영상 생성에 처음으로 결합한 연구로, 제어 가능한 1인칭 합성과 실제 체화된 시뮬레이션 사이의 간극을 좁히는 이정표가 될 것입니다. 로봇이나 AR 에이전트가 행동을 실행하기 전에 그 시각적 결과를 스스로 "상상"하며 계획하는 미래에 한 걸음 다가선 셈입니다.
EgoControl: Controllable Egocentric Video Generation via 3D Full-Body Poses 논문
EgoControl 프로젝트 홈페이지
EgoControl (NVIDIA DAIR 랩 게시 페이지, CVPR 2026)
EgoControl GitHub 저장소
EgoControl 모델 가중치 (Hugging Face)
PEVA: Whole-Body Conditioned Egocentric Video Prediction 논문 (동시기 관련 연구)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 