GRAIL 소개
집에서 쓰는 로봇이 물병을 집어 들고, 계단을 오르고, 의자에 앉는 모습을 상상해 봅시다. 사람에게는 너무 당연한 이 동작들이 휴머노이드 로봇에게는 여전히 대단히 어려운 과제입니다. 이런 동작 하나하나를 로봇에게 가르치려면 사람이 로봇을 직접 조종하거나(원격조작), 모션 캡처 장비를 몸에 붙인 배우가 시연을 하고, 물체와 지형을 바꿀 때마다 물리적인 실험 환경을 새로 꾸며야 합니다. 데이터 한 건을 모으는 데 드는 이 물리적 비용이야말로 휴머노이드 학습을 가로막는 가장 큰 병목입니다.
이 글에서 소개하는 GRAIL(Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors) 은 이 병목을 정면으로 겨냥한 연구입니다. NVIDIA의 DAIR 연구실과 UCLA가 함께 발표한 이 논문은, 실제 로봇과 물리 환경을 배포 시점까지 단 한 번도 사용하지 않고 완전히 디지털만으로 휴머노이드의 이동 겸 조작(loco-manipulation) 데이터를 대량 생성하는 파이프라인을 제안합니다. 3D 에셋과 비디오 파운데이션 모델(Video Foundation Model, VFM)의 생성 능력을 결합해 20{,}000 개가 넘는 상호작용 시퀀스를 만들어 내고, 이 합성 데이터만으로 학습한 정책을 실제 Unitree G1 휴머노이드에 올려 물체 집기에서 84\%, 계단 오르기에서 90\% 의 성공률을 달성했습니다.
휴머노이드 로코-매니퓰레이션 데이터의 병목
휴머노이드가 물체를 다루면서 동시에 이동하려면, 전신 균형과 물체 접촉, 지형을 고려한 보행을 한꺼번에 조율하는 정책(policy)이 필요합니다. 그리고 그런 정책을 학습시키려면 다양한 물체와 지형에 걸친 방대한 시연 데이터가 있어야 합니다. 문제는 이 데이터의 모든 궤적(trajectory)이 물리적으로 그럴듯하면서 동시에 대상 로봇이 실제로 실행할 수 있어야 한다는 점입니다. 이 두 조건을 만족하는 데이터를 대량으로 확보하는 일이 쉽지 않습니다.
기존에 로봇용 데이터를 확보하던 방식은 크게 세 갈래였고, 각각 뚜렷한 한계를 안고 있었습니다.
첫 번째는 원격조작(teleoperation)과 모션 캡처(motion capture) 입니다. 사람이 직접 로봇을 조종하거나 장비를 착용한 배우가 동작을 시연하는 방식으로, 품질 높은 시연을 얻을 수 있습니다. 하지만 새로운 물체나 지형이 등장할 때마다 사람이 로봇을 다시 조작해야 하고, 계측 장비를 갖춘 배우와 물리적인 장면 재구성이 매번 필요합니다. 규모를 키우기가 근본적으로 어렵습니다.
두 번째는 인터넷상의 일상 영상(in-the-wild video)에서 4D 궤적을 재구성 하는 방식입니다. 시각적으로는 폭넓은 상황을 담을 수 있지만, 단안(monocular) 영상 하나에서 카메라, 스케일(scale), 물체 형상, 사람의 체형, 접촉, 월드 좌표계상의 움직임을 모두 추론해야 합니다. 이렇게 정보가 부족한(underconstrained) 관측에서 로봇이 그대로 실행할 수 있는 정밀한 궤적을 복원하기란 대단히 까다롭습니다.
세 번째는 최근 등장한 생성 비디오를 prior로 활용 하는 접근입니다. DAViD, ZeroHSI 같은 방법들은 생성된 영상을 4D 인간-물체 상호작용(Human-Object Interaction, HOI) 복원의 단서로 쓰지만, 카메라나 스케일, 캐릭터의 체형, 물체 형상, 환경 구조 같은 핵심 정보를 영상 생성 이후에 사후적으로 추론하도록 남겨 둡니다. 그래서 여전히 모호함(ambiguity)이 크게 남습니다.
GRAIL의 발상 전환: 먼저 3D 씬을 정하고, 그다음 상호작용을 생성한다
GRAIL의 핵심 아이디어는 순서를 뒤집는 것입니다. 통제되지 않은 영상에서 3D 상호작용 전체를 힘겹게 복원하는 대신, GRAIL은 물체, 씬 형상, 카메라, 스케일, 그리고 로봇 체형에 맞춘 캐릭터를 영상 생성 이전에 먼저 완전히 명시 합니다. 그런 다음 이 알려진 계량적(metric) 좌표계 안에서 비디오 생성 모델을 상호작용의 prior로만 활용해 움직임을 채워 넣습니다.
이는 마치 영화 세트를 먼저 완벽하게 지어 놓고 배우에게 연기를 시키는 것과 비슷합니다. 촬영이 끝난 뒤 화면만 보고 세트의 치수와 카메라 위치를 거꾸로 추측하는 대신, 처음부터 모든 무대 정보를 손에 쥐고 시작하는 셈입니다. 저자들은 이렇게 사전에 알려진 정보를 "특권적 설정(privileged setup)"이라고 부르며, 이 설정이 4D 복원 과정에서 흔히 발생하는 깊이(depth) 모호성과 체형 불일치(morphology mismatch)를 크게 줄여 준다고 설명합니다.
이 발상 전환은 두 가지 병목을 동시에 해결합니다. 원격조작과 모션 캡처가 요구하던 반복적인 물리적 수집을 피할 수 있고, 생성된 궤적이 처음부터 시뮬레이션과 정렬되어 있어 이후의 시뮬레이션-실제(sim-to-real) 정책 학습에 곧바로 쓸 수 있습니다. 실제로 GRAIL은 이 파이프라인으로 집기, 전신 조작, 앉기, 지형 통과를 아우르는 20{,}000 개 이상의 시퀀스를 생성했고, 이 데이터만으로 학습한 시각 정책(visual policy)을 실제 로봇에 배포하는 데 성공했습니다.
GRAIL 파이프라인: 세 단계로 나눠 보기
GRAIL은 3D 물체 에셋 하나를 입력받아 휴머노이드의 로코-매니퓰레이션 시연을 만들어 냅니다. 최종 산출물은 휴머노이드의 관절 운동, 물체의 운동, 그리고 로봇 행동(action)입니다. 전체 과정은 세 단계로 진행됩니다. 먼저 완전히 명시된 3D 구성을 조립해 참조 영상을 생성하고(3.1절), 알려진 3D 구성을 활용해 4D HOI 궤적을 복원한 뒤(3.2절), 복원된 모션을 로봇으로 리타겟팅(retargeting)해 트래킹 정책을 학습합니다(3.3절). 마지막으로 이 데이터로 시각 정책을 학습해 실제 G1에 배포합니다(3.4절).
1단계: 로봇 중심 인간 비디오 생성
로봇 영상을 직접 생성할 수도 있지만, 현재의 비디오 파운데이션 모델은 사람 의 조작 동작에 대한 prior가 훨씬 강하고, 사람의 몸과 손을 복원하는 도구도 로봇 복원 도구보다 성숙해 있습니다. 그래서 GRAIL은 대상 휴머노이드의 체형에 미리 맞춘(prefitted) 인간 캐릭터를 사용해 사람의 상호작용 영상을 합성합니다. 이렇게 하면 나중에 복원된 모션을 로봇으로 옮기는 리타겟팅이 훨씬 수월해집니다.
3D 구성을 조립하는 과정은 이렇습니다. 먼저 Infinigen으로 후보 환경을 만들고 물체 옆에 인간 캐릭터를 기본 자세로 배치합니다. 강체 시뮬레이션(rigid body simulation)으로 물체를 안정적이고 충돌 없는 초기 자세로 안착시킨 뒤, 알려진 카메라 내부 파라미터 \boldsymbol{C}_K 와 외부 파라미터 \boldsymbol{C}_E 를 가진 상태에서 Blender로 첫 프레임을 렌더링합니다. 이 렌더링된 환경은 두 가지 역할을 합니다. 하나는 비디오 생성 모델에 사실적인 시각적 맥락을 제공하는 것이고, 다른 하나는 이후 복원 단계에서 계량적 스케일에 맞춘 깊이 정렬(depth alignment)의 기준이 되는 정답 포인트 클라우드를 제공하는 것입니다.
이어서 시각-언어 모델(Vision-Language Model, VLM)이 렌더링된 프레임을 보고 상호작용 프롬프트를 생성하고, 비디오 파운데이션 모델(예: Kling 2.5 Turbo Pro)이 이 프롬프트를 받아 참조 HOI 영상을 합성합니다. 이때 카메라를 고정한 정적 카메라(static-camera) 설정을 유지해, 미리 알고 있는 카메라 파라미터 (\boldsymbol{C}_K, \boldsymbol{C}_E) 가 복원 단계에서 그대로 재사용될 수 있도록 합니다. 저자들은 끝 프레임을 함께 렌더링해 사람과 물체의 최종 위치를 제어하거나, 각 구간의 마지막 프레임을 다음 구간의 첫 프레임으로 넣는 방식으로 더 긴 시퀀스를 자기회귀적(auto-regressive)으로 만들 수도 있다고 설명합니다.
2단계: 상호작용 인지 4D HOI 재구성
생성된 상호작용 영상이 주어지면, GRAIL은 4D HOI 궤적을 두 단계로 복원합니다. 먼저 사람과 물체의 움직임을 각각 독립적으로 추정한 다음, 이 궤적들을 앞서 확보한 특권적 3D 구성에 앵커링(anchoring)하는 상호작용 인지 조인트 최적화(joint optimization)를 수행합니다.
초기 모션 추정
사람 모션 추정 에는 GENMO를 사용해 생성 영상에서 프레임별 SMPL-X 포즈 파라미터를 얻습니다. 이때 체형은 1단계에서 미리 맞춰 둔 캐릭터의 것으로 고정하고, GENMO는 프레임별 포즈만 담당하게 합니다. 손의 경우 WiLoR로 왼손과 오른손의 MANO 파라미터를 각각 정밀화하고, 가림(occlusion)이나 검출 실패로 누락된 프레임은 시간 축 선형 보간으로 채운 뒤 Savitzky-Golay 필터로 떨림(jitter)을 억제합니다. 이렇게 다듬은 손 포즈는 손목 역기구학(Inverse Kinematics, IK) 정렬을 통해 SMPL-X 몸체에 통합됩니다.
물체 포즈 추적 에는 FoundationPose를 활용합니다. RGB만 사용하는 GRAIL의 설정에 맞추기 위해 깊이 채널을 0 으로 둔 상태로 5 에폭 미세조정(fine-tuning)한 뒤, 알려진 첫 프레임 자세에서 초기화해 6자유도(6-DoF) 자세를 전 프레임에 걸쳐 전파합니다. FoundationPose는 물체 형상과 텍스처, 카메라 파라미터를 알아야 하는데, GRAIL 파이프라인에서는 이 모든 정보가 처음부터 주어져 있어 정확한 추적이 가능합니다. 추가로 SAM2 분할 마스크와 비교해 형상이 일관되지 않은 시퀀스는 걸러 냅니다.
조인트 최적화: 접촉과 깊이를 맞추기
독립적으로 복원한 두 결과를 그냥 합치면 접촉이 붕 뜨거나(floating contact), 물체가 몸을 파고들거나(penetration), 깊이 스케일이 어긋나는(depth-scale drift) 문제가 자주 생깁니다. 그래서 GRAIL은 손 포즈는 안정성을 위해 고정한 채, 전 프레임에 걸쳐 두 궤적을 함께 정밀화하는 전역 최적화를 수행합니다. 궤적을 통째로 최적화하는 대신 잔차(residual) 모션 파라미터만 최적화하는 점이 특징입니다.
전체 정밀화 목적 함수는 다섯 개의 손실 항으로 구성됩니다.
각 항의 역할은 다음과 같습니다. 키포인트 정렬 L_{\text{kp}} 은 최적화된 사람 궤적이 생성 영상과 어긋나지 않도록, 투영된 2D 신체 및 손 키포인트와 검출된 키포인트 사이의 거리를 최소화합니다. 물체 투영 정렬 L_{\text{proj}} 은 FoundationPose가 제공한 이미지 정렬 자세를 유지하도록 규제합니다. 여기에 깊이 손실 L_{\text{depth}}, 접촉 손실 L_{\text{cont}}, 정규화 항 L_{\text{reg}} 이 더해져, 계량적 깊이와 물리적 접촉을 동시에 맞추게 됩니다. 이렇게 특권적 3D 구성을 앵커로 삼는 최적화 덕분에, 단안 영상 복원에서 흔히 발생하던 핵심 모호성들이 통제된 입력으로 바뀝니다.
3단계: 작업 일반 로코-매니퓰레이션 트래킹
복원된 궤적은 아직 운동학(kinematics) 수준의 참조 모션입니다. 이제 이것을 실제 로봇이 실행할 수 있는 행동 데이터로 바꿔야 합니다. 로봇 체형에 맞춰 복원했기 때문에 GMR로 SMPL-X 모션을 Unitree G1으로 리타겟팅할 때 체형 불일치가 줄어들어, 손과 물체, 몸과 씬 사이의 접촉이 더 잘 보존됩니다.
리타겟팅된 궤적을 로봇 행동으로 변환하기 위해, GRAIL은 사전 학습된 전신 제어기(whole-body controller)인 SONIC 위에 트래킹 정책을 학습합니다. 여기서 중요한 설계 결정이 있습니다. 시퀀스마다 혹은 물체마다 별도의 제어기를 맞추는 대신, 관련된 궤적들을 하나의 풀(pool)로 묶어 작업 일반(task-general) 정책 을 학습한다는 점입니다. 관련 궤적이 추가될 때마다 기존 정책이 미세조정의 초기값을 제공하므로, 적응 비용이 풀 전체에 분산됩니다.
이 단계는 서로 보완적인 두 가지 전문화(specialization)로 구성됩니다.
객체 인지 어댑터: 조작을 위한 잠재 잔차
객체 인지 어댑터(object-aware latent adaptor) \pi_\phi 는 얼어붙은(frozen) 전신 제어기에 조작 능력을 더해 주는 작은 정책입니다. SONIC 제어기는 운동학 목표를 유한 스칼라 양자화(Finite Scalar Quantization, FSQ)를 통해 이산 잠재 토큰(latent token) \boldsymbol{z}_t 로 인코딩하고, 이를 관절 수준 행동으로 디코딩합니다. GRAIL은 이 인코더, 양자화기, 디코더를 모두 얼려 둔 채, 조작에 특화된 잔차만 주입하도록 \pi_\phi 하나만 학습합니다.
어댑터는 로봇의 자기수용감각(proprioception) \boldsymbol{s}_t 과 물체 참조 \boldsymbol{o}_t 를 관측합니다. 이 물체 참조에는 로봇 몸체 좌표계에서의 물체 자세, 손과 물체 사이의 변환, 손가락 접촉력, 물체 형상을 요약한 기저 점 집합(Basis Point Set, BPS) 인코딩, 그리고 결정적으로 미래의 참조 물체 자세와 현재 시뮬레이션 자세의 차이를 담은 델타(delta) 관측이 포함됩니다. 어댑터는 64 차원의 잠재 잔차 \Delta\boldsymbol{z}_t 와 손을 여닫는 2 차원 이진 신호를 출력합니다.
여기서 \lambda = 0.1 로 잔차의 크기를 조절해 양자화 전에 더합니다. 손 신호는 여닫기 파지(grasp) 신호가 되어 손마다 7 개의 손가락 관절 위치로 매핑됩니다. BPS 인코딩이 물체 형상 정보를 제공하기 때문에, 단 하나의 \pi_\phi 로 다양한 형상의 물체를 두루 다룰 수 있다는 점이 핵심입니다.
씬 인지 트래커: 지형을 읽는 전신 제어
계단을 오르거나 연석(curb)을 넘거나 의자에 앉는 것처럼 씬과 상호작용하는 작업에서는, 평지를 전제로 학습된 제어기의 prior가 그대로는 통하지 않습니다. 그래서 씬 인지 트래커(scene-aware tracker) 는 어댑터를 붙이는 대신 제어기 자체를 미세조정합니다. 이때 로봇 주변의 지역 높이 맵(local height map) h_t 를 2D 합성곱 인코더 \epsilon_h 로 처리해 인코더 입력에 추가합니다. 11 \times 11 격자로 표현된 높이 맵이 지형 맥락을 담아, 제어기가 지형과 씬 형상에 맞춰 전신 동작을 조정하도록 가르칩니다. 학습을 안정화하기 위해 입력 모션 목표를 복원하는 보조 디코더를 함께 두어, 잠재 표현이 참조 궤적에서 벗어나지 않도록 규제합니다.
두 트래커는 시뮬레이션 로봇이 참조를 잘 따라가도록 유도하는 모션 트래킹 보상(reward)을 공유하며, 여기에 부드러움과 안전을 위한 정규화 페널티가 더해집니다. 객체 인지 트래킹의 경우 물체 자세 보상과, 접촉이 일어나는 구간에서만 활성화되는 파지 보상이 추가됩니다. 파지 보상은 손가락이 물체와 접촉을 유지하도록, 엄지와 검지가 물체를 양쪽에서 감싸 안정적인 집게 파지(pinch grasp)를 이루도록, 그리고 모든 손끝이 접촉 중심으로 모이도록 세 항으로 설계되어 있습니다. 학습은 Isaac Lab에서 PPO(Proximal Policy Optimization)로, 64 개의 NVIDIA L40 GPU에서 GPU당 1{,}024 개 환경을 돌려 30{,}000 반복 수행합니다.
시뮬레이션에서 실제 로봇으로
마지막으로 GRAIL은 학습된 객체 인지 트래커와 씬 인지 트래커를 각각 자기중심(egocentric) 시각 정책으로 증류(distillation)합니다. 배포되는 모델은 머리에 장착된 카메라의 RGB 입력을 받아 SONIC 제어기의 잠재 토큰을 출력하며, 도메인 무작위화(domain randomization)로 학습되어 sim-to-real 전이를 돕습니다. 실제 배포 시에는 Unitree G1을 NVIDIA RTX 5090 GPU가 달린 데스크톱과 연결해, G1에 장착한 카메라 영상과 자기수용감각 입력을 스트리밍하고 로봇 행동을 다시 전송하는 방식으로 10 Hz에서 추론을 실행합니다.
실험 결과
GRAIL의 실험은 파이프라인의 세 단계를 각각 검증합니다. 생성된 4D HOI가 기존 방법보다 물리적으로 실행 가능한지, 이 궤적들을 대규모 작업 일반 정책으로 변환할 수 있는지, 그리고 이 데이터로 학습한 시각 정책이 실제 로봇에서 자율적으로 동작하는지를 차례로 확인합니다.
4D HOI 생성 품질 비교
먼저 GRAIL의 HOI 생성 부분을 학습 기반 방법(CHOIS, HOIDiff)과 학습이 필요 없는 방법(DAViD)과 비교했습니다. ComAsset에서 뽑은 20 개의 일상 물체를 공통 평가 집합으로 사용했습니다. 평가 지표는 기하학적 품질(접촉 거리, 관통 비율), 지각적 사실성(VLM이 매긴 1~5 점 상호작용 점수, 모션 부드러움), 그리고 물리적 실행 가능성(InterMimic로 물리 시뮬레이션에서 재현했을 때의 추적 성공률과 편차)의 세 축입니다.
| 방법 | 접촉 거리 ↓ | 관통 비율 ↓ | 상호작용 점수 ↑ | 추적 성공률(SR) ↑ | 몸체 편차 ↓ | 물체 편차 ↓ |
|---|---|---|---|---|---|---|
| HOIDiff | 0.012 | 2.07\% | 1.79 | 15.8\% | 0.2120 | 0.3352 |
| CHOIS | 0.034 | 3.74\% | 2.47 | 10.5\% | 0.2564 | 0.3642 |
| DAViD | 0.246 | 1.46\% | 2.74 | 24.0\% | 0.4723 | 0.5826 |
| GRAIL (Ours) | 0.008 | 0.90\% | 3.58 | 88.9\% | 0.0913 | 0.0851 |
결과는 명확합니다. GRAIL은 거의 모든 지표에서 가장 앞섰고, 특히 물리적 실행 가능성을 나타내는 추적 성공률에서 88.9\% 를 기록해 두 번째로 높은 DAViD의 24.0\% 를 큰 격차로 앞섰습니다. 생성된 4D HOI 시퀀스가 지각적으로 사실적일 뿐 아니라 물리적으로도 실행 가능하다는 것, 다시 말해 로봇 학습에 곧바로 쓸 수 있는 데이터라는 점을 보여 줍니다.
대규모 데이터셋과 작업 일반 트래킹 성능
이 생성 파이프라인으로 GRAIL은 Unitree G1을 위한 대규모 데이터셋을 구축했습니다. Robocasa, ComAsset, OMOMO, Hunyuan3D에서 가져온 1{,}000 개의 물체 에셋과 절차적으로 생성한 1{,}000 개의 지형 구성을 짝지어, 20{,}000 개가 넘는 시퀀스를 만들었습니다. 이 데이터는 집기(탁자와 바닥), 전신 조작(상자나 카트를 들거나 밀거나 옮기기), 앉기(다양한 의자), 지형 통과(연석, 경사, 계단)의 네 범주를 아우릅니다. 특히 지형 통과는 실제 배포에 필수적이지만 기존 데이터셋에서 크게 부족했던 부분입니다.
작업 일반 트래킹 성능은 최근의 휴머노이드 로코-매니퓰레이션 베이스라인인 HDMI, ResMimic와 비교했습니다. 43 개 물체에 걸친 124 개 모션 벤치마크에서, 성공률(SR), 물체 위치 오차(ObjPos), 지역 관절 오차(MPJPE-L)를 측정했습니다.
| 방법 | 성공률(SR) ↑ | 물체 위치 오차 ↓ | 관절 오차(MPJPE-L) ↓ |
|---|---|---|---|
| HDMI | 48.5\% | 0.283 | 122.3 |
| ResMimic | 49.2\% | 0.393 | 80.9 |
| Ours w/o SONIC | 45.0\% | 0.395 | 243.5 |
| Ours w/o \pi_\phi | 39.7\% | 0.303 | 37.1 |
| Ours w/o 상대 관측 | 57.9\% | 0.257 | 43.0 |
| Ours (Full) | 81.4\% | 0.135 | 41.8 |
GRAIL은 성공률 81.4\% 로 베이스라인들을 큰 폭으로 앞섰습니다. 주목할 점은 HDMI와 ResMimic가 손가락 자유도를 제어하지 못해 팔이나 몸 전체로 물체를 나르거나 미는 접촉에 의존하고, 작업마다 별도의 정책을 학습하는 반면, GRAIL은 한 계열(family) 안의 방대한 궤적 풀에 대해 작업 일반 정책 하나를 학습한다는 점입니다.
아래쪽 절제 실험(ablation study)은 각 구성 요소의 기여를 보여 줍니다. SONIC을 빼고 처음부터 학습하면 몸체 추적이 크게 나빠지고 성공률도 떨어집니다. 잠재 어댑터 \pi_\phi 를 끄면(즉 순수 SONIC만 쓰면) 몸체 추적은 가장 좋지만 조작 성공률은 가장 낮아집니다. 저자들은 이를 두고 "정확한 몸체 모방만으로는 물체 상호작용에 충분하지 않다"고 설명합니다. 상대 관측을 절대 관측으로 바꿔도 성공률이 하락했습니다.
실제 로봇 배포 결과
가장 중요한 검증은 실제 로봇입니다. GRAIL은 생성 데이터만으로 학습한 자기중심 시각 정책을 실제 Unitree G1에 배포했습니다.
계단 오르기의 경우, GRAIL의 다양한 지형 통과 시퀀스로 학습한 정책이 실제 환경에서 90\% 의 성공률을 달성했습니다. 물체 집기의 경우 물체마다 접근-집기 시퀀스 200 개로 학습했는데, 학습 때 본 물체(seen)에 대해 평균 84\% 의 성공률을, 학습 때 보지 못한 물체(unseen)에 대해서도 80\% 의 성공률을 기록했습니다. 합성 데이터만으로 학습한 정책이 처음 보는 물체로도 잘 일반화된다는 것은, GRAIL이 만들어 낸 데이터의 다양성과 품질을 방증합니다.
생성 비용과 효율성
실용적인 관점에서 데이터 한 건을 만드는 데 드는 비용도 중요합니다. 논문은 A100 GPU 한 장 기준으로 5 초, 121 프레임짜리 시퀀스 하나를 생성하는 데 걸리는 시간을 단계별로 보고합니다.
| 단계 | 소요 시간 |
|---|---|
| 비디오 생성 (Kling API) | 약 1 분 |
| 사람 모션 추정 | 약 2 분 |
| 물체 포즈 추적 | 약 1 분 |
| 최적화 전처리 | 약 2 분 |
| 조인트 최적화 | 약 8 분 |
| 합계 | 약 14 분 |
전체 파이프라인은 시퀀스당 약 14 분이 걸리며, 그중 조인트 최적화가 약 8 분으로 가장 큰 비중을 차지합니다.
트래킹 정책 학습 비용도 인상적입니다. 각 정책은 시퀀스마다 따로 맞추는 대신 공유 풀 전체에 대해 함께 학습되므로, 모션 하나당 상각(amortized) 비용으로 환산됩니다. 64 개 L40 GPU에서 30{,}000 반복을 학습하는 데 약 30 시간이 걸리고 한 번에 2{,}000~4{,}000 개 모션을 함께 학습하므로, 모션 하나당 비용은 약 0.5~0.9 분에 불과합니다. 새 모션이 추가되어도 처음부터 다시 학습하지 않고 현재 정책에서 웜스타트(warm-start)해 미세조정하므로, 대개 6{,}000 반복(전체의 약 1/5) 안에 수렴합니다.
한계점 및 향후 전망
GRAIL은 강력하지만 몇 가지 전제와 한계를 안고 있습니다. 파이프라인은 3D 물체 에셋과 시뮬레이터에 바로 쓸 수 있는 씬 구성, 그리고 요청한 상호작용을 잘 따라 주는 비디오 파운데이션 모델의 존재를 가정합니다. 심한 가림이나 빠른 움직임, 비디오 생성 모델이 물체 외형을 일관되게 유지하지 못하는 경우에는 복원 품질이 떨어지고, 실패 사례를 걸러 내는 단계에서 적지 않은 비율의 시퀀스가 버려집니다. 또한 작업 일반 트래킹 정책은 관련 4D HOI 풀 전체에 학습을 상각하지만, 모션 계열이 크게 달라지면 여전히 학습이나 미세조정이 필요합니다.
이런 한계에도 불구하고 GRAIL이 시사하는 방향은 분명합니다. 이 연구는 잘 갖춰진 3D 에셋과 비디오 생성 모델의 prior를 결합하면, 물리적 로봇을 거의 사용하지 않고도 로봇 학습에 곧바로 쓸 수 있는 데이터를 대규모로 만들어 낼 수 있음을 실제 로봇 배포로 입증했습니다. 저자들의 표현처럼, 자산 조건부 생성 데이터가 원격조작과 모션 캡처를 보완하며 확장 가능한 휴머노이드 로코-매니퓰레이션의 한 경로가 될 수 있다는 것입니다. 앞으로 3D 에셋 생성과 비디오 파운데이션 모델이 더 발전할수록, 이렇게 완전히 디지털로 데이터를 만들어 내는 방식의 가치는 더욱 커질 것으로 보입니다.
GRAIL 사용해 보기
GRAIL은 코드와 데이터셋이 공개되어 있어 직접 살펴볼 수 있습니다. 공식 GitHub 저장소에는 데이터 생성 파이프라인과 문서가 정리되어 있고, 생성된 대규모 로코-매니퓰레이션 데이터셋은 Hugging Face에 공개되어 있습니다.
git clone https://github.com/NVlabs/GRAIL.git
cd GRAIL
자세한 설치 및 실행 방법은 저장소의 온라인 문서를 참고하시기 바랍니다. 생성된 데이터셋은 아래 Hugging Face 데이터셋 페이지에서 내려받을 수 있습니다.
GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors 논문
GRAIL 프로젝트 홈페이지
GRAIL GitHub 저장소
PhysicalAI-Robotics-Locomanipulation-GRAIL 데이터셋 (Hugging Face)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 