SONIC: 모션 트래킹을 초대규모로 확장한 휴머노이드 전신 제어 모델 (feat. NVIDIA)

9bow · 7월 8, 2026, 7:30오전

SONIC 소개

지난 몇 년간 우리는 인공지능(AI)이 "규모를 키우면 강해진다"는 사실을 반복해서 목격했습니다. 더 큰 모델에 더 많은 데이터와 더 많은 연산을 투입하면 작은 모델로는 불가능했던 일반화와 견고함이 창발한다는 것입니다. 그런데 유독 이 공식이 잘 통하지 않던 분야가 있습니다. 바로 다리로 걷고 손으로 물건을 다루는 휴머노이드 로봇의 전신 제어(whole-body control) 입니다.

이 글에서 소개하는 SONIC(Supersizing mOtion tracking for Natural humanoId Control) 은 NVIDIA DAIR 랩이 Science Robotics(2026년 1월)에 발표한 연구로, "모션 트래킹(motion tracking)"이라는 과제를 초대규모로 확장하면 하나의 정책만으로 자연스럽고 견고한 휴머노이드 전신 제어가 가능하다는 것을 보였습니다. 연구팀은 모델 크기를 1.2M에서 42M 매개변수로, 데이터를 700시간 분량의 모션 캡처(1억 프레임 이상)로, 연산을 21,000 GPU 시간으로 각각 키워 올리면서, 언어 모델이나 이미지 생성 모델에서 관찰되던 스케일링의 이점이 휴머노이드 제어에서도 그대로 나타남을 실증했습니다.

휴머노이드 제어는 왜 스케일링되지 못했을까

GPT 계열 모델은 수조 개의 토큰과 25,000개 이상의 GPU로 학습되고, 이미지와 영상 생성 모델은 수천 개의 GPU로 수십억 장의 이미지를 처리합니다. 이런 파운데이션 모델(foundation model)들은 하나같이 "규모가 곧 능력"이라는 일관된 패턴을 보여주었습니다. 그러나 시뮬레이션에서 학습해 실제 로봇으로 옮기는(sim-to-real) 휴머노이드 제어에서는 이런 스케일링의 성과가 좀처럼 나오지 않았습니다. 최신 휴머노이드 제어 정책(policy)조차 대개 3계층 MLP 정도의 작은 신경망이고, 소수의 GPU에서 단일 과제만을 위해 학습되는 경우가 많았습니다.

연구팀은 그 근본 원인을 과제 선택(task selection) 에서 찾습니다. 기존의 대표적인 접근법들은 각각 뚜렷한 한계를 안고 있었습니다.

첫 번째는 과제별 보상 설계(task-specific reward engineering) 입니다. 걷기(locomotion) 같은 과제는 시나리오마다 보상 항을 일일이 손으로 설계해야 합니다. 문제는 이렇게 설계한 보상이 다른 행동으로 전이되지 않는다는 것입니다. "앞으로 자연스럽게 걷기"를 위해 만든 보상은 춤추기, 넘어진 뒤 일어나기, 원격 조작(teleoperation)에는 거의 신호를 주지 못합니다. 새로운 능력을 하나 추가할 때마다 보상과 목표를 다시 설계해야 하니, 규모를 키우기가 원천적으로 어렵습니다.

두 번째는 AMP, ASE, CALM 같은 생성적 모방 학습(generative imitation) 입니다. 이 방법들은 모션 분포를 맞추는 목표와 간단한 과제 보상을 결합해 통합된 학습 목표를 제공합니다. 하지만 판별자(discriminator)에 기반한 학습 신호는 모션 데이터셋이 커지고 다양해질수록 특정 패턴만 반복 생성하는 모드 붕괴(mode collapse)에 취약하다는 점이 선행 연구에서 이미 지적되었습니다. 데이터가 다양해질수록 판별자가 "진짜와 가짜를 구별"하기 어려워지면서 피드백이 점점 무의미해지기 때문입니다.

발상의 전환: 모션 트래킹을 확장 가능한 기초 과제로

SONIC의 핵심 통찰은 모션 트래킹을 휴머노이드 제어의 확장 가능한 기초 과제(scalable foundational task)로 삼는 것 입니다. 모션 트래킹은 사람의 모션 캡처 데이터를 참조 동작으로 삼아, 로봇이 그 동작을 그대로 따라 하도록 학습하는 과제입니다. 여기서 결정적인 장점이 나옵니다. 모션 캡처 데이터는 프레임 단위의 조밀한(dense) 지도 신호 를 공짜로 제공하므로, 보상 설계가 필요 없습니다. 각 프레임이 "지금 이 자세를 취하라"는 명시적 목표가 되어 주기 때문입니다.

게다가 인류는 이미 수십 년간 걷기, 달리기, 춤, 스포츠, 물체 조작을 아우르는 방대한 모션 캡처 데이터를 축적해 왔습니다. 연구팀은 이 자산을 지렛대 삼아, 물리 기반 모션 트래킹을 1억 프레임(50fps 기준) 규모로, 128개 GPU 학습으로 "초대규모화(supersizing)"했습니다. 이렇게 학습한 트래커는 다양한 인간 행동을 실시간으로 따라 할 수 있을 뿐 아니라, 내비게이션, 원격 조작, 시각-언어-행동(Vision-Language-Action, VLA) 모델 연동 같은 여러 하위 과제로 자연스럽게 확장됩니다.

연구팀이 강조하는 기여는 크게 세 가지입니다. 첫째, 모션 트래킹이 연산과 데이터 다양성 모두에 대해 유리한 스케일링 특성을 가진 기초 과제임을 보였습니다. 둘째, 대화형 제어를 위한 실시간 키네매틱 모션 플래너(kinematic motion planner)와, 로봇, 인간, 하이브리드 모션 입력을 하나의 양자화된 표현으로 묶는 유니버설 토큰 공간(universal token space) 을 제안했습니다. 셋째, 이 토큰 공간을 통해 VLA 파운데이션 모델과 연동하여, 손과 발을 동시에 조율해야 하는 전신 로코-매니퓰레이션(loco-manipulation)까지 자율적으로 수행함을 실제 로봇에서 입증했습니다.

핵심 방법론: 유니버설 제어 정책

SONIC의 심장부는 로봇 모션, 인간 모션, 그리고 하이브리드 모션(상체 키포인트와 하체 로봇 모션의 결합)을 하나의 공유 잠재 표현(shared latent representation) 으로 처리하는 유니버설 제어 정책입니다. 서로 다른 형식의 모션 명령이 들어와도 특화된 인코더들이 이를 공통의 토큰 공간으로 변환하기 때문에, 게임패드 제어부터 VR 원격 조작, 영상 기반 조작, 텍스트와 음악 기반 제어까지 동일한 정책 하나로 소화할 수 있습니다.

모션 트래킹을 강화 학습 문제로 정식화

연구팀은 휴머노이드 모션 트래킹을 마르코프 결정 과정(Markov Decision Process, MDP) \mathcal{M} = \langle \mathcal{S}, \mathcal{A}, \mathcal{T}, \mathcal{R}, \gamma \rangle 로 정식화하고, PPO(Proximal Policy Optimization)로 기대 누적 보상 \mathbb{E}\left[\sum_{t=1}^{T} \gamma^{t-1} r_t\right] 를 최대화하도록 학습합니다.

상태(state) 는 두 부분으로 구성됩니다. 하나는 관절 자세, 관절 속도, 몸통 각속도, 중력 벡터, 직전 행동으로 이루어진 자기 수용 감각(proprioception) 정보이고, 다른 하나는 따라 해야 할 모션 명령입니다. 특히 자기 수용 감각 정보는 최근 10스텝의 이력을 함께 담아, 정책이 앞으로의 움직임을 미리 대비하는 예측적(anticipatory) 행동을 하도록 돕습니다. 모든 상태량은 회전 불변성을 위해 로봇의 로컬 좌표계에서 표현되며, 회전은 6D 표현을 사용합니다.

행동(action) 은 각 관절의 목표 위치이며, 이는 각 관절의 비례-미분(PD) 제어기로 추종됩니다. 보상(reward) 은 추종 보상과 페널티 항의 합으로, 루트 위치와 방향, 몸통 링크의 위치, 방향, 선속도, 각속도의 오차를 최소화합니다. 여기에 머리, 양 손목, 양 발목 같은 핵심 말단부(end-effector)의 위치 오차를 직접 최적화하는 항과, 흔들림 방지 및 발의 부드러운 접촉을 유도하는 페널티가 더해집니다. 마지막으로 마찰 계수, 반발 계수, 초기 관절 위치, 무게중심 등을 무작위로 바꾸고 외력을 주기적으로 가하는 도메인 무작위화(domain randomization)로 견고함을 끌어올립니다.

세 개의 인코더와 유니버설 토큰

SONIC이 여러 형식의 입력을 하나의 정책으로 다룰 수 있는 비결은 인코더-디코더 구조에 있습니다. 세 개의 특화된 인코더가 서로 다른 임베딩(embedding) 입력을 받아 공유 잠재 공간으로 사상합니다.

로봇 모션 인코더 \mathcal{E}_r 은 미래 몇 프레임에 걸친 로봇 관절 위치와 속도를 인코딩합니다.
인간 모션 인코더 \mathcal{E}_h 는 3D 인간 관절 위치(SMPL 형식)를 인코딩합니다.
하이브리드 모션 인코더 \mathcal{E}_m 은 현재 프레임의 상체 희소 키포인트(머리와 양손)와 하체 로봇 모션을 결합해 인코딩합니다.

이렇게 얻은 잠재 표현은 벡터 양자화기(vector quantizer)를 거쳐 유니버설 토큰 \boldsymbol{z} 로 변환됩니다. 여기서 연구팀은 FSQ(Finite Scalar Quantization)를 채택했습니다. 널리 쓰이는 VQ-VAE 대신 FSQ를 고른 이유는 명확합니다. FSQ는 코드북의 상당 부분이 사용되지 않는 코드북 붕괴(codebook collapse)를 피하고, 별도의 커밋먼트 손실이나 코드북 EMA 갱신이 필요 없으며, PPO 최적화와 잘 맞는 깔끔한 스트레이트-스루(straight-through) 그래디언트를 제공하기 때문입니다.

토큰은 두 개의 디코더로 이어집니다. 로봇 제어 디코더 \mathcal{D}_c 는 토큰과 자기 수용 감각 상태를 받아 관절을 움직이는 모터 명령 \boldsymbol{a}_t = \mathcal{D}_c(\boldsymbol{z}, \boldsymbol{s}^{\text{p}}_t) 을 생성합니다. 로봇 모션 디코더 \mathcal{D}_r 은 토큰만 받아 로봇 모션 명령을 복원하며, 잠재 공간의 품질을 높이는 보조 감독 신호이자 인간에서 로봇으로의 암묵적 리타게팅(retargeting) 모듈 역할을 합니다.

전체 학습 손실은 네 가지 항의 합으로 구성됩니다.

\mathcal{L} = \mathcal{L}_{\text{ppo}} + \mathcal{L}_{\text{recon}} + \mathcal{L}_{\text{token}} + \mathcal{L}_{\text{cycle}}

여기서 \mathcal{L}_{\text{recon}} 은 각 입력 형식에 대한 로봇 모션 복원 손실입니다. 특히 입력이 인간 모션일 때 이 항은 인간에서 로봇으로의 리타게팅 손실로 작동하여, 인간 모션 데이터로부터 직접 학습할 수 있게 합니다. \mathcal{L}_{\text{token}} 은 세 인코더의 출력을 서로 정렬시켜, 같은 동작이면 로봇 형식이든 인간 SMPL 자세든 하이브리드 원격 조작 명령이든 비슷한 토큰을 만들도록 강제합니다. \mathcal{L}_{\text{cycle}} 은 인간 토큰에서 복원한 로봇 모션을 다시 인코딩했을 때 원래의 로봇 토큰과 일치하도록 하는 순환 일관성(cycle consistency) 손실로, 잠재 공간의 정합성을 한층 강화합니다.

이 네 손실은 하나의 종단간(end-to-end) 학습 루프에서 함께 최적화됩니다. 학습에는 비대칭 액터-크리틱(asymmetric actor-critic)을 사용해, 크리틱은 시뮬레이션의 특권적 상태(전신 링크 위치, 노이즈 없는 관측 등)를 보는 반면, 액터는 실제 배포 시 얻을 수 있는 노이즈 섞인 관측만을 사용합니다. 흥미롭게도 연구팀은 "양자화와 강화 학습의 결합에서 어떤 학습 불안정성도 관찰되지 않았다" 고 보고합니다. 오히려 보조 손실들이 잠재 공간을 규제하여 PPO 최적화를 안정화했다는 것입니다.

실시간 키네매틱 모션 플래너

트래커가 "주어진 참조 동작을 얼마나 잘 따라 하는가"를 담당한다면, 사용자의 의도를 실제 참조 동작으로 바꿔 주는 것은 키네매틱 모션 플래너 입니다. 이 플래너는 트래킹 정책과 동일한 대규모 모션 데이터로 학습된 잠재 생성 모델로, 계획 과정을 자기회귀(autoregressive) 방식의 모션 인비트위닝(in-betweening) 생성 과제로 정식화합니다. 과거 상태를 담은 문맥 키프레임과, 사용자 명령에서 나온 목표 키프레임 사이를 자연스럽게 메우는 방식입니다.

플래너는 매 계획 단계마다 0.8초에서 2.4초 길이의 모션 조각을 생성하며, 그 길이는 신경망이 유연성과 견고함을 극대화하도록 스스로 정합니다. 생성은 잠재 토큰 공간에서 마스킹된 토큰 예측(masked token prediction) 방식으로 이뤄지는데, 가장 확신하는 토큰부터 순차적으로 확정해 나가며 예측을 정교화합니다. 추론 시에는 코사인 스케줄에 따라 각 단계에서 확정할 토큰 비율을 늘려 갑니다.

성능도 실용적입니다. 플래너는 일반 노트북에서 5ms 미만, Jetson Orin GPU에서 12ms의 추론 시간을 달성하며, 재계획은 100ms마다, 또는 사용자 명령이 바뀌는 즉시 이뤄져 매우 반응성 높은 제어가 가능합니다. 여기에 임계 감쇠 스프링 모델(critically damped spring model)을 더해 루트 위치와 방향을 생성하는데, 이는 6.0m/s에서 갑자기 -6.0m/s로 방향을 뒤집는 것 같은 비현실적 명령을 걸러 주는 안전장치 역할을 합니다.

이 플래너 하나로 SONIC은 학습 후 재학습 없이 다양한 응용을 지원합니다. 0.0m/s에서 6.0m/s까지의 속도와 0도에서 360도까지의 방향을 받는 내비게이션은 물론, 취한 걸음, 다친 걸음, 신난 걸음, 은밀한 걸음 같은 스타일 변주까지 가능합니다. 또한 골반 높이를 0.3m에서 0.8m까지 조절하는 쪼그려 앉기와 무릎 꿇기, 팔꿈치와 무릎으로 전 방향 이동하는 기어가기, 그리고 복싱 같은 역동적 동작도 소화합니다.

멀티모달과 원격 조작 인터페이스

SONIC은 유니버설 토큰 공간 덕분에 여러 입력 방식을 하나의 정책으로 받아들입니다. 멀티모달 제어에는 GEM이라는 통합 모션 생성 모델을 사용해, 영상, 자연어 명령, 음악이라는 세 가지 입력에서 인간 모션을 생성합니다. 예컨대 웹캠 영상으로 사람의 동작을 실시간 추정해 로봇이 따라 하게 하거나, "앞으로 걸어", "왼발로 차", "원숭이처럼 춤춰" 같은 텍스트 명령을 즉시 로봇 동작으로 옮길 수 있습니다. 음악에 맞춰 리듬과 템포를 반영한 춤을 생성하는 것도 가능하며, 세 방식 사이를 매끄럽게 전환할 수도 있습니다.

VR 원격 조작 인터페이스는 두 종류입니다. 전신 원격 조작 은 PICO 헤드셋과 발목 트래커, 손 컨트롤러로 전신 SMPL 자세를 스트리밍해 인간 모션 인코더 \mathcal{E}_h 로 넣습니다. 3점 원격 조작 은 발목 트래커 없이 헤드셋과 컨트롤러만으로 머리와 양손의 상체 자세를 받고, 하체는 키네매틱 플래너가 생성합니다. 두 인터페이스 모두 동일한 유니버설 토큰 공간을 사용하며, 여기서 수집한 원격 조작 데이터는 이후 VLA 파운데이션 모델 학습에 그대로 쓰입니다.

데이터셋: 700시간의 모션 캡처

SONIC의 스케일링을 떠받치는 것은 방대한 데이터입니다. 원본 데이터셋은 약 700시간 분량의 인간 모션 캡처로, 걷기 같은 기본 이동부터 일상 동작, 제스처, 다양한 격투 동작까지 폭넓은 행동을 담고 있습니다. 이를 GMR과 PyRoki로 Unitree G1 휴머노이드에 리타게팅한 뒤, 계단 오르기나 앉기처럼 대상 로봇이 물리적으로 수행할 수 없는 동작을 걸러내어 611시간(50Hz 기준 1억 프레임 이상)의 학습 데이터를 얻었습니다.

데이터셋은 33개의 주요 카테고리와 8,447개의 세부 카테고리에 걸쳐 있습니다. 기본 및 고급 이동, 힙합과 라틴, 보그 등의 춤, 제스처, 검술과 무술 같은 격투, 한 손 및 두 손 물체 조작, 밸브와 레버, 빗자루 같은 도구 사용, 다친 걸음, 취한 상태나 좀비, 잠입 같은 스타일 변주, 역할극에 이르기까지 매우 다양합니다.

엄밀한 평가를 위해 연구팀은 세 개의 테스트셋을 구성했습니다. test-content(6,998개 클립, 15시간)는 학습에 전혀 없던 새로운 세부 카테고리로 이뤄진 분포 밖(out-of-distribution, OOD) 일반화를 측정하고, test-repetition(6,306개 클립, 12시간)은 학습에 있던 동작 유형의 새로운 연기, 반복을 얼마나 잘 처리하는지를 봅니다. 여기에 외부 벤치마크로, 다른 리타게팅 파이프라인으로 만든 공개 데이터셋 PHUMA를 추가했습니다.

한 가지 반가운 소식은, 이 모션 캡처 데이터의 상당 부분이 BONES-SEED 라는 이름으로 Hugging Face에 공개되었다는 점입니다. 이 데이터셋은 522명의 배우가 연기한 142,220개의 주석 달린 모션 시퀀스(288시간)를 자연어 설명, 시간 구간 라벨과 함께 담고 있습니다.

실험 결과 및 성능 분석

규모가 곧 성능: 스케일링 트렌드

SONIC은 데이터, 모델, 연산이라는 세 축 모두에서 성능이 꾸준히 향상되는 스케일링 특성을 보였습니다. 데이터는 400만에서 1억 프레임까지, 모델은 1.2M에서 16M을 거쳐 42M 매개변수까지, 연산은 16개에서 128개 GPU까지 늘려 가며 실험했습니다. 그 결과 가장 큰 모델은 test-content에서 99.6% 성공률과 23.8mm의 관절 위치 오차(MPJPE-L)를 기록하여, 가장 작은 1.2M 모델의 98.0% 성공률, 27.7mm 오차를 앞섰습니다. 무엇보다 성능 향상이 OOD 동작에서 가장 두드러졌다는 점은, 규모가 곧 일반화 능력으로 이어진다는 것을 확인해 줍니다.

기존 트래커 및 스페셜리스트와의 비교

최신 트래커들과의 비교에서 SONIC의 우위는 뚜렷합니다. test-content, test-repetition, PHUMA 세 벤치마크에서 SONIC은 각각 98.7%, 99.6%, 97.0%의 성공률을 기록한 반면, BeyondMimic은 81.6%, 85.8%, 73.4%, Any2Track은 31.1%, 38.4%, 58.6%에 그쳤습니다. 추종 정확도에서도 SONIC은 23.2mm의 MPJPE-L로, BeyondMimic의 39.1mm 대비 41% 낮은 오차를 보였습니다. 특히 영상 기반 자세 추정과 다른 리타게팅 파이프라인으로 만들어져 훨씬 더 분포 밖에 있는 PHUMA에서 97.0%를 달성한 것은 주목할 만합니다.

더 인상적인 결과는 단일 과제 전문가와의 비교입니다. 걷기에 특화되어 설계, 학습된 최신 이동 제어기 OpenHomie와 속도 추종을 겨룬 결과, SONIC은 98.5%의 전체 생존율을 기록한 반면 OpenHomie는 43.0%에 머물렀습니다. OpenHomie의 생존율은 약 1.5m/s를 넘어서면 20% 아래로 무너진 데 비해, SONIC은 약 4m/s까지 거의 100%에 가까운 안정성을 유지했습니다. 특정 과제에 특화된 전문가보다, 다양한 전신 데이터로 학습한 범용 정책이 오히려 더 나았던 것입니다.

시뮬레이션에서 실세계로

시뮬레이션에서 학습한 정책이 실제 로봇에서도 통할까요? 연구팀은 Unitree G1에 정책을 올려 123개의 다양한 모션 시퀀스로 검증했습니다. 실세계 정책은 시뮬레이션의 100%에 근접한 99.2% 성공률을 달성했고, 전체 MPJPE-L은 실세계 25.7mm(시뮬레이션 22.3mm)로 그 격차가 크지 않았습니다. 부위별로 보면 상체는 실세계 22.2mm 대 시뮬레이션 21.8mm로 거의 차이가 없었지만, 발은 53.7mm 대 29.0mm로 격차가 가장 컸습니다. 이는 실제 접촉 역학 아래에서 정밀한 발 위치 제어가 얼마나 어려운지를 잘 보여 줍니다.

VLA 기반 전신 로코-매니퓰레이션

SONIC의 유니버설 토큰 인터페이스가 진가를 발휘하는 지점은 VLA 파운데이션 모델과의 연동입니다. 연구팀은 GR00T N1 계열의 GR00T N1.5 VLA 모델을 토큰 인터페이스에 연결하여, 복잡도가 점점 높아지는 다섯 가지 로코-매니퓰레이션 과제를 자율적으로 수행하게 했습니다. VLA는 64차원의 유니버설 모션 토큰과 14차원의 손 관절로 이뤄진 78차원 행동을 예측합니다.

과제별 성공률은 아래와 같습니다.

과제 / Task	인터페이스	학습 데이터	시도	성공률
사과를 접시에 (Apple to plate)	3점	300개 궤적	20	90%
물체 집기: 당근 (carrot)	전신	3,900개 궤적	20	75%
물체 집기: 수세미 (scrub)	전신	3,900개 궤적	20	95%
발로 쓰레기통 열기	전신	200개 궤적	10	70%
캔을 쓰레기통에 버리기	전신	1,000개 궤적	10	60%
평균 (5개 과제)				75%

특히 가장 복잡한 "캔을 쓰레기통에 버리기"는 테이블로 걸어가 한 손으로 캔을 집고, 쓰레기통으로 이동한 뒤, 한 발로 균형을 잡으면서 다른 발로 페달을 밟아 뚜껑을 열고, 캔을 안에 던지는 다섯 단계를 하나의 행동 시퀀스로 이어야 합니다. 손 조작과 발 조작, 동적 균형을 동시에 요구하는 이 과제를 60% 확률로 성공한 것은, 상체 제어와 이동을 분리하는 행동 공간으로는 구현하기 어려운 능력입니다.

FSQ 토큰이 VLA 학습에 유리한 이유

연구팀은 왜 굳이 모션을 토큰으로 양자화했을까요? 핵심 이유 중 하나가 바로 하위 VLA 학습입니다. 연구팀은 VLA가 FSQ 토큰(78차원)을 예측하는 방식과, SMPL 전신 자세를 직접 예측하는 방식(81차원)을 비교했습니다. 그 결과 FSQ 토큰 방식이 평균 68% 대 27%로, SMPL 방식보다 42%p 높은 성공률을 보였습니다. 복잡한 과제일수록 격차는 더 벌어져, "캔을 쓰레기통에 버리기"에서는 FSQ가 60%인 반면 SMPL은 0%였습니다. 저차원의 이산적 토큰 공간이 VLA가 학습하기에 훨씬 쉬운 반면, 고차원 연속 SMPL 자세 공간에서는 작은 예측 오차가 큰 추종 실패로 증폭되기 때문입니다.

양자화기 자체에 대한 분석도 흥미롭습니다. FSQ는 test-content에서 VQ-VAE보다 MPJPE-L을 8.7mm 낮췄고, 토큰의 양자화 레벨보다 차원을 키우는 쪽이 성능에 더 크게 기여했습니다. 또한 세 인코더 모두 99.2% 이상의 성공률을 유지했으며, 일관성 손실을 제거하면 인코더 간 표현 차이가 약 8배로 커져, 앞서 설명한 \mathcal{L}_{\text{token}} 과 \mathcal{L}_{\text{cycle}} 이 인코더 정렬에 필수적임이 확인되었습니다.

한계점 및 의의

SONIC이 완결된 시스템은 아닙니다. 연구팀은 장시간 배포를 위한 안전성과 에너지 효율에 대한 형식적 처리가 아직 부족하다는 점을 한계로 인정합니다. 트래커는 학습 시의 모션 명령 도메인 무작위화와 배포 시의 스프링 모델 덕분에 노이즈가 섞인 플래너 출력에도 견고하지만, 더 극단적인 조건이나 매우 역동적인 동작에서는 균형을 잃을 수 있습니다.

그럼에도 이 연구가 던지는 메시지는 분명합니다. 연구팀은 모션 트래킹이 잘 확장되는 이유를 프레임 단위의 조밀한 감독 신호 에서 찾습니다. 각 학습 프레임이 명시적 목표 자세를 제공하므로, 데이터가 커지고 다양해져도 학습 신호가 계속 유의미하게 유지됩니다. 판별자의 과제가 점점 어려워지는 적대적 모방 학습이나, 행동마다 목표를 새로 설계해야 하는 과제별 보상 설계와는 근본적으로 다른 지점입니다.

결국 SONIC은 과제별 보상 설계 없이도 넓고 전이 가능한 전신 운동 사전 지식을 얻는 실용적인 경로가 "모션 트래킹의 초대규모 확장"임을 보여 줍니다. 여기에 실시간 플래너, 유니버설 토큰 공간, 효율적인 온보드 스택을 결합함으로써, 단순한 연구 결과를 넘어 실제로 쓸 수 있는 시스템으로 완성했습니다. 연구팀의 표현을 빌리면, SONIC은 "더 높은 수준의 인지와 추론을 그 위에 쌓아 올려 범용 휴머노이드 자율성으로 나아갈 수 있는 실용적 기반" 이 되는 것을 지향합니다.

설치 및 사용 방법

SONIC의 코드는 NVIDIA의 GR00T 전신 제어 프로젝트로 공개되어 있습니다. 모든 추론은 Unitree G1(29개 구동 관절)에 탑재된 Jetson Orin GPU에서 TensorRT와 CUDA Graph 가속으로 실행되며, 정책 순전파 한 번에 1에서 2ms가 걸립니다. 시스템은 정책 추론 50Hz, 명령 스트리밍 500Hz, 조작자 입력 100Hz, 키네매틱 계획 10Hz의 네 개 루프로 이뤄진 다중 속도 구조를 사용합니다.

먼저 소스 코드를 로컬 환경으로 복제합니다.

git clone https://github.com/NVlabs/GR00T-WholeBodyControl.git
cd GR00T-WholeBodyControl

인코더-디코더 설계 덕분에 활성 인코더만 바꾸면 키보드, 게임패드, VR, 네트워크 스트림 사이를 재학습 없이 전환할 수 있습니다. 자세한 학습 및 배포 절차는 공식 저장소의 문서를 참고해 주세요.

SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control 논문

SONIC 프로젝트 홈페이지

SONIC (NVIDIA DAIR 랩)

GR00T-WholeBodyControl GitHub 저장소

BONES-SEED 데이터셋 (Hugging Face)

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~