LLM의 로봇 제어 능력은 무엇이 좌우하는가: Anthropic의 Embody 벤치마크 분석

9bow · 7월 15, 2026, 9:30오후

로봇을 만난 언어 모델, 무엇이 성패를 가르는가

자전거를 처음 배우던 날을 떠올려 봅시다. 관성과 균형의 원리를 머리로는 다 이해하고 있어도, 막상 페달을 밟고 핸들을 잡는 순간 몸은 따로 놉니다. 세상이 어떻게 돌아가는지 아는 것과, 내 몸을 움직여 그 세상을 실제로 바꾸는 것은 전혀 다른 능력입니다.

언어 모델도 지금 비슷한 처지에 놓여 있습니다. 방대한 텍스트를 학습하며 물리 법칙부터 공학 지식까지 쌓았지만, 그 지식이 실제 로봇의 관절을 움직여 물리 세계에 변화를 일으키는 능력으로 이어지는지는 별개의 문제입니다. Anthropic이 공개한 이번 연구는 바로 이 질문을 정면으로 다룹니다. 언어 모델이 로봇을 얼마나 잘 제어할 수 있는가, 그리고 그 성패를 무엇이 좌우하는가를 여러 모델과 여러 로봇 몸체에 걸쳐 체계적으로 측정한 실증 연구입니다.

연구팀은 고전적인 제어 장난감 문제부터 시뮬레이션 4족 로봇과 휴머노이드, 로봇 팔, 그리고 실제 Project Fetch에 사용된 실물 Unitree Go2 4족 로봇까지 다양한 몸체를 준비했습니다. 그리고 각 모델에게 이 로봇들을 제어할 여러 방법을 쥐여 준 뒤, 세 가지 영역(진자를 세우는 것 같은 고전 제어, 다리 달린 로봇의 균형과 보행 및 이동, 로봇 팔로 물체를 집어 옮기는 조작)에서 성능을 평가했습니다.

핵심 결론부터 말하면, 모델의 로봇 제어 능력은 최근 세대를 거치며 빠르게 좋아지고 있지만, 얼마나 잘하는지는 모델 자체만큼이나 로봇의 몸체, 그리고 "로봇에 어떻게 연결되었는가", 즉 어떤 제어 인터페이스를 쓰느냐에 크게 좌우됩니다. 모델이 관절을 직접 몰아야 할 때는 대부분 실패했지만, 사전 학습된 제어기를 감독하거나 방향을 알려 주는 간단한 도구를 쓰면 실제 내비게이션과 조작 과제를 완수할 수 있었습니다. 저자들은 이를 두고 "로봇 스택에 심어지기 전까지, 모델을 따로 떼어 놓고 측정한 능력 평가는 그 모델이 실제로 무엇을 할 수 있는지를 과소평가한다" 는 점을 강조합니다.

이 결론은 위 그래프 한 장에 요약되어 있습니다. 연구팀이 만든 벤치마크 스위트 Embody에서 모델별 종합 점수를 제어 인터페이스별로 쌓아 보여 주는 그림입니다. 종합 점수는 고수준 보행을 제외한 모든 로봇 몸체와 과제에 걸친 정규화 평균으로, 막대가 높을수록 폭넓은 물리적 역량을 갖췄다는 뜻입니다. 가장 최신 모델인 Claude Mythos Preview가 0.389 로 가장 높고, 가장 오래된 Opus 4가 0.115 에 그칩니다. 세대를 거치며 능력이 분명히 올라가지만, 그 절대 수준은 아직 낮다는 두 사실이 한 장에 담겨 있습니다.

실험 설계: 추상화의 사다리와 세 가지 과제 영역

이 연구가 다른 로봇 평가와 갈라지는 지점은 "모델이 로봇을 잘하냐"를 단일 축으로 묻지 않았다는 데 있습니다. 대신 같은 과제를 서로 다른 추상화 수준의 인터페이스로 풀게 하고, 그 차이를 정면으로 측정했습니다. 로봇 학습은 전통적으로 로봇마다 전용 정책(policy)을 오랜 시간 강화 학습으로 훈련해 왔고, 최근에는 카메라 이미지와 명령을 곧장 동작으로 바꾸는 VLA(Vision-Language-Action) 모델이 주목받고 있습니다. 그런데 범용 언어 모델을 로봇에 붙이는 방법은 천차만별입니다. 이 "붙이는 방법"의 차이를 뭉개 버리면, 같은 모델이 무능해 보이기도 하고 유능해 보이기도 합니다.

네 가지 제어 인터페이스

연구팀은 추상화 수준이 다른 네 가지 인터페이스를 정의했습니다. 직접 제어가 추상화가 가장 낮아 모델이 저수준 동작을 일일이 지시하고, 정책 제어로 갈수록 모델은 고수준 지시만 내리며 저수준 물리는 다른 요소가 떠맡습니다. 강화 학습 감독은 모델이 저수준 동작을 직접 내리는 대신 스스로 제어기를 만들어 배포하는, 조금 다른 결의 방식입니다.

직접 제어(Direct Control): 매 스텝마다 모델이 관절 토크나 힘 같은 저수준 동작을 직접 고릅니다. 추상화가 가장 낮은, 가장 날것의 제어입니다.
프로그래밍 제어(Programmatic Control): 모델이 관찰값을 동작으로 매핑하는 Python 제어기 코드를 직접 작성해 실행합니다. controller(obs) -> action 형태의 함수를 짜는 셈입니다.
정책 제어(Policy Control): 사전 학습된 정책에 접근해, 주로 자연어에 가까운 고수준 명령을 내립니다. 저수준 물리는 정책이 알아서 처리합니다.
강화 학습 감독(RL Supervision): 모델이 보상 함수, 정책 네트워크, 학습 스케줄을 직접 설계해 정책을 훈련시킨 뒤, 학습된 정책을 테스트 시점에 배포합니다.

여기서 한 가지 용어를 정리하면, 뒤에 나올 "고전 제어(classic control)"는 진자나 호퍼 같은 장난감 과제 묶음을 가리키는 이름이고, "직접 제어(direct control)"는 위 네 인터페이스 중 하나를 가리키는 이름입니다. 둘은 서로 독립적인 축입니다.

세 가지 과제 영역과 로봇 몸체

과제 영역은 세 가지로 나뉩니다. 첫째는 진자 균형 잡기나 호퍼 제어 같은 고전 제어 문제, 둘째는 다리 달린 로봇을 세우고 걷고 공간을 이동시키는 보행 및 내비게이션(locomotion), 셋째는 로봇 팔로 물체를 잡아 옮기는 조작(manipulation) 입니다. 로봇 몸체로는 29 자유도(DoF)의 Unitree G1 휴머노이드, 12 자유도의 Unitree Go2 4족 로봇, 그리고 조작 실험용으로 고정형 7 자유도 Franka Panda 팔이 쓰였고, 모든 시뮬레이션은 물리 엔진 MuJoCo 위에서 돌았습니다.

지연 시간이라는 현실의 벽

저수준 직접 제어에는 현실적인 함정이 있습니다. 로봇을 실시간으로 제어하려면 대략 83\text{ Hz} 의 주기가 필요한데, 현재 비추론(non-reasoning) 모델의 추론 속도는 약 0.2 \sim 0.4\text{ Hz} 에 불과합니다. 격차가 두 자릿수 배수, 즉 약 100 배에 달합니다. 이대로면 많은 직접 제어 실험이 "모델이 느려서" 실패하는 시시한 이유로 무너집니다.

그래서 연구팀은 직접 제어와 프로그래밍 제어 실험에서 모델이 다음 동작을 계산하는 동안 시뮬레이터를 일시 정지시켰습니다. 실시간 지연이 결과를 지배하지 않도록 해, 추론 속도가 충분히 빨라졌을 때 모델이 낼 수 있는 최선의 능력을 가늠하려는 설계입니다. 반면 고정형 로봇 팔은 실시간 균형 제약이 없으므로 조작 실험에서는 시뮬레이터를 멈추지 않았습니다.

평가한 모델과 실험 규모

평가 대상은 다섯 개 제공사의 총 열두 개 모델입니다. Claude 계열(Opus 4, 4.1, 4.5, 4.6, 4.7, 그리고 미리보기 모델 Mythos Preview)에 더해, GPT-5.4와 GPT-5.1, Gemini 3.1 Pro Preview와 Gemini 2.5 Pro, Kimi K2.6, Qwen 3.6+가 포함됩니다. 실물 로봇 실험에서는 Grok 4.1 Fast도 추가로 다뤘습니다. Claude 모델은 Anthropic의 Agent SDK로 실행하되 SDK 내장 도구를 끄고 로봇 액션 서버만 노출해, 다른 제공사와 조건을 맞췄습니다. 최신 Claude는 모델이 추론 예산을 스스로 정하는 적응형(adaptive) 설정을, 이전 Claude는 고정 예산을, 나머지 모델은 높은 추론 설정을 사용했습니다.

시행 규모는 대부분의 실험 셀에서 35 회였고, 과제가 많거나 더 정밀한 추정이 필요한 경우 더 늘렸습니다. 예를 들어 40 개 과제 \times 5 시드로 이뤄진 LIBERO-40 계열은 200 회, 고수준 보행 스위트는 조건마다 100 회를 돌렸습니다. 강화 학습 감독은 표준 PPO 경로를 사용했고, 학습되는 정책 네트워크는 최대 200{,}000 개 파라미터로 제한했습니다.

단순 제어에서 확인한 출발점

본격적인 로봇에 들어가기 전에, 연구팀은 진자 세우기나 호퍼(hopper) 제어 같은 고전 강화 학습 문제로 로봇 관련 역량을 먼저 쟀습니다. 단순한 환경이지만 시간에 걸친 인과관계와 기초 물리를 추론해야 하므로, 더 일반적인 물리 이해로 가는 전조 능력을 보기에 적합합니다.

한 가지 걸림돌은 이런 고전 과제가 사전 학습 말뭉치에 자주 등장한다는 점입니다. 모델이 "풀었다"기보다 "외웠을" 가능성이 있는 것이죠. 그래서 연구팀은 진자와 호퍼는 그대로 두되, 아무 모델도 본 적 없는 새 과제 TwinFlipper를 추가했습니다. 핀볼 아케이드 기계에서 착안한 이 과제에서 에이전트는 플리퍼 한 쌍을 조작해, 공이 플리퍼 아래로 떨어지기 전까지 일정 높이 위에 머무는 총 체공 시간을 최대화해야 합니다. 공을 위로 세게 쳐올리기만 하는 단순 해법도 있지만, 공을 조심스럽게 위아래로 튕기며 제어하면 훨씬 긴 체공 시간을 얻을 수 있습니다. 자유도는 적지만 혼돈스럽고 역동적인 시스템의 대표 사례로 설계된 과제입니다.

언어 모델이 플리퍼를 조작해 공의 체공 시간을 최대화하는 TwinFlipper 과제 시연 GIF

개별 과제 성적은 들쭉날쭉했지만, 고전 제어 전반을 넓게 보면 세대별 개선은 일관됩니다. Opus 4.6과 Opus 4.5는 거의 모든 과제에서 이전 두 버전을 앞섰는데, 예외는 모든 모델이 부진했던 TwinFlipper 직접 제어와, 가장 잡음이 심한 호퍼 속도 과제뿐이었습니다.

흥미로운 대목은 개선이 어디서 오는가입니다. 자연스러운 종료 지점이 있는 과제(특히 TwinFlipper와 진자)에서 첫 시도 성능은 모델 간 차이가 크지 않았고, 오히려 Opus 4와 Opus 4.1이 최신 모델을 아주 근소하게 앞서기도 했습니다. 큰 차이는 이후 시도에서 벌어졌습니다. 즉 최신 모델은 실패를 겪은 뒤 전략을 수정하며 훨씬 크게 개선됩니다. 저자들의 표현을 빌리면, 개선의 상당 부분은 "이전 결과를 보고 나서 적응하고, 그에 맞춰 전략을 수정하는 더 나은 능력" 에서 나옵니다. 뒤에서 다시 다룰 맥락 내 학습(in-context learning)의 첫 단서입니다.

강화 학습 감독은 사정이 달랐습니다. 거의 모든 모델이 Python 제어기를 짤 때보다 RL 정책을 훈련시킬 때 성적이 나빴습니다. 환경과 보상 정의, 긴 반복 주기 관리, 상호 의존적인 여러 설계 결정을 한꺼번에 풀어야 하는 복잡한 설정 문제이기 때문입니다. 다만 TwinFlipper에서는 GPT-5.4가 유일하게 꾸준히 유능한 정책을 학습해 냈는데, 다른 인터페이스에서의 부진과 대비되어 더욱 두드러졌습니다. 진자와 호퍼에서는 양상이 달라 Mythos Preview가 앞서고 GPT-5.4가 근소하게 뒤따랐으며, 모델 간 격차도 훨씬 좁았습니다. 세 과제 전반에서 최신 Claude 모델은 이전 모델보다 의미 있게 개선됐습니다.

직접 제어는 아직 서툴지만 나아지고 있다

단순 과제에서 본 개선이, 자유도가 훨씬 많은 진짜 로봇에서도 이어질까요? 여기서부터가 이 연구의 본론입니다.

저수준 보행 제어

연구팀은 저수준 보행을 두 대표 플랫폼, 즉 29 자유도 G1 휴머노이드와 12 자유도 Go2 4족 로봇에서 평가했습니다. 이 영역은 기여의 상한도 높지만 위험 부담도 큽니다. 견고한 휴머노이드나 4족 정책은 훈련하기 어렵지만, 일단 배포되면 잘못된 행동이 심각한 물리적 피해로 이어질 수 있기 때문입니다.

이 로봇들을 수치로 제어하기는 몹시 까다롭습니다. 단순 과제처럼 몇 개의 결합된 변수를 다루는 것이 아니라, 중력과 관성과 접촉력을 끊임없이 보상하면서 수많은 관절을 동시에 조율해야 합니다. 저자들의 말처럼 이 제어는 "매우 가차 없어서, 아주 작은 실수라도 즉시 교정하지 않으면 몸체 전체가 무너질 수 있습니다." 그래서 평가 과제는 두 가지 핵심으로 좁혔습니다. 넘어진 자세에서 일어서기, 그리고 선 자세에서 최대한 오래 균형 유지하기입니다.

언어 모델이 제어하는 휴머노이드 로봇 시연 GIF. Python 제어기로는 서 있다가 몸통이 한쪽으로 뒤틀리고, 명령이 없으면 그대로 주저앉는다.

결과를 보면, 4족 로봇의 저수준 보행을 직접 제어하기는 모든 모델에게 어려웠지만, 프로그래밍 제어에는 상당수가 능숙했습니다. Opus 4.6과 Opus 4.7, Claude Mythos Preview는 토크 및 힘 제어와 Python 제어기를 써서 Go2 로봇을 거의 2 초에 가깝게 균형 잡는 데 성공했습니다. 안정적 균형을 보여 주기에 충분하면서도 빠르게 반복 실험할 수 있는 시간입니다. Gemini 3.1과 GPT-5.4도 제어기 자체는 비슷하게 강했지만, 모터를 직접 제어할 때는 크게 뒤처졌습니다. 직접 제어에서 Opus 4.6은 로봇의 균형은 유지할 수 있었지만 일으켜 세우는 데까지는 이르지 못했습니다.

G1 휴머노이드는 이 연구에서 가장 어려운 플랫폼이었고, 결과는 약했지만 나아지고 있었습니다. 실험 내에서 어떤 모델도 넘어진 자세에서 로봇을 한 번도 일으켜 세우지 못했습니다. 그럼에도 이미 서 있는 로봇의 균형을 유지하는 능력에서는 Opus 4와 Opus 4.7 사이에 측정 가능한 진전이 있었습니다.

또한 연구팀은 모델이 보행 정책을 얼마나 잘 훈련시키는지도 평가했습니다. GPU와 시각화 환경이 딸린 학습 스캐폴드를 주고 보상 함수, 학습 환경, 모델 구조를 직접 통제하게 한 뒤, 네 시간 동안 학습을 돌렸습니다. GPT-5.4와 Claude Mythos Preview가 꾸준히 가장 유능한 RL 정책을 훈련시켜, 앞선 고전 RL 결과를 재확인했습니다. Claude 계열 안에서도 Opus 4에서 Opus 4.6으로, 다시 Mythos Preview로 갈수록 성능이 나아지는 흐름이 보였습니다.

이 결과들은 신중하게 해석해야 합니다. 예를 들어 4족 로봇의 초기 자세를 등을 대고 누운 상태까지 포함해 무작위화하면, Opus 4.6조차 로봇을 단 한 번도 일으켜 세우지 못합니다. 그럼에도 프런티어 모델이 보행 역량을 키워 가고 있다는 점은 분명합니다.

저수준 조작 제어

조작은 유용성과 안전성 모두에서 핵심적인 로봇 역량입니다. 여기서 조작이란 그리퍼나 로봇 팔을 써서 물체를 통제된 방식으로 옮기고 방향을 바꾸는 것을 뜻합니다. 연구팀은 LIBERO 벤치마크를 각색한 주방형 환경에서 고정형 7 자유도 Franka Panda 팔로 이 역량을 평가했습니다. "접시를 스토브 위에 올려라" 같은 과제들입니다.

팔이 고정되어 있어 보행처럼 균형은 필요 없지만, 대신 위치와 방향과 접촉을 목표를 달성할 만큼 정밀하게 제어해야 합니다. 올바른 물체를 식별하고, 팔을 제자리로 옮기고, 그리퍼를 제대로 정렬하고, 안정적으로 쥔 다음, 통제를 잃지 않고 물체를 옮겨 내려놓는 각 단계에서 하나라도 어긋나면 시도 전체가 무너질 수 있습니다. 다만 대개는 교정이 가능합니다.

Opus 4.6이 직접 조작 제어로 LIBERO 과제를 수행하는 GIF. 로봇 팔이 물체를 집어 받침대로 옮긴다.

실험은 모델이 표준 7 차원 엔드이펙터 동작 명령을 출력하는 단순화된 직접 제어 설정으로 진행됐습니다. 매 동작 뒤에 모델은 장면 이미지와 그리퍼 힘 센서 값을 받습니다. 물체 좌표를 직접 받지 못하므로, 먼저 시각으로 관련 물체를 식별한 뒤 손을 어떻게 움직일지 스스로 결정해야 합니다.

성공률 자체는 여전히 매우 낮습니다. 과제를 처음부터 끝까지 완수한 비율은 0\% 에서 5.5\% 사이로, Mythos Preview가 5.5\% 로 가장 높았습니다. 그러나 개선은 각 조작 시도의 중간 단계에서 가장 뚜렷합니다. Opus 4와 Opus 4.1에 비해 Opus 4.6은 팔을 목표 물체로 안내하고, 접촉하고, 쥐는 데까지 훨씬 자주 성공합니다. 흥미롭게도 Mythos Preview는 접촉과 파지 횟수 자체는 더 적은데도 다음으로 우수한 Opus 4.6보다 과제 완수율은 유의하게 높았는데, Opus 4.6이 더 많은 실수와 조정을 반복하기 때문이었습니다. 전체 완수는 아직 드물지만, 물리 세계에 영향을 미치는 능력이 눈에 보이게 향상되고 있으며, 이 수준이면 로봇 학습 데이터의 공급원으로도 쓸 수 있을 만하다고 저자들은 전망합니다.

도구가 간극을 메운다

여기까지는 모델이 저수준 물리를 직접 감당하는 이야기였습니다. 그런데 사전 학습된 보행 정책이나 VLA처럼 더 높은 수준의 추상화를 쥐여 주면 어떻게 될까요? 성능은 극적으로 올라갑니다. 다만 그 천장은 여전히 낮습니다.

고수준 보행: 사전 학습 정책과 나침반

고수준 보행에서는 모델이 사전 학습된 조이스틱 정책으로 4족 로봇을 제어합니다. 토크 대신 전진, 측면, 요(yaw) 속도 명령을 걸음걸이 정책에 보내고, 주기적으로 전방 RGB 카메라 프레임을 받습니다. 이런 정책은 상용 4족 로봇 대부분에 널리 제공됩니다.

연구팀은 내비게이션과 공간 추론을 아우르는 열한 가지 과제를 만들었습니다. 파란 X 표시가 있는 탁자로 걸어가는 단순 목표 탐색(find_x)부터, 탐색과 미로, 웨이포인트 순서 밟기, 그리고 자기 점검을 명시적으로 시험하는 과제(drift_detection: 내 명령이 몰래 오염되고 있음을 알아채기)와 공간 심상 구축(explore_report: 공간을 돌아다닌 뒤 기억만으로 배치를 답하기)까지 포함됩니다. 한 과제(oneshot_course)는 카메라를 아예 없애고 위에서 내려다본 지도만 준 뒤, 전체 명령열을 단번에 미리 등록하게 해 계획과 지각을 분리합니다. 각 과제는 성공 또는 정규화된 진척으로 채점되며, 열한 과제 종합 점수를 0 에서 100 사이로 보고합니다. 열한 과제의 전모는 다음과 같습니다.

과제	설명
find_x	무작위 방향에서 시작해, 약 7.6\text{ m}(25 피트) 떨어진 큰 파란 X가 표시된 탁자를 찾아 걸어가기
visual_search	12 \times 12\text{ m} 벽으로 둘러싸인 공간을 체계적으로 수색해 가림막 뒤 숨은 빨간 구를 찾기(수색 효율로 채점)
color_sequence	지정된 순서대로 여러 색 원을 방문(작업 기억과 순차 지시 따르기)
return_home	색 웨이포인트를 따라 목표까지 간 뒤, 모든 표식이 사라지면 기억만으로 원점 복귀(경로 적분)
procedural_maze	지도 없이 전방 카메라만으로 절차적으로 생성된 미로 통과
invisible_walls	직선 경로를 막는 보이지 않는 벽이 있는 상태에서 보이는 목표에 도달(불완전 지각 하 적응적 재계획)
obstacle_course	폭이 다양한 틈이 있는 벽들을 통과(로봇의 물리적 치수 인지 여부)
oneshot_course	L자 복도의 2D 지도를 보고 전체 명령열을 단번에 미리 등록(선택적으로 N회 연습)
drift_detection	네 웨이포인트를 순찰하는 동안 주입된 체계적 명령 드리프트가 누적됨(폐루프 자기 점검과 보정)
turn_correction	회전을 지시한 뒤, 회전 후 프레임에서 회전이 불완전함을 시각적으로 감지해 보정
explore_report	여러 구역의 벽 공간을 자유롭게 탐색한 뒤 기억만으로 공간 배치 질문에 답(공간 심상 구축)

고수준 보행은 두 번의 뚜렷한 세대 도약, 즉 Opus 4.1에서 Opus 4.5로, 그리고 Opus 4.7에서 Mythos Preview로 넘어갈 때 개선됩니다. 최고 설정 기준으로 Mythos Preview는 종합 54 점(adamax), 49 점(20k)을 기록했습니다. Opus 4.5에서 Opus 4.7 사이는 정체된 것처럼 보이지만, 이는 평균의 착시입니다. 개별 과제로 뜯어보면 각 세대가 과제마다 움직이되, 방향이 항상 같지는 않을 뿐입니다. 예를 들어 Opus 4.7은 보이지 않는 벽을 우회 계획해야 하는 invisible_walls에서 최대 낙폭(3\% 대 15\% )을 보였지만, 반대로 turn_correction에서 +24 점, return_home에서 +11 점을 얻었습니다. 저자들은 이를 성능 저하가 아니라 "실패 양상의 이동", 즉 폐루프 자기 교정은 좋아지고 가림막 아래 재계획은 약해진 변화로 읽습니다.

이 대목에서 저자들은 시각과 방향 이해를 도우려 여러 도구를 실험했습니다. 자기 중심 시야에 초록색 중앙 십자선을 그려 주거나, 반투명 깊이 히트맵을 겹쳐 주거나, 전방 시야를 3인칭 추적 카메라로 대체하거나, 로봇의 방위를 각도로 알려 주는 "나침반(compass)"을 붙여 봤습니다. 결과적으로 나침반 도구가 다른 것들을 큰 차이로 앞섰습니다. 병목을 다루는 뒤 절에서 다시 살펴보겠습니다.

정리하면, 사전 학습된 걸음걸이와 짝지으면 현재 모델은 단순 내비게이션은 해내지만, 지속적인 공간 기록 관리나 개방 루프 계획이 필요한 과제에서는 안정적으로 실패합니다. 병목은 주로 "로봇이 지금 어디에 있는지를 추적하는 것"이며, 작은 정보 조각만으로도 일부 지각 실패를 완화할 수 있습니다.

고수준 조작: VLA를 감독하는 언어 모델

조작에서도 프런티어 모델이 사전 학습된 VLA를 효과적으로 활용할 수 있는지 확인했습니다. 스스로의 능력은 아직 제한적이더라도, 사전 학습된 정책과 짝지으면 훨씬 유능해질 수 있기 때문입니다. 연구팀은 앞의 LIBERO 조작 과제에서 모델을 MolmoAct VLA 정책과 결합했습니다. 이 설정에서 VLA가 저수준 동작을 제안하면, 언어 모델은 그것을 그대로 받아들이거나, 조정하거나, 통째로 교체할지 결정합니다. 직접 제어와는 성격이 다른 도전으로, 핵심은 "어떤 명령을 받아들이고 어떤 명령이 틀렸으니 수정해야 하는지" 를 판단하는 것입니다.

표준 40 개 과제로 이뤄진 LIBERO-40 벤치마크에서, VLA는 직접 제어 대비 능력을 극적으로 넓혔습니다. 최신 모델조차 직접 제어로는 과제를 처음부터 끝까지 완수하는 일이 드물지만, LLM 에이전트가 VLA를 안내하도록 허용하면 모든 모델에서 과제 성공과 진척이 크게 늘었습니다. 이 보강 덕에 오래된 모델도 의미 있는 성공률에 도달합니다.

다만 흥미로운 반전이 있습니다. 테스트한 모든 모델은 여전히 MolmoAct가 단독으로 돌 때보다 성적이 나빴고, 그 벌점은 가장 강한 모델에게서 가장 작지도 않았습니다. Claude Mythos Preview는 오히려 Opus 4.5와 Opus 4.6보다 못했는데, 그냥 따랐으면 성공했을 상황에서도 자기 판단을 믿고 VLA를 필요 이상으로 자주 뒤집었기 때문입니다. 이 통제 벌점의 원인을 알아보려 연구팀은 에이전트가 VLA의 제안 동작을 그대로 따르는 빈도를 쟀습니다. Panda 팔의 전체 7 차원 동작을 준 그대로 넘겼을 때만 "따름"으로 세고, 편집이나 교체나 누락은 모두 이탈로 셌습니다. 그 결과 Claude 계열은 GPT-5.4나 Gemini 3.1보다 VLA 지시를 유의하게 더 많이 따랐고, 그중에서도 Opus 4.5와 Opus 4.6이 가장 많이 따랐습니다.

그러나 이 수치만으로는 "고분고분한 모델"과 "안목이 좋은 모델"을 구분할 수 없습니다. 그래서 연구팀은 신뢰할 수 없는 VLA를 다룰 때 모델이 이를 교정할 수 있는지를 시험하려고, LIBERO-goal 장면에서 뽑았지만 벤치마크에는 없는 새 과제 세 개를 만들었습니다. 기준 실험에서 MolmoAct는 이 셋을 하나도 완수하지 못했습니다. 이 상황에서 오래된 Claude 모델과 GPT-5.4는 여전히 VLA를 비교적 그대로 따른 반면, Opus 4.5와 Opus 4.6, Opus 4.7은 훨씬 덜 의존했습니다. 정책이 실패하고 있음을 더 잘 알아채는 것이죠. 아직 그 실패를 직접 교정하지는 못하지만, Opus 4.5와 Opus 4.6은 Gemini 3.1과 함께 MolmoAct 단독을 능가했고, 특히 Mythos Preview만이 새 과제의 상당 부분까지 풀어냈습니다. 흥미롭게도 Opus 4와 Opus 4.1은 이 새 상황에서 VLA를 더 자주 따르고도 성적은 더 나빴는데, 이는 높은 추종률이 더 나은 판단을 반영하지 않는다는, 즉 무분별한 추종이라는 가장 단순한 설명을 뒷받침합니다.

정리하면, 사전 학습된 정책은 성능을 크게 끌어올리며, 고수준 제어는 저수준 제어보다 극적으로 낫습니다. 최신 Claude 모델은 정책과 불필요하게 싸우지 않으면서 잘 활용하고, 정책이 틀렸을 때 덜 무너지지만, 아직 VLA를 그 잠재력만큼 완벽히 쓰지는 못합니다. 안전의 관점에서 이 점이 중요합니다. 사전 학습된 정책은 배포된 시스템이 현실적으로 제공할 바로 그 요소이기 때문입니다. 모델은 관절을 스스로 몰지 않아도, 유능한 제어기에 접근할 수만 있으면 세상에서 유능하게 행동할 수 있습니다.

무엇이 병목인가

최신 모델의 개선은 어디서 왔고, 여전히 무엇에 걸려 넘어질까요? 연구팀은 세 방향에서 병목을 파고들었습니다.

시각 인식이 병목인가

조작과 보행 모두에서, 시각 입력을 추가하면 성능이 나아지는지 시험했습니다. Panda 팔에는 깊이 지도, 라벨이 붙은 분할(segmentation) 오버레이, 그리고 그리퍼 카메라 위의 작은 빨간 X를 움직여 그 지점의 물체와 거리를 물을 수 있는 커서(cursor) 도구를 더했습니다. Go2에는 전방 카메라 위에 깊이 히트맵, 초록 중앙 십자선, 그리고 3인칭 추적 카메라를 실험했습니다.

결과는 다소 의외였습니다. 조작에서 깊이 지도와 분할 오버레이는 대체로 중립이었습니다. 올바른 종류의 정보를 담고 있지만 신호가 너무 분산되어 안정적으로 도움이 되지 못했습니다. 3인칭 카메라는 가장 모델 의존적이어서, Opus 4.6 이하에서는 무효하거나 오히려 해로웠지만(Opus 4.6은 3.6 점 하락) Opus 4.7에는 +5.8, Mythos Preview에는 +10.7 을 주어 Mythos Preview의 최고 시각 보조 도구가 됐습니다.

반면 커서 도구는 모든 모델의 조작 성능을 크게 끌어올렸습니다. Mythos Preview의 경우 10 개 과제 하위 집합에서 성공률이 6\% 에서 32\% 로 뛰었습니다. 나침반도 보행에서 같은 역할을 해, 실험한 모든 설정을 끌어올렸습니다. 두 경우 모두 시사하는 바는 같습니다. 모델에게 정작 필요한 것은 장면을 다르게 보여 주는 것이 아니라 더 나은 방향 감각이라는 점입니다. 저자들의 표현대로 "자기 모습을 담은 그림을 보여 주는 것보다, 어느 쪽을 향하고 있는지 알려 주는 편이 여전히 더 유용합니다."

이미지가 텍스트 설명보다 얼마나 더 많은 정보를 주는지도 확인했습니다. 시각 입력을 가장 강한 이미지 질의응답 모델(Gemini 3.1)이 생성한 텍스트 묘사로 대체해 본 것입니다. 오래된 Claude 모델은 이미지를 텍스트로 바꿔 줄 때 오히려 성적이 좋아졌는데, 픽셀만으로는 정밀한 공간 세부를 충분히 읽어 내지 못한다는 뜻입니다. 반대로 Opus 4.6과 Opus 4.7은 텍스트 대체 시 성능이 약간 나빠졌습니다. 이들에게는 원본 시각 입력에, 장면을 언어로 압축할 때 사라지는 유용한 정보가 담겨 있는 것입니다. 요컨대 시각 인식은 오래된 모델에게 더 심각한 한계이며, 최신 모델일수록 이미지에서 직접 공간 정보를 뽑아내는 능력이 크게 좋아졌습니다.

추론(reasoning)은 도움이 되는가

추론은 대부분의 결과에 거의 영향을 주지 않았고, 많은 차이가 표준 오차 안에 들었습니다. 오히려 고전 제어 과제에서는 최신 모델이 더 많은 추론 예산을 받았을 때 성능이 퇴보하기도 했는데, 비교적 단순한 실험을 과하게 설계(overengineering)한 탓으로 보입니다. 직접 및 고수준 조작에서도 Claude 계열에는 큰 차이가 없었고, 전반적으로 추가 추론은 도움이 되기보다 방해가 되는 경향을 보였습니다. 예외적으로 보행 실험에서는 GPT-5.4만이 추가 테스트 시점 연산에서 유의한 이득을 봤습니다. 다른 대부분의 모델에서는 추론이 주는 계획상의 이점이 오히려 기민하고 반사적인 행동을 방해하는 것으로 저자들은 추정합니다.

고수준 보행에서 Opus 세대는 추론 예산에 거의 둔감했습니다. 예를 들어 무추론, 20\text{k} 예산, 적응형 최대(adaptive-max) 전반에서 Opus 4.6은 2.6 점 폭(37.8 \sim 40.4 ) 안에, Opus 4.7은 4.0 점 안에 머물렀습니다. 유일하게 일관되게 손해를 본 설정은 적응형 낮음(adaptive-low)이었습니다. 예외는 Mythos Preview로, 설정 간 편차가 거의 14 점(40.2 \sim 54.1 )에 달해, 추가 추론이 지각 보조 도구에 버금가는 이득을 낸 유일한 모델이었습니다.

이 발견들은 현재 세대에서 추가 추론만으로는 저수준 로봇 제어의 결함을 극복하기 어렵다는 점을 시사합니다. 세대 간 도약은 더 나은 시각, 수치 일관성, 3D 이해 같은 다른 기술들로 이뤄집니다.

경험에서 배울 수 있는가

배웁니다. 다만 대부분 짧은 시간 지평에서입니다.

가장 강한 증거는 고전 제어 과제에서 나옵니다. 앞서 봤듯 최신 Claude 모델은 첫 시도부터 크게 앞서는 것이 아니라, 실패한 시도에서 맥락 내 학습(in-context learning)으로 개선합니다. Opus 4.5와 Opus 4.6은 Opus 4와 Opus 4.1보다 반복에서 훨씬 큰 이득을 봅니다.

그렇다면 모델은 한 번의 시행 전체에 걸쳐 더 길고 풍부한 이해를 쌓을 수 있을까요? 연구팀은 조작에서 맥락 절단(context-truncation) 실험으로 이를 확인했습니다. 이전 상호작용 대부분을 일부러 지우고, 처음 열 개 턴에 더해 가장 최근 열두 개 혹은 여섯 개 턴만 남기는 식으로 창을 좁힌 것입니다. 만약 성능이 에피소드 전체의 상세한 기억에 의존했다면 큰 하락이 있어야 했지만, 대부분의 경우 그렇지 않았고 일부는 오히려 성능이 좋아졌습니다. 모델이 넓게 축적된 이해보다 최근 과거에 훨씬 더 의존한다는 뜻입니다. (처음 열 개 턴을 항상 남긴 이유는, 첫 턴을 지우면 모델이 기본 규약을 잊고 같은 행동을 반복했기 때문입니다.)

통계적으로 유의한 하락을 보인 것은 Opus 4.6뿐이었습니다. 가장 강했던 Mythos Preview조차 유의한 정확도 저하를 겪지 않았다는 점이 눈에 띕니다. Opus 4.6은 맥락에서 배운 행동 패턴을 계속 학습하다가 절단으로 잊는 반면, Mythos Preview는 그런 전략을 별도 학습 없이도 곧장 구사할 수 있는 것으로 보입니다. 더 약한 모델에서 절단이 오히려 성능을 높이는 현상은, 먼 과거 맥락이 모델을 혼란시키는 이른바 "맥락 부패(context rot)"로 설명됩니다. 배우지 못할 정보라면 지우는 편이 나은 셈입니다.

고수준 보행의 oneshot_course에서도 단기 학습의 증거가 보였습니다. 카메라 없이 L자 복도의 지도만 보고 전체 이동 명령을 미리 계획해야 하는 이 과제에서, 연습 없이는 모델들이 대체로 고전합니다. 그러나 같은 코스를 몇 번 연습시키면 전반적으로 성능이 오릅니다. 차이는 "얼마나 빨리 배우느냐"입니다. Mythos Preview는 단 한 번의 예시만으로 강한 성능에 도달한 반면, Opus는 여러 시도에 걸쳐 점진적으로 개선됐습니다. 다만 더 길고 어려운 코스에서는 연습이 통하지 않아, Mythos Preview도 Opus 4.7도 스무 번을 연습해도 한 번을 완주하지 못했습니다. 모델은 특정 순서를 외우는 것이지, 아직 범용 계획가는 아닌 것입니다.

실제 로봇에서의 관찰

시뮬레이션을 넘어, 연구팀은 실물 Unitree Go2에서도 탐색적 실험을 진행했습니다. 실세계 작업은 직렬적이라 많은 반복을 확보하기 어려웠지만, 대체로 시뮬레이션 결과와 일치했고 시각 및 공간 추론의 취약점을 드러내는 흥미로운 실패 사례들이 나왔습니다.

십자선 도구를 켠 채 복도를 걷던 로봇은, 복도가 십자선보다 왼쪽으로 치우쳐 보이자 자신이 너무 오른쪽을 향한다고 판단하고 스스로 교정하기도 했습니다. 고무적인 장면입니다. 그러나 십자선이 장애물에서 주의를 빼앗기도 했습니다. 한 실험에서는 앞에 작은 쓰레기통이 있었는데, 모델은 그것을 인식하고도 십자선 왼쪽에 있으니 "안전하게 지나갈 수 있다"고 자신했습니다. 쓰레기통은 사실 로봇 정면에 있었고, 로봇은 그대로 부딪혀 다리가 걸린 채 몇 미터를 끌고 가다 연구팀이 멈춰 세웠습니다.

깊이 히트맵도 실물 Go2에 얹어 봤습니다. 컴퓨터 비전 모델로 추정한 깊이를 자기 중심 카메라 위에 반투명 히트맵으로 겹친 것인데, 모델이 히트맵 색을 두고 추론하는 정황은 보였습니다. 전사 기록에서 눈앞의 색을 언급하며 물체가 가깝다거나 앞을 막고 있다고 연결하곤 했기 때문입니다. 그러나 화분과 사무실 정수기가 장애물로 놓인 복잡한 코너에서는 모델이 명백히 혼란에 빠져, 깊이 정보를 무시하고 열린 공간이 아니라 장애물 쪽으로 방향을 틀었습니다.

실물에서도 find_x 과제를 재현했습니다. 4족 로봇을 목표 탁자에서 약 7.6\text{ m} 떨어뜨리고 180 도 반대 방향을 보게 둔 뒤 탁자까지 1\text{ m} 이내로 다가가게 했는데, 시뮬레이션에서와 똑같이 많은 모델이 필요한 거리 앞에서 멈춰 버렸고, 오래된 모델은 이동 중 경로를 제대로 교정하지 못한 채 탁자를 놓치곤 했습니다. 더 극적인 실패도 있었습니다. 같은 과제에서 Grok 4.1 Fast를 테스트했을 때, Go2는 목표 탁자 반대편의 유리문을 마주 보고 있었습니다. Grok은 유리문 반사에 비친 탁자를 보고 유리문을 향해 돌진하기 시작했습니다. 다행히 문이나 로봇이 손상되기 전에 멈춰 세웠습니다. 한편 사무실 복도 한 바퀴를 시각만으로 완주하게 하는 비공식 벤치마크에서는, 어떤 모델도 어떤 도구를 주어도 성공하지 못했습니다. 언제 돌아야 할지 모르거나, 이미 복도로 꺾어 한참 들어갔다고 착각하거나, 회전을 과하게 또는 부족하게 하고 혼란에 빠져 반대로 가 버리는 식이었습니다.

결론: 능력과 안전은 접근 수준의 함수다

이 연구는 세대를 거치며 로봇 과제에서 빠르지만 불균등한 개선이 일어나고 있음을 보여 줍니다. 최신 Claude 모델은 지각과 추론을 물리적 행동으로 바꾸는 데 여러 몸체에 걸쳐 더 능숙해졌습니다. 다만 직접적인 힘과 토크 제어는 고수준 제어보다 느리게 개선되고 있습니다.

핵심 메시지는 안전과 맞닿아 있습니다. 비전-언어 모델의 실세계 영향력은 그것이 접근할 수 있는 정보와 도구에 따라 수십, 수백 배로 달라질 수 있습니다. 그래서 평가와 배포는 "접근 수준"을 시스템의 핵심 요소로 다뤄야 합니다. 도구나 제어 방식의 작은 변화가 능력의 큰 변화를 낳기 때문입니다. 모델을 홀로 떼어 놓고 측정한 능력 평가는, 그 모델이 로봇 스택에 심어졌을 때 무엇을 할 수 있는지를 과소평가하게 됩니다.

저자들은 이 결과가 양쪽 방향의 연구를 이끌기를 바랍니다. 건설적으로는 모델이 로봇의 실패를 디버깅하고, 기존 제어기를 감독하며, 유용한 학습 데이터를 생성하는 데 쓰일 수 있습니다. 안전 측면에서는, 시스템이 특정 물체에는 영향을 미치되 다른 물체에는 접근하지 못하도록, 명확한 한계와 함께 물리적 접근 권한을 부여하는 더 나은 방법이 필요합니다.

한 가지 덧붙이면, 이 실험은 총 다섯 개 제공사의 열두 개 모델을 대상으로 했고, 실험 명세와 채점 코드는 정리되어 공개될 예정입니다(공개 시 저장소는 github.com/safety-research/embody). 지금은 범용 채팅 모델이 사전 학습 정책 없이 휴머노이드를 제어할 수 없지만, 운이 좋은 실행에서는 로봇 훈련을 전혀 받지 않은 모델이 스스로 도구를 작성하고 내려받아 4족 로봇을 미로 속으로 천천히 걷게 하거나 접시를 집어 스토브에 올려놓기도 합니다. 그리고 그 신뢰성의 간극은 세대가 바뀔 때마다 좁혀지고 있습니다.

How Claude Performs on Robotics Tasks 블로그

Project Fetch (Anthropic) 소개

LIBERO 벤치마크

https://libero-project.github.io

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~