AgentHands 소개
말로 하는 공간 안내가 막히는 자리
주방에서 요리를 하다 누군가 "왼쪽에 있는 기름 써"라고 말했다고 해봅시다. 그런데 가스레인지 왼쪽에는 올리브유와 카놀라유가 나란히 놓여 있습니다. 손가락 하나만 들어 가리켰으면 끝났을 일입니다. 그렇다면 2가지 중에 어떤걸 언급한걸까요? 이번에 살펴볼 AgentHands는 바로 이 문제를 다루는 연구로, XR(Extended Reality) 헤드셋을 쓴 사용자가 눈앞의 물체에 대해 질문했을 때 대화형 에이전트가 말만 하는 대신 말과 동기화된 손동작을 실제 물체 위에서 함께 수행하도록 만드는 시스템을 제안합니다.
Google XR Labs 연구팀이 인간-컴퓨터 상호작용(HCI, Human-Computer Interaction) 분야 최상위 학회인 CHI 2026에 발표한 논문이며, 제1저자 Ziyi Liu는 Purdue 대학 소속으로 Google에서 학생 연구원으로 참여했습니다. 저자들은 이 문제를 "정신적 매핑 간극(a mental mapping gap)"이라고 부릅니다. 말을 한 사람의 왼쪽인지 내 왼쪽인지, 두 병 중 어느 쪽인지를 사용자가 머릿속에서 추측해 메워야 하는 간극입니다.
Google XR Labs가 이 방향으로 내놓은 연구가 처음은 아닙니다. 상황에 따라 생기는 일시적 제약(situational impairment)을 LLM으로 감지하는 Human I/O, 능동형 AR 에이전트가 사용자를 방해하지 않고 개입하는 방법을 다룬 Sensible Agent 가 앞서 있었고, AgentHands는 그 계보에서 에이전트의 출력 채널 쪽을 맡습니다.
최근 AI 어시스턴트는 텍스트 인터페이스를 벗어나 멀티모달 동반자로 빠르게 진화하고 있습니다. Project Astra와 Gemini 3.1 Flash Live 같은 시스템은 이미 사용자가 주변 환경을 실시간으로 이야기하도록 허용하며, 카메라 화면 위에 바운딩 박스를 겹쳐 물체를 지목합니다. 이런 오버레이는 2D 화면에서는 잘 작동하지만, Android XR 같은 몰입형 플랫폼으로 넘어가면 평면 UI를 벗어난 방식이 필요해집니다.
기존 접근법을 하나씩 살펴보면 각각의 한계가 분명합니다.
첫 번째는 텍스트와 음성 응답 입니다. 논문에서는 언어적 서술이 "this", "that", "here", "there" 같은 직시(deictic) 표현에 의존하는데, 이 표현의 뜻은 텍스트 전용 인터페이스에 없는 공유된 물리적 맥락에 달려 있다고 지적합니다. 그 결과 사용자는 추상적인 서술을 머릿속에서 구체적인 공간 표상으로 번역해야 하고, 인지 부하와 오해 가능성이 함께 올라갑니다. 앞의 기름 예시가 정확히 이 경우입니다.
문제는 모호함만이 아닙니다. 저자들은 텍스트 응답이 동적인 표현 형식이 주는 몰입 요소를 갖지 못한다는 점도 함께 짚습니다. 애니메이션과 멀티미디어 제시가 정적인 텍스트보다 주의를 잘 붙들고 파지를 높인다는 결과가 있고, 그 근거로 시각 정보와 언어 정보를 함께 쓰는 이중 채널 처리(dual-channel processing)가 지목됩니다. 움직임과 공간 관계를 다루는 과제에서 이 이점이 특히 커진다는 점이 뒤에 나올 이해도와 기억 관련 결과의 배경이 됩니다.
두 번째는 XR용 태스크 특화 어시스턴트 입니다. 일상 물건에 "증강 객체 지능"을 부여하는 XR-Objects, 시선과 포인팅으로 대명사를 해소하는 GazePointAR, 단계별 증강 현실(AR) 작업 안내를 생성하는 Guided Reality 처럼 이미 여러 시스템이 나와 있습니다. 그러나 이들은 특정 응용에 묶여 있고, 응답은 여전히 텍스트나 가상 UI 오버레이 형태라서 해석에 추가 인지 비용이 듭니다. 저자들은 UI 화살표와 패널이 공간 참조는 전달하지만 확인, 주의, 격려 같은 사회적 신호는 전달하지 못한다는 점도 함께 지적합니다.
세 번째는 제스처를 쓰는 체화된(embodied) 에이전트 입니다. 로봇 쪽에서는 지시, 도상, 비트 제스처가 사용자의 정보 회상을 개선한다는 결과가 오래전부터 축적되어 있습니다. 하지만 물리 로봇은 부피가 큰 하드웨어 때문에 이동성이 떨어지고, 딱딱한 기계 구조는 근거리 상호작용에서 안전 문제를 만들며, 기계적 운동 제약이 표현력을 깎습니다. 반대로 GestureDiffuCLIP, Semantic Gesticulator 같은 생성형 제스처 합성이나 DialogLab 류의 아바타 시스템은 표현력과 민첩성이 뛰어나지만 화면 안이나 순수 가상 환경에 갇혀 있어, 사용자의 실제 물리 현실에 접근할 수 없습니다.
발상의 전환: XR은 두 제약을 동시에 피하는 자리
AgentHands의 출발점은 XR이 이 두 계열의 약점을 동시에 비껴가는 수렴점이라는 관찰입니다. 디지털 에이전트의 민첩성과 접근성을 그대로 가져가면서 로봇의 기계적, 안전상 제약에서 자유롭고, 동시에 순수 가상 에이전트에게 없는 물리 세계와의 공간적 상호작용을 확보할 수 있습니다.
이 관찰을 시스템으로 옮기는 핵심 장치가 GestureEvent 입니다. 백엔드 LLM(Large Language Model)이 평범한 텍스트 응답을 생성하되, 그 응답 문장 안에 손동작 명령을 인라인으로 심어 특정 단어에 붙여 내보냅니다. 헤드셋 쪽의 파서가 이 이벤트를 읽어 물체 참조를 실제 좌표로 해소하고, 음성 합성이 만든 단어 단위 타임스탬프 에 맞춰 손동작을 스케줄링합니다. 손동작을 별도 모델로 생성하는 대신, 언어 모델이 이미 하고 있는 일(문장을 만드는 일) 안에 손동작 지시를 함께 실어 보내는 방식입니다.
논문의 기여는 세 가지로 정리됩니다. 전문가 10명을 대상으로 한 형성 연구(formative study)에서 도출한 손 에이전트 속성과 다차원 분류체계(Taxonomy), 이 분류체계를 구현한 종단 간 시스템 AgentHands, 그리고 참가자 12명을 대상으로 한 피험자 내(within-subjects) 비교 연구입니다.
결과를 미리 짚어 두면, 음성만 쓰는 베이스라인과 비교했을 때 에이전트가 언급한 물체를 찾기 쉬웠는지에 대한 7점 척도 평균이 4.58 에서 6.50 으로 올랐고(p < 0.05 ), 물체의 특정 부위를 찾기 쉬웠는지는 4.00 에서 6.00 으로 올랐습니다(p < 0.05 ). 응답을 기억하기 어려웠다는 역문항은 3.50 에서 2.17 로 내려갔습니다(p < 0.01 ).
형성 연구: 언제 말이 부족하고, 어떤 손이 필요한가
시스템을 먼저 만들고 나중에 평가한 것이 아니라, 연구팀은 설계에 앞서 형성 연구를 진행했습니다. UX/HCI 연구, XR 인터랙션 디자인, 손과 제스처 입력에 전문성을 가진 사내 직원 10명을 모집해, 두 부분으로 나눈 총 90분짜리 세션을 진행했습니다. 참가자 연령은 평균 33.0 세(표준편차 3.49 , 범위 28세에서 38세)였고, 문화적 맥락의 다양성을 확보하기 위해 동아시아 3명, 백인 3명, 흑인 2명, 남아시아 2명으로 구성했습니다. 신규 사용자가 아니라 경험 있는 실무자를 의도적으로 표집한 이유는, 도메인 지식에 기반한 설계 고려사항을 끌어내기 위한 것이었습니다.
두 세션의 질문은 명확했습니다. 첫째, XR 맥락에서 텍스트와 음성만으로 하는 응답이 언제 부족해지는가. 둘째, 체화된 에이전트가 공동 발화 손동작으로 타이밍, 표현, 상호작용을 조율하려면 어떤 속성을 갖춰야 하는가.
진행 방식은 이렇습니다. 먼저 대화형 에이전트, XR 안내 시스템, 공동 발화 제스처 문헌의 선행 연구 사례를 소개해 공통 기준틀을 세웠습니다. 첫 세션에서는 XR의 공간 질의에서 텍스트나 음성 안내가 실패하거나 경험을 나쁘게 만드는 시나리오를 찾게 했고, 두 번째 세션에서는 그 시나리오에 효과적인 손 기반 체화의 속성(타이밍, 크기, 정밀도, 상호작용성, 안전 신호 등)을 나열하게 했습니다. 실제 사용에 가깝게 만들려고, 참가자들이 현장에서 찍거나 웹에서 구한 사진을 올려 가며 기성 대화형 에이전트를 직접 써 보도록 했습니다.
말과 텍스트가 부족해지는 다섯 자리
연구자 두 명이 친화도 분석(affinity mapping)으로 결과를 묶어 다섯 가지 상황(O1에서 O5)을 도출했습니다.
O1, 공간 중의성. 위치 관련 지시를 해석하기 어려운 경우입니다. 앞서 든 기름 예시가 참가자 P3의 실제 발언이며, P4는 "'오른쪽에 놔' 라고 하는데, 앉아 있는 내 오른쪽인가 방의 오른쪽인가? 내가 서 있는 곳을 기준으로 한 단서가 필요하다"고 말했습니다.
O2, 동작의 시연. 언어적 서술로는 미묘한 신체 움직임을 전달하기 어려운 경우입니다. P4는 "'살살 뒤집어라' 는 어떻게 하면 살살인지 알려주지 않는다. 아래로 밀어 넣어 굴리는 건가, 들어서 돌리는 건가? 시연이 필요하다"고 말했습니다.
O3, 개념적 표상. 범주 이름, 부품 이름, 일반화된 형태처럼 추상적이거나 낯선 개념은 말로만 들으면 놓치기 쉽고 접지하기도 어렵습니다. P3는 압출기 어셈블리 이야기가 나오면 윤곽을 그려 주고 작은 이송 동작을 보여 주지 않으면 따라가지 못한다고 답했습니다.
O4, 정밀도. 크기나 각도를 두루뭉술하게 서술하면 사용자가 머릿속으로 추정해야 합니다. P5는 "'한 줌의 견과류' 라니. 칼로리를 넘기지 않으려면 크기 감각이 필요하다"고 말했습니다.
O5, 사회적 신호. 중요한 정보와 분위기를 잡아 주는 단서가 텍스트 응답에서는 놓치기 쉽습니다. P2는 세제를 섞지 말라는 경고가 텍스트에서는 눈에 안 들어온다며, 행동하기 전에 멈추게 하는 가시적 단서를 원했습니다.
체화된 에이전트가 갖춰야 할 세 가지 속성
같은 세션에서 참가자들의 응답을 정리해 세 가지 속성(A1에서 A3)을 뽑았습니다.
A1, 시간적 동기성. 참가자들은 단어와 손동작 사이의 촘촘한 동기화를 반복해서 선호했고, 제스처가 "한 박자" 이상 늦거나 이르면 혼란스럽다고 했습니다. 언어적 단서별로 요구가 갈렸습니다. 직시 표현("here", "this")에서는 그 순간에 포인팅이 착지해야 하고, 공간 관계("above", "left of")에서는 같은 순간에 작은 움직임이 그 관계를 보여야 하며, 동작 동사("rotate", "pull", "press")에서는 동사에서 모션이 시작해야 합니다. 수량은 숫자에 정확히 맞아야 하고, 비교 표현에서는 두 대상 사이의 전환이 그 단어에서 일어나야 하며, 순서를 나타내는 구조어("first", "next")에는 작은 비트가 붙어야 합니다.
A2, 공간 배치 전략. 참가자들은 "응답이 어디에 사는가"를 참조 공간의 선택으로 이해했고, 발화의 종류에 그 공간을 맞추기를 원했습니다. 여섯 가지 참조 공간이 나왔습니다.
| 참조 공간 | 어떤 발화에 | 참가자 발언 |
|---|---|---|
| 비공간 | 일반적인 조언과 정의 | "그냥 맥락 설명이면 아무 데나 고정하지 마라" (P1) |
| 물체 고정 | 부품과 특징의 지목 | "팬 흡입구라고 말하면 방이 아니라 프린터 위에 보여 달라" (P4) |
| 사용자 상대 | 잡기, 놓기, 돌기 같은 즉각적 동작 | "내가 보는 기준으로 좌우를 말해 달라. 팔 닿는 거리 안에서" (P6) |
| 월드 고정 | 내비게이션과 다단계 설치 | "다음 단계는 내가 걸어갈 자리에 두고, 자리가 밀리지 않게 해 달라" (P6) |
| 경로/궤적 공간 | 회전, 따라 그리기, 배선 같은 동사 | "동작이 실제로 일어나는 공간에서 보여 달라. 노브 위로 호를 그리거나 패널을 따라 배선하는 식으로" (P9) |
| 선택/비교 공간 | 선택지를 대비할 때 | "한 줄로 늘어놓아서 차이가 분명해지게 해 달라" (P7) |
앞의 넷은 무엇을 기준으로 삼을지의 문제이고, 뒤의 둘은 그 기준 위에서 움직임과 대비를 어떻게 배치할지의 문제입니다.
이 절에서 흥미로운 발견은 사용자들이 XR 에이전트에게 물리 세계의 운동학적 제약을 버리라고 요구했다는 점입니다. 장애물을 돌아가야 하는 로봇이나 중력에 묶인 사람과 달리, 참가자들은 에이전트가 단단한 책상을 통과해 목표에 도달하거나 공중에 떠 있거나 관심 지점으로 즉시 순간이동하는 자유로운 민첩성을 기대했습니다. P3는 "사람처럼 책상을 돌아 걸어올 필요는 없다. 그냥 순간이동해서 노즐에 가 있으면 된다"고 못 박았습니다. 즉 XR에서는 현실적인 물리 법칙을 지키는 것이 오히려 마찰로 인식되고, 사용자는 에이전트가 필요한 곳에 즉시 존재하는 기능적 편재성 을 우선합니다.
A3, 제스처 의도. 손 동작은 포인팅을 넘어 여러 목적을 수행하며, 표현력은 장식이 아니라 접지와 흐름과 몰입을 진전시키는 기능이어야 한다는 것이 참가자들의 피드백이었습니다. 저자들은 목적을 공간 참조, 시연, 교수적 구조화, 상호작용적 몰입, 정서적 표현, 사회적 신호의 여섯 갈래로 정리했습니다.
이 결과에서 저자들은 로봇이나 휴머노이드 아바타 선행 연구가 다루지 않은 두 가지 새로운 설계 영역을 짚습니다. 하나는 의미적 물질성 으로, 고정된 하드웨어에 묶인 물리 로봇과 달리 참가자들은 XR 에이전트가 시각 효과를 소통 채널로 쓰기를 기대했습니다. 위험을 알리려 빛나거나, 가려진 부품을 보여 주려 반투명해지는 식입니다. 다른 하나는 유형적 상호작용 으로, 사용자들은 에이전트와 물리적으로 상호작용하고 싶어 했습니다. 하이파이브를 하거나 손을 붙잡아 일시정지하는 식입니다.
여섯 차원 분류체계
O1에서 O5까지의 상황과 A2, A3의 속성을 종합해, 저자들은 체화된 손 에이전트 설계를 위한 여섯 개 핵심 차원의 분류체계를 정리했습니다.
각 차원과 지원 값은 다음과 같습니다.
| 차원 | 지원하는 값 | 대응하는 상황 |
|---|---|---|
| 손 사용(Handedness) | single, double |
두 손은 비교와 양손 단서, 한 손은 시각 부하 절감 |
| 제스처(Gesture) | palm, fist, point, hold, grab, thumbUp, thumbDown, one, two, three, cylinder, cube, sphere |
정지 의도(O5), 물체 형태(O3) |
| 공간성(Spatiality) | 공중, 물체 고정, 물체 영역 | 중의성 해소(O1), 정밀도와 개념 라벨링(O4, O3) |
| 시간적 동역학(Temporal Dynamics) | static, rollRotation, pitchRotation, yawRotation, xTranslation, yTranslation, zTranslation |
과정과 기능의 전달(O2, O3, O5) |
| 상호작용성(Interactivity) | none, highFive, shakeHand, holdHand |
사회적 신호와 몰입(O5) |
| 시각 효과(Visual Effects) | none, burn, freeze, glow, poisoned, spoil, explode |
현저성 강화(O5), 개념 표상(O3) |
이 분류체계는 조합적입니다. 각 차원에서 값을 하나씩 골라 하나의 손동작 행동을 정의하므로, 설계자는 구조를 유지한 채 새로운 조합을 계속 추가할 수 있습니다.
왜 손만 그렸는가
분류체계를 실제로 구현하려면 에이전트를 어떤 모습으로 그릴지 정해야 합니다. AgentHands는 에이전트를 반투명한 두 손과 작은 발광 구체 로만 표현합니다. 선행 연구가 사회적 현실감을 위해 사실적인 전신 아바타 안에서 제스처를 합성해 온 것과 달리, 저자들은 의도적으로 미니멀한 추상화를 골랐습니다.
이유는 두 가지입니다. 첫째, 얼굴과 신체가 있는 풍부한 체화(embodiment)는 추가적인 사회적 단서와 의인화를 끌어들여 지각된 역량과 정서에 영향을 주고, 그러면 관찰된 효과를 손동작 자체에 귀속시키기 어려워집니다. 실험 설계상 교란을 줄이기 위한 선택이며, 단순한 에이전트 표현이 교육 효과는 유지하면서 사람의 인지 부하는 낮춘다는 최근 결과와도 맞아떨어집니다. 둘째, XR에서 전신 아바타는 작업 공간을 가리거나 더 멀리 서 있어야 해서 공간적 명료성이 떨어집니다. 손만 있으면 에이전트가 작업 공간 안으로 "손을 뻗어" 낮은 가림으로 정밀한 안내를 할 수 있고, 앞서 A2에서 참가자들이 요구한 물리 법칙을 무시하는 민첩성도 이 형태라야 무리 없이 성립합니다.
손은 반투명한 파란 메시에 빛 파티클 효과를 얹어 렌더링했고, 발광 구체는 얼굴 표정이나 시선 없이도 에이전트가 어디에 "집중"하는지를 알리는 주의의 초점 역할을 합니다. 이 형태는 나이, 성별, 인종에 대해 중립적이기도 합니다.
AgentHands 시스템
물체 등록: 시선과 장면 메시로 3D 바운딩 박스 만들기
분류체계가 요구하는 공간 민감형 손동작을 실제로 수행하려면 에이전트가 물리적 장면을 신뢰성 있게 이해해야 합니다. 완전한 온디바이스 3D 물체 추적은 계산 비용과 정확도 한계가 있으므로, 저자들은 시선, 기기 측 깊이 재구성, 멀티모달 LLM을 융합한 경량 파이프라인으로 물체 등록을 준자동화했습니다.
동작 순서는 이렇습니다. 사용자가 "register this" 라고 말하면, 시스템은 헤드셋 위치에서 시선 광선을 쏘아 장면 이해 모듈이 재구성한 장면 메시와 교차시켜 3D 교차점을 얻습니다. 동시에 1인칭 시야(FPV) RGB 이미지를 고정 주기로 캡처하고, 교차점을 이미지에 투영해 경험적으로 정한 크기로 잘라 냅니다. 잘라 낸 이미지와 헤드셋 자세, 교차 위치가 백엔드 LLM 처리기로 전송되고, 모델은 물체 등록 시스템 프롬프트의 지시에 따라 그 물체를 기술한 구조화 JSON을 내놓습니다.
논문 본문은 모델이 라벨과 3D 치수, 방향을 예측한다고만 적고 넘어가지만, 부록에 실린 시스템 프롬프트를 보면 요구하는 필드가 다섯 개입니다. 물체 이름(objectName), 2D 바운딩 박스(boundingBox2D), 3D 치수(dimensions), 기본 영역(defaultRegion), 그리고 의미 맵(semanticMap) 입니다. 이름은 prusaPrinter, redBullCan, officeDesk 처럼 구체적인 카멜케이스로 적으라고 지시하고, 기본 영역은 그 물체를 일반적으로 가리킬 때 겨눌 한 곳을 지정합니다.
여기서 눈여겨볼 설계 결정은 3D 치수를 이미지에서 측정하지 않고 모델의 일반 상식으로 추정 한다는 점입니다. 시스템 프롬프트는 모델에게 식별한 물체에 대한 일반적 의미 지식을 근거로 정규적인 실제 평균 3D 치수를 미터 단위로 추정하라고 지시합니다. 부록의 예시를 보면 3D 프린터는 폭 0.4 , 높이 0.5 , 깊이 0.45 미터, 난초는 폭 0.15 , 높이 0.4 , 깊이 0.15 미터로 나옵니다. 깊이 센서로 재는 대신 "3D 프린터란 대략 이만한 물건"이라는 사전 지식을 쓰는 셈입니다.
이 필드들 중에서 이후 대화를 실제로 떠받치는 것은 의미 맵 입니다. 모델은 물체의 기능적 부위마다 카멜케이스 이름과 위치 코드, 사용자에게 보여 줄 짧은 기능 설명을 지어냅니다. 부록의 3D 프린터 예시에서는 printBed(F_middle_center, "물체가 출력되는 평평한 가열 사각 베드"), nozzle(F_top_center, "녹은 필라멘트를 밀어내는 뜨거운 금속 팁"), controlScreen, cardReader, filamentSpool, filamentIntake 여섯 부위가 나옵니다. 뒤에서 에이전트가 SD 카드 슬롯을 말하면서 프린터 오른쪽 아래를 정확히 가리킬 수 있는 것은, 등록 시점에 모델이 이미 cardReader 라는 부위를 이름 짓고 F_bottom_right 라는 좌표를 배정해 두었기 때문입니다. RegionOfObject 제스처가 요구하는 spatiality 값은 이 목록에서 찾아 씁니다.
방향은 모델이 매번 추정하는 값이 아니라 규약으로 고정되어 있습니다. 시스템 프롬프트는 RGB 이미지에서 사용자가 보고 있는 시점을 그 물체의 정면(F)으로 삼고 나머지 다섯 면을 거기에 상대적으로 정의하라고 지시하며, 부록의 바운딩 박스 생성 알고리즘도 물체에서 머리로 향하는 벡터를 수평면에 투영해 정면 축으로 삼고 위쪽 축은 전역 상향 벡터를 그대로 씁니다. 즉 물체의 '앞'은 등록하는 순간 사용자가 바라본 면입니다. 따라서 3D 프린터를 옆에서 등록하면 그 옆면이 이후 계속 정면으로 취급됩니다.
시스템은 이렇게 정해진 바운딩 박스에 여섯 면(front, back, top, down, left, right)의 라벨을 붙이고, 각 면을 세로 3단과 가로 3단으로 나눈 9개 영역까지 할당합니다. 즉 물체 하나당 54개 영역이 생기고, 공간성은 id_face_verticalRegion_horizontalRegion 형식으로 인코딩됩니다. orchid_R_bottom_center 는 난초의 오른쪽 면 아래 중앙 영역을 가리킵니다. 난초의 뿌리 부분이나 커피 머신의 오른쪽처럼 부위 수준의 참조가 이 인코딩으로 가능해집니다.
등록이 끝나면 라벨과 변환, 의미 맵이 물체 레지스트리에 추가되고, 등록 모드에서만 보이는 방향성 3D 바운딩 박스가 시각화되어 사용자에게 결과를 알립니다. 레지스트리에서 물체 이름과 의미 맵만 뽑아 문자열로 만든 목록은 응답 생성 시스템 프롬프트 뒤에 이어 붙습니다. 프롬프트에는 이 목록을 "참조할 수 있는 물체와 기능적 영역의 완전하고 배타적인 목록으로 취급해야 한다"는 지시가 함께 들어갑니다.
손동작 라이브러리: 16종의 GestureEvent
라이브러리를 어떻게 나눌지는 논문이 임의로 정한 것이 아니라, 사람 사이의 대면 대화를 다룬 제스처 연구에서 가져왔습니다. 저자들이 정리한 선행 연구의 갈래는 네 가지입니다.
| 갈래 | 하는 일 |
|---|---|
| 지시(deictic) | 물체, 위치, 방향을 가리켜 공간 참조를 세우고 대화 상대와 공동 주의를 형성 |
| 도상(iconic) | 형태와 움직임으로 세상의 구체적인 면을 표상. 동작이 어떻게 수행되는지 시연하거나, 모양과 크기를 그려 물체의 대역 역할을 하거나, 손 모양으로 수치를 표현 |
| 표징(emblematic), 조절(regulatory) | 엄지 올리기처럼 문화적으로 정해진 관습적 의미의 신호. 손 높이 차이로 상대적 크기를 보이는 비교 제스처와 반복 두드림 같은 주의 환기 행동을 포함 |
| 대인 접촉(interpersonal touch) | 성취를 축하하는 하이파이브 같은 사회적 목적과, 손을 붙잡아 행동을 막거나 방향을 바꾸거나 경고하는 안내 목적 |
도상 제스처가 특히 공간 정보와 동작 순서를 전달할 때 이해도를 유의하게 높인다는 결과도 선행 연구에 있습니다.
분류체계의 여섯 차원에서 값을 조합해, 저자들은 이 네 갈래를 XR 대화형 AI 상호작용으로 옮긴 대표 집합을 손동작 라이브러리로 구성했습니다. 앞의 세 갈래가 라이브러리의 세 범주가 되고, 대인 접촉은 상호작용성 차원이 맡습니다.
조합이 어떻게 하나의 제스처가 되는지 예를 보면 이해가 빠릅니다. 손 사용을 single, 제스처를 point, 공간성을 물체 고정, 시간적 동역학을 static, 상호작용성을 none, 시각 효과를 기본값으로 두면 PointObject 제스처가 됩니다. 손 사용을 double, 제스처를 palm, 공간성을 물체 영역, 나머지를 정지와 기본값으로 두면 SizeMeasurement 가 됩니다. 동적인 흉내를 지원하려면 손 사용 single, 제스처 point, 공간성을 물체 고정(경로), 시간적 동역학을 애니메이션(따라 그리기)으로 조합해 케이블 배선 같은 동작을 그리는 TraceTrajectory 를 얻습니다. 안전 신호를 위해 손 사용 single, 제스처 palm(정지), 공간성 물체 고정, 시간적 동역학을 애니메이션(움츠림), 시각 효과를 붉은 발광과 연기로 조합하면 위험을 몸으로 전달하는 HeatWarning 이 나옵니다.
LLM이 의미에 맞는 제스처를 고르기 쉽도록, 저자들은 이 제스처들을 대화 상호작용에서의 역할에 따라 세 범주로 묶어 응답 생성 시스템 프롬프트에 넣었습니다.
| 범주 | 역할 | 포함된 GestureEvent |
|---|---|---|
| 지시(Deictic) | 개체와 위치의 참조, 공간 중의성 해소와 주의(O1, O5) | PointObject, RegionOfObject, DirectionOfObject |
| 도상(Iconic) | 개념과 물체, 동작의 묘사, 개념 표상과 시연(O3, O2) | ObjectProxy, Action, Geometry1D, Geometry2D, Geometry3D, Numeric |
| 표현(Expression) | 감정과 지지, 미적 강조의 전달, 사회적 신호와 몰입 강화(O5) | Positive, Negative, Attention, Prohibition, Comparison, Celebration, Burn/Poisoned/Spoil |
GestureEvent 문법: 응답 문장 안에 명령을 심기
각 제스처는 GestureEvent 라는 템플릿 출력 구조로 형식화됩니다. 문법은 엄격하게 아래 형태를 따릅니다.
[id; attribute1:value1, attribute2:value2, ...]keyword
id 는 지원되는 손동작의 고유 식별자이고, attribute:value 쌍은 해당 제스처에 필요한 파라미터입니다. 대괄호 바로 뒤에 오는 keyword 가 그 제스처의 트리거 단어이며, 이 결합으로 형성 연구의 A1(시간적 동기성)을 달성합니다. 제스처가 단어 하나보다 짧은 구나 문장에 더 관련될 때는, 의미적 결합이 가장 강한 단어에 이벤트를 붙이도록 모델에 지시합니다.
프롬프트 토큰을 아끼기 위한 규칙도 하나 들어 있습니다. 각 속성에 기본값을 정해 두고, 기본값을 쓰는 제스처 인스턴스에서는 그 속성을 아예 생략하도록 모델에 지시합니다. 기본값은 handedness:single, gesture:palm, dynamics:static, Interactivity:none, Vfx:none, spatiality:midAir 입니다.
여기서 한 가지 짚어 둘 점이 있습니다. 형성 연구가 도출한 참조 공간은 여섯 가지였지만, 부록의 파라미터 목록에서 spatiality 가 실제로 받는 값은 기본값 midAir 와 [objectName]_[face]_[vRegion]_[hRegion] 형식의 물체 좌표 두 가지뿐입니다. 사용자 상대와 월드 고정은 별도의 값으로 들어 있지 않고, 경로와 비교는 각각 TraceTrajectory 와 Comparison 이라는 개별 제스처로 흡수되었습니다. 설계 공간이 구현보다 넓게 잡혀 있는 셈이고, 저자들이 향후 과제로 드는 "분류체계를 스키마로 삼은 제스처 합성"이 겨냥하는 지점이기도 합니다.
실제 응답이 어떻게 나오는지 보겠습니다. 논문 부록의 퓨샷 예시 중 하나입니다.
You can use [PointObject; spatiality:wateringcan_F_middle_center]this
watering can to water the orchid. Gently [Action; gesture:hold,
spatiality:orchid_R_bottom_center, dynamics:pitchRotation]pour some
water to the soil.
에이전트가 "this"를 말하는 순간 손이 물뿌리개의 앞면 중앙을 가리키고, "pour"를 말하는 순간 난초 오른쪽 면 아래 중앙에서 물뿌리개를 쥐고 기울이는 동작을 수행합니다. 다른 예시에서는 시각 효과가 함께 붙습니다.
If the wok is on [BurnEffect; spatiality:wok_F_top_center]fire, do
[StopExpression]not panic. Grab the lid and quickly [Action;
gesture:grab, spatiality:wok_F_top_center, dynamics:zTranslation]cover
on the wok. You will be [ThumbupExpression]fine!
주목할 점은 이 모든 것이 하나의 텍스트 응답이라는 사실입니다. 별도의 제스처 생성 모델도, 별도의 구조화 출력 스키마도 없습니다. 시스템 프롬프트가 문법과 허용 값, 등록된 물체 목록, 퓨샷 예시를 제공하고, 모델은 평소처럼 문장을 쓰면서 그 안에 명령을 끼워 넣습니다. 응답 생성 시스템 프롬프트의 핵심 지시는 "당신의 텍스트 응답은 반드시 삽입된 GestureEvent 명령으로 증강되어야 한다"는 한 줄입니다.
런타임: 단어 단위로 손을 붙이는 방법
사용자가 대화 모드에 들어가면 AgentHands는 사용자 시야 앞에 손을 배치하고 기본 "생각하는" 제스처로 입력을 기다립니다. 사용자가 질문하면 전사된 질의, 1인칭 시야와 시선 교차점, 현재 물체 레지스트리가 백엔드 LLM으로 전송되고, 증강된 응답이 헤드셋으로 돌아옵니다.
응답이 음성 재생과 동기화된 손동작으로 전달되기까지 세 단계를 거칩니다.
응답 파싱
응답 파서는 원 응답에서 GestureEvent를 추출해 사전의 값으로 넣고, 트리거 단어의 위치 인덱스를 키로 삼아 시간 정렬 사전을 만듭니다. 위의 물뿌리개 예시라면 3번 인덱스에 PointObject; spatiality:wateringcan_F_middle_center, 11번 인덱스에 Action; gesture:hold, spatiality:orchid_R_bottom_center, dynamics:pitchRotation 가 들어갑니다.
단어 단위 정렬
손동작을 음성과 맞추려면 지금 어느 단어가 재생되고 있는지 알아야 합니다. AgentHands는 별도의 강제 정렬(forced alignment) 모델을 쓰지 않고 다음 절차로 타임라인을 만듭니다.
먼저 오디오 전체에 대해 평활화한 제곱평균제곱근(RMS) 에너지 프로필을 계산해 발화와 침묵 구조를 드러냅니다. 전사문은 구두점을 유지한 채로 토큰화합니다. 단어별 초기 지속 시간은 단순한 단서로 배정합니다. 단어 길이, 구두점(짧은 정지), 그리고 기본적인 맥락(이벤트가 붙은 단어는 약간 빠르게)입니다. 이렇게 배정한 값을 오디오 클립 길이에 맞춰 정규화하고 단어 사이에 작은 간격을 둔 뒤, 한 번의 순방향 통과로 단어별 시작과 종료 시각을 누적합니다. 그다음 각 단어 경계를 짧은 창 안에서 에너지 프로필의 가장 가까운 국소 최솟값 쪽으로 밀어 정지 위치를 개선하고 겹침을 줄입니다. 결과로 시작, 종료, 선택적 신뢰도, 에너지를 담은 단어 단위 타임라인이 나오고, 음성 재생 시점에 어느 단어가 재생 중인지 판정하는 데 쓰입니다.
무거운 정렬 모델 없이 휴리스틱과 에너지 프로필만으로 타임라인을 얻는 접근입니다. 뒤에서 살펴볼 사용자 연구에서 참가자들이 포인팅이 제때 착지한다고 답한 근거가 이 설계에 있습니다.
손 상태 기계와 상호작용 제스처
각 손은 유한 상태 기계로 제어됩니다. 한 손의 상태는 변환(transform), 제스처(gesture), 시각 효과(vfx)라는 세 개의 독립적인 하위 상태로 구성되고, 초기 유휴 상태는 국소 제스처나 시각 효과가 없는 휴식 자세입니다.
이벤트 배정 규칙은 다음과 같습니다. 들어온 GestureEvent가 한 손용이면 먼저 유휴 상태인 손이 있는지 확인해 있으면 그 손에 상태 전이를 일으키고, 없으면 마지막 제스처 전이가 가장 오래된 손에 배정합니다. 양손용이면 두 손에 동시에 적용합니다. 시간 임계값이 지나도 새 이벤트가 들어오지 않으면 손은 유휴 제스처로 돌아갑니다.
하이파이브나 악수처럼 사용자의 상호작용이 필요한 제스처는 비동기 함수로 처리합니다. 하이파이브라면 에이전트 손과 사용자 손 사이에 충돌이 일어나는지 검사하고, 충돌하면 국소 하이파이브 제스처의 완료를 트리거합니다. 시간 임계값 안에 조건이 충족되지 않으면 기본 상태로 돌아가 다음 제스처를 기다립니다.
구현 스택
논문에서 밝힌 구현 스택은 다음과 같습니다.
| 구성 요소 | 사용한 것 |
|---|---|
| 엔진 | Unity 6000.1.5f1 |
| 음성 인식 | Android SpeechRecognizer API |
| 응답 생성 | gemini-2.5-flash-exp (HTTP API 엔드포인트로 웹 요청) |
| 음성 합성 | gemini-2.5-flash-preview-tts |
| 시선, 손 입력, 장면 메시 | Unity OpenXR 확장 |
| 배포 기기 | Samsung Galaxy XR 헤드셋 |
기본은 음성 전용 인터페이스이고, 캡션은 사용자가 원할 때 켜도록 두었습니다. 켜면 시야 하단에 표시됩니다.
응용 시나리오
저자들은 AgentHands가 대화형 안내를 공간적 행동으로 확장하는 방식을 다섯 가지 시나리오로 보여 줍니다.
디자인 스포트라이트. 손 에이전트가 제품 발표자 역할을 합니다. 스피커 소개를 요청하면 에이전트가 그 옆으로 이동해 두 손으로 원통형 몸체와 구형 상단을 묘사하면서 그 형태가 어떻게 "세련된 외관"을 만드는지 설명합니다. "cylindrical", "spherical" 같은 추상적 디자인 언어를 구체적인 시각 특징에 연결해 줍니다.
의사결정 지원. 대안을 비교할 때 대비적 제스처로 결정을 돕습니다. 음료 선택 상황에서 두 손이 커피 캔과 소다 캔 위에 떠 있고, 에이전트가 피로를 물리치는 데는 커피가 낫다고 설명하는 동안 커피 위의 손이 살짝 올라가고 다른 손은 낮게 유지되어 추천을 시각적으로 인코딩합니다.
팁 제공. 주변 환경에 접지된 실행 가능한 조언을 전달합니다. 난초 관리 상황에서 에이전트가 식물과 비료병 근처에 나타나 올바른 사용법을 설명하면서 비료를 짜는 동작을 재현하고, 월 1회 적용을 짧은 숫자 제스처로 강화합니다. 저자들은 이렇게 제스처가 딸린 조언이 "무엇을 할지"와 "얼마나 자주 할지"를 해당 물체 위에 직접 적어 두는 공간 포스트잇처럼 작동한다고 표현합니다.
현장 튜토리얼. 3D 프린터 온보딩 과정에서 에이전트가 압출기에 고정되어 릴리스 레버를 가리키고, 각도와 깊이를 보여 주는 삽입 동작을 수행합니다. 가열 전에 짧은 3-2-1 비트가 선행하고, 경고 색조가 핫엔드를 표시합니다. 캘리브레이션에서는 손이 베드 레벨링 패턴을 따라 그리고, 노즐 거리를 재는 눈금자를 제자리에 표시합니다. 어느 SD 카드 포트인지 모호해지면 후보들이 강조되고 사용자가 손을 눌러 확인합니다.
라이프스타일 동반자. 사용자가 알코올 음료에 대해 물으면 손이 "금지" 제스처를 수행하면서 사용자의 손을 붙잡고, 과음이 건강에 해롭고 독성을 가질 수 있다고 설명하는 동안 경고 시각 효과와 함께 엄지를 내립니다.
사용자 연구와 결과
실험 설계
연구팀은 두 조건을 두고 피험자 내 비교 연구를 진행했습니다. (a) AgentHands의 인터페이스를 공유하되 손 시각화가 없는 베이스라인 대화형 AI 에이전트, (b) 완전한 공동 발화 제스처 생성을 갖춘 AgentHands입니다. 이 대비는 그 외에는 동일한 에이전트에 체화를 더한 값어치만 분리해 냅니다.
참가자는 익명화된 회사에서 12명을 모집했고(소프트웨어 엔지니어, UX 디자이너, UX 연구자, HCI 연구자), 형성 연구 참가자와 겹치지 않게 했습니다. 평균 연령은 29.7 세(표준편차 5.31 )였고, 10명이 남성, 1명이 여성, 1명이 논바이너리로 정체화했습니다. XR 경험은 앱을 만들어 본 사람 6명, 써 본 사람 5명, 전혀 없는 사람 1명이었고, LLM 경험은 앱을 만들어 본 사람 2명, 자주 쓰는 사람 9명, 간헐적으로 쓰는 사람 1명이었습니다. 공간에 접지된 일상 작업에 LLM 어시스턴트를 써 본 사람은 5명이었습니다.
과제는 공간 추론(spatial reasoning)과 다단계 안내를 요구하는 두 가지를 골랐습니다.
과제 1, 난초 관리. 새 난초를 집에 들이고 관리법을 구하는 상황을 시뮬레이션합니다. 에이전트가 난초의 각 부분을 위치, 이름, 시각적 특징, 생물학적 기능으로 소개하고, 물 주기(빈도, 양, 붓는 위치, 배수의 중요성), 비료(적용 빈도, 흔들어 섞는 방법, 뿌리와 잎에 적정량 적용), 최적 배치(간접광이 드는 창가, 직사광 손상을 막는 거리 유지)의 세 가지 관리 활동을 다룹니다.
과제 2, 3D 프린터 조작. 3D 프린터를 들이고 SD 카드로 출력하는 법을 배우는 상황입니다. 프린트 베드, 노즐, 필라멘트, 제어 패널을 소개하고, 전원을 켜고 SD 카드를 넣는 과정부터 제어 노브로 파일 브라우저를 탐색하고 파일을 선택해 출력을 시작하는 전체 흐름을 다룹니다. 가열 베드 온도 인지 같은 안전 고려사항도 포함됩니다.
진행 순서는 인구통계 설문, 음성으로 XR 에이전트와 대화하는 법을 익히는 5분 튜토리얼, 두 조건의 과제 수행, 과제마다의 사후 설문(7점 리커트 문항과 표준 시스템 사용성 척도), 그리고 두 과제를 모두 마친 뒤의 자유 탐색과 인터뷰였습니다. 자유 탐색 단계에서는 참가자가 주변 환경에 대해 스스로 질문을 던지고 여러 대화 맥락에서 제스처 응답이 어떻게 나오는지 관찰했습니다. 참가자들에게는 두 가지 다른 설계를 경험하게 된다는 사실만 알렸습니다.
각 과제는 배경 소개, 본 튜토리얼, 완료 확인의 세 국면에 걸쳐 10단계로 구성했고, 조건 순서는 신기 효과와 순서 효과를 완화하기 위해 균형화했습니다. 부록에 따르면 난초 관리 과제에는 37개, 3D 프린터 조작 과제에는 29개의 GestureEvent가 들어갔습니다. 두 조건 모두 베이스라인 AI 에이전트에서 나온 동일한 연구자 대본 발화 내용을 사용해, 참가자가 같은 지시와 대화 흐름을 받도록 했습니다.
실험 결과
정규성 검정(Shapiro-Wilk)에서 정규성 가정이 충족되지 않았으므로, 통계적 유의성은 윌콕슨 부호 순위 검정으로 평가했습니다.
7점 척도(1은 매우 반대, 7은 매우 동의) 문항별 결과는 다음과 같습니다.
| 문항 | AgentHands | 베이스라인 | 유의성 |
|---|---|---|---|
| 에이전트가 언급한 물체를 쉽게 찾을 수 있다 | 6.50 | 4.58 | p < 0.05 |
| 에이전트가 언급한 방향을 쉽게 찾을 수 있다 | 6.33 | 4.50 | p < 0.05 |
| 에이전트가 언급한 물체의 부품/영역을 쉽게 찾을 수 있다 | 6.00 | 4.00 | p < 0.05 |
| 에이전트의 지시를 통해 동작을 쉽게 이해할 수 있다 | 6.33 | 4.92 | p < 0.05 |
| 에이전트가 알려 주는 경고를 쉽게 알아차릴 수 있다 | 6.25 | 4.92 | p < 0.05 |
| 에이전트와의 대화가 몰입감 있다 | 6.08 | 4.58 | p < 0.05 |
| 에이전트의 응답을 이해하기 어렵다 (역문항) | 1.83 | 3.58 | p < 0.05 |
| 에이전트의 응답을 기억하기 어렵다 (역문항) | 2.17 | 3.50 | p < 0.01 |
| 에이전트의 감정 표현을 쉽게 느낄 수 있다 | 5.25 | 4.83 | 유의하지 않음 |
| 에이전트의 지시에서 숫자를 쉽게 파악할 수 있다 | 5.42 | 5.08 | 유의하지 않음 |
공간 이해와 관련된 세 문항이 모두 유의하게 개선된 것이 이 결과의 핵심이고, 저자들은 이를 손의 공간 배치 설계(A2)가 실제로 작동한 근거로 읽습니다. P3는 "처음에는 어느 것이 난초 비료인지 몰랐는데 에이전트가 가리켜 줬다"고 말했고, P1은 "에이전트가 포인팅 제스처로 난초를 창가에 놓으라고 했을 때 곧바로 창문 쪽을 봤다"고 답했습니다. P7은 "3D 프린터에서 SD 카드 슬롯을 찾는 데 정말 도움이 됐다"고, P12는 "난초 뿌리가 화분 밖으로 나와 숨을 쉬고 있다는 걸 처음 알았다"고 말했습니다.
단어 단위 정렬 설계가 실제로 체감되었다는 언급도 나왔습니다. P4는 "'this'라고 말하면 포인팅이 바로 그 순간에 착지한다. 추측할 게 없다"고, P6은 "작은 비트 제스처가 새 단계가 시작됐다고 알려 줬다"고 답했습니다.
동작 이해와 경고 인지에서도 개선이 나타났습니다. P5는 "에이전트가 들어 올리는 제스처를 보여 줬을 때에야 물이 빠지도록 난초를 들어야 한다는 걸 알았다"고 말했고, 같은 참가자는 비료를 너무 많이 주면 뿌리가 타 버린다는 설명과 함께 타는 시각 효과가 나온 것을 두고 "정말 인상적이었고, 난초에 비료를 과하게 주지 않을 것이다"라고 답했습니다.
몰입감 개선의 이유로 참가자들은 제스처가 눈에 거슬리지 않게 제때 전달되어 대화가 자연스럽게 느껴졌다는 점을 들었습니다. P6은 "손이 문장의 일부인 것 같았다. 멈춰서 생각할 필요가 없었다"고, P2는 "시스템을 거의 의식하지 못했다. 그게 좋은 것이고, 그냥 따라갔다"고 말했습니다.
유의차가 없었던 두 항목
논문이 솔직하게 보고한 부분이 이쪽입니다. 숫자 정보 파악(5.42 대 5.08 )과 감정 표현(5.25 대 4.83 )에서는 두 조건 사이에 유의한 차이가 없었습니다.
숫자에 대해서는 P6이 "숫자는 음성으로도 충분히 기억할 수 있다"고 답했고, P2는 "숫자 제스처가 도움이 될 수도 있겠지만 지금은 충분히 오래 남지 않는다"고 말했습니다. 저자들은 앞으로 숫자 지원이 필요할 때만 나오고 더 실행 가능하며 오래 남아야 한다고 정리하며, 화면에 오래 남는 눈금자, 제자리에 고정해 두는 측정값, 요청 시 빠른 재생을 방향으로 제시했습니다.
감정 표현 쪽은 저자들이 원인까지 함께 짚었습니다. 참가자들이 양쪽 조건에서 공유된 TTS의 억양과 "적극적인" 톤에 일관되게 감탄했고, 그 음성이 효과의 상당 부분을 가져갔다는 것입니다. P9는 "두 에이전트 모두 꽤 감정적이다. 음성이 좋았다"고, P6은 "손이 따뜻함을 더하지만 감정은 음성이 대부분 담당한다"고 답했습니다. 즉 제스처 단서는 이 과제 집합에서 덧붙는 요소로 인식되었을 뿐 결정적이지는 않았습니다. 다만 하이파이브 같은 상호작용 순간이 척도 점수를 바꾸지는 않았어도 동기를 부여하고 관계적으로 느껴졌다는 언급이 여럿 나왔습니다. P3는 "하이파이브가 내 '감정' 점수를 바꾸지는 않지만, 웃게 만들고 계속하고 싶게 만든다"고 말했습니다.
사용성
시스템 사용성 척도(SUS) 평균은 AgentHands가 80.6 , 베이스라인이 70.4 였습니다. 이 항목은 정규성이 확인되어 대응표본 t 검정을 썼는데, 유의한 차이는 나오지 않았습니다(t = 1.69 , p = 0.118 ). 저자들은 이 결과를 AgentHands가 추가적인 사용성 장애물을 도입하지 않으면서도 몰입감과 공간적 명료성에서 이득을 준다는 뜻으로 해석합니다.
논의: 손이 출력이 아니라 입력이 될 때
상호작용 메커니즘의 변화
연구팀이 사용자 연구에서 얻은 첫 번째 통찰은 손을 추가하는 일이 명료성 개선을 넘어 상호작용 양식 자체를 바꾼다는 것입니다. 음성 우선에서 말과 제스처, 시선, 짧은 접촉이 수렴하는 혼합형 체화 대화로 옮겨 갑니다. 정성적 기록을 보면, 음성 전용 베이스라인에서는 빈번한 정지와 언어적 확인이 나타났지만 체화 조건에서는 참가자들이 간결한 몸짓 확인, 더 세분화된 후속 질문, 더 적은 수정으로 이동했습니다.
참가자들은 에이전트의 손을 실행 가능한 입력 표면으로 자발적으로 취급했습니다. P4는 "손을 붙잡아 일시정지하고 싶다"고, P6은 "하이파이브할 때 더 몰입감이 있다"고 말했습니다. 저자들은 이를 가상 촉각 상호작용이 체화된 에이전트에게 중요하지만 충분히 탐구되지 않은 양식이라는 신호로 읽습니다. 물리 인간-로봇 상호작용(HRI)에서 접촉은 딱딱한 모터와의 충돌 같은 안전 문제, 하드웨어 취약성, 운동학적 도달 범위 때문에 제한되는데, XR 손은 이 물리적 제약을 우회합니다. 안전하게 다가갈 수 있고, 동적으로 크기를 바꿀 수 있고, 사용자의 손이 닿는 범위로 즉시 재배치할 수 있으면서도 탭이나 잡기 같은 풍부한 접촉 은유를 제공합니다.
저자들은 이를 형식화할 세 가지 연구 기회를 제시합니다. 손 자세가 시스템 의도를 전달하고 명확한 사용자 응답을 유도하는 압축된 "상호작용 알파벳"을 형식화하는 양방향 제스처 프로토콜, 짧은 언어 단위와 미세 접촉을 예측 가능한 상호작용 패턴으로 조율하는 조합적 순서 교대, 그리고 필요할 때만 손 위에 나타나는 과제 의존적이고 일시적인 어포던스를 개발하는 생성형 UX(GenUX)입니다. 마지막 항목에서 저자들은 사용자의 필요에 따라 LLM으로 XR 인터페이스를 합성하는 AgentAR과 XR Blocks 를 선행 사례로 인용합니다.
체화 형태의 상세도
두 번째 통찰은 형태 상세도(level of detail)에 관한 것입니다. 공간에 접지된 과제에서 손만 있는 표현은 기능적으로 좋은 지점을 차지합니다. P9가 "손이 나를 안내하는 파트너처럼 느껴졌다"고 말한 정도의 의인화는 확보하면서, 전신 아바타가 감당해야 하는 현실감 비용은 피합니다. 참가자들은 떠 있는 손이 프린터와 선반처럼 흩어진 작업 표면 사이를 유연하게 이동하고 열기 아우라 같은 양식화된 시각 효과를 쓸 수 있다는 점을 높게 평가했으며, 인간 수준의 운동학이나 얼굴의 미묘함보다 정밀도와 명료성을 우선했습니다.
다만 최적 상세도는 맥락에 크게 의존합니다. 한 참가자는 "그냥 아무 얘기나 하고 있을 때는 더 생생한 체화가 매력적으로 느껴진다"고 답했습니다. 이는 사회적 성격의 환경에서 풍부한 대인 단서를 전달하기 위해 고충실도 아바타가 선호된다는 선행 연구와 맞물립니다. 반대로 과제 중심 XR에서는 기능성과 낮은 가림이 우선합니다. EmBARDiment 는 최소한의 형태로도 음성 보조가 효과적으로 작동함을 보였고, Cao 등은 AR 기계 조작 튜토리얼에서 전신 아바타가 작업 공간을 가려 오히려 방해가 되는 경우가 많다는 결과를 보고했습니다.
저자들은 이 대비를 종합해, 체화를 고정된 선택이 아니라 세분성의 스펙트럼으로 볼 것을 제안합니다. 정밀 과제에는 추상적인 손, 사회적 대화에는 더 완전한 상체 형태로 설계자가 에이전트의 형태를 동적으로 조율하고, 도구로 변형하거나 순간이동하는 비인간적 능력을 공간적 요구에 맞춰 활용하는 적응형 체화입니다.
개인화
세 번째 통찰은 체화된 에이전트에게 기억이란 언어적인 것만큼이나 공간적이고 감각운동적이라는 관찰입니다. 참가자들은 주된 손, 편안한 도달 영역 같은 안정적인 습관과 도구 위치 같은 환경적 규칙성, 제스처 템포와 오버레이 허용도 같은 양식적 선호를 암묵적으로 드러냈습니다. 손이 좁은 공간 근처에서 속도를 줄이거나 사용자의 통상적인 시작 지점 근처에 미리 자리를 잡거나 제스처에 미묘한 주석을 짝지었을 때, 사용자는 그 안내를 단지 "이 과제를 위해 만들어진" 것이 아니라 "나를 위해 만들어진" 것으로 서술했습니다.
효율을 넘어 이 맞춤화는 문화적 적응과도 맞닿습니다. 문화 적응형 인터페이스가 사용자 성능과 만족도를 유의하게 개선한다는 선행 연구가 있고, 가상 에이전트가 제스처와 근접학을 포함한 비언어적 행동을 사용자의 문화적 배경에 맞추면 이득이 있다는 결과도 있습니다. 엄지 올리기 대신 다른 긍정 표현을 쓰는 식입니다. 접근성 측면에서도 개인화가 필요합니다. 시력이 제한된 사용자를 위한 더 큰 모션 범위, 중요한 작업 영역을 가리지 않는 최적화된 저가림 경로, 다양한 운동 능력을 수용하는 조정된 제스처 속도가 그 예입니다.
저자들이 그리는 더 큰 기회는 "살아 있는 프로필(living profile)"입니다. 대화 이력과 사용자 환경 및 습관의 공간 기억 그래프를 하나로 묶은 것으로, 이것이 있으면 손이 미리 자리를 잡아 두는 예견적 배치, 사용자가 묻기 전에 나가는 능동적 안전 신호, 한 번 가르치면 에이전트가 시간을 두고 다듬어 가는 제스처 매크로가 가능해집니다. 다만 이 다듬기는 사용자의 명시적 통제 아래 두어야 한다는 단서를 함께 답니다.
한계점 및 향후 연구 방향
사용자 연구가 검증한 것과 하지 않은 것
논문 본문만 읽으면 놓치기 쉬운 대목이 부록에 있습니다. 부록에 따르면 두 과제에 쓰인 프로토타입은 순서 교대 방식의 대화 시스템이며 백엔드 서버와 완전히 분리 되어 있었습니다. 로컬 STT는 사용자가 말했다는 사실만 감지하고, 그 신호로 대본화된 전사문을 다음 단계로 넘겼습니다. 과제 수행 중 참가자의 자발적 발화는 처리되지 않았고, 참가자들은 연구 시작 시점에 에이전트가 유도하는 문구로만 응답하라고 안내받았습니다.
즉 리커트 점수와 SUS 점수가 검증한 것은 분류체계와 제스처 라이브러리, 파싱과 단어 단위 정렬, 렌더링 계층이 사용자에게 어떤 효과를 주는지입니다. Gemini가 실시간으로 GestureEvent를 얼마나 정확하게 붙이는지, 잘못된 물체 참조나 문법 위반이 얼마나 나오는지는 이 수치의 범위 밖입니다. 두 조건이 동일한 연구자 대본을 썼다는 서술이 같은 사실의 다른 표현입니다.
다만 참가자들이 실제로 동작하는 시스템을 전혀 만나지 않은 것은 아닙니다. 두 과제를 마친 뒤 자유 탐색 단계에서 참가자들이 직접 환경에 대해 질문을 던지고 그때 나오는 제스처 응답을 관찰했으며, 인터뷰의 정성적 소감은 그 경험까지 포함합니다. 정리하면 정량 비교는 생성 계층을 통제한 대본 위에서, 정성적 인상은 실제 생성을 포함해 얻은 결과입니다. 생성 계층의 정확도 자체를 재는 평가는 이 논문에 없습니다.
저자들이 밝힌 한계
장면 이해의 제약. AgentHands는 물체 레지스트리를 채우기 위해 경량 사전 스캔에 의존합니다. 공동 발화 제스처의 유연한 동역학을 유지하려면 시스템 지연을 최소화하는 것이 결정적이므로 내린 선택이지만, 그 대가로 동작 범위가 비교적 정적인 환경으로 제한됩니다. 저자들은 연속적인 3D 지각으로 확장하는 것이 분명한 방향이라고 보며, 실시간 장면 질의를 전담 에이전트가 처리하는 LLMR과 의미 재구성으로 3D 물체를 등록하는 ImaginateAR을 통합의 본보기로 인용합니다. 이런 고급 지각 모듈을 붙이거나 SLAM 기반 의미 매핑을 활용하면 사전 등록에서 완전한 온라인 적응형 장면 이해로 넘어갈 수 있다고 봅니다. 공간 세분성도 과제입니다. 회로 조립처럼 정밀한 작업에서는 자유손 제스처의 정확도가 부족할 수 있어, 생성형 제스처를 목표 스냅과 깊이 인지 단서, 프로그램적 행동 계획과 결합하는 혼합 전략을 향후 과제로 제시합니다.
분류체계에서 제스처를 합성하는 문제. 현재 AgentHands의 제스처 인스턴스는 분류체계를 지침으로 사람이 직접 큐레이션한 유한 집합입니다. 앞으로는 LLM이 분류체계를 스키마로 삼아 정의되지 않은 새 GestureEvent를 즉석에서 합성하는 파이프라인을 만들 수 있고, 그러면 설계 의도를 유지하면서 손으로 작성한 사례를 넘어 범위를 넓힐 수 있습니다. 프레임워크가 의미적 의도를 특정 운동학적 구현에서 분리하므로, 핵심 아키텍처를 바꾸지 않고 문화적으로 적합한 변형이나 다양한 정서 표현을 동적으로 생성할 여지가 있습니다. 다만 이런 생성에도 이벤트를 안전하고 렌더링 가능한 파라미터로 매핑하고 해석 불가능한 이벤트에서 우아하게 후퇴하는 로컬 검증기와 파서는 여전히 필요하다고 저자들은 덧붙입니다.
XR 운영체제와 애플리케이션 통합. AgentHands는 현재 독립 실행 에이전트로 동작합니다. XR 운영체제와 애플리케이션 수준 API에 깊이 통합되면 손이 문서의 특정 문장을 가리키거나 UI 위젯을 강조하고 "누르거나", 슬라이더를 끌거나 디지털 콘텐츠에 일시적인 표시를 남길 수 있습니다. 저자들은 에이전트가 시작하는 행동을 위한 제스처 인지형 시스템 API 표면과 의도, 맥락을 전달하는 앱 간 프로토콜을 구상하며, 이것이 에이전트를 고립된 어시스턴트에서 XR 작업 공간의 일급 구성원으로 바꾼다고 봅니다.
대규모, 장기 평가. 이 연구의 근거는 단일 세션 통제 실험(N = 12 )에서 나온 것이므로 넓은 통계적 일반화 가능성이 제한됩니다. 신기 효과와 지속적 유용성을 분리하고, 숙련도가 쌓이면서 신뢰 조정, 피로, 제스처 선호가 어떻게 변하는지 확인하려면 더 크고 긴 연구가 필요합니다. 교육, 제조, 의료 같은 다양한 과제 영역으로 평가를 확장하는 것도 프레임워크의 견고성 검증에 중요합니다.
남는 이야기
AgentHands가 던지는 질문은 XR 에이전트의 렌더링 문제보다 넓습니다. 지금까지 언어 모델의 출력은 텍스트였고, 그 텍스트를 어떻게 보여 줄지는 인터페이스 계층이 따로 결정했습니다. 이 연구는 그 경계를 지우고 출력 문장 자체를 행동의 악보로 만듭니다. 어느 단어에서 어느 손이 어느 물체의 어느 면 어느 영역을 가리킬지가 문장과 같은 자리에 적혀 나오고, 렌더링 계층은 그 악보를 읽어 연주만 합니다. 손동작 전용 생성 모델을 따로 두지 않고 언어 모델의 문장 생성 능력에 명령을 태웠기 때문에, 별도 학습 없이 시스템 프롬프트만으로 16종의 손동작을 다룰 수 있게 되었습니다.
동시에 이 설계의 취약점도 같은 자리에 있습니다. 문법 위반이나 잘못된 물체 참조 하나가 곧바로 엉뚱한 곳을 가리키는 손이 되고, 사용자는 그 오류를 텍스트 오타보다 훨씬 강하게 체감합니다. 저자들이 로컬 검증기와 파서의 우아한 후퇴를 반복해서 강조하는 이유입니다. 생성 계층의 신뢰도를 실환경에서 측정한 후속 연구가 나온다면, 이 방향이 프로토타입을 넘어 제품으로 갈 수 있는지에 대한 답에 훨씬 가까워질 것입니다.
AgentHands: Generating Interactive Hand Gestures for Spatially Grounded Agent Conversations in XR 논문
AgentHands 논문 페이지 (Google Research Publications)
AgentHands 소개 블로그 (Google Research)
Human I/O: 상황적 장애를 LLM으로 감지하는 선행 연구 소개 블로그
Sensible Agent: 능동형 AR 에이전트와의 비침습적 상호작용 프레임워크 소개 블로그
더 읽어보기
-
Vibe Coding XR: Gemini와 XR Blocks로 자연어만으로 XR 앱을 60초 만에 프로토타이핑하기 (feat. Google Research)
-
(영문) Guided Reality: Generating Visually-Enriched AR Task Guidance with LLMs and Vision Models
이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다. 
논문의 주장이나 벤치마크에 대한 의견, 직접 재현해보신 결과가 있다면 
파이토치 한국 사용자 모임
회원들을 위해 댓글로 공유해주세요! 