RUM(Robot Utility Models) 소개
로봇 유틸리티 모델( Robot Utility Models, 이하 RUM)은 다양한 환경과 물체에서 학습된 모델로, 새로운 환경과 물체에 추가적인 데이터나 훈련 없이 바로 배치가 가능한 로봇 정책(framework)입니다. 이 모델은 주로 새로운 환경에서 로봇이 적응하여 물체 조작과 내비게이션 작업을 수행할 수 있도록 설계되었습니다.
RUM은 로봇 정책을 대규모 데이터셋으로 학습하여, 새로운 환경에 대한 제로샷(Zero-Shot) 배포가 가능한 모델입니다. 언어나 비전 모델에서처럼, 로봇 모델 역시 새로운 환경에서 별도의 파인튜닝(finetuning) 없이 일반화된 정책을 수행할 수 있도록 고안되었습니다. 특히 다음과 같은 작업을 효율적으로 처리할 수 있습니다:
- 캐비닛 문 열기
- 서랍 열기
- 냅킨 줍기
- 종이봉투 집기
- 쓰러진 물체 재정렬
RUM은 다양하고 고품질의 시연 데이터를 통해 학습되며, 수집된 데이터를 멀티모달 모방 학습(Multi-modal Imitation Learning)에 통합하여 Hello Robot Stretch라는 저렴한 상업용 로봇에 배치됩니다. 평균적으로, 새로운 환경에서 90%의 성공률을 기록하며, 추가적인 데이터나 훈련 없이 다른 로봇 및 카메라 설정에서도 성공적으로 동작합니다.
주요 특징
- RUM의 재시도 시스템: 로봇이 작업을 수행하는 동안, 실패 여부를 확인하기 위해 멀티모달 대형 언어 모델(M-LLM)을 활용하여 작업 결과를 분석합니다. 만약 작업이 실패한 것으로 판단되면, 로봇은 자동으로 새로운 초기 상태로 재설정하고 작업을 재시도합니다. 이는 로봇이 실패했을 때 스스로 해결할 수 있는 능력을 부여합니다.
- 데이터셋 구성: RUM은 총 5개의 작업에 대한 180개의 환경에서 5509개의 시연 경로(trajectory)를 기반으로 학습됩니다. 이 데이터셋은 RGB 비디오(30fps)와 6D 자세 및 그리퍼의 개방 각도에 대한 전체 행동 주석을 포함하고 있습니다. 이는 정책이 다양한 환경에서 새로운 물체를 다루는 데 중요한 역할을 합니다.
- Stick V2: 이 프로젝트에서는 Stick V2라는 새로운 하드웨어를 개발하였습니다. 이전 버전의 한계를 보완하여 더 나은 사용자 경험을 제공하며, 더욱 강력하고 사용하기 쉬운 설계를 가지고 있습니다. 이를 통해 로봇이 물체를 더 정밀하게 다루고, 새로운 작업을 수행할 수 있게 됩니다. (StickV2 3D 파일 및 필요 재료(Bill of Materials))
- 로봇 그리퍼(Gripper) 및 iPhone 거치대: Stick 그리퍼는 3D 프린터로 인쇄한 마운트와 다이나믹셀(Dynamixel) 세트를 사용하여 로봇에 부착할 수 있습니다. 이를 통해 동일한 시야에서 작업을 수행할 수 있으며, 새로운 로봇에서도 정책을 제로샷으로 쉽게 전이할 수 있습니다.
RUM의 오픈소스 H/W 및 S/W
RUM은 GitHub 저장소로 공개되었습니다. 이 저장소에서는 로봇 유틸리티 모델의 하드웨어 및 소프트웨어 구성 요소를 오픈소스로 제공하며, 다음과 같은 주요 폴더로 구성되어 있습니다:
- hardware: Stick V2, Hello Robot Stretch SE3, UFactory xArm 7 등의 3D 프린트 STL 파일을 포함하고 있습니다.
- imitation-in-homes: 로봇 유틸리티 모델을 다운로드하고 로드하는 코드를 포함합니다.
- robot-server: 로봇에 정책을 배포하는 코드를 포함합니다.
RUM 프로젝트 홈페이지
설정 및 실행 방법
Robot Utility Models 논문
RUM GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 