🤖 Magma, Microsoft가 공개한 멀티모달 AI 에이전트를 위한 기초 모델(Foundation Model)

[9bow (박정환)]

Magma 연구 소개

마이크로소프트 리서치(Microsoft Research)에서 새로운 멀티모달 AI 에이전트 모델, Magma를 공개했습니다. 기존의 AI 모델들은 주로 텍스트나 이미지, 또는 특정한 형태의 데이터를 중심으로 동작했지만, Magma는 텍스트, 이미지, 비디오, 행동(Action)까지 통합적으로 이해하고 활용할 수 있는 최초의 기반 모델(Foundation Model)입니다.

기존 멀티모달 모델들은 주로 이미지-텍스트 매칭(Cross-Modal Retrieval) 혹은 비디오 캡셔닝(Video Captioning)과 같은 정적인 작업에 집중되어 있었습니다. 하지만 Magma는 단순한 이해를 넘어, 특정 목표를 달성하기 위한 행동(Action)까지 직접 생성할 수 있다는 점에서 차별화됩니다.

예를 들어, Magma는 단순히 화면에 나타난 UI 요소를 설명하는 것이 아니라, 웹사이트에서 버튼을 클릭하고, 양식을 작성하는 등의 UI 조작을 수행하는 등의 행동(Action)까지 할 수 있습니다. 또한, 로봇 조작(Robotics Manipulation)과 같은 작업에서도 로봇 팔이 특정 물건을 잡고 이동시키는 행동을 계획하고 실행하는 것을 염두에 두고 설계되었습니다. 이러한 특징 덕분에 Magma는 디지털 환경(예: 웹 탐색)과 물리적 환경(예: 로봇 조작) 모두에서 강력한 성능을 발휘 할 것으로 기대됩니다.

Multimodal Agentic Model, Magma 소개

문제 정의(Problem Definition)

Magma는 단순히 멀티모달 데이터를 이해하는 것을 넘어, 디지털 및 물리적 환경에서 실제 행동을 수행할 수 있는 AI 에이전트를 목표로 합니다. 이를 위해 Magma는 멀티모달 이해, 행동 예측, 공간적 추론 등을 포함한 에이전트 모델링(Agentic Modeling) 기법을 적용하였습니다. 이를 위해 먼저 Magma 모델이 해결해야 할 문제를 정의합니다.

기존의 멀티모달 AI 모델은 일반적으로 시각-언어 모델 (Vision-Language Models, VLMs)로 설계되어 이미지와 텍스트를 함께 이해하는 역할을 수행합니다. 하지만 이러한 모델들은 특정한 환경에서 동작하도록 설계되지 않으며, UI 조작이나 로봇 조작과 같은 실제 행동을 수행하는데 한계가 있습니다. Magma는 이러한 문제를 해결하기 위해 멀티모달 이해와 행동 예측을 결합한 새로운 문제 정의를 제안합니다:

• 멀티모달 이해 (Multimodal Understanding): Magma는 디지털 환경(UI 및 웹 페이지)과 물리적 환경(로봇 조작 및 실제 세계)에서 제공되는 데이터를 동시에 이해해야 합니다. 즉, 텍스트와 이미지뿐만 아니라, 비디오 및 인터랙션 데이터도 학습하여 시간적 관계(Temporal Relationships)를 이해하는 능력을 갖춰야 합니다.

• 행동 예측 (Multimodal Action Prediction): 단순히 텍스트 기반의 답변을 생성하는 것이 아니라, 구체적인 행동(Action)을 예측해야 합니다. 예를 들어, UI 내에서 “호텔 예약하기”라는 명령을 수행할 때 검색 버튼을 클릭하고, 적절한 항목을 선택하는 연속적인 액션 시퀀스(Action Sequence)를 생성하는 것을 목표로 합니다. 이는 로봇 조작 분야에서 단순히 “컵을 잡아라”라는 명령을 이해하는 것이 아니라 팔의 각도를 조정하고, 집게를 열고 닫으며, 적절한 힘을 가하는 등의 세부적인 행동을 직접 수행합니다.

• 공간적 이해와 실행 (Spatial and Temporal Intelligence): Magma는 공간적으로 물체와 환경의 관계를 파악해야 합니다. 예를 들어, “책상을 정리해”라는 명령을 받으면 책상의 구조를 이해하고, 물건을 정리하는 논리적인 순서를 계획할 수 있어야 합니다. 이를 위해, Magma는 Set-of-Mark (SoM)과 Trace-of-Mark (ToM) 기법을 사용하여 특정한 행동이 필요한 대상(예: 클릭 가능한 UI 버튼, 로봇이 집을 수 있는 물체 등)을 학습합니다.

방법론(Method)

이러한 문제를 해결하는 멀티모달 에이전트(Multimodal Agent)를 구축하기 위해 Magma는 사전 학습(Pretraining)과 미세 조정(Finetuning)을 결합하는 방법론을 사용했습니다. 이를 통해 디지털 UI 내비게이션, 로봇 조작, 영상 이해 등의 다양한 작업을 하나의 모델에서 수행할 수 있습니다:

• 데이터 기반의 통합 학습: Magma는 웹 UI 데이터, 로봇 조작 데이터, 영상 기반 행동 데이터 등 다양한 데이터셋을 결합하여 학습합니다. 기존의 시각-언어 모델(VLM)과 달리, Magma는 텍스트 및 이미지뿐만 아니라 행동(Action) 및 시간(Time) 정보를 포함하는 비디오 데이터를 함께 학습합니다. 이를 통해, 모델이 단순히 정적인 정보만 이해하는 것이 아니라, 시간적 변화(Temporal Change)와 환경과의 상호작용(Interaction with Environment)을 학습할 수 있도록 설계되었습니다.

• 행동 예측을 위한 강화 학습 기법: 일반적인 시각-언어 모델(VLM)과 달리, Magma는 특정한 행동을 수행할 수 있도록 학습해야 합니다. 따라서, 행동 예측을 효과적으로 수행하기 위해 강화 학습(Reinforcement Learning, RL) 기법을 일부 적용하였습니다. UI 내비게이션의 경우, 올바른 버튼을 클릭했을 때 보상을 주고, 잘못된 행동을 했을 때 페널티를 부여하는 방식으로 학습이 진행됩니다. 로봇 조작의 경우에는 목표에 도달할 확률을 높이는 방향으로 행동을 조정하는 방법이 적용됩니다.

• Set-of-Mark (SoM) for Action Grounding: SoM 기법은 정적인 이미지를 대상으로, 모델이 취할 수 있는 액션 후보들을 시각적으로 표시하고, 이를 텍스트 공간으로 매핑하는 과정입니다. 예컨대 모바일 앱 화면에 있는 여러 버튼이 있을 때, 각각을 구분해서 번호(1, 2, 3, …)를 할당한 뒤, 해당 위치에 박스나 마크를 그려넣는 방식으로 동작합니다. 이렇게 하면 모델이 “어떤 버튼을 탭할 것인지” 예측할 때, 단순히 “마크 #2를 클릭” 식으로 예측하면 됩니다. 실제로는 2D 좌표를 직접 예측해야 하지만, 좌표값 자체를 토큰화하기 어렵고 오차 감수 폭도 커지므로, 여러 후보 중 하나를 선택하는 문제로 바꿔 단순화할 수 있는 것이 장점입니다. 혹은 별도의 2D 좌표를 표현해야 할 때도, 일정 범위(예: 256개)로 정규화하고 양자화(quantization)함으로써 텍스트 토큰처럼 다룰 수 있게 됩니다. 이렇게 정리된 SoM은 UI뿐만 아니라, 로봇 조작에서도 동일하게 사용할 수 있어, 로봇이 상호작용할 수 있는 물체나 지점에 마크를 달고, 모델이 그 지점을 어떻게 조작할지 예측하도록 만듭니다. (참고: GPT-4V에서 특출난 시각적 근거(VG) 기능을 위한 표식-집합(SoM) 프롬프트 (Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V))

• Trace-of-Mark (ToM) for Action Planning: ToM은 시간축(temporal dimension)을 고려한다는 점에서 SoM을 확장한 개념입니다. 동영상이나 연속된 로봇 관측 프레임에서, 특정 시점 t에서의 마크가 이후 t+1, t+2, … 프레임에서 어떻게 이동하는지 추적하여, 그 궤적(trajectory) 자체가 액션에 해당하게 하는 기법입니다. 예를 들어 사람이 물체를 집어 옮기는 장면이 담긴 동영상이 있을 때, 처음에 손이 위치한 곳(마크)을 지정하고, 이후 프레임들에서 손이 지나간 좌표를 추적합니다. 이렇게 얻은 ‘손의 궤적’이 곧 행동의 시퀀스로 간주될 수 있으며, 모델은 이러한 ToM 정보를 학습하면서, “어떤 물체가 어디로 옮겨지는지”를 영상으로부터 예측하고, 그를 기반으로 자기 자신이 로봇 팔을 어떻게 움직이면 같은 결과를 낼 수 있을지 추론하게 됩니다.

모델링(Modeling)

최종적으로는, 위에서 정의된 SoM/ToM 형태의 주석(annotated data)들을 모두 모아 하나의 디코더 전용 언어 모델(Decoder-only LLM)을 중심으로 통합 학습합니다. 일반적인 시각-언어 모델(VLM)처럼, 먼저 ConvNeXt 같은 이미지 인코더(Vision Encoder)로 모든 입력 이미지를 토큰 시퀀스로 변환한 다음, 이를 LLM의 입력 토큰과 결합합니다. LLM은 자연어와 좌표(또는 마크 번호) 등 다양한 형태의 토큰을 한 줄로 이어붙여서 처리합니다. 즉, “사용자 명령 -> 이미지 토큰들 -> 과거 맥락”을 입력으로 받고, “다음에 취해야 할 액션 토큰 시퀀스 -> 필요 시 텍스트 응답”을 순차적으로 생성합니다. 학습 시에는 통상적인 언어 모델의 목적함수(Next-Token Prediction)를 사용하되, SoM/ToM 표식을 포함해 모든 형태의 시퀀스 토큰을 동시에 예측합니다.

이렇게 하면 UI 조작, 로봇 조작, 일반 이미지 이해(VQA 등) 모두 같은 구조로 처리할 수 있습니다. 출력들 간의 차이가 있다면, UI 조작의 경우에는 2D 액션(클릭 좌표)를 생성하는데 비해, 로봇 조작은 최대 7-자유도(DoF, Degree-of-Freedom)의 좌표(이동/회전 및 그리퍼 개폐 여부(Gripper is Open or Not)) 등을 텍스트화하여 출력을 생성한다는 점입니다. 이는 학습 과정에서 다양한 도메인의 이질적인 액션 표현이 서로 어긋나 혼선을 일으킬 수 있는 위험이 있으나, 저자들은 SoM과 ToM이라는 공통 표현 방식을 활용함으로써 그 간극을 효과적으로 줄였다고 작성하고 있습니다.

사전 학습(Pretraining)

Magma의 사전학습은 데이터 수집 - SoM / ToM 생성 - 사전 학습의 단계로 구성됩니다. 먼저, Magma는 4종류의 데이터를 사용하여 사전 학습을 수행합니다:

• UI 내비게이션 데이터: SeeClick, Vision2UI 등 웹/모바일 조작 관련 데이터셋으로 수백만 개의 웹페이지/앱 화면이 포함되어 있습니다.
• 로봇 조작 데이터: Open-X-Embodiment 등에서 제공되는 오픈소스 로봇 시연 데이터로, 2D 또는 3D 공간에서 실제 로봇 팔이 물체를 조작하는 장면과 이에 대응하는 텍스트 설명, 조작 파라미터(trajectory)가 있습니다.
• 인스트럭션 비디오: Epic-Kitchen, Ego4d, Something-Something v2 등, 사람이 어떤 목적을 달성하기 위해 실제 행동하는 모습을 담은 동영상에 간단한 자막 혹은 내레이션이 붙은 형태입니다. 여기서 인간의 손동작이나 객체 이동 궤적을 ToM 주석으로 활용할 수 있습니다.
• 일반 멀티모달 이해 데이터: LLaVA-1.5, ShareGPT4V 같은 텍스트-이미지 쌍을 포함한 인스트럭션 튜닝 데이터가 여기에 속합니다.

UI 내비게이션 데이터는 주로 2D 좌표만 다루며, ‘클릭할 수 있는 요소(element)’가 BBox(Bounding Box) 형태로 정리되어 있습니다. 로봇 조작 데이터는 시계열(trajectory) 형태의 6-DoF 액션 토큰 시퀀스가 있으며, 각 스텝마다 카메라 이미지가 주어집니다. 인스트럭션 비디오는 길이가 수 초~수십 초짜리 짧은 클립으로 쪼갠 뒤, 각 프레임을 받아서 ToM 추적을 수행합니다. 일반 멀티모달 이해 데이터는 별도의 액션 정보 없이, 주로 “이 이미지에서 개가 몇 마리 보이는지?” 같은 질의응답 형태로 구성되어 있습니다. Magma는 이처럼 서로 다른 구조의 데이터들을 모두 묶어 학습하기 위해, 해당 데이터셋을 SoM/ToM 방식으로 통일합니다.

이후 SoM(Set-of-Mark)와 ToM(Trace-of-Mark) 단계를 거쳐 Magma 학습을 위한 데이터를 생성합니다:

• SoM 생성: UI 데이터(웹, 모바일)의 경우, DOM 트리나 안드로이드 뷰 계층(Android View Hierarchies)을 분석해 클릭 가능한 요소들의 BBox를 얻은 뒤, 각 요소에 1, 2, 3… 식으로 번호를 매겨 마크를 붙여서 이미지에 겹쳐 그립니다. 그런 다음, 모델 학습 시에는 “사용자 명령 -> 마크 표시된 이미지 -> 모델은 어느 번호를 클릭할지 예측” 형태로 데이터를 구성합니다. 로봇 조작 데이터에서도, 로봇이 조작 가능한 물체나 그리퍼 위치 등을 마크로 표시하고, 모델은 그 마크들을 어떤 순서로, 어느 방향으로 조작할지 토큰화하여 예측하도록 합니다.

• ToM 생성: 인스트럭션 비디오 또는 로봇 조작 동영상 등 시간축이 있는 데이터에는 ToM을 적용합니다. 우선 첫 프레임에서 grid 기반으로 촘촘히 포인트들을 찍은 뒤, CoTracker와 같은 최신 추적 모델을 써서 다음 프레임들에서 각 포인트가 어디로 이동하는지를 추적합니다. 이 때, 만약 카메라 움직임이 크다면, 호모그래피(homography) 변환 등을 통해 전역 이동을 보정합니다. 이후 이동 거리가 매우 작은 포인트는 배경으로 간주해 제외하고, 일정 이상 움직이는 포인트(즉 foreground, 즉 실제로 조작된 물체나 손동작)를 중심으로 K-Means 등으로 그룹화하여 대표 마크를 선택합니다. 이렇게 얻은 (마크 + 시간 순서별 이동 좌표) 정보를 모델에게 예측하도록 시키면, 모델은 비디오를 보고 실제 동작 시퀀스가 어떻게 전개되는지 학습하게 됩니다.

마지막으로 이렇게 정리 및 생성한 약 3,900만 건의 데이터셋을 사용하여 사전 학습(Pre-training)을 수행합니다. LLaMA-3(약 8B 파라미터) 같은 대규모 언어 모델(LLM)에 ConvNeXt-XXLarge 이미지 인코더를 추가하여 모델 내의 모든 가중치들을 엔드-투-엔드(End-to-End)로 학습합니다. 학습 과정은 3epoch 내외로 진행되며, 비교적 낮은 학습률(LR, Learning-Rate: 1e-5)로 진행합니다. 데이터 종류별로 미니배치를 섞어서 학습하며, 순수 텍스트-이미지 QA 데이터나 UI 데이터, 로봇 조작 데이터, 비디오 데이터가 골고루 들어가도록 샘플링 비율을 조정합니다.

학습 목표는 간단하게는 언어 모델(Decoder-Only Language Model)의 확률을 최대화하는 방식, 즉 “다음 토큰 예측”입니다. 여기서 다음 토큰은 SoM/ToM에 의해 표시된 마크 번호나 좌표, 그리고 텍스트 답변 등을 포함합니다. 실험적으로, 이렇게 다양한 형태의 토큰이 하나의 LM에 뒤섞이는 것은 난해해 보이지만, SoM/ToM으로 인해 액션 토큰이 어느 정도 일관된 형태로 정규화되어 있기 때문에 결코 불가능하지는 않습니다. 구체적으로는, 2D 좌표나 7-자유도(7-DoF)의 로봇 액션도 256개 정도의 정규화된 코드북(codebook) 내의 범위로 변환되어 텍스트 토큰처럼 예측할 수 있습니다. 결국 학습이 잘 진행되면 모델은 특정 작업을 설명하는 텍스트와, 대응되는 이미지/동영상 정보를 함께 본 다음, “이 장면에서 마크 #2를 잡고 왼쪽으로 이동” 혹은 “이 웹페이지에서 마크 #10인 버튼을 클릭” 같은 식의 완전한 액션 시퀀스를 토큰으로 만들어내게 됩니다.

Magma의 경우, 다양한 실험에서 SoM과 ToM 없이 데이터를 단순히 합치는 것보다 훨씬 좋은 결과를 얻을 수 있음을 실험적으로 보였습니다. 즉, UI+로봇+영상+이미지 텍스트 데이터를 한꺼번에 학습할 때, SoM/ToM 기법을 적용하지 않으면 서로 다른 도메인 간 상호간섭이 크게 발생할 수 있습니다. 하지만 SoM/ToM을 적용하여 영상과 로봇, UI 도메인에서의 액션 라벨을 유사한 형태로 통일하여, 모델이 쉽게 일반화할 수 있게 만듭니다.

실험 결과

UI 내비게이션 성능

UI 내비게이션 분야에서 Magma는 웹(Mind2Web)과 모바일(AITW) 환경 모두에서 기존 모델(GPT-4V, Qwen-VL, SeeClick, Fuyu 등)을 능가하는 성과를 보였습니다. 특히 Mind2Web 실험에서, “Cross-Website / Cross-Task / Cross-Domain”과 같은 복잡한 설정에서도 Element Selection Accuracy, Operation F1, Step Success Rate 지표가 높은 수치를 기록하였습니다. 모바일 환경 AITW에서도 General, Install, GoogleApps, WebShopping 등 다양한 유형의 작업에 대해 60~70% 이상의 성공률을 보이며, GPT-4V + OmniParser나 Fuyu-8B-GUI 같은 강력한 베이스라인과 비슷하거나 그 이상의 성능을 시현했습니다. 이는 Set-of-Mark(SoM)을 통해 화면상 액션 후보(버튼, 입력란 등)를 간편하게 정규화하고, 모델이 해당 후보를 텍스트 토큰 형태로 예측할 수 있도록 한 덕분으로 해석됩니다. 또한, 약간의 파인튜닝만으로도 좋은 성능 향상을 보이므로, 실제 UI 자동화 시스템에도 충분히 응용될 가능성을 시사합니다.

로봇 조작 성능

로봇 조작 영역에서는 SimplerEnv 시뮬레이터(Bridge, Google Robot)와 실제 로봇(WidowX 250) 두 가지 환경을 통해 Magma의 성능을 평가하였습니다. SimplerEnv 실험에서 Magma는 ‘Pick Coke Can’, ‘Open/Close Drawer’, ‘Put Object in Drawer’, ‘Stack Blocks’ 등 난이도 있는 작업을 제로샷(Zero-shot)으로 수행했음에도, OpenVLA, RT-1-X 등 로봇 전용 모델보다 더 높은 성공률을 보였습니다. 실제 WidowX 로봇팔 환경에서도, 단 50개 내외의 시연 데이터로 파인튜닝한 뒤 “핫도그 소시지를 빵에 끼워 넣기”, “버섯을 냄비로 옮기기”, “천을 특정 방향으로 밀기” 같은 작업들을 안정적으로 수행했습니다.

OpenVLA 대비 두 배 가까운 성공률을 보인 과제도 있었으며, 보지 못했던 작업(Unseen task)에서도 꽤 높은 적응력을 보였다. 이는 영상·비디오에서 Trace-of-Mark(ToM)을 통해 습득한 시공간적 추론 능력이 실제 로봇 조작까지 효과적으로 전이되었음을 의미합니다.

공간 추론(Spatial Reasoning) 평가

Magma는 순수 공간 추론 벤치마크(VSR, BLINK, SpatialEval)에서도 우수한 결과를 보였습니다. 기존의 대규모 멀티모달 모델(예: LLaVA, Qwen-VL, GPT-4V)이 복잡한 좌표 질문이나 ‘왼쪽에서 몇 번째 칸’, ‘위에서 두 번째 열’ 같은 질의에서 종종 틀린 답변을 내는 반면, Magma는 SoM/ToM 기반 학습 덕분에 정확한 위치 정보를 파악하고 대답하는 모습을 보였습니다. 실제로 BLINK와 SpatialEval의 세부 지표에서 타 모델 대비 높은 정확도를 달성하며, UI·로봇 조작 데이터를 학습하는 과정에서 습득한 정교한 공간 인식이 일반 VQA 문제에도 이득을 준다는 사실이 확인되었습니다. 이러한 성능 덕분에, 단순 이미지를 서술하는 수준을 넘어 정확한 좌표와 상대적 위치를 추론하는 상황에도 대응 가능함이 입증되었습니다. 결과적으로 Magma는 멀티모달 대화 상황에서 “시각적 공간 이해”를 필요로 하는 문제를 안정적으로 해결할 수 있는 점이 부각됩니다.

비디오 기반 QA(Video QA) 성능

비디오 이해가 필요한 QA 태스크에서도 Magma는 경쟁력 있는 성능을 보였습니다. 예컨대 Next-QA의 Short/Medium/Long 영역 전체에서 높은 점수를 획득하였고, IntentQA에서는 약 88.6%라는 인상적인 정확도를 기록하였습니다. VideoMME의 Action Prediction, Action Sequence, Action Localization 같은 세부 과제에서도 우수한 결과를 보여, 영상 속 인물이나 객체의 움직임을 잘 포착한다는 점이 부각되었습니다. GPT-4V나 Video-Llama2 등 거대·폐쇄형 모델과 일부 항목에서 비등하거나 더 높은 성과를 보였으며, 상대적으로 적은 영상 프레임만으로도 충분한 학습 효과를 얻을 수 있다는 장점이 확인되었습니다. 이러한 결과는 Trace-of-Mark(ToM)으로 축적된 시간적·동적 추론 능력이 일상 행동이 담긴 동영상을 이해하는 데에도 크게 기여함을 시사합니다.

결론

Magma는 다양한 멀티모달 입력(이미지, 동영상, 언어 등)을 해석하고, 이를 바탕으로 실제 환경에서의 행동까지 결정하는 최초의 파운데이션 모델로 제시되었습니다. 이 모델은 기존의 Vision-Language(VL) 모델을 넘어, UI(그래픽 사용자 인터페이스) 및 로봇 조작 등 물리적·디지털 환경에서 수행해야 하는 에이전트형 태스크까지 확장되었다는 점에서 큰 특징을 가집니다.

특히, 개발 과정에서는 이미지, 동영상, 로봇 시연, UI 스크린샷 등 다양한 형태의 데이터를 활용하였으며, 이질적인 데이터를 효과적으로 학습하기 위해 Set-of-Mark(SoM)과 Trace-of-Mark(ToM)이라는 두 가지 기법을 새롭게 도입하였습니다. SoM은 정적인 이미지나 화면에서 액션 가능 지점을 표시하여 모델이 이를 텍스트 토큰으로 예측할 수 있도록 지원하며, ToM은 비디오나 연속된 관측에서 객체의 이동 궤적을 추출하여 시간적 추론 능력을 강화하는 역할을 합니다. 이를 통해 Magma는 언어적·공간적·시간적 지식을 통합적으로 학습하며, UI 네비게이션과 로봇 조작 등의 영역에서 기존보다 훨씬 높은 적응력과 일반화 성능을 보였습니다. 이에 따라, 기존에는 웹 브라우저 자동화, 모바일 앱 조작, 로봇 조작, 영상 이해 등이 각각의 모델로 분리되어 수행되었으나, Magma는 하나의 아키텍처를 통해 이러한 모든 영역을 포괄할 수 있게 되었습니다.

결과적으로, Magma는 멀티모달 이해와 행동 예측 사이의 간극을 좁히며, 실제 환경에서 유연하고 범용적인 에이전트를 구현하는 데 한 걸음 더 가까워졌습니다. 논문에서는 Magma가 BLINK 및 VideoMME와 같은 복합적인 벤치마크에서 기존 모델과 비교하여 우수한 성능을 보였으며, UI 내비게이션(Mind2Web, AITW), 로봇 조작(SimplerEnv, 실제 WidowX 로봇) 등의 다양한 태스크에서도 효과적으로 활용될 수 있음을 실험적으로 검증하였습니다. 이러한 성과는 SoM과 ToM 기법이 단순한 이미지-텍스트 결합을 넘어 실제 물체나 버튼, 손동작 등을 구체적으로 식별하고 추적하는 데 기여했기 때문입니다.

또한, Magma의 모델 아키텍처, 코드, 데이터는 공개되어 연구의 재현성과 확장 가능성을 높였으며, 향후 로봇, AR/VR, 메타버스 등의 다양한 응용 분야로 확장될 가능성을 열어두었습니다. 앞으로는 더욱 방대한 데이터셋과 실제 응용 사례를 바탕으로 모델을 확장해 나가며, 안정성과 안전성, 그리고 윤리적 측면까지 고려한 연구가 지속적으로 이루어져야 할 것입니다.

Magma 논문 홈페이지

https://microsoft.github.io/Magma/

Magma: A Foundation Model for Multimodal AI Agents 논문

Magma: A Foundation Model for Multimodal AI Agents

Magma GitHub 저장소

GitHub - microsoft/Magma: Magma: A Foundation Model for Multimodal AI Agents

---

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~