PyTorchKR
- Meta에서는 현실 세계의 3D 영상을 기반으로 한 문제 해결 능력을 시험하는 Open-Vocabulary Embodied Queation Answering 벤치마크인 OpenEQA를 공개하였습니다. 시연 영상을 보면 Meta가 작년 9월 Meta에서는 선글라스 브랜드 레이밴(Ray-Ban)과 함께 출시한 스마트 안경
(Smart Glasses)의 다음 버전에 어떠한 기능들이 들어갈지 예상이 되는 것 같습니다. 
소개
OpenEQA는 AI가 주변 환경을 이해하고, 그에 대한 질문에 자연어로 답변할 수 있는 능력을 평가하기 위해 개발된 벤치마크입니다. 이는 특히 스마트 안경이나 모바일 로봇과 같은 기기에서 사용될 때, AI가 과거의 경험을 바탕으로 하거나 새로운 환경 탐색을 통해 질문에 답할 수 있도록 합니다.
OpenEQA는 다양한 카테고리의 질문에 대해 AI가 어떻게 반응하는지를 평가합니다. 예를 들어, AI는 주어진 환경에서 사물의 위치를 파악하거나 특정 특성을 인식하여 관련 질문에 답해야 합니다. 이러한 벤치마크 과정을 통해 우리의 인공지능 모델이 얼마나 세계를 이해하고 있는지를 측정하고, 특히 시각 정보를 활용하는 능력을 테스트할 수 있습니다.
주요 특징
-
1600개 이상의 질문: 다양한 실제 환경에서 인간이 생성한 고품질의 질문들을 포함하고 있습니다.
-
자동 평가 프로토콜: LLM을 이용한 평가 방법은 인간의 판단과 높은 상관관계를 가지며, 효율적인 벤치마킹을 가능하게 합니다.
-
시각 정보 활용: 시각 정보에 접근할 수 있는 에이전트는 객체의 위치를 파악하고 속성을 인식하는 데 뛰어난 성능을 보여줍니다.
OpenEQA를 통한 VLM vs. LLM 성능 비교
OpenEQA 벤치마크를 사용하여 최신 시각+언어 기반 모델(VLM)과 텍스트 전용 언어 모델(LLM)의 성능을 비교한 결과, 몇 가지 주목할만한 차이점이 발견되었습니다. 특히 공간적 이해가 요구되는 질문에서 VLM과 LLM의 성능 격차는 예상보다 크지 않았습니다. 이는 VLM이 시각 정보를 효과적으로 활용하지 못하고 있다는 것을 시사합니다.
성능 격차
성능 평가 결과, GPT-4V와 같은 최고 성능을 보인 VLM의 경우, 인간의 성능(85.9%)에 비해 상당히 낮은 48.5%의 성능을 보였습니다. 이는 AI가 아직 인간 수준의 문제 해결 능력을 갖추지 못했음을 나타냅니다.
또한, 공간적 이해를 필요로 하는 질문에서 VLM은 시각적 정보를 거의 사용하지 못하는 수준(blind)으로, 시각적 정보를 활용하는 데 큰 도움이 되지 않았습니다. 예를 들어, "나는 거실 소파에 앉아 TV를 보고 있다. 내 뒤에는 어떤 방이 있는가?"와 같은 질문에 대해, 모델들은 시각적 기억을 활용하지 못하고 무작위로 방을 추측했습니다.
시각 정보의 한계
VLM이 시각 정보를 통합하여 성능을 개선할 것으로 기대했으나, 실제로는 LLM과 비슷한 수준의 성능을 보였습니다. 이는 VLM이 시각 데이터로부터 얻은 정보를 효과적으로 처리하고 활용하지 못한다는 것을 의미합니다.
VLM은 기본적으로 텍스트에서 얻은 세계에 대한 사전 지식(priors)에 의존하여 시각적 질문에 답하는 경향이 있습니다. 이는 시각적 데이터가 제공하는 추가적인 맥락이 모델에 의해 충분히 활용되지 못함을 보여줍니다.
개선 필요성
이러한 결과는 VLM의 인지 및 추론 능력을 개선할 필요가 있음을 시사합니다. 특히 시각 정보를 처리하고 이해하는 능력의 향상이 요구됩니다. 인간과 같은 수준으로 공간적 문제를 이해하고 해결할 수 있는 AI 에이전트 개발을 위해서는 이러한 모델들의 기본적인 인식과 추론 메커니즘이 보다 진화할 필요가 있습니다.
결론적으로, 현재의 VLM은 LLM과 비교했을 때 시각적 정보를 효과적으로 활용하는 데 있어 큰 진전을 보이지 못하고 있으며, 향후 연구에서 이러한 문제를 해결하는 것이 중요할 것입니다.
더 읽어보기
원문 글
OpenEQA 논문
OpenEQA 데이터셋
World Model에 대한 Yann Lecun의 글
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 