# \#open-vocabulary **URL:** https://discuss.pytorch.kr/tag/open-vocabulary/2986.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [RelateAnything: 객체 레이블 없이 관계 어휘를 문자열로 받는 실시간 개방형 관계 예측 모델](https://discuss.pytorch.kr/t/relateanything/12041)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 30, 2026, 5:30오전 UTC](https://discuss.pytorch.kr/t/relateanything/12041 "2026-09-30T05:30:42Z")
RelateAnything 논문 소개 RelateAnything은 이미지와 임의의 출처에서 온 영역(region), 그리고 추론(Inference) 시점에 문자열 목록으로 넘겨주는 관계 어휘를 입력받아, 영역 쌍마다 점수가 매겨진 관계를 돌려주는 5,300만(53M) 파라미터 규모의 관계 예측 모델입니다. 사진 한 장을 보고 "사람이 말을 타고 있다", "버스가 가로등 옆에 서 있다"처럼 물체 사이의 관계를 말하는 일은 사람에게는 쉽지만, 지금까지의 장면 그래프 모델은 학습 때 정해 둔 50여 개의 관계 이름 밖으로는 답하지 못했습니다. 이 논문은 이 제약을 모델, 학습 데이터, 평가 방식의 세 방향에서 함께 풀려고 합니다. 장면 그래프 생성이 여전히 50개 술어에 묶여 있는 이유 최근 몇 년 사이 컴퓨터 비전에서는 "무엇을 찾을지"를 모델 밖으로 꺼내는 흐름이 뚜렷했습니다. 개방형 어휘(Open-Vocabulary) 객체 검출(Object Detection) 모델은 추론 시점에 임의의 클래스 목록을 받아들이고, YOLO-World나 YOLOE처럼 실시간으로 동작하는 모델도 나왔습니다. Segment Anything 계열처럼 프롬프트로 동작하는 분할 모델은 아예 클래스 이름이 없는 영역을 돌려줍니다. 두 경우 모두 분류체계(Taxonomy)가 모델 내부를 떠나 입력이 되었고, 덕분에 처음 만들어질 때 염두에 두지 않았던 도메인에도 바로 적용할 수 있게 되었습니다. 관계 예측은 아직 이 전환을 하지 못했습니다. 관계 예측을 담당하는 장면 그래프 생성(SGG, Scene Graph Generation) 연구는 여전히 VG150의 50개 술어(Predicate) 나 PSG의 56개 술어로 학습하고 평가합니다. 주류 구조는 하나의 백본(Backbone)에서 객체와 관계를 함께 예측하고, 관계 헤드를 예측된 객체 클래스에 조건화합니다. 이렇게 하면 레이블 공간이 고정되고, 실제 배포 환경에서 쓸 수 있는 다른 검출기, 클래스 없는 분할기, 사람이 직접 그린 박… --- ## [Meta, 현실 세계에서의 문제 해결 능력을 시험하는 Open-Vocabulary Embodied QA 벤치마크 OpenEQA 공개](https://discuss.pytorch.kr/t/meta-open-vocabulary-embodied-qa-openeqa/4108)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 18, 2024, 6:46오전 UTC](https://discuss.pytorch.kr/t/meta-open-vocabulary-embodied-qa-openeqa/4108 "2024-04-18T06:46:39Z")
:pytorch:PyTorchKR:kr: Meta에서는 현실 세계의 3D 영상을 기반으로 한 문제 해결 능력을 시험하는 Open-Vocabulary Embodied Queation Answering 벤치마크인 OpenEQA를 공개하였습니다. 시연 영상을 보면 Meta가 작년 9월 Meta에서는 선글라스 브랜드 레이밴(Ray-Ban)과 함께 출시한 스마트 안경:smiling\_face\_with\_sunglasses:(Smart Glasses)의 다음 버전에 어떠한 기능들이 들어갈지 예상이 되는 것 같습니다. :astonished: 소개 OpenEQA는 AI가 주변 환경을 이해하고, 그에 대한 질문에 자연어로 답변할 수 있는 능력을 평가하기 위해 개발된 벤치마크입니다. 이는 특히 스마트 안경이나 모바일 로봇과 같은 기기에서 사용될 때, AI가 과거의 경험을 바탕으로 하거나 새로운 환경 탐색을 통해 질문에 답할 수 있도록 합니다. OpenEQA는 다양한 카테고리의 질문에 대해 AI가 어떻게 반응하는지를 평가합니다. 예를 들어, AI는 주어진 환경에서 사물의 위치를 파악하거나 특정 특성을 인식하여 관련 질문에 답해야 합니다. 이러한 벤치마크 과정을 통해 우리의 인공지능 모델이 얼마나 세계를 이해하고 있는지를 측정하고, 특히 시각 정보를 활용하는 능력을 테스트할 수 있습니다. 주요 특징 1600개 이상의 질문: 다양한 실제 환경에서 인간이 생성한 고품질의 질문들을 포함하고 있습니다. 자동 평가 프로토콜: LLM을 이용한 평가 방법은 인간의 판단과 높은 상관관계를 가지며, 효율적인 벤치마킹을 가능하게 합니다. 시각 정보 활용: 시각 정보에 접근할 수 있는 에이전트는 객체의 위치를 파악하고 속성을 인식하는 데 뛰어난 성능을 보여줍니다. OpenEQA를 통한 VLM vs. LLM 성능 비교 OpenEQA 벤치마크를 사용하여 최신 시각+언어 기반 모델(VLM)과 텍스트 전용 언어 모델(LLM)의 성능을 비교한 결과, 몇 가지 …