# \#seem **URL:** https://discuss.pytorch.kr/tag/seem/1884.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [GPT-4V에서 특출난 시각적 근거(VG) 기능을 위한 표식-집합(SoM) 프롬프트 (Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V)](https://discuss.pytorch.kr/t/gpt-4v-vg-som-set-of-mark-prompting-unleashes-extraordinary-visual-grounding-in-gpt-4v/2719)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 26, 2023, 12:30오전 UTC](https://discuss.pytorch.kr/t/gpt-4v-vg-som-set-of-mark-prompting-unleashes-extraordinary-visual-grounding-in-gpt-4v/2719 "2023-10-26T00:30:00Z")
이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요! :smile: 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다! :bowing\_man: GPT-4V에서 특출난 시각적 근거(VG) 구현을 위한 표식-집합(SoM) 프롬프트 Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V 해결하고자 하는 문제 GPT-4V와 같은 대형 멀티모달 모델(LMM; Large Multimodal Model)은 시각-언어 이해 능력은 강하지만, 상대적으로 세분화된 시각적 근거(visual grounding) 능력이 약하다는 문제가 있습니다. 예를 들어, GPT-4V에서 이미지 내의 강아지 좌표 시퀀스를 생성하거나 신호등이 몇 개인지를 찾는 것과 같은 작업에서 어려움을 겪습니다. 이러한 문제를 해결하기 위해서는 시각 콘텐츠에 대한 풍부한 의미 이해(semantic understanding)와 함께 정확한 공간 지각(spatial perception)이 필요한데, 기존의 프롬프트 기법만으로는 이러한 문제를 해결하기에 한계가 있습니다. 기존의 접근 방법 기존의 시각적 프롬프팅 방법은 주로 2가지 유형으로 분류할 수 있습니다. 첫번째는 점, 상자, 선과 같은 시각적 프롬프트를 잠재 특징(latent features)으로 인코딩하여 비전 모델에 프롬프트하는 방식입니다. 하지만 이 방식은 단일 객체에 대한 프롬프트에 국한됩니다. 두번째는 원, 하이라이트, 화살표와 같은 시각적 표식(mark)을 입력 이미지에 덧씌우는 방식입니다. 그러나 이렇게 덧씌워진 표식을 언어 모델이 쉽게 해석하거나 말하기 어렵습니다. 논문이 제안하는 방법 이 논문에서는 이를 해결하기 위한 방법으로 입력 이미지를 의미적 영역들로 분할하고, 각 영역에 시각적 표식을 덧씌우는 방식인 시각적인 표식-집합(SoM; Set-of-…