# \#lvlm **URL:** https://discuss.pytorch.kr/tag/lvlm/3685.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [OpenThinkIMG: 이미지로 사고하는 AI를 위한 오픈소스 프레임워크](https://discuss.pytorch.kr/t/openthinkimg-ai/6968)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 19, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/openthinkimg-ai/6968 "2025-05-19T03:30:04Z")
OpenThinkIMG 소개 대규모 비전-언어 모델(LVLM, Large Vision-Language Model)이 이미지 기반 추론을 수행하는 데 한계를 보이는 가운데, OpenThinkIMG는 이러한 문제를 해결하기 위한 새로운 접근 방식을 제시합니다. 이 프레임워크는 LVLM이 외부 비전 도구를 활용하여 능동적으로 이미지를 분석하고, 복잡한 시각적 문제를 해결할 수 있도록 지원합니다. 특히, 강화 학습 기반의 V-ToolRL을 통해 모델이 도구 사용 전략을 스스로 학습하도록 설계되어 있어, 기존의 정적 학습 방식보다 뛰어난 일반화 성능을 기대할 수 있습니다. OpenThinkIMG는 LVLM이 이미지와 상호작용하며 능동적으로 사고할 수 있도록 지원하는 종단 간 오픈소스 프레임워크입니다. 기존의 LVLM은 이미지에 대한 단일 패스 설명에는 능숙하지만, 반복적이고 정밀한 시각적 추론에는 한계를 보였습니다. OpenThinkIMG는 이러한 한계를 극복하기 위해 다양한 비전 도구를 통합하고, 강화 학습을 통해 도구 사용 전략을 학습하는 구조를 제공합니다. OpenThinkIMG 프레임워크는 다음과 같은 주요 구성 요소로 이루어져 있습니다: 비전 도구 관리: 다양한 비전 도구를 통합하고, 새로운 도구를 쉽게 추가할 수 있는 유연한 구조를 제공합니다. 동적 추론: 분산된 도구 배포를 통해 효율적인 동적 추론을 지원합니다. 학습 파이프라인: 감독 학습(SFT)과 강화 학습(V-ToolRL)을 결합한 학습 파이프라인을 통해 모델의 적응성과 성능을 향상시킵니다. OpenThinkIMG는 특히 차트 해석과 같은 복잡한 시각적 추론 작업에서 기존의 감독 학습 기반 모델보다 우수한 성능을 보이며, GPT-4.1과 같은 폐쇄형 모델을 능가하는 결과를 보여주었습니다. 기존의 LVLM은 주로 정적 데이터셋을 기반으로 한 감독 학습(SFT)에 의존하여 도구 사용 전략을 학습했습니다. 이러한 접근 방식은 새로운 도구나 작업에 대한 일반화 능력이 제한적이며, 동적 환경에… --- ## [CAPTURE: Multimodal LLM(LVLM)의 이미지 캡션 생성 성능 평가 지표 (벤치마크 & 평가 데이터셋)](https://discuss.pytorch.kr/t/capture-multimodal-llm-lvlm/5158)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 5, 2024, 9:46오후 UTC](https://discuss.pytorch.kr/t/capture-multimodal-llm-lvlm/5158 "2024-09-05T21:46:54Z")
CAPTURE 소개 CAPTURE는 CAPtion evaluation by exTracting and coUpling coRE information의 약자로, 이름 그대로 이미지로부터 생성된 캡션이 얼마나 객체, 속성, 관계 등의 시각적 요소들을 잘 설명하고 있는지를 평가하기 위한 평가 지표입니다. 이미지 캡션 생성은 시각적 이해의 기본 작업 중 하나로 오랜 기간 연구되어 왔습니다. 그러나 기존 연구들은 주로 짧은 캡션 생성에 초점을 맞추고 있었고, 이러한 캡션의 성능을 평가하는 지표도 신뢰성이 떨어졌습니다. CAPTURE는 이를 개선하기 위해 캡션에서 객체, 속성, 관계 등의 시각적 요소를 추출한 뒤, 이들을 매칭하는 방식으로 평가하는 방식을 채택하였습니다. CAPTURE는 또한 멀티모달 LLM(MLLM, Multimodal LLM, 또는 LVLM, Large Vision-Language Model)의 세부 캡션 생성 능력을 개선하기 위해 고품질의 데이터를 생성하는 5단계 데이터 생성 파이프라인을 설계하였습니다. 이 파이프라인은 특정 M-LLM과 오픈 소스 도구만을 사용하여 인적 또는 GPT-4V 주석 없이도 높은 품질의 데이터를 생성할 수 있습니다. 세부 이미지 캡션 벤치마크 CAPTURE는 DetailCaps-4870라는 세부 이미지 캡션 벤치마크를 제공합니다. 이 벤치마크는 4,870개의 이미지와 그에 대한 고품질의 참조 캡션으로 구성되어 있으며, GPT-4V 및 Gemini-1.5-Pro에 의해 주석이 달렸습니다. 아래 표는 DetailCaps-4870 벤치마크와 기존 이미지 캡션 벤치마크 간의 비교를 보여줍니다: Benchmark Data Source Annotator Image Count Reference Count Avg Length Unique 2-gram COCOtest COCO Human 5,000 25,010 10.59 61,448 Nocapsval Openimages Human 4,500 45,000 11.4…