# \#pareto-optimal-curve **URL:** https://discuss.pytorch.kr/tag/pareto-optimal-curve/5246.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [FastVLM: 고해상도에서도 빠르고 정확하게 동작하는 시각-언어 모델(VLM) 구현에 대한 연구 (feat. Apple)](https://discuss.pytorch.kr/t/fastvlm-vlm-feat-apple/7348)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 27, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/fastvlm-vlm-feat-apple/7348 "2025-07-27T21:30:32Z")
FastVLM 연구 소개 시각‑언어 모델(VLM)은 이미지와 텍스트를 동시에 이해하면서 질의응답, 이미지 캡션 생성, UI 내비게이션 보조 등 다양한 멀티모달 AI 응용에서 중심 기술로 부상했습니다. 특히 문서 이미지, 차트, 손글씨처럼 텍스트 정보가 풍부한 이미지를 처리할 때 높은 해상도의 입력은 정확도 향상에 필수적입니다. 그러나 ViT 계열 인코더는 고해상도 이미지 입력 시 시각 토큰 수가 폭발적으로 증가하고, 셀프-어텐션(self-attention) 계층을 통과하는 시간이 길어지면서 인코딩 지연과 LLM 프리필링(prefilling) 시간이 크게 늘어납니다. 이는 결과적으로 VLM의 응답 속도(Time‑to‑First‑Token, TTFT)에 영향을 미쳐 높은 정확도와 빠른 응답을 동시에 필요로 하는 온-디바이스(On-Device) 환경에서 본질적인 제약이 됩니다 . Apple은 이러한 문제에 대응하기 위해 FastVLM이라는 새로운 모델을 제안했습니다. FastVLM의 핵심 기술은 FastViTHD라는 하이브리드 비전 인코더(Hybrid Vision Encoder)로, 고해상도 이미지를 효율적으로 인코딩하면서도 적은 수의 고품질 시각 토큰을 생성하여 LLM에 전달합니다. 기존 방식처럼 복잡한 토큰 머징(Token Merging)이나 프루닝(Pruning) 없이도 간단한 구조만으로 높은 정확도와 빠른 처리 속도를 달성하는 것이 특징입니다. 이 모델은 Apple의 오픈소스 프레임워크인 MLX 기반으로 구현되어 있으며, iOS/macOS 환경에서 직접 실행 가능한 데모도 GitHub 저장소에서 제공됩니다. 기존 VLM 구조에서의 한계점 기존의 VLM은 크게 (1) CLIP 기반의 비전 백본(Vision Backbone), (2) 연결(Projection) 모듈, (3) 사전 학습된 LLM 디코더로 구성됩니다. CLIP 기반의 비전 인코더는 이미지를 시각 토큰(Visual Token)으로 변환한 뒤, 연결 모듈(Projection Module)…