# \#mm-llm

**URL:** https://discuss.pytorch.kr/tag/mm-llm/2530.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [MM-LLMs: 멀티모달 대규모 언어 모델의 최근 발전에 대한 연구 (Recent Advances in MultiModal Large Language Models)](https://discuss.pytorch.kr/t/mm-llms-recent-advances-in-multimodal-large-language-models/3476)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 4\
**마지막 업데이트:** [2월 19, 2024, 12:31오전 UTC](https://discuss.pytorch.kr/t/mm-llms-recent-advances-in-multimodal-large-language-models/3476 "2024-02-19T00:31:19Z")

</div>

PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: \[2024/01/29 ~ 02/04\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) 에 소개된 MM-LLM 논문을 살펴보았습니다. (CLIP으로 시작하여) BLIP 시리즈에 이어 LLaVA 시리즈와 GPT-4V(ision) 등, 무려 26개의 멀티모달(Multimodal) 모델들에 대한 연구들을 한 눈에 살펴보실 수 있는 논문이라고 생각하여 가져와보았습니다. 함께 살펴보시죠. :smiley: 이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: 소개 MM-LLM 논문은 멀티모달 대규모 언어 모델(MM-LLMs, MultiModal Large Language Models) 분야에서의 최근 연구들을 정리하며, 다양한 모달리티(Modaility: 텍스트, 이미지, 오디오 등)를 통합하여 언어 모델의 기능을 확장하는 방법에 초점을 맞추고 있습니다. 또한, 대규모 멀티모달 모델들의 일반적인 설계 방식과 모델 구조(아키텍처), 학습 파이프라인을 대략적으로 살펴보고 주요 벤치마크에서의 MM-LLM들의 성능을 살펴보고 있습니다. MM-LLM들은 주로 LLM을 기반으로 다양한 모달리티 작업이 가능하도록 합니다. LLM이 제공하는 강력한 언어 생성 기능을 포함하여 제로샷(Zero-shot) 전이 능력이나 상황을 통한 학습(ICL, In-Context Learning)과 같은 기능들을 간직한 채, 서로 다른 모달리티들을 인식하고 효과적으로 함께 추론(collaborative inference)할 수 있도록 하는 것이 주요 과제입니다. 이를 위해 서로 다른 모달리티들을 조율하는 사전 학습(MM PT, Pre-Training)과 사람의 의도에 맞게 모델을 조절하는 지시 튜닝(MM IT, Ins…

---

## [\[2024/01/29 ~ 02/04\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-01-29-02-04-ml-top-ml-papers-of-the-week/3434)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 5, 2024, 2:24오전 UTC](https://discuss.pytorch.kr/t/2024-01-29-02-04-ml-top-ml-papers-of-the-week/3434 "2024-02-05T02:24:07Z")

</div>

PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주 선정된 논문들의 경향을 살펴보면, 대규모 언어 모델(Large Language Models, LLMs) 및 그 변형들에 관한 연구가 두드러집니다. "OLMo", "Advances in Multimodal LLMs", "Corrective RAG", "LLMs for Mathematical Reasoning", "Compression Algorithms for LLMs", "MoE-LLaVA", "Rephrasing the Web", "Redefining Retrieval in RAG", "Hallucination in LVLMs", "SliceGPT" 등의 논문 제목을 바탕으로, 언어 모델의 성능 향상, 응용 확장, 효율성 증대에 초점을 맞춘 연구가 활발함을 알 수 있습니다. 이러한 연구 경향은 언어 처리 기술의 한계를 극복하고 더욱 복잡한 문제를 해결하려는 학계와 산업계의 지속적인 노력이 반영된 결과로 해석될 수 있습니다. 최근 들어 LLMs는 단순한 텍스트 처리를 넘어 복잡한 수학적 추론, 다중 모달 데이터 처리, 보다 정교한 정보 검색 및 재구성 등 다양한 영역으로 응용 영역이 확대되고 있습니다. 또한, 이러한 모델들의 큰 크기와 복잡성 때문에 모델 압축과 같은 기술은 모델을 실제 환경에서 더 효율적으로 배포하고 사용할 수 있게 하는 핵심 요소로 자리 잡고 있습니다. 상대적으로 적은 자원으로 대규모 모델을 운영해야 하는 경우 이러한 기술이 중요시되는 추세입니다. 또한, 'Multimodal LLMs'와 'MoE-LLaVA'에 대한 연구는 텍스트 외의 여러 형태의 데이터(예: 이미지, 소리 등)를 통합하여 처리하는 방식의 발전을 의미하며, 이는 인공지능 시스템이 현실 세계의 정보를 더욱 풍부하게 이해하고 활용할 수 있는 가능성을 보여줍니다. 모델의 해석 가능성 및 신뢰성을 높이기 위한 기법으로 'Corrective RAG'와 'Red…
