# \#sentence-representation-space **URL:** https://discuss.pytorch.kr/tag/sentence-representation-space/4225.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [LCM(Large Concept Models), Meta AI가 공개한 개념 기반의 대규모 모델](https://discuss.pytorch.kr/t/lcm-large-concept-models-meta-ai/5744)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 26, 2024, 9:00오후 UTC](https://discuss.pytorch.kr/t/lcm-large-concept-models-meta-ai/5744 "2024-12-26T21:00:51Z")
LCM(Large Concept Models) 연구 소개 대규모 언어 모델(Large Language Model, LLM)은 자연어 처리 분야에서 주목받으며 많은 작업에서 혁신적인 성과를 보여주고 있습니다. 그러나 대부분의 LLM은 토큰 단위에서 작동하며, 인간처럼 문장이나 고차원적 추상 수준에서 사고하지 못합니다. 이에 Meta의 연구팀은 LLM의 한계를 극복하기 위해 새로운 아키텍처인 ’Large Concept Model(LCM)’을 제안합니다. LLM은 텍스트 분석, 요약, 생성 등의 작업에서 뛰어난 성능을 보여줍니다. 하지만 대부분의 LLM은 입력과 출력을 처리할 때 단어 단위의 토큰으로만 작동하여, 인간의 사고 방식과는 거리가 있습니다. 예를 들어, 인간은 복잡한 문서를 분석할 때 단어보다 문장이나 단락 단위의 의미를 이해하고 이를 바탕으로 계획을 세웁니다. LCM은 이러한 인간 사고 방식을 모델링하기 위해 등장했으며, 문장 표현 공간에서 동작합니다. 이를 통해 언어와 모달리티에 구애받지 않는 고차원 의미를 처리하여 다국어(Multilingual) 및 긴 문맥(Long-form Context) 처리가 필요한 작업에서 뛰어난 제로샷 학습 성능을 발휘합니다. 특히, 문장 표현 공간에서 작동하는 LCM의 접근 방식은 멀티모달(Multimodal) 및 다국어 데이터를 보다 효율적으로 처리하고, 인간의 추론 패턴에 가까운 계층적 사고를 지원하여 기존 모델보다 뛰어난 성능을 보입니다. LCM 모델 개요 LCM(Local Concept Models)은 “개념(Concept)”을 의미 단위로 사용하여 토큰 기반 제약을 벗어나 보다 의미론적인 추론을 수행합니다. 이 때 개념은 문장 수준에서 표현되어 특정 언어에 얽매지이 않고 독립적인 처리를 가능하게 합니다. 이를 위해 LCM은 SONAR 임베딩 공간을 활용하여 문장을 표현합니다. 이러한 "개념 임베딩 공간(Embedding Space of Concepts)"은 200개 이상의 언어를 지원하며, 텍스트와 음성 모…