GLM-4.1V 모델 소개
최근 AI 연구에서 멀티모달 모델은 단순한 이미지 인식이나 캡셔닝을 넘어서, 시각 정보와 언어 정보를 통합하여 보다 복잡한 추론을 수행하는 방향으로 진화하고 있습니다. 이러한 흐름 속에서, Zhipu AI와 칭화대학교가 공동 개발한 GLM-4.1V-Thinking은 강화학습 중심의 학습 전략을 기반으로 한 범용 멀티모달 추론 모델입니다. 본 모델은 비전-언어 모델(Vision-Language Model, VLM) 구조를 바탕으로 하여, 다양한 분야에서 일관된 추론 능력을 발휘할 수 있도록 설계되었습니다.
특히 GLM-4.1V-Thinking은 강화학습을 통해 모델의 실제 추론 능력을 강화함으로써, 수학 문제 풀이, 문서 이해, GUI 기반 인터랙션, 코드 생성, 비디오 이해 등 여러 복잡한 멀티모달 태스크에서 우수한 성능을 달성하였습니다. 10B 파라미터 규모의 오픈소스 모델 중에서도 최고 수준의 성능을 보여주며, 때로는 GPT-4o나 Qwen2.5-VL-72B와 같은 훨씬 큰 규모의 모델보다 뛰어난 결과를 기록하기도 했습니다.
GLM-4.1V 모델 구조 및 동작 방식
GLM-4.1V-Thinking은 멀티모달 입력을 처리하기 위한 전형적인 Encoder–Adapter–Decoder 아키텍처를 따릅니다. 이 구조는 이미지 또는 비디오와 같은 시각 데이터를 받아, 텍스트 기반 언어 디코더가 이해 가능한 형태로 변환하고, 이를 통해 자연어 응답을 생성합니다. 전체 구성은 크게 비전 인코더, MLP 프로젝터(어댑터), 그리고 언어 디코더(LLM) 세 부분으로 나뉘며, 각각이 긴밀하게 결합되어 텍스트와 비주얼 간의 정합성과 추론을 구현합니다.
특히 이 모델은 단순히 멀티모달 입력을 수용하는 것을 넘어서, 영상(temporal), 고해상도 이미지(spatial), 문서 레이아웃(logical) 등을 정교하게 해석할 수 있도록 설계되어 있습니다. 이를 위해 2D/3D 포지셔널 인코딩, 고해상도 이미지 처리, 시간 인덱스 삽입, GUI 및 수식 추론을 위한 토크나이징 전략 등 다양한 기술이 통합되어 있습니다.
비전 인코더 (Visual Encoder)
비전 인코더는 GLM-4.1V-Thinking이 시각적 정보를 최초로 인식하는 단계로, 여기서는 AIMv2-Huge 기반의 Visual Transformer (ViT) 가 사용됩니다. 이 인코더는 입력 이미지나 비디오를 패치 단위로 분할하고, 이를 임베딩하여 모델 내부에서 활용 가능한 벡터로 변환합니다. 단일 이미지 입력 시에는 해당 이미지를 두 번 중복 입력하여 구조적 일관성을 유지하며, 비디오 입력 시에는 3D 컨볼루션 기반 다운샘플링을 통해 시간축 정보를 압축하면서도 시계열 패턴을 유지합니다.
특히 고해상도 이미지를 다루기 위해, 기존 ViT의 정적 위치 임베딩 대신, 2D RoPE(Rotary Position Embedding) 를 적용해 다양한 종횡비와 4K 이상의 해상도까지도 처리할 수 있게 했습니다. 이를 통해 종횡비가 200:1을 초과하는 비정형 문서도 안정적으로 인식할 수 있으며, 이는 장문 문서와 레이아웃 중심의 이미지 이해에서 큰 장점을 제공합니다.
MLP 프로젝터 (Visual Adapter)
ViT로부터 추출된 시각 정보는 직접 언어 모델에 투입될 수 없으므로, 중간 단계에서 MLP 프로젝터가 이를 언어 디코더가 수용할 수 있는 토큰 시퀀스로 매핑합니다. 이 컴포넌트는 시각 피처를 토큰 형식으로 정렬하고, 포지셔널 정보와 결합하여 언어 디코더가 자연스럽게 이해하고 추론할 수 있도록 돕습니다.
또한 시각 정보 외에도 시간 정보(time index tokens) 를 활용하여, 프레임 단위의 비디오 입력이 시계열 구조를 유지하도록 합니다. 이는 예를 들어 영상 속 한 장면이 몇 초 후에 발생하는지를 모델이 명시적으로 이해할 수 있게 하며, 단순 이미지 나열과 달리 실세계 시간 정보를 반영한 추론을 가능하게 합니다.
언어 디코더 (Language Decoder)
디코더는 GLM 시리즈 기반의 대형 언어 모델(LLM)이며, 멀티모달 토큰 시퀀스를 받아 사고 흐름과 응답을 생성합니다. 핵심적인 특징은 단순 응답 생성이 아닌, “사고(thinking)”와 “정답(answer)”를 분리하여 구조화된 응답을 생성한다는 점입니다. 이는 모델이 복잡한 추론 경로를 따라가며 생각을 정리하고, 그 결과만을 명확히 추출하는 데 큰 도움을 줍니다.
구체적으로, 디코더는 <think> ... </think> 블록 안에서 다양한 사고 경로를 생성하고, <answer> ... </answer> 안에 최종 결과를 도출합니다. 또한 정답은 <|begin_of_box|>와 <|end_of_box|>로 감싸져 RL 단계에서 정량적 평가가 가능하도록 구성됩니다. 이를 통해 모델의 내부 사고 과정과 외부 응답이 명확히 분리되어 해석성과 평가 가능성이 높아집니다.
공간 인식 능력을 강화하기 위해 언어 디코더에도 3D RoPE가 적용되어, 이미지 또는 비디오의 위치적 정보가 텍스트 이해와 자연스럽게 결합됩니다. 이 확장은 멀티모달 맥락에서 위치 기반 응답이나 시각적 근거 기반 추론을 수행할 수 있는 중요한 기반이 됩니다.
멀티모달 토크나이징과 응답 구조
GLM-4.1V-Thinking의 응답 구조는 멀티모달 입력을 이해하고 표현하는 데 최적화되어 있습니다. 모든 입력은 텍스트와 이미지, 영상 등 다양한 형태의 데이터를 하나의 토큰 시퀀스로 병합하여 처리하며, 각 데이터 유형에 따라 별도 토큰을 사용해 경계를 명확히 합니다. 특히, 영상 프레임 간 시간 간격을 표현하는 시간 인덱스 문자열 토큰은 실제 세계의 동적인 장면 이해에 필수적인 역할을 합니다.
출력은 구조화된 <think>, <answer> 블록과 함께, RL 훈련에 유리한 형태로 반환되며, 토큰화된 형태에서도 패턴이 명확해 온라인 평가 및 디버깅에 용이합니다. 이 구조는 또한 모델이 반복 추론, 되돌아가기(backtracking), 검증(verifying) 등의 전략을 사용할 수 있도록 설계되어, 단순 응답형 VLM보다 훨씬 복잡한 문제를 풀 수 있게 합니다.
사전 학습 및 강화학습 전략
멀티모달 사전 학습(Multimodal Pretraining)
GLM-4.1V-Thinking의 학습은 전통적인 텍스트 기반 사전 학습과 달리, 텍스트와 이미지(및 비디오)를 결합한 대규모 멀티모달 사전 학습으로 시작됩니다. 이 단계의 목적은 모델에 폭넓고 다양한 시각-언어적 세계 지식을 주입하여, 후속 강화학습에 필요한 기초 능력을 확보하는 데 있습니다. 이를 위해 수집된 데이터는 약 100억 개 이상의 이미지-텍스트 페어를 포함하며, 이 중 유효하고 질 높은 샘플을 선별하기 위해 다단계 정제 과정을 거칩니다.
먼저, 이미지 해상도, 캡션 길이, 단순 배경 여부 등을 기반으로 한 휴리스틱 필터링이 적용됩니다. 이어서, CLIP 점수 기반의 의미 정합성 평가를 통해 이미지와 텍스트 간 의미적 일치를 확인하고, 적절한 샘플만 남깁니다. 그 후, 장르 불균형을 해소하기 위한 개념 균형 재샘플링과, 사실 기반 서술을 생성하는 리캡셔닝 모델이 적용되어, 오염된 캡션의 노이즈를 제거하고 더 정확하고 풍부한 설명을 생성합니다.
이외에도, 웹페이지 및 학술 서적에서 추출된 이미지-텍스트 인터리브드 데이터, 자연 장면 속 텍스트 인식(OCR)을 위한 문서 이미지 및 실사 이미지, GUI 환경에서의 사용자 인터페이스 구성 요소를 학습하기 위한 웹 자동화 기반 GUI 데이터, 그리고 다양한 동작과 시각 내러티브를 담은 비디오 주석 데이터셋이 포함되어, 실세계 다양한 멀티모달 태스크를 반영합니다.
장문 컨텍스트 훈련(Long-Context Continual Training)
기본 사전 학습이 완료된 이후에는, 긴 시퀀스와 고해상도 비주얼, 비디오 입력을 다루기 위한 추가 훈련 단계가 수행됩니다. 이 과정은 단순히 학습 데이터를 늘리는 것이 아니라, 기존 모델이 처리할 수 없던 긴 컨텍스트를 효과적으로 다룰 수 있도록 구조적 능력을 확장하는 과정입니다.
훈련 중 시퀀스 길이는 기존 8K에서 최대 32,768 토큰까지 늘어나며, 이에 따라 병렬화 전략도 2-way 텐서 병렬화에서 4-way 컨텍스트 병렬화로 확장됩니다. 이 단계에서는 비디오 입력과 긴 문서 등 복잡한 시나리오를 포함한 데이터가 추가되어, 모델이 보다 장기적인 문맥을 고려한 추론을 할 수 있도록 만듭니다.
지도 학습 기반 정렬(Supervised Fine-Tuning)
사전 학습으로 기본 능력을 갖춘 모델은 그 다음 단계로 지도 학습 기반 정렬(SFT) 을 거치게 됩니다. 이 과정의 핵심 목적은 모델이 추론을 더 명확하고 일관된 방식으로 표현하도록 유도하는 것입니다. 단순히 정답을 맞추는 것이 아니라, ‘어떻게 생각하고 어떤 과정을 거쳐 결과에 도달했는지’를 구조화된 형식으로 출력하도록 설계되어 있습니다.
예를 들어, 모든 응답은 <think>사고 과정</think>와 <answer>정답</answer>의 구조를 갖추며, 특히 강화학습에 최적화된 정답은 <|begin_of_box|>정답<|end_of_box|> 형태로 명시됩니다. 이를 통해 추후 RL 단계에서 명확한 정답 추출과 보상 계산이 가능해집니다. SFT 데이터는 수학, 과학, 시각 문제, 문서 이해 등 검증 가능한 문제를 중심으로 구성되며, 전체적인 난이도는 너무 쉽거나 어렵지 않도록 균형 있게 조절됩니다.
또한 모델의 ‘생각하는 방식’을 정렬하기 위해, 반복적이고 비논리적인 사고 흐름을 포함한 응답을 제거하는 품질 정제 파이프라인이 적용됩니다. 이후 RL 중에 발견된 유용한 사고 예시는 다시 SFT 데이터셋에 편입되어, 점진적으로 고품질 데이터로 강화됩니다.
강화학습(Reinforcement Learning)
GLM-4.1V-Thinking의 핵심 성능 향상은 강화학습(RL) 을 통해 이루어집니다. 특히, 검증 가능한 보상(RLVR) 과 인간 피드백 기반 보상(RLHF) 을 조합하여, 다양한 도메인의 멀티모달 능력을 안정적이고 효율적으로 강화합니다.
각 도메인별로 평가 기준을 정의하고, RLVR의 경우 정답을 정량적으로 비교하여 보상을 부여합니다. 예를 들어 수학 문제에서는 SymPy를 이용해 수치적 일치 여부를 판단하고, GUI 영역에서는 IoU 기반 위치 정확도로 성능을 측정합니다. 반면 주관적 과제는 RLHF를 통해 LLM이 평가하게 됩니다.
이러한 보상 시스템은 각 도메인의 특성에 맞게 세밀하게 설계되며, 사소한 오류나 부정확한 평가가 전체 RL 훈련을 붕괴시킬 수 있기 때문에 매우 중요한 요소로 작용합니다.
커리큘럼 샘플링을 통한 RL 최적화 (RLCS)
모델의 RL 학습을 보다 효율적으로 만들기 위해, GLM-4.1V-Thinking은 **Reinforcement Learning with Curriculum Sampling (RLCS)**를 도입합니다. 이는 학습 난이도를 모델의 현재 수준에 맞춰 동적으로 조정하는 방식으로, 지나치게 쉬운 문제나 극도로 어려운 문제를 제외하고, 학습에 가장 유익한 중간 난이도 데이터를 우선적으로 학습에 사용합니다.
샘플 난이도는 오프라인과 온라인 모두에서 평가되며, 온라인에서는 RL 중 모델의 정답률을 기반으로 난이도 티어를 동적으로 업데이트합니다. 이렇게 분류된 난이도는 EMA(지수 이동 평균)를 이용한 확률 분포로 샘플링되어, 각 단계에서 가장 ‘도움이 되는’ 샘플이 선택됩니다. 이 과정은 학습 효율성을 크게 향상시킬 뿐만 아니라, 오버피팅이나 보상 해킹 문제를 줄이는 데도 효과적입니다.
또한, 생각 경로가 너무 길어 RL 중 중단되는 경우, 자동으로 <answer> 토큰을 삽입해 응답을 유도하는 Forced Answering 기법도 적용되며, 이는 전체 RL 안정성을 높이는 데 기여합니다.
성능 비교
GLM-4.1V-9B-Thinking은 다음과 같은 벤치마크에서 우수한 성능을 보였습니다:
- MMBench-V1.1-EN: 85.8점 (GPT-4o: 84.4)
- MathVista: 80.7점 (GPT-4o: 64.0)
- ChartMuseum: 48.8점 (Qwen2.5-VL-72B: 39.6)
- WebQuest-SingleQA: 72.1점 (GPT-4o: 57.0)
- Flame-VLM-Code: 72.5점 (Qwen2.5-VL-72B: 46.3)
총 28개 공개 벤치마크 중 23개에서 오픈소스 10B 미만 모델 중 최고 성능을 기록했습니다. 특히 긴 문서 이해, 과학 문제 풀이, GUI 상호작용 등 복잡한 태스크에서 더욱 두각을 나타냈습니다.
사용 및 추론 환경
GLM-4.1V-9B-Thinking은 transformers 및 vLLM 환경에서 추론이 가능하며, 단일 GPU에서 약 22GB 메모리로 작동합니다. Gradio 기반의 웹 UI와 CLI, OpenAI 호환 API 인터페이스도 제공되며, 다양한 형태의 이미지, 비디오, PDF 입력을 지원합니다. 단, 이미지와 비디오는 동시에 입력할 수 없으며, 한 번에 최대 300장의 이미지 또는 1개의 비디오만 처리 가능합니다.
추론 예제 및 GUI Agent 전용 스크립트도 함께 제공되어, 다양한 애플리케이션에 통합할 수 있습니다.
GLM-4.1V-Thinking 논문: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning
GLM-4.1V 모델 GitHub 저장소
https://github.com/THUDM/GLM-4.1V-Thinking
GLM-4.1V 모델 다운로드
GLM-4.1V-Thinking (Reasoning 모델)
GLM-4.1V-Base (Base 모델)
GLM-4.1V-Thinking 모델 사용 데모
GLM-4.1V-Thinking 모델 기반 GUI Agent 문서
https://github.com/THUDM/GLM-4.1V-Thinking/blob/main/resources/agent.md
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 