Minimal-R1 프로젝트 소개
SeungyounShin님이 공개한 Minimal-R1은 DeepSeek-R1 논문을 기반으로 한 최적화된 경량 모델 개발 프로젝트입니다. 한 대의 8x H100 서버에서 효율적으로 R1 모델을 재현하는 것을 목표로 하고 있으며, Hugging Face의 Open-R1 프로젝트의 주요 문제였던 토큰 생성 제한, DeepSpeed ZeRO-3 호환성 부족, 그리고 비효율적인 GPU 할당을 해결하면서도 보다 최적화된 구조를 제공합니다.
Minimal-R1의 주요 개선 사항은 다음과 같습니다:
-
토큰 생성 한계 극복: Open-R1은 최대 256개 토큰까지만 생성 가능했으나, Minimal-R1은 긴 문장 생성(Long-CoT)을 지원합니다.
-
DeepSpeed ZeRO-3 지원: Open-R1과 달리 DeepSpeed ZeRO-3와의 호환성이 보장됩니다.
-
GPU 효율적 분배 : Minimal-R1은 생성 모델과 참조 모델을 분리하여 각기 다른 GPU에서 실행 , 더 나은 확장성과 성능을 제공합니다.
Minimal-R1은 Open-R1보다 더 효율적인 GPU 리소스 활용을 목표로 합니다. 8x H100 서버에서 GPU 역할을 다음과 같이 분배하여 사용합니다:
| GPU | Function |
|---|---|
| gpu0-1 | Generation |
| gpu2 | Reference |
| gpu3–7 | Policy |
Minimal-R1의 성능 분석 및 최적화
Minimal-R1의 학습 과정에서 가장 많은 시간이 소요되는 단계는 생성 단계(71%)입니다. 따라서 생성 과정에 더 많은 GPU를 할당하면, 더 빠른 학습과 최적화된 자원 활용이 가능합니다:
Minimal-R1 GitHub 저장소
https://github.com/SeungyounShin/minimal-r1
더 읽어보기
- DeepSeek-R1, 지도학습 기반 파인튜닝(SFT) 대신, 강화학습(RL)으로 추론 능력을 개선하여 추론 능력을 강화한 대규모 언어 모델
- 🤗 Open R1, DeepSeek-R1을 재현하는 것을 목표로 하는 오픈소스 프로젝트 (feat. Hugging Face)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 