# Minimal-R1, H100 서버 1대에서 효율적으로 DeepSeek-R1 모델을 재현하기 위한 프로젝트

**URL:** https://discuss.pytorch.kr/t/minimal-r1-h100-1-deepseek-r1/6015
**Category:** 읽을거리&정보공유
**Tags:** zero-3, deepseek-r1, open-r1, minimal-r1, long-cot
**Created:** [1월 31, 2025, 9:49오전 UTC](https://discuss.pytorch.kr/t/minimal-r1-h100-1-deepseek-r1/6015 "2025-01-31T09:49:54Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [1월 31, 2025, 9:49오전 UTC](https://discuss.pytorch.kr/t/minimal-r1-h100-1-deepseek-r1/6015/1 "2025-01-31T09:49:55Z")

</div>

## Minimal-R1 프로젝트 소개

[SeungyounShin](https://github.com/SeungyounShin)님이 공개한 Minimal-R1은 [DeepSeek-R1 논문](https://github.com/deepseek-ai/DeepSeek-R1)을 기반으로 한 최적화된 경량 모델 개발 프로젝트입니다. 한 대의 8x H100 서버에서 효율적으로 R1 모델을 재현하는 것을 목표로 하고 있으며, Hugging Face의 Open-R1 프로젝트의 주요 문제였던 토큰 생성 제한, DeepSpeed ZeRO-3 호환성 부족, 그리고 비효율적인 GPU 할당을 해결하면서도 보다 최적화된 구조를 제공합니다.

Minimal-R1의 주요 개선 사항은 다음과 같습니다:

- **토큰 생성 한계 극복** : Open-R1은 최대 256개 토큰까지만 생성 가능했으나, Minimal-R1은 긴 문장 생성(Long-CoT)을 지원합니다.

- **DeepSpeed ZeRO-3 지원** : Open-R1과 달리 DeepSpeed ZeRO-3와의 호환성이 보장됩니다.

- **GPU 효율적 분배** : Minimal-R1은 생성 모델과 참조 모델을 분리하여 각기 다른 GPU에서 실행 , 더 나은 확장성과 성능을 제공합니다.

Minimal-R1은 Open-R1보다 더 효율적인 GPU 리소스 활용을 목표로 합니다. 8x H100 서버에서 GPU 역할을 다음과 같이 분배하여 사용합니다:

| GPU | Function |
| --- | --- |
| gpu0-1 | Generation |
| gpu2 | Reference |
| gpu3–7 | Policy |

## Minimal-R1의 성능 분석 및 최적화

Minimal-R1의 학습 과정에서 가장 많은 시간이 소요되는 단계는 생성 단계(71%)입니다. 따라서 생성 과정에 더 많은 GPU를 할당하면, 더 빠른 학습과 최적화된 자원 활용이 가능합니다:

 ![Minimal-R1의 성능 분석](https://discuss.pytorch.kr/uploads/default/original/2X/4/406f74f4f0de32549e6729f616626c48c87b330a.png)

## :github: Minimal-R1 GitHub 저장소

[https://github.com/SeungyounShin/minimal-r1](https://github.com/SeungyounShin/minimal-r1)

## 더 읽어보기

- [DeepSeek-R1, 지도학습 기반 파인튜닝(SFT) 대신, 강화학습(RL)으로 추론 능력을 개선하여 추론 능력을 강화한 대규모 언어 모델](https://discuss.pytorch.kr/t/deepseek-r1-sft-rl/5929)
- [🤗 Open R1, DeepSeek-R1을 재현하는 것을 목표로 하는 오픈소스 프로젝트 (feat. Hugging Face)](https://discuss.pytorch.kr/t/open-r1-deepseek-r1-feat-hugging-face/5990)

* * *

_이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.)

🎁 아래↘쪽에 좋아요👍를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩