🤗 Open R1, DeepSeek-R1을 재현하는 것을 목표로 하는 오픈소스 프로젝트 (feat. Hugging Face)

[9bow (박정환)]

Hugging Face R1 소개

Hugging Face에서 공개한 Open R1 프로젝트는 DeepSeek-R1의 오픈소스 재현을 목표로 합니다. Open R1은 DeepSeek-R1의 구성요소를 완전히 재현하기 위한 고품질 코퍼스 증류(Distillation), 강화학습(RL) 기반 파이프라인 구축, 대규모 데이터셋 기반 문제 해결 모델 개발 등의 각 단계를 개발 및 공개하고 있습니다. 또한, 이를 바탕으로 추가적인 연구와 개발을 이어나갈 수 있도록 돕습니다.

Open R1은 DeepSeek-R1 기술 문서를 참고하여 다음과 같은 단계를 주요 목표로 설정하고 있습니다:

1. 1단계: R1-Distill 모델 재현: DeepSeek-R1에서 고품질 코퍼스를 증류(distillation)하여 새로운 R1-Distill 모델을 재현합니다.

   • 목적: 원래의 DeepSeek-R1 모델이 가진 데이터 증류 기법을 재현하여 고성능 모델을 만드는 것입니다.
   • 활용 방법: 증류된 데이터를 기반으로 기존 모델을 세밀하게 튜닝(SFT)하여 R1-Distill 모델을 생성합니다.
   • 예제: Bespoke-Stratos-17k와 같은 데이터셋을 활용해 모델 학습을 위해 src/open_r1 디렉토리에 훈련 및 평가 스크립트를 포함하며, Makefile을 통해 주요 파이프라인을 간단하게 실행할 수 있습니다.

2. 2단계: R1-Zero를 생성하는 순수 RL 파이프라인 재현: DeepSeek-R1이 개발한 R1-Zero와 같은 RL(강화학습) 기반 모델 생성 과정을 재현합니다.

   • 목적: 새로운 대규모 데이터셋을 수학, 추론, 코딩 작업에 맞게 큐레이션하고, 이를 기반으로 강화학습을 수행합니다.
   • 핵심 요소: 강화학습 알고리즘과 함께 고성능 하드웨어(예: H100 GPU)를 활용하여 효율적으로 파이프라인을 구축.

3. 3단계: 기본 모델에서 RL 튜닝된 모델로의 전환: 기본(base) 모델에서 시작하여, 멀티스테이지 학습 과정을 통해 RL 튜닝된 최종 모델을 만드는 것을 목표로 합니다.

   • 목적: 기본 모델을 강화학습과 추가적인 튜닝을 통해 성능을 극대화하고 다양한 작업에서 활용 가능한 최종 모델로 전환합니다.
   • 특징: 단계별 학습 설계를 통해 튜닝의 효율성과 확장성을 증명합니다.

Open R1의 프로젝트 구조

Open R1은 다음과 같은 핵심 구성 요소를 포함합니다:

• grpo.py: 데이터셋에서 GRPO 알고리즘으로 모델을 훈련합니다.
• sft.py: 단순한 Supervised Fine-Tuning(SFT)을 실행합니다.
• evaluate.py: 모델을 평가하기 위한 스크립트를 제공합니다.
• generate.py: Distilabel을 사용해 모델에서 데이터 생성을 지원합니다.

라이선스

이 프로젝트는 Apache 2.0 License로 배포되고 있습니다. 상업적 사용에 제한이 없습니다.

Hugging Face Open R1 GitHub 저장소

GitHub - huggingface/open-r1: Fully open reproduction of DeepSeek-R1

더 읽어보기

• DeepSeek-R1, 지도학습 기반 파인튜닝(SFT) 대신, 강화학습(RL)으로 추론 능력을 개선하여 추론 능력을 강화한 대규모 언어 모델

---

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~

[9bow (박정환)]

Transformer와 GPT의 동작 원리를 시각화해서 설명한 글들로 유명한 Jay Alammar가 새롭게 DeepSeek-R1 모델을 설명하는 글을 공개했습니다.

(한 번씩 훑어보시면 좋을 것 같아 여기와 DeepSeek-R1 소개 글에 덧글로 남깁니다)

The Illustrated DeepSeek-R1