# \#distilled-models

**URL:** https://discuss.pytorch.kr/tag/distilled-models/4343.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [DeepSeek-R1, 지도학습 기반 파인튜닝(SFT) 대신, 강화학습(RL)으로 추론 능력을 개선하여 추론 능력을 강화한 대규모 언어 모델](https://discuss.pytorch.kr/t/deepseek-r1-sft-rl/5929)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 2\
**마지막 업데이트:** [1월 29, 2025, 8:43오전 UTC](https://discuss.pytorch.kr/t/deepseek-r1-sft-rl/5929 "2025-01-29T08:43:01Z")

</div>

연구 배경 및 소개 대규모 언어 모델(LLM, Large Language Model)은 최근 몇 년간 비약적으로 발전하며 인공지능(AI) 연구에서 핵심적인 위치를 차지하고 있습니다. 특히 OpenAI, Anthropic, Google 등의 연구 기관이 개발한 최신 모델들은 언어 이해와 생성뿐만 아니라 수학, 과학, 코딩 등 다양한 논리적 추론 작업에서 탁월한 성능을 보여주고 있습니다. 하지만 기존 연구들은 대부분 사전 학습(pre-training)과 지도학습(supervised fine-tuning)을 기반으로 하고 있으며, 이는 막대한 데이터와 연산 자원이 필요하다는 한계를 가지고 있습니다. 이 연구에서는 순수한 강화학습(RL)만을 사용하여 언어 모델의 추론 능력을 향상시키는 기법을 제시합니다. 즉, 지도학습 데이터 없이 LLM이 스스로 진화(self-evolution)하는 과정을 통해 추론 능력을 개발할 가능성을 탐구하는 것입니다. DeepSeek-V3-Base를 기본 모델로 사용하여 GRPO(Shao et al., 2024)를 RL 프레임워크로 활용하여 모델의 추론 성능을 향상시켰습니다. 학습 과정에서 DeepSeek-R1-Zero는 수많은 강력하고 흥미로운 추론 행동을 자연스럽게 학습했습니다. RL 단계를 수천 번 거친 후, DeepSeek-R1-Zero는 추론 벤치마크에서 뛰어난 성능을 보여주었으며, 예를 들어, AIME 2024에서 pass@1 점수는 15.6%에서 71.0%로 상승했으며, 다수결 투표(Majority Voting)를 통해 점수가 86.7%로 추가 상승하여 OpenAI-o1-0912와 유사한 성능을 기록했습니다. 하지만 DeepSeek-R1-Zero는 낮은 가독성 및 언어 혼합과 같은 문제에 직면했습니다. 이러한 문제를 해결하고 추론 성능을 더욱 향상시키기 위해, 소량의 초기 데이터와 다단계 학습 파이프라인을 도입한 DeepSeek-R1을 개발했습니다. 이를 통해 OpenAI-o1-1217에 필적하는 성능을 달성한 체크포인트…
