# \#self-verification

**URL:** https://discuss.pytorch.kr/tag/self-verification/4493.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [TinyZero: RL을 활용한 모델의 자가 검증 및 탐색 능력 학습 프로젝트 (feat. DeepSeek-R1)](https://discuss.pytorch.kr/t/tinyzero-rl-feat-deepseek-r1/6132)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 16, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/tinyzero-rl-feat-deepseek-r1/6132 "2025-02-16T21:30:16Z")

</div>

TinyZero 소개 최근 AI 모델이 스스로 학습하며 복잡한 문제 해결 능력을 갖추는 방향으로 발전하고 있습니다. TinyZero는 DeepSeek R1 Zero를 기반으로 카운트다운 및 곱셈 작업을 수행하는 RL(강화 학습) 기반 모델입니다. 특히, 3B(30억) 파라미터 규모의 기본 언어 모델이 별도의 수동 피드백 없이 자가 검증(self-verification) 및 탐색(search) 기능을 학습할 수 있도록 설계되었습니다. TinyZero는 veRL 프레임워크를 기반으로 구축된 강화 학습 모델로, AI 모델이 스스로 검증하고 탐색하는 능력을 발전시키는 것을 목표로 합니다. 이 프로젝트의 핵심은 RL을 활용하여 모델이 단순한 문장 예측을 넘어 스스로 논리적인 판단을 내릴 수 있도록 유도하는 것입니다. TinyZero는 비용 효율적인 학습을 강조하며, 단 30달러 미만의 비용으로 직접 실험을 진행할 수 있습니다. 기본적으로는 Qwen2.5 시리즈 모델을 기반으로 하며, 특정 작업(예: 카운트다운 문제 해결)에서 더 강력한 추론 능력을 갖도록 학습할 수 있습니다. TinyZero는 기존 RL 기반 LLM(대규모 언어 모델) 학습 방식과 비교할 때 몇 가지 차별점을 가집니다: 비교 항목 TinyZero DeepSeek R1 Zero 일반 LLM 학습 학습 방식 RL(Self-verification + Search) RL(Self-verification) 지도학습(Supervised Learning) 사용 모델 Qwen2.5 DeepSeek R1 GPT-3, Llama 등 학습 비용 \<$30 공개되지 않음 고가(수천~수만 달러) 주요 특징 저비용으로 모델 학습 가능 강화 학습 적용 기존 데이터를 기반으로 한 단순 예측 기존 LLM이 대량의 데이터와 인적 피드백을 필요로 하는 것과 달리, TinyZero는 스스로 데이터를 탐색하고 학습하는 능력을 기르는 것이 특징입니다. 주요 기능 강화 학습 기반 자가 검증(Sel…
