# \#deepseek-r1

**URL:** https://discuss.pytorch.kr/tag/deepseek-r1/4055.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [nanoAhaMoment: 단일 파일로 구현된 LLM을 위한 강화학습 라이브러리](https://discuss.pytorch.kr/t/nanoahamoment-llm/6738)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 9, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/nanoahamoment-llm/6738 "2025-04-09T03:30:02Z")

</div>

nanoAhaMoment 소개 McGill-NLP 연구팀이 단일 GPU와 단일 파일로 대규모 언어 모델(LLM)을 위한 강화학습을 구현한 ‘nanoAhaMoment’를 공개했습니다. ‘nanoAhaMoment’는 DeepSeek R1-zero 스타일의 학습을 단일 80GB GPU와 3B 크기의 기본 모델로 구현한 라이브러리입니다. 기존의 TinyZero나 Mini-R1과 같은 프로젝트에서 영감을 받아, 더욱 단순하고 깨끗하며 빠른 코드를 목표로 개발되었습니다. 이 라이브러리는 강화학습을 위한 별도의 라이브러리 없이도 전체 파라미터 튜닝이 가능하며, 10시간 이내에 효율적인 학습을 완료할 수 있습니다. 특히, 모든 코드를 한눈에 파악할 수 있도록 단일 파일로 구성되어 있어, 복잡한 설정 없이도 쉽게 접근할 수 있습니다. 기존의 TinyZero나 Mini-R1과 비교했을 때, nanoAhaMoment는 코드의 단순성과 학습 효율성에서 차별점을 보입니다. TinyZero와 Mini-R1은 각각의 방식으로 LLM을 위한 강화학습을 구현했지만, nanoAhaMoment는 단일 파일과 단일 GPU로 전체 파라미터 튜닝을 가능하게 하여, 더욱 간결하고 빠른 학습을 실현했습니다. 또한, 복잡한 RL 라이브러리에 의존하지 않으므로, 사용자들은 코드의 모든 부분을 직접 이해하고 수정할 수 있습니다. nanoAhaMoment의 주요 특징 단일 파일: 모든 코드가 하나의 파일에 포함되어 있어, 전체 구조를 쉽게 파악할 수 있습니다. 단일 GPU 사용: 80GB GPU 하나로 3B 모델의 학습이 가능합니다. 강화학습 라이브러리 불필요: 별도의 RL 라이브러리 없이도 강화학습을 구현할 수 있습니다. 전체 파라미터 튜닝: 모델의 모든 파라미터를 조정하여 최적의 성능을 달성할 수 있습니다. 효율적인 학습: 10시간 이내에 학습을 완료할 수 있어 시간 효율성이 높습니다. (Karpathy 스타일의) 상세한 강의 :github: …

---

## [DeepSeek-V3/R1 추론 시스템 개요 공개 (feat. DeepSeek OpenInfra)](https://discuss.pytorch.kr/t/deepseek-v3-r1-feat-deepseek-openinfra/6262)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [3월 2, 2025, 8:27오전 UTC](https://discuss.pytorch.kr/t/deepseek-v3-r1-feat-deepseek-openinfra/6262 "2025-03-02T08:27:41Z")

</div>

들어가며 :pytorch::kr: DeepSeek에서 지난 월요일부터 금요일까지, 하루에 하나씩, 인프라와 관련한 GitHub 저장소를 공개했습니다. 어제(토요일)는 추가로 DeepSeek-V3/R1의 추론 시스템 개요(Inference System Overview)를 공개했는데요, 함께 살펴보시죠 :astonished: DeepSeek-V3/R1 추론 시스템 소개 DeepSeek-AI가 더 높은 처리량과 더 낮은 지연시간을 목표로 설계한 DeepSeek-V3/R1 모델의 추론 시스템 설계를 공개했습니다. 노드 간의 Expert Parallelism(EP)을 활용하여 GPU 간 작업을 효율적으로 분배하고, 통신과 연산을 중첩하는 기법을 적용하여 통신 오버헤드를 줄이는 설계를 기본적으로 수행하였습니다. 일반적인 병렬 구조는 시스템 복잡도를 증가시키며 다음과 같은 문제를 초래합니다: 노드 간 통신 증가: 통신과 계산을 효율적으로 오버랩(overlap)하지 않으면 지연시간이 증가할 수 있음 로드 밸런싱 필요성: 데이터 병렬 처리(DP)와 전문가 병렬 처리(EP) 간의 부하를 균형있게 분배하기 어려움 이러한 문제를 해결하기 위해, DeepSeek에서 도입한 방법들은 다음과 같습니다: 요소 기존 서빙 방식 DeepSeek-V3/R1 병렬 처리 방식 기본적인 데이터 병렬 처리(DP) 크로스-노드 Expert Parallelism (EP) 적용 GPU 사용 방식 모든 GPU가 동일한 작업 수행 일부 GPU는 특정 전문가(Expert)만 처리 통신 최적화 기본적인 통신 방식 사용 통신-계산 중첩 기법 적용 로드 밸런싱 DP 중심의 단순 로드 분배 EP 및 DP의 부하를 최적화하는 로드 밸런싱 시스템 대규모 크로스-노드 Expert Parallelism (EP): DeepSeek-V3/R1은 256개의 전문가(Experts)를 포함하며, 한 레이어당 8개의 전문가만 활성화됩니다. 이를 활용하여 배치 크기를 대폭…

---

## [Frames of Mind: R1 모델의 사고 과정을 임베딩과 차원 축소(t-SNE)를 통해 시각화하는 프로젝트](https://discuss.pytorch.kr/t/frames-of-mind-r1-t-sne/6171)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 19, 2025, 11:30오전 UTC](https://discuss.pytorch.kr/t/frames-of-mind-r1-t-sne/6171 "2025-02-19T11:30:19Z")

</div>

Frames of Mind 프로젝트 소개 Frames of Mind는 R1 모델의 '사고 과정'을 시각적으로 표현하려고 시도하는 프로젝트입니다. OpenAI의 임베딩 API와 t-SNE를 활용해 R1 모델이 문제를 해결하는 과정을 단계별로 시각화할 수 있습니다. 특히, 연속된 사고 간의 이동 거리(cosine similarity)를 측정하고 이를 그래픽으로 나타내는 점이 흥미롭습니다. AI의 의사결정 과정을 깊이 이해하고 싶은 분들에게 유용할 것입니다. Frames of Mind 프로젝트가 모델의 사고 과정을 시각화하는 방식은 다음과 같습니다: 사고 과정(Chain-of-Thought, CoT) 저장: 모델의 단계별 사고를 텍스트로 저장합니다. 텍스트 임베딩 변환: OpenAI API를 이용해 저장된 텍스트를 벡터 임베딩으로 변환합니다. 임베딩 시각화: - t-SNE 알고리즘을 사용해 임베딩을 2D 공간에서 시각화합니다. 이 과정이 진행되면 AI가 특정 질문에 대해 어떤 식으로 사고하는지를 애니메이션으로 확인할 수 있습니다. 예를 들어, “자전거가 어떻게 작동하는가(Describe how a bicycle works)“라는 질문에 대한 사고 과정은 아래와 같이 표현됩니다: 현재까지는 모델의 출력을 텍스트로만 읽어보며 사고 과정을 확인할 수 있었던 반면, Frames of Mind 프로젝트는 이를 애니메이션과 그래프를 통해 직관적으로 이해할 수 있도록 설계되었습니다. 또한, 사고 단계 간의 거리(예: 연속된 사고 사이의 cosine similarity)를 측정하여 사고의 흐름이 어떻게 변화하는지도 분석할 수 있습니다. 위 예시와 같이 한 단계의 사고(Thought i)에서 다음 단계(Thought i+1)로 넘어갈 때 변화의 크기(거리, Consecutive Distance)를 측정하고 시각화 할 수도 있습니다. :github: Frames of Mind GitHub 저장소 https://github.com/dhealy05/frames\_o…

---

## [TinyZero: RL을 활용한 모델의 자가 검증 및 탐색 능력 학습 프로젝트 (feat. DeepSeek-R1)](https://discuss.pytorch.kr/t/tinyzero-rl-feat-deepseek-r1/6132)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 16, 2025, 9:30오후 UTC](https://discuss.pytorch.kr/t/tinyzero-rl-feat-deepseek-r1/6132 "2025-02-16T21:30:16Z")

</div>

TinyZero 소개 최근 AI 모델이 스스로 학습하며 복잡한 문제 해결 능력을 갖추는 방향으로 발전하고 있습니다. TinyZero는 DeepSeek R1 Zero를 기반으로 카운트다운 및 곱셈 작업을 수행하는 RL(강화 학습) 기반 모델입니다. 특히, 3B(30억) 파라미터 규모의 기본 언어 모델이 별도의 수동 피드백 없이 자가 검증(self-verification) 및 탐색(search) 기능을 학습할 수 있도록 설계되었습니다. TinyZero는 veRL 프레임워크를 기반으로 구축된 강화 학습 모델로, AI 모델이 스스로 검증하고 탐색하는 능력을 발전시키는 것을 목표로 합니다. 이 프로젝트의 핵심은 RL을 활용하여 모델이 단순한 문장 예측을 넘어 스스로 논리적인 판단을 내릴 수 있도록 유도하는 것입니다. TinyZero는 비용 효율적인 학습을 강조하며, 단 30달러 미만의 비용으로 직접 실험을 진행할 수 있습니다. 기본적으로는 Qwen2.5 시리즈 모델을 기반으로 하며, 특정 작업(예: 카운트다운 문제 해결)에서 더 강력한 추론 능력을 갖도록 학습할 수 있습니다. TinyZero는 기존 RL 기반 LLM(대규모 언어 모델) 학습 방식과 비교할 때 몇 가지 차별점을 가집니다: 비교 항목 TinyZero DeepSeek R1 Zero 일반 LLM 학습 학습 방식 RL(Self-verification + Search) RL(Self-verification) 지도학습(Supervised Learning) 사용 모델 Qwen2.5 DeepSeek R1 GPT-3, Llama 등 학습 비용 \<$30 공개되지 않음 고가(수천~수만 달러) 주요 특징 저비용으로 모델 학습 가능 강화 학습 적용 기존 데이터를 기반으로 한 단순 예측 기존 LLM이 대량의 데이터와 인적 피드백을 필요로 하는 것과 달리, TinyZero는 스스로 데이터를 탐색하고 학습하는 능력을 기르는 것이 특징입니다. 주요 기능 강화 학습 기반 자가 검증(Sel…

---

## [deepseek.cpp: 순수 C++로 작성한, 2천줄 미만의 CPU 전용 DeepSeek-V2/V2.5/V3/R1 모델 추론 엔진](https://discuss.pytorch.kr/t/deepseek-cpp-c-2-cpu-deepseek-v2-v2-5-v3-r1/6077)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 8, 2025, 9:00오전 UTC](https://discuss.pytorch.kr/t/deepseek-cpp-c-2-cpu-deepseek-v2-v2-5-v3-r1/6077 "2025-02-08T09:00:45Z")

</div>

DeepSeek.cpp 소개 deepseek.cpp는 DeepSeek 계열의 대형 언어 모델을 CPU에서 실행할 수 있도록 만든 C++ 기반의 추론 엔진입니다. 원래 Yet Another Language Model (yalm)에 DeepSeek 지원을 추가하려다 코드 변경이 많아져 별도의 프로젝트로 분리되었습니다. DeepSeek.cpp는 별도 런타임없이 C++ 만으로 실행 가능한 것이 특징이며, DeepSeek-V2-Lite, V2, V2.5, V3, R1 등과 같은 주요 모델들을 실행할 수 있습니다. 또한, F8E5M2, FP16, FP32 등 다양한 데이터 타입 지원하면서도 llama.cpp (약 25만 줄 코드)나 vllm보다 훨씬 가볍게 (\<2k LOC, Lines of Code) 동작합니다. 주요 기능 DeepSeek 모델 가중치 변환: Hugging Face 포맷의 safetensor 가중치를 .dseek 형식으로 변환하여 사용 다양한 실행 모드 제공: 완성(Completion) 모드: 텍스트 자동 생성 Passkey 모드: 무작위 텍스트 삽입 Perplexity 모드: 언어 모델의 성능 평가 경량화된 양자화 지원: F8E5M2: 128x128 블록 단위 양자화 향후 INT4, 1.58-bit 지원 예정 DeepSeek.cpp 사용법 1. 필요한 패키지 설치 및 모델 다운로드 # git-lfs 설치 curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get -y install git-lfs # DeepSeek-V2-Lite 모델 다운로드 git clone https://huggingface.co/deepseek-ai/DeepSeek-V2-Lite 2. deepseek.cpp 설치 및 빌드 git clone https://github.com/andrewkchan/deepseek.cpp.git…

---

## [Minimal-R1, H100 서버 1대에서 효율적으로 DeepSeek-R1 모델을 재현하기 위한 프로젝트](https://discuss.pytorch.kr/t/minimal-r1-h100-1-deepseek-r1/6015)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 31, 2025, 9:49오전 UTC](https://discuss.pytorch.kr/t/minimal-r1-h100-1-deepseek-r1/6015 "2025-01-31T09:49:55Z")

</div>

Minimal-R1 프로젝트 소개 SeungyounShin님이 공개한 Minimal-R1은 DeepSeek-R1 논문을 기반으로 한 최적화된 경량 모델 개발 프로젝트입니다. 한 대의 8x H100 서버에서 효율적으로 R1 모델을 재현하는 것을 목표로 하고 있으며, Hugging Face의 Open-R1 프로젝트의 주요 문제였던 토큰 생성 제한, DeepSpeed ZeRO-3 호환성 부족, 그리고 비효율적인 GPU 할당을 해결하면서도 보다 최적화된 구조를 제공합니다. Minimal-R1의 주요 개선 사항은 다음과 같습니다: 토큰 생성 한계 극복: Open-R1은 최대 256개 토큰까지만 생성 가능했으나, Minimal-R1은 긴 문장 생성(Long-CoT)을 지원합니다. DeepSpeed ZeRO-3 지원: Open-R1과 달리 DeepSpeed ZeRO-3와의 호환성이 보장됩니다. GPU 효율적 분배 : Minimal-R1은 생성 모델과 참조 모델을 분리하여 각기 다른 GPU에서 실행 , 더 나은 확장성과 성능을 제공합니다. Minimal-R1은 Open-R1보다 더 효율적인 GPU 리소스 활용을 목표로 합니다. 8x H100 서버에서 GPU 역할을 다음과 같이 분배하여 사용합니다: GPU Function gpu0-1 Generation gpu2 Reference gpu3–7 Policy Minimal-R1의 성능 분석 및 최적화 Minimal-R1의 학습 과정에서 가장 많은 시간이 소요되는 단계는 생성 단계(71%)입니다. 따라서 생성 과정에 더 많은 GPU를 할당하면, 더 빠른 학습과 최적화된 자원 활용이 가능합니다: :github: Minimal-R1 GitHub 저장소 https://github.com/SeungyounShin/minimal-r1 더 읽어보기 DeepSeek-R1, 지도학습 기반 파인튜닝(SFT) 대신, 강화학습(RL)으로 추론 능력을 개선하여 추론 능력을 강화한 대규모 언어…

---

## [Ollama Deep Researcher: Local LLM을 활용한 Web Research Assistant (feat. LangChain)](https://discuss.pytorch.kr/t/ollama-deep-researcher-local-llm-web-research-assistant-feat-langchain/5991)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 28, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/ollama-deep-researcher-local-llm-web-research-assistant-feat-langchain/5991 "2025-01-28T09:30:09Z")

</div>

Ollama Deep Researcher 소개 Ollama Deep Researcher는 LangChain에서 개발 및 공개한 프로젝트로, 로컬 LLM(Local Language Model)을 활용한 웹 리서치 어시스턴트(Web Research Assistant)입니다. 즉, 사용자가 입력한 연구 주제에 대해서 체계적으로 검색 후, 웹 문서 검색 결과를 요약하여 지식 격차를 분석한 뒤, 이를 보완하는 새로운 질의(Query)를 만들어 반복적으로 요약을 개선해 나갑니다. Ollama Deep Researcher는 깔끔한 마크다운 형식의 리서치 요약문과 모든 참조 링크를 포함하는 리포트를 제공합니다. 이 도구는 완전 로컬에서 실행되기 때문에 보안과 개인정보 보호가 중요한 환경에서도 사용할 수 있습니다. 특히, Ollama 플랫폼에서 제공하는 LLM을 사용하며, 다음과 같은 작업을 수행합니다: 사용자 입력 주제를 기반으로 검색 쿼리 생성 검색 엔진을 활용해 관련 자료를 수집 자료를 요약하고 지식 격차를 분석 부족한 정보를 보완하기 위한 새로운 검색 쿼리 생성 설정된 반복 횟수 동안 요약을 계속 개선 Ollama Deep Researcher와 주요 유사 프로젝트들과의 비교해보면 다음과 같이 살펴볼 수 있습니다: IterDRAG: Ollama Deep Researcher는 논문 IterDRAG의 아이디어에서 영감을 받았습니다. IterDRAG는 검색 쿼리를 여러 하위 쿼리로 나누고, 각 쿼리에 대해 문서를 검색한 후 점진적으로 답을 구축합니다. Ollama Deep Researcher도 유사하게 작동하지만, 로컬 LLM을 활용하여 데이터 보안 측면에서 더욱 강력한 옵션을 제공합니다. LangChain의 기존 Graph 기반 도구: Ollama Deep Researcher는 LangChain의 LangGraph를 활용하며, LangGraph의 직관적인 UI와 시각화 기능이 강점입니다. 영상 튜토리얼 :tv: Overview of O…

---

## [DeepSeek-R1, 지도학습 기반 파인튜닝(SFT) 대신, 강화학습(RL)으로 추론 능력을 개선하여 추론 능력을 강화한 대규모 언어 모델](https://discuss.pytorch.kr/t/deepseek-r1-sft-rl/5929)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 2\
**마지막 업데이트:** [1월 29, 2025, 8:43오전 UTC](https://discuss.pytorch.kr/t/deepseek-r1-sft-rl/5929 "2025-01-29T08:43:01Z")

</div>

연구 배경 및 소개 대규모 언어 모델(LLM, Large Language Model)은 최근 몇 년간 비약적으로 발전하며 인공지능(AI) 연구에서 핵심적인 위치를 차지하고 있습니다. 특히 OpenAI, Anthropic, Google 등의 연구 기관이 개발한 최신 모델들은 언어 이해와 생성뿐만 아니라 수학, 과학, 코딩 등 다양한 논리적 추론 작업에서 탁월한 성능을 보여주고 있습니다. 하지만 기존 연구들은 대부분 사전 학습(pre-training)과 지도학습(supervised fine-tuning)을 기반으로 하고 있으며, 이는 막대한 데이터와 연산 자원이 필요하다는 한계를 가지고 있습니다. 이 연구에서는 순수한 강화학습(RL)만을 사용하여 언어 모델의 추론 능력을 향상시키는 기법을 제시합니다. 즉, 지도학습 데이터 없이 LLM이 스스로 진화(self-evolution)하는 과정을 통해 추론 능력을 개발할 가능성을 탐구하는 것입니다. DeepSeek-V3-Base를 기본 모델로 사용하여 GRPO(Shao et al., 2024)를 RL 프레임워크로 활용하여 모델의 추론 성능을 향상시켰습니다. 학습 과정에서 DeepSeek-R1-Zero는 수많은 강력하고 흥미로운 추론 행동을 자연스럽게 학습했습니다. RL 단계를 수천 번 거친 후, DeepSeek-R1-Zero는 추론 벤치마크에서 뛰어난 성능을 보여주었으며, 예를 들어, AIME 2024에서 pass@1 점수는 15.6%에서 71.0%로 상승했으며, 다수결 투표(Majority Voting)를 통해 점수가 86.7%로 추가 상승하여 OpenAI-o1-0912와 유사한 성능을 기록했습니다. 하지만 DeepSeek-R1-Zero는 낮은 가독성 및 언어 혼합과 같은 문제에 직면했습니다. 이러한 문제를 해결하고 추론 성능을 더욱 향상시키기 위해, 소량의 초기 데이터와 다단계 학습 파이프라인을 도입한 DeepSeek-R1을 개발했습니다. 이를 통해 OpenAI-o1-1217에 필적하는 성능을 달성한 체크포인트…

---

## [🤗 Open R1, DeepSeek-R1을 재현하는 것을 목표로 하는 오픈소스 프로젝트 (feat. Hugging Face)](https://discuss.pytorch.kr/t/open-r1-deepseek-r1-feat-hugging-face/5990)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [1월 28, 2025, 2:12오전 UTC](https://discuss.pytorch.kr/t/open-r1-deepseek-r1-feat-hugging-face/5990 "2025-01-28T02:12:30Z")

</div>

Hugging Face R1 소개 Hugging Face에서 공개한 Open R1 프로젝트는 DeepSeek-R1의 오픈소스 재현을 목표로 합니다. Open R1은 DeepSeek-R1의 구성요소를 완전히 재현하기 위한 고품질 코퍼스 증류(Distillation), 강화학습(RL) 기반 파이프라인 구축, 대규모 데이터셋 기반 문제 해결 모델 개발 등의 각 단계를 개발 및 공개하고 있습니다. 또한, 이를 바탕으로 추가적인 연구와 개발을 이어나갈 수 있도록 돕습니다. Open R1은 DeepSeek-R1 기술 문서를 참고하여 다음과 같은 단계를 주요 목표로 설정하고 있습니다: 1단계: R1-Distill 모델 재현: DeepSeek-R1에서 고품질 코퍼스를 증류(distillation)하여 새로운 R1-Distill 모델을 재현합니다. 목적: 원래의 DeepSeek-R1 모델이 가진 데이터 증류 기법을 재현하여 고성능 모델을 만드는 것입니다. 활용 방법: 증류된 데이터를 기반으로 기존 모델을 세밀하게 튜닝(SFT)하여 R1-Distill 모델을 생성합니다. 예제: Bespoke-Stratos-17k와 같은 데이터셋을 활용해 모델 학습을 위해 src/open\_r1 디렉토리에 훈련 및 평가 스크립트를 포함하며, Makefile을 통해 주요 파이프라인을 간단하게 실행할 수 있습니다. 2단계: R1-Zero를 생성하는 순수 RL 파이프라인 재현: DeepSeek-R1이 개발한 R1-Zero와 같은 RL(강화학습) 기반 모델 생성 과정을 재현합니다. 목적: 새로운 대규모 데이터셋을 수학, 추론, 코딩 작업에 맞게 큐레이션하고, 이를 기반으로 강화학습을 수행합니다. 핵심 요소: 강화학습 알고리즘과 함께 고성능 하드웨어(예: H100 GPU)를 활용하여 효율적으로 파이프라인을 구축. 3단계: 기본 모델에서 RL 튜닝된 모델로의 전환: 기본(base) 모델에서 시작하여, 멀티스테이지 학습 과정을 통해 RL 튜닝된 최종 모델을 만드는 것을 목표로 합…

---

## [\[2025/01/20 ~ 01/27\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2025-01-20-01-27-ml-top-ml-papers-of-the-week/5993)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 27, 2025, 7:49오후 UTC](https://discuss.pytorch.kr/t/2025-01-20-01-27-ml-top-ml-papers-of-the-week/5993 "2025-01-27T19:49:26Z")

</div>

\[2025/01/20 ~ 01/27\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선택된 논문들에서는 대규모 언어 모델(LLMs)에 대한 연구가 두드러지게 많이 포함되어 있습니다. 논문들 중에서 "Scaling RL with LLMs", "Can LLMs Plan?", "Hallucinations Improve LLMs in Drug Discovery", "LLMs and Behavioral Awareness" 등이 이러한 트렌드를 보여주고 있습니다. LLMs를 기반으로 한 연구들이 다양한 분야에서 혁신적인 응용 가능성을 탐구하고 있으며, 이는 최신 AI 연구의 큰 흐름 중 하나입니다. 대규모 언어 모델(LLMs)은 학습된 데이터의 방대함과 다양한 작업에서의 성능으로 인해 다양한 연구자들 사이에서 인기를 끌고 있습니다. LLMs는 자연어 처리(NLP) 작업을 넘어 로봇학습(RL), 계획 작성, 약물 발견 등 다양한 분야에서 사용 가능성을 보이고 있습니다. 이러한 연구들은 LLMs의 유연성과 그들이 제공하는 잠재적 혁신이 어떻게 기존 문제를 해결하거나 새로운 문제를 제기할 수 있는지를 보여줍니다. 또한 이번 주 논문들에서 보이는 트렌드는 LLMs를 활용하고자 하는 노력뿐만 아니라, 그것들을 강화 또는 보강하기 위한 다양한 기술과 접근방식이 연구되고 있다는 것입니다. 예를 들어, LLMs와 연관된 '환각(hallucination)' 문제를 해결하고자 하는 연구, 그리고 LLMS 능력과 행동 인식을 높이기 위한 방법론 등이 포함되어 있습니다. 이는 LLMs의 성능 향상과 실질적 응용 확대를 위한 필수적인 과정이며, AI 기술이 인간의 복잡한 문제를 풀어나가는 데 중요한 역할을 할 가능성을 제시합니다. DeepSeek-R1 / DeepSeek-R1 논문 소개 딥시크는 강화 학습(RL)을 통해 추론 …

---

## [DeepSeek, OpenAI의 o1-preview 수준의 벤치마크 성능을 보이는 R1-Lite-Preview 모델 공개 (& 오픈소스 예정)](https://discuss.pytorch.kr/t/deepseek-openai-o1-preview-r1-lite-preview/5565)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [11월 22, 2024, 4:08오전 UTC](https://discuss.pytorch.kr/t/deepseek-openai-o1-preview-r1-lite-preview/5565 "2024-11-22T04:08:51Z")

</div>

DeepSeek의 R1-Lite-Preview 모델 소개 DeepSeek에서 새로운 모델 DeepSeek-R1-Lite-Preview를 공개하며 AIME와 MATH 벤치마크에서 o1-preview 수준의 성능을 자랑합니다. 모델은 실시간으로 투명한 사고 과정을 제공합니다. 사용자가 이를 직접 체험할 수 있도록 온라인 데모가 함께 공개되었으며, 오픈소스 모델 및 API도 곧 제공될 예정입니다. DeepSeek Chat에서 로그인 후 사용 가능하며, 위와 같이 Deep Think 토글을 활성화하여 하루에 50번 메시지를 주고 받을 수 있습니다: DeepSeek-R1-Lite-Preview는 OpenAI의 o1-preview에 필적하는 AIME 및 MATH 벤치마크 성능을 보일뿐만 아니라, 사용자는 모델의 사고 흐름을 투명하게 볼 수 있어 학습과 디버깅에 유용한 것이 주요 특징입니다. 또한, DeepSeek이 공개한 글에 따르면, 더 오랜 시간 추론(Longer Reasoning)을 하는 경우 성능이 향상(Better Performance, Accuracy 측면)되는 것을 확인할 수 있습니다: X:twitter:의 사용자 wh(@nrehiew\_)이 전한 루머에 따르면, DeepSeek-R1-Lite 모델은 총 16B 규모의 MoE 모델로, 2.4B 규모의 파라매터만 활성화된다고 합니다. (= 40GB VRAM을 갖는 단일 GPU에 배포할 수 있다고 합니다.) :scroll: DeepSeek이 공개한 R1-Lite-Preview 업데이트 공지 :framed\_picture: 온라인 데모 사용해보기 (로그인 필요) 그 외 관련 Twitter https://x.com/nrehiew\_/status/1859265550767067518 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어…
