# \#sft-memorizes-rl-generalizes

**URL:** https://discuss.pytorch.kr/tag/sft-memorizes-rl-generalizes/4436.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [SFT Memorizes, RL Generalizes: Foundation Model의 사후 학습 방법에 대한 비교 연구](https://discuss.pytorch.kr/t/sft-memorizes-rl-generalizes-foundation-model/6042)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 4, 2025, 9:00오후 UTC](https://discuss.pytorch.kr/t/sft-memorizes-rl-generalizes-foundation-model/6042 "2025-02-04T21:00:47Z")

</div>

SFT Memorizes, RL Generalizes 연구 배경 최근 기반 모델(Foundation Model)이라 불리는 인공지능 모델은 강력한 성능을 발휘하기 위해 기본적인 사전 학습(Pre-training) 이후 추가적인 사후 학습(Post-training)을 진행하는 것이 필수적입니다. 이러한 사후 학습의 대표적인 방법에는 지도학습 기반 미세 조정(SFT, Supervised Fine-tuning)과 강화학습(RL, Reinforcement Learning)이 있습니다. 각 방법을 대략적으로 살펴보면 다음과 같습니다: 지도학습 기반 미세조정(SFT, Supervised Fine-tuning) 지도학습 기반 미세조정(SFT)은 정답(Label)이 존재하는 다수의 예시를 포함하는 대규모 데이터셋을 가지고 모델을 학습하는 방법입니다. 즉, 어떠한 입력에 대해서 어떠한 답변이 출력되는지에 대한 정답을 포함하는 데이터셋을 가지고 학습하는 방법입니다. SFT의 예시로는 ChatGPT가 사용자 질문에 더 적절하게 답변하도록 QA 데이터셋으로 추가 학습하는 것이 있습니다. 하지만 이러한 SFT는 훈련 데이터의 패턴을 그대로 암기하는 경향이 있어, 새로운 데이터(Out-of-Distribution, OOD)에는 성능이 크게 저하될 수 있습니다. 강화학습(RL, Reinforcement Learning) 강화학습(RL)은 좋은 행동에 보상(Reward)을 주고 실수에 불이익(Penalty)을 줌으로써 모델이 보상을 최적화하는 방식으로 학습합니다. 즉, 정답을 직접 제공하지 않고, 모델이 생성한 출력이 얼마나 좋은지를 평가하는 보상 함수를 사용하는 것이 주요 차이점입니다. RL의 예시로는 ChatGPT가 RLHF(Reinforcement Learning from Human Feedback) 기법을 사용하여 사람이 평가한 점수를 기반으로 답변 품질을 개선하는 것이 있습니다. 이러한 RL은 단순한 패턴 암기가 아니라 일반적인 문제 해결 원리를 학습하는 방식이므로, 단…