# \#open-source-book **URL:** https://discuss.pytorch.kr/tag/open-source-book/7452.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [RLHF Book: 인간 피드백 기반 강화학습(RLHF)과 사후 학습(Post-training) 전반을 다루는 오픈소스 교재 및 코드 라이브러리](https://discuss.pytorch.kr/t/rlhf-book-rlhf-post-training/10019)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [5월 4, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/rlhf-book-rlhf-post-training/10019 "2026-05-04T00:30:57Z")
RLHF Book 소개 RLHF Book은 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF)과 그 주변 기법들을 한 권의 오픈소스 교재 형태로 정리한 프로젝트입니다. ChatGPT 이후 폭발적으로 발전한 사후 학습(Post-training) 분야에서, 거부 샘플링(Rejection Sampling)처럼 산업계에서 널리 쓰이지만 정식 레퍼런스가 부족했던 기법들이나, 모델을 더 자연스럽게 만드는 캐릭터 학습(Character Training) 같은 기법은 오랫동안 공개된 연구 자료를 찾기 어려웠습니다. 저자인 Nathan Lambert는 Allen Institute for AI(AI2)에서 오픈 모델 분야의 최전선에서 일하며 축적한 지식을 정리해 누구나 읽을 수 있도록 공개하기로 결정하였고, 그 결과물이 바로 이 책입니다. 책은 AI가 만든 잡음(AI slop)이 넘쳐나는 시대에 신뢰할 수 있는 참고문헌(reference)을 정성스럽게 큐레이션하는 것을 중요한 목표로 두고 있어, 학습자가 출처를 따라가며 깊이 공부할 수 있도록 구성되어 있습니다. 이 책은 단순한 PDF 모음이 아니라 웹사이트(rlhfbook.com), 인쇄본(Manning, Amazon), 전자책(Kindle, EPUB), 강의 영상, 그리고 참조 구현 코드 라이브러리를 모두 포함하는 종합 학습 허브로 운영됩니다. 2024년 5월 처음 공개된 이후 지속적으로 업데이트되어 왔으며, 2026년 1월에는 Manning 출판본 구조에 맞춰 챕터를 대규모로 재편하고 코드 예제 라이브러리를 추가하였습니다. 또한 2026년 4월에는 인쇄본 출간을 앞두고 최종 편집 작업을 마무리하며, 수식과 용어 표현을 일관되게 다듬고 17장 제품(Product) 챕터를 확장하는 등 마무리 작업이 진행되었습니다. 변경 이력은 책의 홈페이지에 모두 공개되어 있어 어떤 시기에 어떤 내용이 추가되었는지 추적할 수 있습니다. 저자는 책 본문, 다이어그램, 코드…