📖 대규모 언어 모델의 기초 도서 [PDF/영문/231p] (feat. arXiv)

[9bow (박정환)]

Foundations of Large Language Models 도서 소개

Tong Xiao와 Jingbo Zhu가 작성하여 arXiv에 공개한 "대규모 언어 모델의 기초(Foundations of Large Language Models)" 라는 제목의 문서(라기엔 양이 방대해서 도서라고 지칭하겠습니다)는 LLM의 기본 원칙, 기술, 발전 등의 내용을 다루고 있습니다. 이 도서는 LLM의 개념부터 학습(Training) 방법론까지 포괄적으로 설명하고 있습니다.

Foundations of Large Language Models 도서의 목차

1장: 사전 학습(Pre-training)

NLP 모델의 기초가 되는 사전 학습의 개념과 방법론을 다룹니다. 비지도(Unsupervised), 지도(Supervised), 자기지도(Self-supervised) 학습의 원리와 차이점을 설명하며, BERT와 같은 모델 사례를 통해 구체적인 사전 학습 과정과 응용 방식을 소개합니다.

• 1.1. Pre-training NLP Models (NLP 모델의 사전 학습)
  • Unsupervised, Supervised and Self-supervised Pre-training: 비지도, 지도, 자기 지도 학습 방법론 및 특징
  • Adapting Pre-trained Models: 사전 학습 모델을 다양한 하위 작업에 적응하는 방법
• 1.2. Self-supervised Pre-training Tasks (자기 지도 학습 과제)
  • Decoder-only Pre-training: 디코더 중심 사전 학습 방법 및 언어 생성 모델
  • Encoder-only Pre-training: 인코더 중심 사전 학습 방법 및 텍스트 표현 생성
  • Encoder-Decoder Pre-training: 인코더-디코더 기반 사전 학습과 활용
• 1.3. Example: BERT
  • The Standard Model: BERT 모델의 구조와 학습 방법
  • Multilingual Models: 다국어 모델 확장과 효율성 향상
• 1.4. Applying BERT Models (BERT 모델 적용)
  • 사전 학습된 BERT를 다양한 NLP 작업에 활용하는 구체적인 사례

2장: 생성 모델(Generative Models)

대형 언어 모델의 주요 유형인 생성 모델의 설계, 학습, 그리고 확장 가능성을 탐구합니다. GPT와 같은 디코더 중심 모델과 T5 같은 인코더-디코더 모델을 비교하며, 이들 모델의 장문 생성 및 분산 학습 기술을 다룹니다.

• 2.1. A Brief Introduction to LLMs (대형 언어 모델 개요)
  • Decoder-only Transformers: GPT 등 디코더 중심 모델의 구조와 특징
  • Training LLMs: 대형 언어 모델의 학습 과정과 기술
  • Fine-tuning LLMs: 모델의 미세 조정을 통한 작업별 성능 최적화
  • Prompting LLMs: 프롬프트를 활용해 모델을 특정 작업에 적응
• 2.2. Training at Scale (대규모 학습)
  • Data Preparation: 데이터 준비 및 전처리 과정
  • Distributed Training: 분산 학습 기법과 효율성 향상
  • Scaling Laws: 학습 성능과 모델 크기의 상관관계
• 2.3. Long Sequence Modeling (장문 생성)
  • Efficient Architectures: 장문 생성을 위한 효율적인 모델 아키텍처
  • Cache and Memory Management: 메모리 및 캐싱 최적화 기법

3장: 프롬프트(Prompting)

대형 언어 모델의 강력한 적응력을 활용하기 위한 프롬프트 설계와 고급 기법을 다룹니다. Zero-shot 및 Few-shot 학습의 원리와 설계 전략, 그리고 문제 해결을 위한 고급 프롬프트 기법을 소개합니다.

• 3.1. General Prompt Design (일반 프롬프트 설계)
  • Basics: 기본 프롬프트 설계 원칙
  • In-context Learning: 예제를 활용한 학습 기법
  • Prompt Engineering Strategies: 효과적인 프롬프트 설계 전략
• 3.2. Advanced Prompting Methods (고급 프롬프트 기법)
  • Chain of Thought: 단계적 문제 해결을 위한 프롬프트 설계
  • Problem Decomposition: 문제를 작은 단위로 나누는 방법
  • RAG and Tool Use: 검색 기반 생성과 외부 도구 활용
• 3.3. Learning to Prompt (프롬프트 학습)
  • Prompt Optimization: 프롬프트 최적화 방법

4장: 정렬(Alignment)

대형 언어 모델이 인간의 가치와 기대에 맞도록 정렬시키는 기술을 다룹니다. 인간 피드백 기반 강화 학습(RLHF)와 데이터 수집, 보상 모델링 등을 통해 사용자 중심의 모델 개선 방식을 설명합니다.

• 4.1. An Overview of LLM Alignment (정렬 개요)
  • Instruction Alignment: 명령어 기반 정렬 방식
  • Human Feedback Alignment: 인간 피드백을 활용한 정렬
• 4.2. Improved Human Preference Alignment (향상된 선호도 정렬)
  • Better Reward Modeling: 더 나은 보상 모델 설계
  • Direct Preference Optimization: 선호도 최적화를 위한 직접 학습

라이선스

"대규모 언어 모델의 기초(Foundations of Large Language Models)" 도서는 Creative Commons Attribution-NonCommercial 4.0 Unported License(CC BY-NC 4.0)로 배포되며, 비상업적 용도로 자유롭게 활용할 수 있습니다.

대규모 언어 모델의 기초 도서

Foundations of Large Language Models

---

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~