GeekNews 의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. ^^
[소개 글]
- Python, Numpy에 익숙하다는 전제하에 간단히 GPT를 구현하고, OpenAI가 공개한 GPT-2 모델을 로드하여 텍스트 생성해보는 튜토리얼
목차
- GPT란 무엇인가
- 셋업 : Encoder, Hyperparameters, Parameters
- Basic Layers : GeLU, Softmax, Layer Normalization, Linear
- GPT Architecture
- Embeddings
- Decoder Stack
- Project to Vocab
- Decoder Block
- Position-wise Feed Forward Network
- Multi-Head Causal Self Attention
- 다 합치기
- What's Next?
- GPU/TPU Support
- Backpropagation
- Batching
- Inference Optimization
- Training
- Evaluation
- Architecture Improvements
[원문]
[출처/GeekNews]