# \#wavenet **URL:** https://discuss.pytorch.kr/tag/wavenet/3647.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Andrej Karpathy의 신경망 강의 'Neural Networks: Zero to Hero'](https://discuss.pytorch.kr/t/andrej-karpathy-neural-networks-zero-to-hero/5116)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [8월 29, 2024, 1:19오전 UTC](https://discuss.pytorch.kr/t/andrej-karpathy-neural-networks-zero-to-hero/5116 "2024-08-29T01:19:41Z")
Neural Networks: Zero to Hero 강의 소개 Andrej Karpathy가 공개한 Neural Networks 강의는 신경망을 코드로 처음부터 직접 구현하는 방법을 다룹니다. 이 과정에서는 역전파(backpropagation)의 기본부터 시작하여 GPT와 같은 최신 심층신경망까지 구축하게 됩니다. 언어 모델은 딥러닝을 학습하기에 훌륭한 주제이며, 이는 궁극적으로 컴퓨터 비전 등 다른 분야로 확장할 때도 많은 부분이 즉시 활용될 수 있기 때문입니다. 이 강의는 다른 온라인 AI 강좌와 달리, 이론보다는 실습에 중점을 두어 실제 코드를 통해 신경망의 동작 원리를 이해할 수 있도록 합니다. 특히 PyTorch를 사용해 모델을 구현하고 디버깅하는 과정에서 실무에 필요한 기술들을 익힐 수 있습니다. 선수 지식: 탄탄한 프로그래밍(Python) 실력과 기초 수준의 수학(예: 미분, 가우시안 분포)에 대한 이해가 필요합니다. 강의 목차 및 개요 1. 역전파와 신경망 훈련의 기초 (2시간 25분) 가장 기본적인 파이썬 지식과 고등학교 수준의 미적분에 대한 희미한 기억만 있으면 이해할 수 있는, 역전파와 신경망 훈련의 가장 자세한 설명입니다. 2. 바이그램(bi-gram) 문자 수준 언어 모델 구현 (1시간 57분) 이 비디오에서는 현대의 GPT와 같은 트랜스포머 언어 모델로 발전시킬 바이그램 문자 수준 언어 모델을 구현합니다. 이 과정에서 torch.Tensor의 미묘한 부분과 신경망의 효율적인 평가 방법, 언어 모델링의 전체 프레임워크(모델 훈련, 샘플링, 손실 평가 등)를 다룹니다. 3. 다층 퍼셉트론(MLP) 문자 수준 언어 모델 구현 (1시간 15분) 여기서는 다층 퍼셉트론(MLP) 문자 수준 언어 모델을 구현하며, 머신러닝의 기본 개념(예: 모델 훈련, 학습률 조정, 하이퍼파라미터, 평가, 훈련/검증/테스트 분할, 과적합/과소적합 등)을 소개합니다. 4. MLP…