Andrej Karpathy, 개발자를 위한 LLM 소개 영상 'ChatGPT와 같은 LLM 심층 분석' 공개 📺 [영어/YouTube/3:31:23]

읽을거리&정보공유
, , , ,
1

ChatGPT와 같은 LLM 심층 분석(Deep Dive into LLMs like ChatGPT) 영상 소개

Andrej Karpathy (갓파시) 가 공개한 ChatGPT와 같은 LLM 심층 분석(Deep Dive into LLMs like ChatGPT) 영상은 인공지능을 전공하지 않은 개발자들도 ChatGPT와 같은 LLM의 동작을 이해하기 위한 여러 내용들을 담고 있습니다. 영상에서는 LLM의 내부 구조와 원리를 쉽게 설명하며, 특히 모델이 언어를 처리하는 방식, 데이터 학습의 한계, 그리고 프롬프트 엔지니어링 기법 등을 다룹니다. AI 모델의 작동 방식을 알고 나면 더욱 효과적으로 활용할 수 있을 뿐만 아니라, 모델의 한계를 명확히 이해하여 신뢰할 수 있는 정보를 얻는 데 도움이 됩니다.

전체 영상은 3시간 31분 분량으로, 다음 영상의 주요 내용들을 살펴보시면 정말 방대한 양의 개념들을 다루고 있음을 확인하실 수 있습니다. :astonished:

ChatGPT와 같은 LLM 심층 분석(Deep Dive into LLMs like ChatGPT) 영상 목차

  • 00:00:00 소개 / Introduction
  • 00:01:00 사전 학습 데이터 (인터넷) / Pretraining Data (Internet)
  • 00:07:47 토큰화 / Tokenization
  • 00:14:27 신경망 입출력 / Neural Network I/O
  • 00:20:11 신경망 내부 구조 / Neural Network Internals
  • 00:26:01 추론 / Inference
  • 00:31:09 GPT-2: 학습과 추론 / GPT-2: Training And Inference
  • 00:42:52 Llama 3.1 기본 모델 추론 / Llama 3.1 Base Model Inference
  • 00:59:23 사전 학습에서 사후 학습으로 / Pretraining To Post-Training
  • 01:01:06 사후 학습 데이터 (대화) / Post-Training Data (Conversations)
  • 01:20:32 환각, 도구 사용, 지식/작업 메모리 / Hallucinations, Tool Use, Knowledge/Working Memory
  • 01:41:46 자기 인식 / Knowledge Of Self
  • 01:46:56 모델은 사고를 위해 토큰이 필요함 / Models Need Tokens To Think
  • 02:01:11 토큰화 재검토: 모델은 철자에 어려움을 겪음 / Tokenization Revisited: Models Struggle With Spelling
  • 02:04:53 불규칙한 지능 / Jagged Intelligence
  • 02:07:28 지도 미세 조정에서 강화 학습으로 / Supervised Finetuning To Reinforcement Learning
  • 02:14:42 강화 학습 / Reinforcement Learning
  • 02:27:47 DeepSeek-R1 / DeepSeek-R1
  • 02:42:07 AlphaGo / AlphaGo
  • 02:48:26 인간 피드백 기반 강화 학습 (RLHF) / Reinforcement Learning From Human Feedback (RLHF)
  • 03:09:39 다가올 것들에 대한 미리보기 / Preview Of Things To Come
  • 03:15:15 LLM 추적하기 / Keeping Track Of LLMs
  • 03:18:34 LLM 찾는 곳 / Where To Find LLMs
  • 03:21:46 종합 요약 / Grand Summary

:vhs: 안드레이 카파시의 'ChatGPT와 같은 LLM 심층 분석' 영상

:scroll: 더 읽어보기



이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck:

1개의 좋아요