GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
[GN⁺] Spreadsheets are all you need - 스프레드시트로 배우는 AI
소개
엑셀로 AI 배우기
-
엑셀에서 구현한 실제 LLM을 통해 AI가 어떻게 동작하는지 배우기
-
GPT-2의 Forward Pass를 외부 API 호출없이 엑셀 함수만으로 구현
-
스프레드시트를 이해할 수 있다면 AI를 이해할 수 있음을 목표로 함
-
XLSB(Excel Binary)로 되어있어서 다운로드 하여 실행 가능 (맥/윈 가능하지만 윈도우를 추천)
-
구현의 제한
-
BPE, 멀티헤드 어텐션, 멀티레이어 퍼셉트론 스테이지를 포함한 전체 소형 GPT2 (124M 파라미터) 모델
-
추론/포워드 패스만 가능(훈련 없음)
-
컨텍스트는 10개의 토큰 길이로 제한
-
단어당 10글자 제한
-
Zero Temperature 출력만 가능
-
Lesson 1: Excel로 GPT 이해하기
10분 분량의 이 동영상에서는 GPT-2의 아키텍처를 추상화하여 살펴보고 Excel 스프레드시트에서 트랜스포머의 각 단계가 생생하게 구현되는 것을 확인하면서 시작하겠습니다.
Lesson 2: Byte Pair Encoding과 Tokenization
이 단원에서는 GPT의 첫 번째 단계인 토큰화 단계와 ChatGPT와 같은 모델에 사용되는 바이트 쌍 인코딩(BPE) 알고리즘에 대해 자세히 살펴봅니다. 다루는 내용은 다음과 같습니다:
- 학습 단계와 언어 데이터 토큰화에서의 적용을 포함한 BPE 알고리즘에 대해 자세히 알아봅니다.
- 스프레드시트 시뮬레이션: 스프레드시트 모델을 통한 GPT-2의 토큰화 프로세스에 대한 실습 데모입니다.
- 한계와 대안: BPE의 과제에 대한 논의와 다른 토큰화 방법에 대해 살펴봅니다.
추가: 엑셀 구현을 상세히 들여다 보기(Transformers를 이해하는 사람들 대상)
Excel 구현에 대한 높은 수준의 안내입니다. 주로 트랜스포머를 이미 이해하고 있고 표준 아키텍처가 스프레드시트에 어떻게 매핑되는지 알고 싶은 분들을 대상으로 합니다.
FAQ
- Google 시트에 대해서: 이 프로젝트는 Google 시트에서 시작되었으나 전체 모델이 너무 커서 엑셀로 전환됨. Google 시트에서 작동하는 방법을 여전히 탐색 중이나 단일 파일로는 엑셀처럼 맞지 않을 가능성이 높음.
- ChatGPT처럼 대화할 수 없는 이유: 매우 짧은 컨텍스트 길이 외에도, 대화형 챗봇으로 만드는 지시 튜닝과 인간 피드백에서의 강화 학습(RLHF)이 부족함.
- 이름의 유래: "Spreadsheets-are-all-you-need"라는 이름은 Transformer 기계 학습 구조를 처음 설명한 유명한 논문 "Attention Is All You Need"의 제목을 빗대어 지어짐.
GN⁺의 의견
- 이 프로젝트는 AI와 기계 학습에 대한 접근성을 높이는 데 기여함. 엑셀과 같은 친숙한 도구를 사용하여 복잡한 기술을 이해할 수 있도록 만듦으로써, 비전문가도 AI의 기본 원리를 배울 수 있는 기회를 제공함.
- 엑셀을 통한 구현은 실제 AI 모델의 작동 방식을 시각적으로 이해하는 데 유용하지만, 실제 AI 개발에 사용되는 것은 아님. 따라서 이러한 방식으로 AI를 배운다고 해서 전문 AI 개발자가 되는 것은 아님.
- 이러한 교육 도구는 AI에 대한 일반 대중의 관심을 높이고, AI 기술의 민주화에 기여할 수 있음. 하지만 실제 AI 시스템을 구축할 때는 더 전문적인 도구와 프레임워크가 필요함.
- 비슷한 교육 목적의 프로젝트로는 Google의 Machine Learning Crash Course나 Coursera의 Andrew Ng 교수의 Machine Learning 강좌 등이 있음. 이러한 강좌들은 이론과 실습을 결합하여 보다 심층적인 학습을 제공함.
- 이 기술을 도입할 때는 실제 AI 모델 개발과는 다른 접근 방식이 필요하다는 것을 이해해야 함. 이 프로젝트는 교육적인 목적에 초점을 맞추고 있으며, 실제 AI 개발 프로젝트에서는 TensorFlow, PyTorch와 같은 전문 AI 프레임워크를 사용하는 것이 일반적임.
Hacker News 의견
- 크리에이터의 인사 및 감사
- 프로젝트 제작자: 게시물을 올려줘서 감사하며, 질문이나 제안에 답하고, 사람들이 LLM(Large Language Models)을 더 잘 이해하는 데 도움이 되기를 바람. 다음 비디오는 임베딩(embeddings)에 관한 것이며 곧 완성될 예정임.
- 스프레드시트를 이용한 신경망 교육
- Jeremy Howard: 수년간 스프레드시트를 사용하여 신경망(NNs)을 가르쳐왔으며, 이 방법은 교육적이고 직관적임.
- 스프레드시트로 신경망 설명
- 이제 "그저 곡선 맞춤(curve fitting)"이라고 말하는 대신 친구들에게 "그저 스프레드시트일 뿐"이라고 설명할 수 있음.
- 스프레드시트 링크 공유
- 스프레드시트 링크: GitHub - spreadsheets-are-all-you-need
- RLHF의 필요성에 대한 질문
- 대규모 언어 모델을 챗봇으로 전환하는 데 필요한 지침 튜닝(instruction tuning)과 인간 피드백으로부터의 강화 학습(RLHF)이 없어도 될지 의문 제기.
- GPT-2를 스프레드시트에 구현한 방법에 대한 감탄
- GPT-2를 스프레드시트에 어떻게 구현했는지 인상적이며, 저자에게 이 프로젝트가 오픈소스가 될지 질문.
- 스프레드시트에서 GPT-3 또는 GPT-4 구현 가능성
- 스프레드시트가 GPT-3나 GPT-4를 구현할 수 없는 이유에 대한 궁금증.
- LLM을 이해하는 데 도움이 되는 훌륭한 프로젝트
- 이 프로젝트는 훌륭하며, LLM(Large Language Models)을 이해하는 데 도움이 되도록 7명에게 전달함.
- 엑셀에서 PDE 해결 사례 공유
- 엑셀에서 편미분 방정식(PDEs)을 해결하는 사례가 있음을 공유. FFT(Fast Fourier Transform)와 특수 함수에 대해서는 알고 있었지만, 이것은 흥미롭고 재미있어 보임.
- 투자 은행을 고객으로 하는 AI 회사
- 투자 은행을 고객으로 삼는 AI 회사의 아이디어가 매우 현명함.
홈페이지
https://spreadsheets-are-all-you-need.ai/