LLM 개발자가 알아야 할 숫자들 (Numbers every LLM Developer should know)

5월 중순쯤 TLDR 뉴스레터에서 소개되었던 LLM 개발자들이 알아야 할 숫자들 이 게시판에 없어서 퍼와봤습니다 ㅎㅎ

소개

Google의 부사장이며 전설적인 개발자 제프 딘(Jeff Dean)이 작성한 모든 엔지니어들이 알아야 할 숫자(Numbers every Engineer should know) 문서를 오마주(?)하여 만든 LLM 개발자들이 알아야 할 숫자들 입니다.


원문은 분산/병렬처리 Ray 프레임워크GitHub 저장소입니다.

원문

(Anyscale의) 블로그 소개

더 보기

+ 모든 엔지니어들이 알아야 할 숫자가 궁금하실 수 있어서 아래와 같이 퍼왔습니다

출처는 Software Engineering Advice from Building Large-Scale Distributed Systems 입니다.

stanford-295-talk.pdf (493.4 KB)

1개의 좋아요

오... 이렇게 모아보니 좋네요. LLM 학습도 해보고 싶지만 비용적 시간적 코스트가 쎄서 쉽지 않네요. 결과도 괜찮긴 하지만 모델 크기에 비해서는 개인적으로 조금 만족스럽지 않은 느낌입니다. 당장엔 QLoRA 쪽에 관심이 많이 가네요.

1개의 좋아요