안녕하세요
국내 최대 오프라인 인공지능 커뮤니티 모두의연구소입니다.
오늘은 앤드류 응 교수님의 LLM을 활용한 생성모델 강의, ,PyTorch XLA를 활용한 추론 시스템 개발, 마지막으로 수학이론을 증명하는 LLM 모델 플레이그라운드에 대한 이야기입니다.
DeepLearning.ai에서 새롭게 출시한 앤드류 응 교수님의 ‘LLM을 활용한 생성모델 강의’를 소개합니다! AI 수명주기의 핵심적인 단계인 데이터 수집부터 성능 평가와 패토까지 상세히 설명하며, 트랜스포머 아키텍처와 경험적 스케일링 기법에 대한 이해 높일 수 있는 기회가 될 것 같은데요! 업계 연구자 및 실무자의 이야기를 통해 생성 AI가 비즈니스에 제공하는 도전과 기회에 대한 논의도 진행된다고 합니다! 코세라에서 이 강의를 감상할 수 있으니, 관심 있는 분들은 놓치지 마세요!
Learn the fundamentals of generative AI for real-world applications
구글 PyTorch/XLA 팀에서 Meta에서 나온 최신 LLM인 LLaMA의 추론을 XLA로 진행한 결과를 가져왔습니다. 현재 구글 PyTorch/XLA팀은 고성능 추론 스택을 제공하는걸 목표로 하고 있으며 PyTorch/XLA는 TorchDynamo, PjRT, OpenXLA의 방식을 통합해서 만들었다고 하는데요. 이 블로그는 PyTorch/XLA를 사용했으며 구글 TPU 그리고 비교를 위해서 GPU를 사용했다고 합니다! 결과값을 보면 토큰당 지연속도가 일반적인 PyTorch나 inductor를 쓰는 것보다 훨씬 속도가 빠른걸 확인할 수 있습니다. 자세한 내용은 아래 블로그 링크에서 확인해보세요!
The Path to Achieve Ultra-Low Inference Latency With LLaMA 65B on PyTorch/XLA
LLM은 Lean과 같은 증명툴을 활용해서 수학적인 이론을 증명할 수 있습니다. 하지만 기존 방법의 경우 비공개 코드, 데이터, 대규모 컴퓨팅 요구사항으로 인해 재현이 불가능했습니다. 이번에 공개한 LeanDojo는 툴킷, 데이터, 모델 벤치마크로 구성된 프로그래밍 방식으로 증명 환경과 상호작용될 수 있게 만들었다고 합니다! 수학 라이브러리에서 전제를 선택하기 위해 검색기능이 추가된 ReProver도 개발해서 진행되고, 오픈소스로 MIT 라이선스에 따라 공개한다고 하니 관심있는 분들은 사용해주세요!
LeanDojo: Theorem Proving with Retrieval-Augmented Language Models
모두의연구소와 지식을 나누고 함께 성장할 개발자를 기다립니다.
모두의연구소가 만든 AI학교 쏘카 캠퍼스 모집 중 ⇒ https://me2.kr/IvLsN