[GN] DeepSpeedChat - RLHF를 사용한 ChatGPT-like 모델 훈련용 프레임워크 (github.com/microsoft)

GeekNews 의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. ^^


소개 글

  • 빠르고 저렴하며 확장 가능한 개방형 시스템 프레임워크
  • End-to-End RLHF(Reinforcement Learning Human Feedback)를 통해 모든 규모의 고품질 ChatGPT 스타일 모델을 생성 가능
  • 1클릭으로 48GB 메모리가 장착된 NVIDIA A6000 GPU 한대로 1.3B 파라미터 ChatGPT 모델을 1.36시간내에 훈련, 생성 및 서빙 가능
  • Databricks Dolly, CarperAI-TRLX, Huggingface-PEFT 등이 이용중

원문

:rocket: What is DeepSpeed Chat :rocket:

출처 / GeekNews