[GN] Databricks, ChatGPT와 비슷한 Dolly 2.0 오픈소스로 공개

GeekNews 의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. ^^


소개

  • 세계 최초의 진정한 개방형 Instruction-Tuned LLM
  • 전체 훈련 코드, 데이터 셋, 모델 가중치를 모두 공개. 즉 개인/회사 누구든 자신의 강력한 LLM을 생성 및 소유 가능
  • 사람이 생성한 명령어 databricks-dolly-15k 데이터셋으로 파인 튜닝
    • 15000개의 프롬프트/답변 페어. 누구나 변경/확장 가능하며 상업용도로도 사용 가능
      • (Alpaca, Koala, GPT4All, Vicuna 등은 모두 상업용 사용 불가)
    • 이 데이터는 5천명의 databricks 직원들이 직접 작성한 것
  • EleutherAI pythia 12B 파라미터 언어 모델 기반

원문

image

출처 / Geek News