[GN] StableLM 공개 - Stability AI의 공개 언어 모델

읽을거리&정보공유
,
1
  • GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

image

  • 3B/7B 모델을 공개, 15B/30B/65B 모델도 공개 예정이고 175B까지 계획중
  • 모델은 CC BY-SA-4.0 라이센스로 출처 표기시 상업적 이용 가능
  • 오픈 데이터셋인 The Pile에 기반했지만 3배 크기인 1.5T 토큰을 가지는 새로운 데이터셋으로 훈련
  • 컨텍스트 길이는 4096 토큰
  • PoC로 Alpaca 프로시져를 따라서 파인튜닝한 StableLM-Tuned-Alpha-7B 모델도 공개
    • 5개의 대화형 데이터셋을 이용 : Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, Anthropic's HH
    • 챗봇 데모는 HuggingFace에 공개

원문

출처 / GeekNews

2

:hugs:HuggingFace에서 StableLM 7B 모델 데모를 사용해볼 수 있습니다. :smiley: