[GN] Upstage, 10.7B SOLAR 모델을 상용화 가능한 라이선스(Apache-2.0)로 공개

읽을거리&정보공유
, , , , , , ,
1

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

[GN] Upstage, 10.7B SOLAR 모델을 상용화 가능한 라이선스로 공개

  • 기존의 Llama2 7B의 능력을 극대화하기 위해 Depth Up-Scaling 기술을 개발하여 적용

  • 벤치마크상 매개변수가 30억개 미만인 모델에서는 뛰어난 성능을 보이며, 6배 크기의 QWEN 이나 최근 출시된 Mixtral 8x7B 모델을 능가

    • OpenLLM 리더보드에서 74.2점으로 1등. 알리바바의 QWEN-72B가 73.6, Mixtral-8x7B가 72.6

  • Instruction 파인튜닝이 잘 적용됨

  • 이번 공개된 모델은 영어 기반이기 때문에 한국어 성능은 낮을 수 있음

  • SOLAR-10.7B 모델은 상용 사용이 가능한 Apache-2 라이선스로 공개

    • SOLAR-10.7B-Instruct 모델은 파인튜닝시 사용한 데이터셋 이슈로 CC-BY-NC-4.0으로 공개

원문

출시 기사 (영문)

SOLAR-10.7B 모델

SOLAR-10.7B-Instruct 모델

출처 / GeekNews