Meta AI의 혁명적인 모델 아키텍처 MEGABYTE에 대한 설명 글 (MEGABYTE, Meta AI’s New Revolutionary Model Architecture, Explained)

[9bow (박정환)]

위 글에는 없지만, Meta의 최근 근황 중에는 MMS와 LIMA도 있습니다.

MMS

Meta, 1100개 이상의 언어에 대한 음성-텍스트, 텍스트-음성 변환 모델 MMS(Massively Multilingual Speech) 공개

Meta에서 Introducing speech-to-text, text-to-speech, and more for 1,100+ languages 이라는 제목의 블로그 글을 통해 MMS(Massively Multilingual Speech) 프로젝트(겸 모델 이름 같습니다)을 소개하였습니다. 무려 라이선스도 저작자만 표시하면 비영리로 사용할 수 있는 CC-BY-NC 4.0으로 공개하였네요 The MMS code and model weights are released under the CC-BY-NC 4.0 license. 아래는 지원하는 언어들을 세계지도에서 찍어본 것인데, 엄청납니다 [image] MMS 프로젝트 소개 MMS(Massively Multilingual Speech; 대규모 다국어 음성) 프로젝트는 1,100개 이상의 언어를 지원하는 단일 다국어 음성 인식 모델, 4,000개 이상의 언어를 식별할 수 있는 언어 식별 모델,…

LIMA

[GN] LIMA - 65B LLaMA 모델과 1000개의 프롬프트만으로 GPT-4에 근접하는 성능 내기

GeekNews의 xguru 님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 소개 "Less Is More for Alignment" LIMA = 강화학습 이나 선호도 모델링 없이 잘 큐레이트된 1000개의 프롬프트만으로 파인튜닝한 LLaMA 모델 43% 사례에서 GPT-4와 동등하거나 더 선호, Bard와 비교했을 때 58%, 휴먼 피드백으로 훈련한 DaVinci003에 비해 65% 높음 논문의 가설은 LLM의 거의 모든 지식은 Pretraining중에 학습되는 것이며, Alignment는 사용자와 상호작용하는 포맷/스타일을 학습하는 간단한 프로세스 라는 것 Meta AI 의 새로운 논문 원문 https://arxiv.org/abs/2305.11206 출처 / GeekNews https://news.hada.io/topic?id=9239