# Meta AI의 혁명적인 모델 아키텍처 MEGABYTE에 대한 설명 글 (MEGABYTE, Meta AI’s New Revolutionary Model Architecture, Explained) **URL:** https://discuss.pytorch.kr/t/meta-ai-megabyte-megabyte-meta-ai-s-new-revolutionary-model-architecture-explained/1656 **Category:** 읽을거리&정보공유 **Tags:** megabyte, meta, meta-megabyte, encord **Created:** [5월 27, 2023, 12:18오후 UTC](https://discuss.pytorch.kr/t/meta-ai-megabyte-megabyte-meta-ai-s-new-revolutionary-model-architecture-explained/1656 "2023-05-27T12:18:56Z") **Posts on this page:** 1 **Showing post:** 2
### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow) #### Post date: [5월 27, 2023, 12:33오후 UTC](https://discuss.pytorch.kr/t/meta-ai-megabyte-megabyte-meta-ai-s-new-revolutionary-model-architecture-explained/1656/2 "2023-05-27T12:33:26Z")
위 글에는 없지만, Meta의 최근 근황 중에는 MMS와 LIMA도 있습니다. 😃 ### MMS > [@Meta, 1100개 이상의 언어에 대한 음성-텍스트, 텍스트-음성 변환 모델 MMS(Massively Multilingual Speech) 공개](https://discuss.pytorch.kr/t/meta-1100-mms-massively-multilingual-speech/1618): > > Meta에서 [Introducing speech-to-text, text-to-speech, and more for 1,100+ languages 이라는 제목의 블로그 글](https://ai.facebook.com/blog/multilingual-model-speech-recognition/)을 통해 MMS(Massively Multilingual Speech) 프로젝트(겸 모델 이름 같습니다)을 소개하였습니다. 무려 라이선스도 [저작자만 표시하면 비영리로 사용할 수 있는 CC-BY-NC 4.0으로 공개](https://creativecommons.org/licenses/by-nc/4.0/deed.ko)하였네요 +1 The MMS code and model weights are released under the CC-BY-NC 4.0 license. 아래는 지원하는 언어들을 세계지도에서 찍어본 것인데, 엄청납니다 astonishedMMS 프로젝트 소개 MMS(Massively Multilingual Speech; 대규모 다국어 음성) 프로젝트는 1,100개 이상의 언어를 지원하는 단일 다국어 음성 인식 모델, 4,000개 이상의 언어를 식별할 수 있는 언어 식별 모… ### LIMA > [@\[GN\] LIMA - 65B LLaMA 모델과 1000개의 프롬프트만으로 GPT-4에 근접하는 성능 내기](https://discuss.pytorch.kr/t/gn-lima-65b-llama-1000-gpt-4/1615): > > [GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. smiley_cat소개 "Less Is More for Alignment" LIMA = 강화학습 이나 선호도 모델링 없이 잘 큐레이트된 1000개의 프롬프트만으로 파인튜닝한 LLaMA 모델 43% 사례에서 GPT-4와 동등하거나 더 선호, Bard와 비교했을 때 58%, 휴먼 피드백으로 훈련한 DaVinci003에 비해 65% 높음 논문의 가설은 LLM의 거의 모든 지식은 Pretraining중에 학습되는 것이며, Alignment는 사용자와 상호작용하는 포맷/스타일을 학습하는 간단한 프로세스 라는 것 Meta AI 의 새로운 논문 원문 출처 / [GeekNews](https://news.hada.io/topic?id=9239) --- _[View the full topic](https://discuss.pytorch.kr/t/meta-ai-megabyte-megabyte-meta-ai-s-new-revolutionary-model-architecture-explained/1656)._