GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
![[GN⁺] Mistral AI, Llama 2 70B 모델보다 뛰어난 Mixtral 8x7B 모델 공개](https://discuss.pytorch.kr/uploads/default/original/2X/2/2dbf1e1db7c14c3c98109215eb32de79c49c4f16.jpeg)
- "High-quality Sparse Mixture of Experts Model (SMoE, 고품질 희소 전문가 모델)"
- Llama 2 70B를 대부분 벤치마크에서 능가하며, 6배 빠른 추론
- 대부분의 표준 벤치마크에서 GPT 3.5와 비슷하거나 더 나은 성능을 보임
- 허용 라이센스가 있는 가장 강력한 오픈 웨이트 모델이며, 비용/성능 면에서 가장 우수한 모델
- 32k 토큰 컨텍스트 지원
- 영어/프랑스어/이탈리아어/독일어/스페인어 처리
- 코드 생성에서 강력한 성능을 보임
- MT-Bench 에서 8.3점을 획득한 Instruction-Following 모델로 미세 조정 가능
- MMLU 70.6% (Llama 2 70B 69.9%, GPT 3.5 70.0%)
희소 아키텍처를 활용한 오픈 모델의 경계 확장
- Mixtral은 희소 전문가 네트워크로, 디코더 전용 모델임
- 피드포워드 블록이 8개의 서로 다른 파라미터 그룹 중에서 선택하여, 각 레이어마다 토큰마다 라우터 네트워크가 두 개의 전문가 그룹을 선택하고 그 출력을 결합함
- 이 기술은 모델의 파라미터 수를 증가시키면서 비용과 지연 시간을 제어할 수 있게 해주며, Mixtral은 총 46.7B의 파라미터를 가지지만 토큰 당 12.9B의 파라미터만 사용함
성능
![[GN⁺] Mistral AI, Llama 2 70B 모델보다 뛰어난 Mixtral 8x7B 모델 공개](https://discuss.pytorch.kr/uploads/default/original/2X/e/ec02f115589d7180be85baf9de3dd7a9b5ea177b.png)
- Mixtral은 Llama 2 모델과 GPT3.5 기본 모델과 비교하여 대부분의 벤치마크에서 동등하거나 더 나은 성능을 보임.
- Mixtral은 Llama 2 70B 모델과 비교하여 더 진실된 답변을 제공하고(TruthfulQA 벤치마크에서 73.9% 대 50.2%), BBQ 벤치마크에서 더 적은 편향을 보임.
- Mixtral은 프랑스어, 독일어, 스페인어, 이탈리아어, 영어를 능숙하게 다룸.
![[GN⁺] Mistral AI, Llama 2 70B 모델보다 뛰어난 Mixtral 8x7B 모델 공개](https://discuss.pytorch.kr/uploads/default/original/2X/a/a7c2c18fd5749ef62f718bd90e1f516fd9c95d3c.png)
지시에 따른 모델
- Mixtral 8x7B Instruct는 지시에 따른 성능을 최적화하기 위해 감독된 미세 조정과 직접적인 선호도 최적화(DPO)를 거침.
- MT-Bench에서 8.30의 점수를 달성하여 GPT3.5와 비슷한 성능을 가진 최고의 오픈 소스 모델이 됨.
Mixtral의 오픈 소스 배포 스택으로 배포
- 커뮤니티가 완전한 오픈 소스 스택으로 Mixtral을 실행할 수 있도록 vLLM 프로젝트에 변경 사항을 제출함.
- 현재 Mistral AI는 Mixtral 8x7B를 mistral-small 엔드포인트 뒤에서 사용하고 있으며, 베타 버전으로 이용 가능
- 모든 생성 및 임베딩 엔드포인트에 대한 얼리억세스를 위해 등록 가능함
Hacker News 의견
- Andrej Karpathy의 의견:
- Mixtral 8x7B에 대한 공식 포스트와 vLLM의 추론 코드 공개
- HuggingFace의 MoE(Mixture of Experts) 설명이 유익함
- 70B 모델의 성능을 12.9B 밀도 모델의 추론 속도로 달성
- "open weights"라는 용어 사용에 긍정적인 반응
- "8x7B"라는 이름이 오해의 소지가 있음을 지적
- 각 토큰과 레이어가 8개 중 2개의 전문가를 선택하는 방식에 대한 혼란 언급
- Mistral-medium 모델에 대한 소개
- Huggingface에서의 모델 이용 가능성:
- Mistralai와 TheBloke에서 Mixtral 모델 사용 가능
- 소프트웨어 엔지니어를 위한 설명 요청:
- 전문가의 혼합이 어떻게 작동하는지에 대한 이해가 필요함
- Mixtral 8x7B의 크기에 대한 반응:
- 45억 파라미터를 "small" 모델로 간주하는 것에 대한 흥미 표현
- AI의 미래에 대한 전망:
- MoE가 AI의 미래가 될 것이라는 긍정적인 전망
- MoE의 작동 원리와 장단점에 대한 질문:
- MoE가 기존 모델에 비해 어떤 이점이 있는지에 대한 설명 필요
- 모델 파라미터에 대한 혼란:
- "8x7B"라는 이름과 실제 파라미터 수, 토큰 생성 시 사용되는 파라미터에 대한 혼란 표현
- Mistral의 접근 방식에 대한 설명:
- Mistral이 모델을 검열하지 않고 자유로운 접근을 추구한다고 CEO가 언급
- Mixtral 8x7B의 언어 능력:
- 프랑스어, 독일어, 스페인어, 이탈리아어, 영어를 능숙하게 다룸
- 모델과 가중치에 대한 정보 요청:
- 모델과 가중치에 대한 링크 요청
- 시장 경쟁력에 대한 질문:
- GPT 3.5를 앞서는 모델을 가지고 있지만, OpenAI/Google과의 경쟁에서 어떤 기회가 있는지에 대한 의문과 미래 전망에 대한 질문
