# \#scaling-laws

**URL:** https://discuss.pytorch.kr/tag/scaling-laws/9331.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [MAI-Base-2 사전학습 레시피: Microsoft AI가 공개한, DeepSeek-V4-Pro-Base보다 4~12배 효율적이라는 2.8T MoE 모델의 사전학습 방법](https://discuss.pytorch.kr/t/mai-base-2-microsoft-ai-deepseek-v4-pro-base-4-12-2-8t-moe/12210)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 17, 2026, 1:00오후 UTC](https://discuss.pytorch.kr/t/mai-base-2-microsoft-ai-deepseek-v4-pro-base-4-12-2-8t-moe/12210 "2026-10-17T13:00:45Z")

</div>

핵심 요약 Microsoft AI가 Frontier Pre-training at Microsoft AI 글에서 활성 80B, 전체 2.8T 파라미터의 MoE 기반 모델 MAI-Base-2의 사전학습 완료를 알렸습니다. GB200 GPU 1만 6천 장으로 2026년 8~9월 38일 동안 50T 토큰을 학습했고, 지금은 사후 학습 중입니다. Microsoft AI의 자체 보류(held-out) 평가 4종에서 MAI-Base-2는 비교한 오픈 웨이트 모델 모두보다 낮은 bits-per-byte(BPB)를 기록했습니다. DeepSeek-V4-Pro-Base와 같은 BPB에 도달하는 데 필요한 연산은 4.2~12.3배 적다고 추정했습니다. MAI는 이 효율의 근거로 스케일링 사다리와 하이퍼파라미터 스케일링 법칙을 듭니다. 모델 쪽에서는 모든 층의 다회차 Dropless MoE, Muon 옵티마이저, 활성값 그래디언트 클리핑을, 데이터 쪽에서는 증류 없는 데이터와 네이티브 비전 학습을 듭니다. 가중치는 공개하지 않습니다. Microsoft AI는 데이터 출처 관리 덕분에 앞으로 Foundry를 통해 신뢰할 수 있는 파트너에게 가중치를 라이선스할 수 있다고 밝혔고, 비교 평가 세트도 공개되지 않아 외부에서 수치를 재현할 수는 없습니다. MAI-Base-2 소개 MAI-Base-2는 Microsoft AI(MAI)가 직접 사전학습한 두 번째 대형 기반 모델(Base Model) 입니다. 토큰마다 일부 전문가 네트워크만 활성화하는 전문가 혼합(Mixture of Experts, MoE) 구조입니다. 기반 모델은 지시 따르기나 추론 학습을 거치기 전, 다음 토큰 예측만으로 학습한 모델을 말합니다. 2026년 6월 MAI는 MAI-Thinking-1 기술 보고서에서 첫 기반 모델 MAI-Base-1(활성 35B, 전체 1T)과 그 위에 사후 학습한 추론 모델을 발표했습니다. 이번 글은 그 다음 세대의 기반 모델을 어떻게 사전학습했는지 정리한 실험실 노트(Lab Notes…
