# \#megakernel **URL:** https://discuss.pytorch.kr/tag/megakernel/8767.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Mixture-of-Kittens: Cursor가 새로 공개한 NVL72용 MoE 학습 메가커널](https://discuss.pytorch.kr/t/mixture-of-kittens-cursor-nvl72-moe/11548)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 7, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/mixture-of-kittens-cursor-nvl72-moe/11548 "2026-08-07T03:30:29Z")
Mixture-of-Kittens(MoK) 소개 대규모 학습 작업의 프로파일을 열어 보면, 전문가 혼합(Mixture-of-Experts, MoE) 모델에서는 전문가 계산 못지않게 GPU 사이로 토큰을 옮기는 구간이 크게 잡히곤 합니다. Cursor가 2026년 8월 오픈소스로 공개한 Mixture-of-Kittens(MoK) 는 그 통신을 계산과 같은 커널 안에 집어넣어 계산 뒤로 감추는 MoE 학습용 메가커널(Megakernel)입니다. NVIDIA NVL72 랙을 목표로 처음부터 다시 설계했고, MoE 계층의 모든 통신과 연산을 단일 CUDA 커널로 융합하며, 같은 입력에 대해 항상 비트 단위로 동일한 출력을 내는 완전 결정론적 커널입니다. MoK는 Cursor의 에이전트형 코딩 모델인 Composer 를 학습시키면서 나온 결과물입니다. Cursor는 워크로드와 학습 설정에 따라 "MoE 계층이 종단간 학습 시간의 절반 이상을 소모하기도 한다" 고 밝히고 있으며, MoK를 투입한 뒤 자사 프로덕션 스택의 종단간 초당 토큰 처리량이 1.41\\times 로 올라갔다고 보고했습니다. 이 커널은 현재 수만 장 규모의 GPU에서 Composer 학습을 돌리고 있습니다. 이 글은 논문이 아니라 Cursor Research의 기술 블로그 글 이지만, 내용의 밀도는 시스템 논문에 가깝습니다. 통신 방향을 푸시로 할지 풀로 할지 고르는 근거부터 연산과 통신의 겹침 입자 크기를 정하는 정량 휴리스틱, CPU 개입을 없애는 링 버퍼 설계, 그리고 공개 구현 대비 벤치마크까지 담고 있어 아래에서 순서대로 정리합니다. 저자는 Stuart H. Sul, Nash Brown, Henry Wildermuth, William Lin, Federico Cassano이며, 저장소는 Apache 2.0 라이선스로 열려 있습니다. MoE 계층이 병목이 되는 과정 MoE는 모든 토큰에 모든 파라미터를 태우는 대신, 라우터가 고른 소수의 전문가에게만 토큰을 보내 연산량을 아끼는 구조입…