# \#moe **URL:** https://discuss.pytorch.kr/tag/moe/2893.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [DeepInfer: DeepSeek이 V4.1-Flash 모델의 서비스에 사용하는 추론 프레임워크 (단, 오프라인 추론만 공개 😅)](https://discuss.pytorch.kr/t/deepinfer-deepseek-v4-1-flash/12256)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [10월 23, 2026, 7:23오전 UTC](https://discuss.pytorch.kr/t/deepinfer-deepseek-v4-1-flash/12256 "2026-10-23T07:23:07Z")
핵심 요약 DeepSeek이 2026년 10월 20일 공개한 DeepInfer는 DeepSeek-V4.1-Flash의 대규모 운영 서비스를 실제로 구동하는 추론 프레임워크입니다. 이번 공개 범위는 오프라인 추론입니다. 지원 모델은 DeepSeek-V4.1-Flash 하나이고, 지원 하드웨어는 NVIDIA SM100 GPU(B200, GB200 같은 Blackwell 데이터센터 GPU)와 Huawei Ascend 950 NPU입니다. 온라인 서비스에 필요한 KV 캐시 시스템, 비전 인코더/프리필/디코드 분리 배포, 데이터 병렬 복제본 간 부하 분산은 공개되지 않았습니다. 지금 V4.1-Flash를 API로 서빙해야 하는 팀에게는 이미 이 모델을 지원하는 vLLM이나 SGLang이 현실적인 선택지입니다. 저장소에는 DeepSeek의 커널 라이브러리, 어텐션 데이터 병렬화와 MoE 전문가 병렬화, DSpark 추측 디코딩, SWA 바운디드 리플레이, 배치 불변 추론, 구조화 출력이 들어 있습니다. 함께 공개된 배포 Q&A 문서는 디코드 64~128 GPU의 Wide-EP 구성, 약 100PiB 규모의 3FS KV 캐시 저장소 같은 운영 구성을 밝힙니다. DeepSeek은 클러스터 하나가 하루 155조 토큰을 처리한다고 밝혔습니다. DeepInfer 소개 거대한 전문가 혼합(Mixture-of-Experts, MoE) 모델을 많은 사용자에게 싸게 서빙하려면 커널 하나를 빠르게 만드는 것만으로는 부족합니다. 연산 커널, GPU 간 통신, 요청 스케줄링, KV 캐시(Key-Value Cache) 저장소가 서로 맞물려 전체 처리량을 결정하기 때문입니다. DeepSeek은 그동안 이 문제를 이루는 부품을 하나씩 공개해 왔습니다. 2025년 초부터 FlashMLA (:pytorch::kr: FlashMLA: Hopper GPU를 위한 고성능 MLA 디코딩 커널 (feat. DeepSeek)), DeepEP (:pytorch::kr: DeepEP: 효율적인 Mixtur… --- ## [다음 주 출시되는 PyTorch 2.15부터 Mac GPU 지원 강화: MPS 백엔드의 FP8 지원 및 MoE 디코딩 5~6.5배 향상 등](https://discuss.pytorch.kr/t/pytorch-2-15-mac-gpu-mps-fp8-moe-5-6-5/12257)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [10월 23, 2026, 12:41오전 UTC](https://discuss.pytorch.kr/t/pytorch-2-15-mac-gpu-mps-fp8-moe-5-6-5/12257 "2026-10-23T00:41:20Z")
핵심 요약 Hugging Face의 PyTorch 팀이 MPS in PyTorch 2.15 글에서 Mac GPU 백엔드(MPS)의 2.15 변경 사항을 정리했습니다. 2.15는 지금 RC(release candidate) 단계이고, 정식 출시는 2026년 10월 28일로 잡혀 있습니다. MPS에서 torch.float8\_e4m3fn 텐서와 F.scaled\_mm을 쓸 수 있습니다. 다만 PR 벤치마크에서 FP8 행렬곱은 메모리를 최대 절반으로 줄이는 대신, 속도는 대부분의 크기에서 BF16의 0.12~0.37배입니다. 원문은 MoE 모델 디코딩이 2.14보다 5~6.5배 빨라졌다고 밝혔습니다(M3 Ultra, torch.compile, Qwen3.6-35B-A3B 9.4에서 61.3 tokens/s). 이 수치는 여러 PR의 측정을 이어 붙인 누적값이고, 최종값은 512 토큰 컨텍스트 기준입니다. Wan2.2 영상 VAE(Variational Autoencoder) 디코딩의 드라이버 메모리 최대치가 270 GiB에서 8 GiB로 줄었습니다. 같은 패딩 수정으로 Qwen-Image-2.1 VAE 인코더가 이미지를 망가뜨리던 문제도 고쳐졌습니다. MPS는 이제 macOS 15 이상, PyTorch 2.15는 Python 3.11 이상이 필요합니다. PyTorch 2.15의 MPS 백엔드 소개 MPS(Metal Performance Shaders) 백엔드는 Apple Silicon Mac의 GPU에서 PyTorch 연산을 실행하는 mps 장치입니다. 그동안 많은 연산이 Apple의 MPSGraph를 거쳐 실행됐습니다. MPSGraph는 연산을 계산 그래프로 만들어 컴파일하고 실행하는 Apple의 프레임워크입니다. 이번 2.15 변경 사항의 상당수는 이런 연산을 PyTorch가 직접 작성한 Metal 커널로 옮긴 결과입니다. 원문은 Hugging Face PyTorch 팀의 Irakli Salia, Khushi Agrawal가 썼습니다. 저자들은 2026년 … --- ## [Reflection AI, 활성 23B로 추론 연산을 줄인 501B 오픈 웨이트 모델 Beam 발표 (가중치는 이번 달 내 공개 예정)](https://discuss.pytorch.kr/t/reflection-ai-23b-501b-beam/12112)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [10월 21, 2026, 6:21오전 UTC](https://discuss.pytorch.kr/t/reflection-ai-23b-501b-beam/12112 "2026-10-21T06:21:09Z")
핵심 요약 Reflection AI가 Beam 소개 블로그에서 첫 오픈 웨이트(Open-Weight) 모델 Beam을 발표했습니다. 전체 501B, 토큰당 활성 23B 파라미터의 희소 MoE 모델이며 코딩, 추론, 에이전트 작업을 겨냥합니다. 지금은 Reflection 플랫폼의 대기자 명단으로 일부 사용자에게만 열려 있습니다. 가중치(Apache 2.0 라이선스), 기술 보고서, 모델 카드, 개발자용 자료는 10월 중 공개할 예정이라고 밝혔습니다. 강화학습에 NVIDIA GB300 GPU 10.5K개를 4주 동안 써서 1억 회가 넘는 롤아웃을 만들었고, 연산을 늘리는 동안 성능이 계속 올랐다고 보고합니다. 같은 발표의 비교표에서 Beam은 GLM 5.3과 Qwen 3.8 Max에 보고된 모든 칸에서, Kimi K3에는 한 칸을 빼고 모두 뒤집니다. 비슷한 크기의 DeepSeek V4.1 Flash에도 아홉 칸 중 일곱 칸에서 뒤지며, 내세우는 장점은 절대 성능이 아니라 추론 연산 효율입니다. Reflection AI와 Beam 소개 Beam은 Reflection AI가 처음으로 가중치를 공개하겠다고 밝힌 대규모 언어 모델입니다. 전체 파라미터는 501B이지만 토큰 하나를 처리할 때는 23B만 계산에 참여하는 희소 전문가 혼합(Sparse Mixture-of-Experts, MoE) 구조이고, 코딩과 에이전트 작업에 맞춰 학습했습니다. 발표 시점(2026년 10월 5일)에는 가중치가 아직 없고, 확인할 수 있는 근거는 발표 블로그의 표와 그림뿐입니다. Reflection AI는 Building Frontier Open Intelligence 글에서 20억 달러를 투자받았다고 밝힌 회사입니다. 팀은 PaLM, Gemini, AlphaGo, AlphaCode 개발에 참여한 연구자들로 꾸렸다고 소개합니다. 당시에는 자율 코딩 분야에 대규모 MoE 학습과 강화학습 플랫폼을 적용해 왔고, 이를 범용 에이전트 추론으로 넓히겠다고 했습니다. 회사 소개 페이지에는 … --- ## [MAI-Base-2 사전학습 레시피: Microsoft AI가 공개한, DeepSeek-V4-Pro-Base보다 4~12배 효율적이라는 2.8T MoE 모델의 사전학습 방법](https://discuss.pytorch.kr/t/mai-base-2-microsoft-ai-deepseek-v4-pro-base-4-12-2-8t-moe/12210)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 17, 2026, 1:00오후 UTC](https://discuss.pytorch.kr/t/mai-base-2-microsoft-ai-deepseek-v4-pro-base-4-12-2-8t-moe/12210 "2026-10-17T13:00:45Z")
핵심 요약 Microsoft AI가 Frontier Pre-training at Microsoft AI 글에서 활성 80B, 전체 2.8T 파라미터의 MoE 기반 모델 MAI-Base-2의 사전학습 완료를 알렸습니다. GB200 GPU 1만 6천 장으로 2026년 8~9월 38일 동안 50T 토큰을 학습했고, 지금은 사후 학습 중입니다. Microsoft AI의 자체 보류(held-out) 평가 4종에서 MAI-Base-2는 비교한 오픈 웨이트 모델 모두보다 낮은 bits-per-byte(BPB)를 기록했습니다. DeepSeek-V4-Pro-Base와 같은 BPB에 도달하는 데 필요한 연산은 4.2~12.3배 적다고 추정했습니다. MAI는 이 효율의 근거로 스케일링 사다리와 하이퍼파라미터 스케일링 법칙을 듭니다. 모델 쪽에서는 모든 층의 다회차 Dropless MoE, Muon 옵티마이저, 활성값 그래디언트 클리핑을, 데이터 쪽에서는 증류 없는 데이터와 네이티브 비전 학습을 듭니다. 가중치는 공개하지 않습니다. Microsoft AI는 데이터 출처 관리 덕분에 앞으로 Foundry를 통해 신뢰할 수 있는 파트너에게 가중치를 라이선스할 수 있다고 밝혔고, 비교 평가 세트도 공개되지 않아 외부에서 수치를 재현할 수는 없습니다. MAI-Base-2 소개 MAI-Base-2는 Microsoft AI(MAI)가 직접 사전학습한 두 번째 대형 기반 모델(Base Model) 입니다. 토큰마다 일부 전문가 네트워크만 활성화하는 전문가 혼합(Mixture of Experts, MoE) 구조입니다. 기반 모델은 지시 따르기나 추론 학습을 거치기 전, 다음 토큰 예측만으로 학습한 모델을 말합니다. 2026년 6월 MAI는 MAI-Thinking-1 기술 보고서에서 첫 기반 모델 MAI-Base-1(활성 35B, 전체 1T)과 그 위에 사후 학습한 추론 모델을 발표했습니다. 이번 글은 그 다음 세대의 기반 모델을 어떻게 사전학습했는지 정리한 실험실 노트(Lab Notes… --- ## [Strata: 12GB 그래픽카드 PC에서 125B 모델 Qwen3.8-Flash-Next만을 위해 만든 추론 엔진](https://discuss.pytorch.kr/t/strata-12gb-pc-125b-qwen3-8-flash-next/12189)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 16, 2026, 12:00오후 UTC](https://discuss.pytorch.kr/t/strata-12gb-pc-125b-qwen3-8-flash-next/12189 "2026-10-16T12:00:01Z")
핵심 요약 Strata는 1,250억(125B) 파라미터 MoE 모델 Qwen3.8-Flash-Next 하나만을 위해 작성한 추론(Inference) 엔진입니다. 12GB 이상 그래픽카드와 32GB 이상 RAM을 갖춘 Windows/Linux PC에서 이 모델을 실행합니다. 개발자가 RTX 5070(12GB)과 64GB RAM PC에서 측정한 짧은 대화의 생성 속도는 2비트 Q2\_0 기준 초당 94토큰, 기본 크기 중 가장 큰 IQ3\_S 기준 초당 53토큰입니다. 그래픽카드에는 자주 쓰이는 전문가(expert)만 두고, 전문가 2만 4,576개 전체는 RAM에 둔 채 CPU가 나머지를 동시에 계산합니다. 모델에 들어 있는 다중 토큰 예측(MTP) 층으로 여러 토큰을 한 번에 검증해 생성 속도를 1.6~1.8배 높입니다. 같은 RTX 3060 PC에서 개발자가 비교한 llama.cpp v0.6.0 대비 생성 속도는 약 4.6배였지만, llama.cpp 쪽 튜닝 범위가 좁았다고 개발자 스스로 밝힌 자체 측정입니다. OpenAI와 Anthropic 호환 API를 127.0.0.1:8080에 열어 코딩 에이전트를 연결할 수 있고, 기본 설정은 한 번에 한 요청만 처리합니다. Strata 소개 Qwen3.8-Flash-Next (:pytorch::kr: Qwen3.8-Flash-Next, 1/9의 학습 비용으로 Qwen3.7-Plus(397B-A17B) 수준에 도달한 125B-A6B 모델)는 전체 125B 파라미터 중 토큰마다 6B만 활성화하는 전문가 혼합(Mixture of Experts, MoE) 모델입니다. 활성 파라미터가 작아도 가중치 전체는 어딘가에 올려 두어야 하고, Strata 개발자에 따르면 쓸 만한 품질을 내는 가장 작은 양자화(quantization) 파일도 66GB로 12GB 그래픽카드 메모리의 5.5배입니다. 보통은 llama.cpp 같은 범용 엔진으로 일부 가중치를 시스템 RAM에 두고 CPU에서 계산합니다. 개발자는 이 방식이 동작은 … --- ## [Meta, Mac Studio 두 대에서 돌아가는 816B 오픈 웨이트 모델 Muse Spark Open 공개 (feat. MLX)](https://discuss.pytorch.kr/t/meta-mac-studio-816b-muse-spark-open-feat-mlx/12209)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 16, 2026, 5:00오전 UTC](https://discuss.pytorch.kr/t/meta-mac-studio-816b-muse-spark-open-feat-mlx/12209 "2026-10-16T05:00:31Z")
핵심 요약 Meta가 2026년 10월 15일 Muse Spark Open 발표 글에서 전체 816B, 토큰당 활성 42B 파라미터의 MoE 모델 가중치를 공개했습니다. 텍스트, 이미지, 영상, 음성을 입력으로 받고 1M 토큰 컨텍스트를 지원하며, Muse Spark 1.3과 같은 베이스 모델을 씁니다. Hugging Face 컬렉션에 BF16(약 1.6TB)과 NVFP4(약 530GB) 체크포인트가 있습니다. NVFP4는 Blackwell Ultra GPU 4장이나 H200 8장, 또는 mlx-lm으로 묶은 M5 Ultra Mac Studio 두 대(각 512GB)에서 실행합니다. Meta 모델 카드의 비교표 20개 항목 중 Muse Spark Open이 1위인 항목은 7개이고, Kimi K3가 10개(동점 1개 포함)에서 1위입니다. 코딩 3개 항목은 모두 Kimi K3와 GLM 5.3보다 낮습니다. 라이선스는 Muse Model License입니다. 무료로 상업적 사용이 가능하지만, 제품에 "Built with Muse Spark Open" 표기가 필요합니다. 연매출 2천만 달러를 넘는 회사가 모델을 API 서비스로 제공하려면 Meta와 별도 계약을 맺어야 합니다. Muse Spark Open 소개 Muse Spark Open은 Meta Superintelligence Labs가 만든 Muse Spark 계열의 첫 오픈 웨이트(Open-Weight) 모델입니다. 지금까지 Meta는 Muse Spark 계열과 Muse Wonder를 API와 자사 서비스로만 제공했습니다. 이번에는 같은 계열 모델의 가중치를 내려받아 직접 서빙하고 미세조정(Fine-Tuning)할 수 있게 했습니다. Meta는 이 모델을 "지금까지 나온 미국 오픈 웨이트 모델 중 가장 뛰어난 모델"이라고 소개합니다. Muse 계열은 올해 빠르게 이어졌습니다. 8월에는 터미널 코딩 에이전트 Muse Code와 함께 Muse Spark 1.2가 나왔고, 9월에는 긴 에이전트 작업에 초… --- ## [Liquid AI, 활성 2B로 로컬 에이전트를 돌리는 MoE 추론 모델 LFM2.5-24B-A2B 공개 (feat. Hermes Agent)](https://discuss.pytorch.kr/t/liquid-ai-2b-moe-lfm2-5-24b-a2b-feat-hermes-agent/12188)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 15, 2026, 9:00오전 UTC](https://discuss.pytorch.kr/t/liquid-ai-2b-moe-lfm2-5-24b-a2b-feat-hermes-agent/12188 "2026-10-15T09:00:37Z")
핵심 요약 Liquid AI가 LFM2.5-24B-A2B 출시 블로그에서 전체 24B, 토큰당 활성 2.45B 파라미터의 MoE 추론 모델과 그 사전학습 모델(Base)의 가중치를 공개했습니다. 답하기 전에 항상 사고 과정을 먼저 생성하고, 컨텍스트는 131K 토큰입니다. Liquid AI가 직접 잰 16개 벤치마크에서 도구 호출과 지시 따르기는 Qwen3.6-35B-A3B보다 높았습니다(AutomationBench 27.69 대 8.72). 지식과 코딩은 낮았습니다(SWE-Bench Verified 51.00 대 66.20). llama.cpp와 Q4\_K\_M 양자화, 4K 입력 조건에서 Apple M5 Max 디코딩은 초당 184토큰, 메모리는 15GB였습니다. B300 GPU에서는 동시 요청 32개부터 비교 모델을 앞섰고, 16개 이하에서는 Qwen3.6보다 느렸습니다. 어휘를 65K에서 128K로 넓혀, PyTorchKR이 한국어 위키백과 문서로 직접 센 토큰 수가 이전 LFM2-24B-A2B보다 16.7% 줄었습니다. 다만 파인튜닝 노트북 중 이 24B 모델을 직접 다루는 것은 없습니다. 라이선스는 LFM Open License v1.0입니다. 연 매출 1,000만 달러 이상인 기업의 상업적 사용은 허가 범위 밖입니다. LFM2.5-24B-A2B 소개 LFM2.5-24B-A2B 는 Liquid AI가 2026년 10월 13일 공개한 에이전트용 추론(reasoning) 모델 입니다. 노트북이나 데스크톱에서 도구를 호출하는 에이전트를 클라우드 없이 실행하는 것이 목표입니다. 전체 파라미터는 24B이지만 토큰 하나를 처리할 때는 2.45B만 계산에 쓰입니다. 이 구조를 전문가 혼합(Mixture of Experts, MoE) 이라고 부릅니다. MoE 블록마다 여러 개의 작은 피드포워드 신경망(전문가)을 두고, 라우터가 토큰마다 그중 몇 개만 골라 계산하는 방식입니다. 이 모델은 MoE 블록마다 64개 전문가를 두고 토큰마다 4개를 고릅니다. Liq… --- ## [StepFun Step 5 Preview 출시: Kimi K3와 같은 지능, 작업 비용은 1/3, 가중치 공개는 10/15 예정](https://discuss.pytorch.kr/t/stepfun-step-5-preview-kimi-k3-1-3-10-15/11987)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 23, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/stepfun-step-5-preview-kimi-k3-1-3-10-15/11987 "2026-09-23T03:30:08Z")
Step 5 Preview 소개 StepFun(阶跃星辰)이 에이전트 작업을 겨냥한 플래그십 모델 Step 5 Preview를 공개했습니다. 희소 전문가 혼합(Mixture-of-Experts, MoE) 구조로 전체 600B 파라미터 중 토큰당 27B만 활성화하고, 1M 토큰 컨텍스트 윈도우와 이미지 및 영상 입력을 함께 지원합니다. StepFun은 이 모델을 소프트웨어 엔지니어링과 전문 지식 작업 전반에서 프론티어급 성능을 내는 모델로 소개하면서, 특히 금융 분야를 강점으로 내세웠습니다. StepFun은 국내에도 Step-Audio 계열 음성 모델로 알려진 중국의 AI 연구 조직으로, Hugging Face의 stepfun-ai 계정을 통해 Step 3.5 Flash와 Step 3.7 Flash 같은 모델의 가중치를 꾸준히 공개해 왔습니다. Step 5 Preview 역시 10월 15일에 오픈 웨이트(open weights)로 공개될 예정이라고 밝혔는데, 현재는 API와 자사 제품으로만 쓸 수 있는 상태입니다. 이번 발표에서 눈여겨볼 지점은 벤치마크 1위 주장이 아니라 비용 축입니다. StepFun이 붙인 부제부터가 파레토 프론티어를 한 걸음 더 나아가다 인데, 이는 지능과 비용의 교환 관계에서 경계선 자체를 바깥으로 밀었다는 주장입니다. 실제로 제3자 평가 기관인 Artificial Analysis의 리더보드에서 Step 5 Preview는 지능 지수(Artificial Analysis Intelligence Index) 44점으로 Kimi K3(Max)와 동점이고 GLM-5.3(Max)보다 1점 낮은데, 작업당 비용은 그 두 모델의 3분의 1 수준입니다. 이 글에서는 StepFun이 공개한 평가 결과와 외부에서 확인 가능한 수치를 함께 놓고 이 주장이 어디까지 성립하는지 살펴보겠습니다. :warning: 이 글은 금융 업무를 포함한 여러 전문 작업을 평가 대상으로 삼은 언어 모델 Step 5 Preview와 그 평가 결과를 소개하는 글로, 파이토… --- ## [Xiaomi, RL 코드와 학습 환경까지 공개한 1.02T 옴니모달 MiMo-V2.6 출시, 오픈소스 지능 지수 1위](https://discuss.pytorch.kr/t/xiaomi-rl-1-02t-mimo-v2-6-1/11981)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 22, 2026, 3:00오전 UTC](https://discuss.pytorch.kr/t/xiaomi-rl-1-02t-mimo-v2-6-1/11981 "2026-09-22T03:00:48Z")
MiMo-V2.6 소개 Xiaomi의 MiMo 팀이 2026년 9월 22일 MiMo-V2.6 시리즈 를 공개하고 가중치를 오픈소스로 배포했습니다. 텍스트와 이미지, 영상, 음성을 한 모델에서 처리하는 옴니모달(Omnimodal) 구조에 희소 전문가 혼합(Sparse Mixture of Experts, MoE) 백본을 얹었고, 컨텍스트 길이는 두 모델 모두 100만(1M) 토큰입니다. 크기는 서로 다릅니다. MiMo-V2.6-Pro는 총 1.02조(1.02T) 파라미터 중 42B를 활성화하고, 지능 대비 비용 균형을 노린 MiMo-V2.6-Flash는 총 310B 중 15B를 활성화합니다. 여기에 같은 품질에서 출력 속도를 최대 20배까지 끌어올린 MiMo-V2.6-Pro-UltraSpeed가 더해집니다. 이 시리즈가 앞선 MiMo-V2.5와 다른 점은 모델 크기가 아니라 사후 학습(post-training)에 투입한 계산량입니다. MiMo 팀은 이번 릴리즈를 재귀적 자기 개선(Recursive Self-Improvement, RSI) 경로를 탐색하는 단계로 설명하면서, 검증 가능한 복잡한 과제 위에서 강화학습(Reinforcement Learning, RL) 계산량 자체를 키우면 모델이 탐색과 피드백만으로 능력의 경계를 계속 넓힐 수 있는지를 확인하려 했다고 밝혔습니다. RL에 들어가기 전에는 광범위한 멀티모달 말뭉치로 중간 학습(mid-training)을 돌려 에이전트가 탐색할 공간부터 넓혀 두었습니다. 실제 RL은 6일이 채 안 되는 기간에 30번의 스텝으로 진행했고, 그 과정을 별도 페이지에서 실시간으로 중계했습니다. 그리고 이번에는 결과물만 내놓지 않았습니다. 기술 보고서와 학습 환경, RL 프레임워크, 그리고 RL 실험의 출발점으로 쓰라고 만든 9B 증류 모델까지 함께 공개해 다른 연구자가 같은 실험을 재현하고 검증할 수 있게 하겠다는 것이 이번 발표의 두 번째 축입니다. 오픈 웨이트 모델이 늘어나는 동안에도 사후 학습 레시피와 환경은 대체로… --- ## [NVIDIA의 Transformer Engine으로 JAX의 Dropless MoE 학습 처리량 약 10배 달성하기 (105 → 1,025 TFLOPs)](https://discuss.pytorch.kr/t/nvidia-transformer-engine-jax-dropless-moe-10-105-1-025-tflops/11927)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 16, 2026, 6:30오전 UTC](https://discuss.pytorch.kr/t/nvidia-transformer-engine-jax-dropless-moe-10-105-1-025-tflops/11927 "2026-09-16T06:30:17Z")
Dropless MoE 학습과 NVIDIA Transformer Engine 소개 전문가 혼합(Mixture of Experts, MoE) 은 지난 2년간 대규모 모델 학습의 사실상 표준 아키텍처가 되었습니다. 토큰마다 모든 파라미터를 통과시키는 밀집(Dense) 모델과 달리, MoE는 하나의 큰 순방향 신경망(Feed-Forward Network, FFN) 을 여러 개의 작은 전문가(Expert) 네트워크로 쪼개고, 학습된 라우터(Router)가 토큰별로 상위 K개 전문가만 활성화합니다. DeepSeek, Qwen, Mixtral이 같은 학습 연산량의 일부만 써서 밀집 모델에 필적하거나 앞서는 성능을 낸 것이 이 조건부 연산(Conditional Computation)의 결과입니다. 문제는 이 구조가 학습 시스템에는 정반대로 작동한다는 것입니다. 라우터는 학습되는 대상이라 학습이 진행되면서 특정 전문가를 선호하게 되고, 배치마다 전문가별 토큰 수가 예측 불가능하게 달라집니다. 대부분의 라이브러리가 균일한 직사각형 텐서를 가정하고 최적화되어 있는데, MoE는 매 스텝 모양이 바뀌는 텐서를 내놓습니다. NVIDIA 기술 블로그가 밝힌 수치가 그 대가를 잘 보여줍니다. NVIDIA GB200에서 DeepSeek-V3를 최적화 없이 학습했을 때 GPU당 103 TFLOPS에 그쳤고, 누적 커널 시간의 84% 가 GPU 사이 통신에 쓰였습니다. 2026년 9월 14일 NVIDIA의 Seonghee Lee, Jeremy Berchtold, Phuong Nguyen, Teddy Do, Tejash Shah가 공개한 이 글은 JAX 학습 스택에서 그 통신 병목을 제거한 과정을 다룹니다. 핵심 도구는 NVIDIA Transformer Engine(이하 TE)이고, 목표는 드롭리스(Dropless) MoE, 즉 라우팅이 아무리 치우쳐도 토큰을 버리지 않는 학습입니다. 결과적으로 같은 GB200 환경에서 GPU당 1,068 TFLOPS, 10.4배 향상에 도달했다고 밝… --- ## [edge0: 35B MoE 모델을 활성 메모리 3GiB로 실행하는 SSD 전문가 스트리밍 추론 프레임워크](https://discuss.pytorch.kr/t/edge0-35b-moe-3gib-ssd/11914)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 14, 2026, 11:30오후 UTC](https://discuss.pytorch.kr/t/edge0-35b-moe-3gib-ssd/11914 "2026-09-14T23:30:19Z")
edge0 소개 희소 전문가 혼합(Sparse Mixture-of-Experts, MoE) 구조는 토큰 하나를 만들 때 전체 전문가 중 일부만 계산에 참여시키므로 연산량이 작습니다. 그런데 이 구조를 개인 기기에서 실행하려고 하면 연산량보다 메모리가 먼저 막힙니다. edge0가 기준 모델로 삼은 Qwen3.6-35B-A3B는 40개 층에 층마다 전문가가 256개 있고, 4비트로 양자화(Quantization)한 뒤에도 한 층의 MoE 가중치가 약 310MB입니다. 실제로 쓰이는 것은 그중 극히 일부인데도 전부 상주시켜야 하므로 단순 합산만으로 12GB를 넘고, Apple Silicon의 통합 메모리 예산을 크게 초과합니다. 이번에 소개할 edge0 는 이 간극을 메우기 위해 전문가 가중치를 저장장치에 남겨 두고 필요한 것만 GPU로 끌어오는 스트리밍 MoE 추론(Inference) 프레임워크입니다. 개발사 Edge0는 자사의 배포에서 검증했다고 밝힌 세 가지 기법, 즉 SSD 전문가 오프로딩과 Recover-LoRA, 프리라우터(prerouter) 라우팅 예측을 하나의 확장 가능한 프레임워크로 묶었다고 설명합니다. 회사는 같은 이름의 온디바이스 모델 제품군을 자사 사이트에서 소개하고 있고, 이 글에서 다루는 프레임워크와 두 모델 체크포인트는 GitHub와 Hugging Face에 함께 공개되어 있습니다. edge0는 백엔드를 분리하도록 설계되어 있어서, 현재 공개된 MLX 백엔드는 Apple Silicon에서 동작하고 CUDA 백엔드 자리는 같은 인터페이스로 비워 두었습니다. 함께 공개된 모델은 두 등급입니다. edge0-35b는 Qwen3.6-35B-A3B를 기반으로 40개 층, 전문가 256개, 프리라우터 K=4 설정이고, edge0-8b는 Ling-3.0-tiny-base의 bailing 하이브리드 백본을 기반으로 24개 층, 전문가 128개, K=8 설정입니다. 두 모델 저장소 모두 4비트 기본 체크포인트와 이 프레임워크용으로 학습한 Lo… --- ## [DeepSeek-V4.1-Flash, KV 캐시를 토큰당 890바이트로 줄이고 플래그십 V4-Pro를 대체하는 552B 규모의 MoE 모델](https://discuss.pytorch.kr/t/deepseek-v4-1-flash-kv-890-v4-pro-552b-moe/11886)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [9월 11, 2026, 2:28오후 UTC](https://discuss.pytorch.kr/t/deepseek-v4-1-flash-kv-890-v4-pro-552b-moe/11886 "2026-09-11T14:28:09Z")
DeepSeek-V4.1-Flash 소개 DeepSeek이 2026년 9월 10일 DeepSeek-V4.1-Flash 를 공개했습니다. 백본 552B 규모의 멀티모달 전문가 혼합(Mixture-of-Experts, MoE) 모델로, 이미지와 텍스트를 함께 입력받아 텍스트를 생성하며 최대 100만 토큰 컨텍스트를 지원합니다. 이 모델의 핵심 주장은 성능이 아니라 비용 구조에 있습니다. 토큰 하나당 HBM(High Bandwidth Memory)에 상주해야 하는 전역 KV 캐시(Key-Value Cache)를 890바이트로 줄였고, 이는 직전 세대인 DeepSeek-V4-Flash의 약 1/4, 2023년의 DeepSeek-V1과 비교하면 약 1/437 수준입니다. 이번 발표에는 제품 라인업 정리도 함께 담겼습니다. DeepSeek은 자사 플래그십이었던 1.6T 규모의 DeepSeek-V4-Pro를 순차적으로 퇴역시키고, 2026년 9월 14일 04:00 UTC부터 deepseek-v4-pro 요청 전부를 V4.1-Flash로 라우팅하겠다고 공지했습니다. 백본 파라미터가 1/3, 활성 파라미터가 1/4에 불과한 "Flash" 등급 모델이 같은 회사의 최상위 모델을 대체하는 셈입니다. 퇴역 근거로 든 것은 "여러 곳의 테스트에서 V4.1-Flash가 V4-Pro를 성능, 비용, 속도, 총 소요 시간에서 앞섰다" 는 것인데, 이 문장은 기술 보고서가 아니라 발표 블로그와 API 문서에만 나오고 근거 데이터는 공개되지 않았습니다. 이러한 맥락에서 이 글은 발표 블로그와 Hugging Face 모델 카드, 그리고 51페이지 분량의 기술 보고서를 함께 읽고 정리한 것입니다. DeepSeek은 DeepSeek-V3.2에서 희소 어텐션(Sparse Attention)으로 긴 컨텍스트의 연산 비용을 줄이고, DeepSeek-V4에서 100만 토큰 컨텍스트를 상용 가격대로 끌어내렸습니다(PyTorchKR에도 V4-Pro 및 V4-Flash 공개 소식과 V4-Flash 정… --- ## [Z.ai, GLM-5.2를 앞서면서 가격은 1/10인 멀티모달 모델 GLM-5.3-Flash 공개](https://discuss.pytorch.kr/t/z-ai-glm-5-2-1-10-glm-5-3-flash/11733)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 27, 2026, 12:40오후 UTC](https://discuss.pytorch.kr/t/z-ai-glm-5-2-1-10-glm-5-3-flash/11733 "2026-08-27T12:40:50Z")
GLM-5.3-Flash 소개 GLM-5.3-Flash는 Z.ai(Zhipu AI)가 2026년 8월 26일에 공개한 오픈 웨이트 언어 모델로, GLM-5 계열에서 처음으로 이미지와 영상, 파일을 텍스트와 같은 층위에서 받는 네이티브 멀티모달(Natively Multimodal) 모델입니다. 전체 파라미터는 320B이고 토큰 하나를 처리할 때 실제로 켜지는 파라미터는 18B입니다. Z.ai는 이 모델이 앞서 공개한 GLM-5.2를 벤치마크 전반에서 앞서면서 API 단가는 10분의 1 수준이고, 코딩과 에이전트 계열 벤치마크에서는 Claude Opus 4.8에 근접한다고 밝혔습니다. 이름에 붙은 Flash는 기존 모델을 증류(Distillation)해 줄인 파생 모델이라는 뜻이 아닙니다. Z.ai는 GLM-5.3-Flash가 새로 학습한 기반 모델(Base Model)에서 출발했고, 아키텍처와 학습 레시피를 성능과 효율 양쪽에 맞춰 다시 설계했다고 밝혔습니다. 같은 계열의 GLM-5나 GLM-4.7이 성능을 끌어올리는 방향이었다면, 이번 모델은 같은 지능을 훨씬 싸게 서빙하는 쪽에 초점이 맞춰져 있습니다. 이름이 비슷한 GLM-5.3은 Flash가 아닌 상위 모델이고, 아래에서 비교 대상으로 자주 등장합니다. 이러한 설계 방향은 최근 오픈 웨이트 모델 전반에서 공통으로 나타납니다. DeepSeek-V4-Flash나 Kimi K3처럼 100만 토큰급 컨텍스트를 지원하면서 태스크당 비용을 프론티어 모델의 수십분의 1로 낮춘 모델들이 연달아 나왔고, 경쟁의 초점도 파라미터 규모에서 어텐션 연산량과 KV(Key-Value) 캐시 크기로 옮겨왔습니다. GLM-5.3-Flash는 여기에 선형 어텐션(Linear Attention) 과 희소 어텐션(Sparse Attention) 을 한 모델 안에 섞는 하이브리드 구조로 답했습니다. 가중치는 Hugging Face에 MIT 라이선스로 공개되어 있습니다. ox-alpha라는 익명으로 먼저 검증한 일주일 Z.ai는 공… --- ## [Qwen3.8-Flash-Next, 1/9의 학습 비용으로 Qwen3.7-Plus(397B-A17B) 수준에 도달한 125B-A6B 모델](https://discuss.pytorch.kr/t/qwen3-8-flash-next-1-9-qwen3-7-plus-397b-a17b-125b-a6b/11730)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [8월 27, 2026, 9:26오전 UTC](https://discuss.pytorch.kr/t/qwen3-8-flash-next-1-9-qwen3-7-plus-397b-a17b-125b-a6b/11730 "2026-08-27T09:26:14Z")
Qwen3.8-Flash-Next 소개 Qwen 팀이 2026년 8월 26일에 공개한 Qwen3.8-Flash-Next 는 전체 1250억(125B) 파라미터 중 토큰당 60억(6B)만 활성화하는 멀티모달 전문가 혼합(Mixture of Experts, MoE) 모델이며, 동시에 아직 발표되지 않은 Qwen4 계열이 올라탈 아키텍처를 먼저 떼어내 공개한 실험적 프리뷰입니다. 가중치는 Hugging Face와 ModelScope에 올라와 있고, 28쪽 분량의 기술 보고서가 설계 근거와 제거 실험(ablation)을 함께 싣고 있습니다. 이 모델이 눈에 띄는 이유는 벤치마크 점수 자체보다 비용 대비 성능의 기울기 에 있습니다. 직전 세대의 플래그십인 Qwen3.7-Plus는 전체 3970억(397B) 파라미터에 토큰당 170억(17B)을 활성화하는 모델인데, Qwen3.8-Flash-Next의 베이스 모델은 활성 파라미터의 약 1/3, 학습 토큰의 약 1/3, 그래서 학습 FLOPs로는 약 1/9 만 쓰고도 14개 사전학습 벤치마크 중 8개에서 그 플래그십을 앞섭니다. 나머지 6개에서 뒤지는 폭도 최대 2.6점입니다. 같은 품질을 더 싸게 만드는 방법을 찾는 것이 지금 파운데이션 모델 연구의 중심 문제라면, 이 모델은 그 문제에 대한 하나의 구체적인 답안지입니다. Qwen 팀은 이 답안지를 어텐션, 잔차(residual), 임베딩, 최적화 라는 네 축의 변경으로 정리합니다. 어텐션은 Gated DeltaNet(GDN)과 새로 도입한 Qwen Sparse Attention(QSA) 의 하이브리드로 바뀌었고, 잔차는 네 갈래로 넓힌 뒤 게이트로 읽고 쓰는 게이티드 잔차(Gated Residual, GR) 가 되었으며, 임베딩에는 국소 문맥으로 조회하는 N-gram 임베딩 이 붙었고, 옵티마이저는 Muon으로 갈아탔습니다. 네 가지 모두 "모델을 더 크게 만든다"가 아니라 "같은 계산량으로 더 많은 것을 한다"는 방향을 향합니다. 기본 컨텍스트 길이는 262… --- ## [FreeToken: 프론티어급 MoE 모델을 게이밍 데스크톱 수준에서 서빙하기 위한 Edge-Serving에 대한 연구](https://discuss.pytorch.kr/t/freetoken-moe-edge-serving/11696)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 25, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/freetoken-moe-edge-serving/11696 "2026-08-25T03:30:28Z")
FreeToken 소개 가중치는 공개되었지만, 돌릴 수 있는 사람은 따로 있습니다 새로 나온 오픈 모델의 가중치를 받아 두기만 하고, 그 파일을 읽어 들일 GPU가 없어서 결국 API를 다시 열어 본 경험이 있으실 겁니다. 이번에 소개할 FreeToken 논문은 바로 이 지점을 다룹니다. 개인이 이미 가진 컴퓨터 한 대를 "작은 GPU"가 아니라 GPU와 CPU, 호스트 메모리, 인터커넥트를 통합한 하나의 탄력적인 추론(inference) 플랫폼으로 다루어, 프론티어급 전문가 혼합(Mixture-of-Experts, MoE) 모델을 로컬에서 서빙하는 시스템을 제안합니다. 저자는 11명입니다. Shuo Yang과 Xiaoze Fan이 공동 제1저자이고, Chenfeng Xu와 Ion Stoica가 공동 지도를 맡았으며, Kurt Keutzer와 Song Han, Matei Zaharia도 저자로 참여했습니다. 교신 저자는 Shuo Yang(berkeley.edu)과 Chenfeng Xu(utexas.edu)입니다. 최근 공개된 오픈 웨이트 모델은 최상위 상용 모델과의 성능 격차를 빠르게 좁히고 있습니다. Kimi-K3, GLM-5.2, DeepSeek-V4-Flash-0731 같은 모델이 여기에 해당합니다. 그런데 파라미터를 공개하는 일은 누가 모델을 얻을 수 있는지만 결정하고, 누가 그 모델을 돌릴 여력이 있는지는 결정하지 않습니다. 프론티어 오픈 모델은 여전히 수백만 달러짜리 데이터센터급 GPU 클러스터를 요구하고, 호스팅 API가 상용 모델보다 싸더라도 꾸준히 쓰면 비용이 만만치 않습니다. 에이전트(agent) 형태의 애플리케이션이 추론 수요를 급격히 끌어올리면서 이 비용은 개인과 소규모 팀에게 특히 부담이 됩니다. 연구팀은 이 상황을 이렇게 정리합니다. "오픈 모델과 상용 모델 사이의 성능 격차는, 프론티어 모델을 얻을 수 있는 쪽과 그것을 대규모로 쓸 수 있는 쪽 사이의 접근성 격차보다 훨씬 빠르게 좁혀지고 있습니다." 한눈에는 하드웨어 문제처… --- ## [Mixture-of-Kittens: Cursor가 새로 공개한 NVL72용 MoE 학습 메가커널](https://discuss.pytorch.kr/t/mixture-of-kittens-cursor-nvl72-moe/11548)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 7, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/mixture-of-kittens-cursor-nvl72-moe/11548 "2026-08-07T03:30:29Z")
Mixture-of-Kittens(MoK) 소개 대규모 학습 작업의 프로파일을 열어 보면, 전문가 혼합(Mixture-of-Experts, MoE) 모델에서는 전문가 계산 못지않게 GPU 사이로 토큰을 옮기는 구간이 크게 잡히곤 합니다. Cursor가 2026년 8월 오픈소스로 공개한 Mixture-of-Kittens(MoK) 는 그 통신을 계산과 같은 커널 안에 집어넣어 계산 뒤로 감추는 MoE 학습용 메가커널(Megakernel)입니다. NVIDIA NVL72 랙을 목표로 처음부터 다시 설계했고, MoE 계층의 모든 통신과 연산을 단일 CUDA 커널로 융합하며, 같은 입력에 대해 항상 비트 단위로 동일한 출력을 내는 완전 결정론적 커널입니다. MoK는 Cursor의 에이전트형 코딩 모델인 Composer 를 학습시키면서 나온 결과물입니다. Cursor는 워크로드와 학습 설정에 따라 "MoE 계층이 종단간 학습 시간의 절반 이상을 소모하기도 한다" 고 밝히고 있으며, MoK를 투입한 뒤 자사 프로덕션 스택의 종단간 초당 토큰 처리량이 1.41\\times 로 올라갔다고 보고했습니다. 이 커널은 현재 수만 장 규모의 GPU에서 Composer 학습을 돌리고 있습니다. 이 글은 논문이 아니라 Cursor Research의 기술 블로그 글 이지만, 내용의 밀도는 시스템 논문에 가깝습니다. 통신 방향을 푸시로 할지 풀로 할지 고르는 근거부터 연산과 통신의 겹침 입자 크기를 정하는 정량 휴리스틱, CPU 개입을 없애는 링 버퍼 설계, 그리고 공개 구현 대비 벤치마크까지 담고 있어 아래에서 순서대로 정리합니다. 저자는 Stuart H. Sul, Nash Brown, Henry Wildermuth, William Lin, Federico Cassano이며, 저장소는 Apache 2.0 라이선스로 열려 있습니다. MoE 계층이 병목이 되는 과정 MoE는 모든 토큰에 모든 파라미터를 태우는 대신, 라우터가 고른 소수의 전문가에게만 토큰을 보내 연산량을 아끼는 구조입… --- ## [DiffusionGemma 기술 문서 리뷰: 자기회귀 Gemma 4를 이산 확산 모델로 변환한 초고속 텍스트 생성에 대한 연구](https://discuss.pytorch.kr/t/diffusiongemma-gemma-4/11526)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 6, 2026, 6:30오전 UTC](https://discuss.pytorch.kr/t/diffusiongemma-gemma-4/11526 "2026-08-06T06:30:01Z")
DiffusionGemma 소개 글을 쓸 때 우리는 첫 글자부터 마지막 글자까지 순서대로만 써 내려가지 않습니다. 전체 얼개를 흐릿하게 잡아 두고 앞뒤를 오가며 고쳐 쓰다 보면 어느 순간 문장이 제자리를 찾습니다. DiffusionGemma 기술 보고서 는 언어 모델의 생성 방식을 정확히 이렇게 바꾸려는 연구입니다. Google DeepMind는 자기회귀(autoregressive, AR) 방식으로 학습을 마친 Gemma 4 26B A4B 모델을 이산 확산(discrete diffusion) 모델로 미세조정하여, 토큰을 왼쪽에서 오른쪽으로 하나씩 뽑는 대신 256개 토큰 묶음을 병렬로 반복 정제하도록 만들었습니다. 그 결과 NVIDIA H100 한 장에서 초당 약 1,500토큰이라는, 기존 AR 모델로는 도달하기 어려웠던 생성 속도를 얻었습니다. 자기회귀 생성이 속도에서 막히는 지점 현재 대규모 언어 모델(LLM) 시장은 사실상 자기회귀 모델이 독점하고 있습니다. 시퀀스 x 의 결합 확률을 p(x) = \\prod\_{i=1}^{L} p(x\_i \\mid x\_{\ **Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 6, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/deepseek-v4-flash-task-0-027/11533 "2026-08-06T00:30:25Z") DeepSeek-V4-Flash 정식 버전 소개 DeepSeek이 2026년 7월 31일 DeepSeek-V4-Flash의 정식 버전을 공개하고 API를 공개 베타로 열었습니다. 총 284B 파라미터 중 13B만 활성화하는 혼합 전문가(Mixture-of-Experts, MoE) 모델로 100만 토큰 컨텍스트를 지원하며, 4월에 공개된 프리뷰와 아키텍처도 파라미터 규모도 완전히 같은 채 사후 학습(post-training)만 다시 수행한 것이 이번 릴리즈의 전부입니다. DeepSeek-V4 시리즈가 어떤 구조로 100만 토큰을 감당하는지, 즉 압축 희소 어텐션(Compressed Sparse Attention, CSA)과 극압축 어텐션(Heavily Compressed Attention, HCA)을 인터리브한 하이브리드 어텐션, 다양체 제약 하이퍼 연결(mHC), Muon 옵티마이저, 32T 토큰 사전 학습 같은 내용은 프리뷰 공개 시점에 이미 커뮤니티에 정리해 둔 글이 있으니 함께 참고해주세요. :pytorch::kr:DeepSeek-V4의 아키텍처와 학습 방법은 다음 글(DeepSeek, 100만 토큰 컨텍스트를 효율적으로 지원하는 MoE 모델 DeepSeek-V4-Pro 및 DeepSeek-V4-Flash 공개)에 정리되어 있습니다: 이 글은 그 구조 이야기를 반복하지 않고, 정식 버전이 프리뷰 대비 무엇을 얼마나 바꿨는지 와 그 결과 성능과 비용이 어디에 놓였는지 두 가지에만 집중합니다. 모델을 다시 설계한 릴리즈가 아니라 사후 학습만 교체한 릴리즈가 흥미로운 이유는 분명합니다. 가중치 규모와 활성 파라미터가 그대로면 토큰당 연산량과 KV 캐시, 즉 추론 단가를 결정하는 요소가 그대로이므로, 능력이 올랐다면 같은 값을 내고 더 나은 결과를 받게 되는 구조이기 때문입니다. 실제 숫자로 보면 그 폭이 작지 않습니다. DeepSeek 자체 측정 기준으로 Terminal-Bench 2.1 점수가 61.8에서 82.7로 올랐고, 독립 평가 기관인… --- ## [Instella-MoE: AMD Instinct GPU에서 처음부터 학습한 완전 오픈 16B MoE 모델](https://discuss.pytorch.kr/t/instella-moe-amd-instinct-gpu-16b-moe/11518)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 4, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/instella-moe-amd-instinct-gpu-16b-moe/11518 "2026-08-04T21:30:34Z")
Instella-MoE 소개 Instella-MoE 는 AMD가 자사의 Instinct MI300X 및 MI325X GPU에서 처음부터(from scratch) 학습해 공개한 전체 파라미터 16B , 토큰당 활성 파라미터 2.8B 규모의 완전 오픈(fully open) 전문가 혼합(Mixture-of-Experts, MoE) 언어 모델입니다. 가중치만 공개된 모델은 많지만 학습 레시피와 데이터 배합과 중간 체크포인트까지 전부 공개된 대규모 MoE는 거의 없다는 공백을 메우면서, 동시에 그 전 과정을 NVIDIA가 아닌 AMD 하드웨어와 ROCm 소프트웨어 스택만으로 완주할 수 있음을 보이는 것이 이 공개의 목표입니다. 본 게시물에서는 아키텍처 혁신인 Gated MLA와 FarSkip-Collective, 사전학습부터 강화학습까지 이어지는 6단계 학습 파이프라인, 벤치마크 결과, 그리고 공개된 체크포인트의 설정 파일에서 확인되는 구체적인 제원을 정리합니다. 오픈 모델 생태계의 두 갈래, 그리고 각자의 한계 오늘날 "오픈 모델"이라는 말은 사실 서로 다른 두 가지를 가리킵니다. 하나는 가중치 파일만 내려받을 수 있는 오픈 웨이트(open-weight) 모델이고, 다른 하나는 가중치와 함께 학습 코드, 데이터 배합, 하이퍼파라미터, 중간 체크포인트까지 공개하는 완전 오픈(fully open) 모델입니다. 이 구분은 단순한 라이선스 문제가 아니라 연구 재현성의 문제입니다. 어떤 데이터를 어떤 순서로 얼마나 먹였는지 모르면, 모델이 왜 그렇게 행동하는지 분석할 수도, 같은 레시피를 자기 도메인에 적용할 수도 없기 때문입니다. 첫 번째 접근법인 오픈 웨이트 모델은 성능 면에서 앞서 있습니다. Qwen3.5나 Gemma-4 계열은 수 B 활성 파라미터 대역에서 가장 강력한 점수를 냅니다. 하지만 학습 데이터의 구성과 비율, 단계별 스케줄, 중간 체크포인트는 공개되지 않습니다. 연구자 입장에서는 완성된 결과물만 받아볼 수 있고, "어느 단계에서 어떤 능력이 생겼는가"… --- ## [Qwen, Max 계열 최초로 가중치를 공개하는 2.4T 규모 플래그십 모델 Qwen3.8-Max 출시 및 공개 예정](https://discuss.pytorch.kr/t/qwen-max-2-4t-qwen3-8-max/11509)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 3, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/qwen-max-2-4t-qwen3-8-max/11509 "2026-08-03T09:30:07Z")
Qwen3.8-Max 소개 Qwen 팀이 2026년 8월 3일 새로운 플래그십 모델 Qwen3.8-Max 를 공개했습니다. 전체 2.4조(2.4T) 파라미터 가운데 토큰당 950억(95B) 개를 활성화하는 MoE 구조이며, 지난 Qwen3.5의 아키텍처를 토대로 규모를 키웠습니다. 코딩과 실무 작업, 리서치, 그리고 며칠에 걸쳐 이어지는 장기 과제(Long-Horizon Task) 전반에서 개선되었다는 것이 발표의 요지입니다. 그런데 이번 발표에서 성능 수치보다 먼저 눈에 들어오는 것은 배포 방식입니다. Qwen 팀은 이번이 Max 급 모델의 가중치를 공개하는 첫 사례라고 밝혔습니다. 그동안 Qwen 은 가중치를 공개하는 모델군과 API로만 제공하는 최상위 Max 급을 나눠 운영해 왔는데, 그 경계가 이번에 처음 열리는 것입니다. 공개 시점은 다음 주로 예고되었고, 배포처는 Hugging Face와 ModelScope입니다. 최근 Kimi K3의 2.8T 규모 가중치 공개에 이어, 조 단위 파라미터를 가진 모델을 직접 내려받아 다룰 수 있는 선택지가 하나 더 늘어나는 셈입니다. 달라진 Qwen3.8-Max 출시 블로그의 구성도 눈에 띕니다. 벤치마크 표는 글의 뒷부분에 있고, 앞부분은 전부 Qwen3.8-Max 모델이 사람의 개입 없이 며칠씩 돌린 실제 작업 기록으로 채워져 있습니다. 16일간 스스로 저장소를 운영하며 만든 CLI 도구(oh-my-cli)를 비롯하여, 논문 하나만 받아서 재현한 뒤 그 방법을 넘어선 연구 루프, 24시간 만에 526개 팀이 겨루던 대회에 참가한 기록, 500턴에 걸쳐 게이트 수를 12분의 1로 줄인 칩 설계가 그 예입니다. 요청 하나에 답을 잘 쓰는 능력이 아니라, 목표 하나를 며칠 동안 붙들고 결과물까지 끌고 가는 능력을 전면에 내세운 발표입니다. Qwen3.8-Max 모델의 주요 사양을 정리하면 다음과 같습니다: 모델 규모: 전체 2.4T 파라미터, 토큰당 활성 파라미터 95B의 MoE 구조. Qwen3… --- ## [Kimi K3 모델 가중치 및 기술 문서 공개: 2.8T 오픈 모델의 아키텍처와 학습 레시피 심층 분석](https://discuss.pytorch.kr/t/kimi-k3-2-8t/11455)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 29, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/kimi-k3-2-8t/11455 "2026-07-29T00:30:47Z")
Kimi K3 기술 문서 소개 건물을 더 높이 올리려면 층을 더 쌓는 것만으로는 되지 않습니다. 어느 높이를 넘어서면 기둥의 재질, 배관이 물을 끌어올리는 방식, 엘리베이터의 배치까지 전부 다시 설계해야 합니다. 지금까지 오픈 웨이트 모델의 규모 경쟁은 층수를 늘리는 이야기에 가까웠습니다. Kimi K3 기술 문서는 문샷 AI(Moonshot AI)가 총 2.78 조 개(활성 1042 억 개) 매개변수 규모의 네이티브 멀티모달 전문가 혼합(Mixture of Experts, MoE) 모델을 어떻게 설계하고 학습시켰는지를 정리한 문서입니다. 오픈 웨이트 모델이 1 조급 규모에서 정체된 사이 상용 모델과의 격차가 벌어지는 문제를 두 가지 방향에서 동시에 풀려는 시도로, 사전 학습 토대를 이른바 3 조급(3T-class)까지 밀어올리는 동시에 강화학습과 추론 강도(reasoning effort), 그리고 100 만 토큰 컨텍스트에서 이루어지는 긴 호흡 상호작용까지 함께 확장했습니다. 이미 커뮤니티에는 Kimi K3 발표 시점의 소개 글이 정리되어 있습니다. 당시에는 기술 블로그 수준의 정보와 "전체 가중치는 7월 27일까지 공개" 라는 약속만 있었는데, 그 약속은 지켜졌고 Hugging Face 저장소에 가중치와 함께 47 쪽 분량의 기술 문서가 올라왔습니다. 이 글은 그 문서를 바탕으로, 발표 당시에는 이름만 나열되었던 KDA, AttnRes, Stable LatentMoE, Quantile Balancing, MoonEP 같은 구성요소가 각각 어떤 문제를 풀기 위해 무슨 수식과 무슨 하이퍼파라미터로 들어갔는지를 살펴봅니다. 스케일링의 두 축, 그리고 한쪽만 달린 오픈 생태계 대형 언어 모델(Large Language Model, LLM)의 발전은 오랫동안 하나의 축을 따라 진행되었습니다. 더 큰 모델을 더 많은 데이터로 학습시키는, 다시 말해 배포 전에 연산을 투입하는 방식입니다. Scaling Laws와 Chinchilla가 이 축의 문법을 정리했습… --- ## [Agents-A1: 모델 크기 대신, 생각하는 능력을 확장해 1T급 성능에 도달한 35B 에이전트 모델](https://discuss.pytorch.kr/t/agents-a1-1t-35b/11368)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 22, 2026, 5:30오전 UTC](https://discuss.pytorch.kr/t/agents-a1-1t-35b/11368 "2026-07-22T05:30:12Z")
Agents-A1 소개 새 팀원이 합류했을 때를 떠올려 봅시다. 우리는 그 사람의 머릿속에 세상 모든 지식을 미리 채워 넣는 대신, 자료를 검색하고 도구를 써보고 중간 결과를 확인하며 시행착오를 거쳐 문제를 풀어내는 "일하는 방법"을 익히도록 돕습니다. 최근 대형 언어 모델(Large Language Model, LLM) 연구도 비슷한 갈림길에 서 있습니다. 모델의 머릿 속(파라미터)에 더 많은 것을 우겨넣을 것인가, 아니면 모델이 오래 일하며 스스로 문제를 풀어나가는 능력을 키울 것인가 하는 선택입니다. 이 글에서 소개하는 Agents-A1 은 InternScience 에서 공개한 35B 규모의 에이전트 모델로, 후자의 길을 택합니다. 이 연구는 파라미터를 키우는 대신 에이전트 호라이즌(agent horizon) 을 확장함으로써, 파라미터가 1T(조 단위)에 달하는 초대형 모델에 필적하는 성능을 35B 모델로 달성할 수 있음을 보입니다. 여기서 에이전트 호라이즌이란 하나의 과제를 해결하기 위해 모델이 거치는 단계와 상호작용 궤적(trajectory)의 길이를 뜻합니다. 실제로 Agents-A1의 학습 데이터는 평균 45K 토큰에 이르는 긴 궤적으로 구성되어 있습니다. 파라미터 확장의 벽과 또 다른 길 최근 인공지능 연구는 수동적으로 언어를 생성하던 모델에서, 계획을 세우고 도구를 사용하며 환경과 상호작용하고 피드백을 통해 스스로를 개선하는 자율 에이전트(agent) 로 빠르게 무게중심을 옮기고 있습니다. 소프트웨어 개발, 과학 연구, 복잡한 의사결정 같은 실제 과제에서 에이전트는 더 긴 시간, 이른바 롱-호라이즌(long-horizon) 환경에서 동작해야 합니다. 정보를 수집하고, 과제를 분해하고, 도구를 호출하고, 중간 결과를 검증하며, 새로운 정보가 들어올 때마다 전략을 계속 수정해야 하는 것입니다. 이런 환경은 초반의 작은 실수가 뒤로 갈수록 누적되기 때문에 특히 까다롭습니다. 롱-호라이즌 에이전트를 개선하려는 기존 노력은 크게 두 갈래의 확… --- ## [Kimi K3, Moonshot AI가 공개한 세계 첫 3T급 오픈 웨이트 모델 (전체 가중치 공개는 7월 27일 예정)](https://discuss.pytorch.kr/t/kimi-k3-moonshot-ai-3t-7-27/11301)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 18, 2026, 11:30오후 UTC](https://discuss.pytorch.kr/t/kimi-k3-moonshot-ai-3t-7-27/11301 "2026-07-18T23:30:04Z")
Kimi K3 소개 Kimi를 만드는 문샷 AI(Moonshot AI)가 자사 최고 성능 모델인 Kimi K3 를 공개했습니다. Kimi K3는 2.8조 개(2.8T)의 매개변수(Parameter)를 가진 모델로, 문샷이 "세계 최초의 오픈 3T급(3T-class) 모델" 이라고 소개한 대형 언어 모델입니다. 새로 설계한 Kimi Delta Attention(KDA) 과 Attention Residuals(AttnRes) 위에 세워졌고, 네이티브 비전(vision) 능력과 100만(1M) 토큰 컨텍스트 윈도우(context window)를 갖추었으며, 긴 호흡의 코딩과 지식 노동, 그리고 추론(reasoning) 같은 이른바 프론티어 지능(frontier intelligence)을 겨냥합니다. 문샷은 Kimi 시리즈로 오픈 모델의 규모 상단을 꾸준히 밀어붙여 왔습니다. 이전 세대인 Kimi-K2와 Kimi K2.5에 이어, 지난 12개월 중 9개월 동안 자사 모델이 오픈 모델 크기의 최상단을 차지했다고 밝혔습니다. 문샷 스스로 밝힌 대로 Kimi K3의 전체 성능은 여전히 가장 강력한 상용 모델인 Claude Fable 5, GPT 5.6 Sol에는 미치지 못하지만, 평가 스위트 전반에서 "프론티어급 성능" 을 보이며 그 외 비교 모델들은 꾸준히 앞섰다고 설명합니다. 특히 아키텍처와 학습 레시피를 다듬어 이전 세대 Kimi K2 대비 전체 스케일링 효율(scaling efficiency)을 약 2.5배 끌어올렸다는 점이 이번 세대의 핵심입니다. 한 가지 먼저 짚어둘 점이 있습니다. Kimi K3는 이미 kimi.com, Kimi Work, Kimi Code, Kimi API를 통해 오늘부터 쓸 수 있지만, "오픈" 이라는 표현이 곧 "지금 내려받을 수 있는 가중치" 를 뜻하지는 않습니다. 문샷은 전체 모델 가중치(weights)를 2026년 7월 27일까지 공개하겠다고 못 박았고, 그전까지 오픈은 로드맵에 적힌 약속에 가깝습니다. 이 글에서는 지금 당… --- ## [하드웨어 인식 동적 추측 디코딩(DSD): 배치 크기에 맞춰 초안 토큰 수를 조절하는 추론 최적화 (feat. Cohere)](https://discuss.pytorch.kr/t/dsd-feat-cohere/11200)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 12, 2026, 1:30오전 UTC](https://discuss.pytorch.kr/t/dsd-feat-cohere/11200 "2026-07-12T01:30:55Z")
하드웨어 인식 동적 추측 디코딩(DSD) 소개 대규모 언어 모델(LLM)은 한 번에 토큰 하나씩 생성합니다. 이 순차적 특성 때문에 실제 서비스에서 체감하는 속도는 GPU의 연산 능력이 아니라 "다음 토큰 하나를 얼마나 빨리 뽑아내느냐"에 크게 좌우됩니다. 이 병목을 완화하는 대표적인 기법이 추측 디코딩(Speculative Decoding, SD) 입니다. 작고 빠른 초안(draft) 모델 이 여러 토큰을 미리 제안하면, 크고 정확한 타겟(target) 모델 이 그 토큰들을 한 번의 타임스텝에 한꺼번에 검증합니다. 한 스텝에 여러 토큰이 받아들여질 수 있으므로, 출력 품질을 전혀 손상하지 않으면서 생성 속도를 끌어올립니다. 그런데 이 추측 디코딩에는 오래된 약점이 하나 있습니다. 실제 프로덕션 환경에서는 여러 요청을 묶어 처리하는 배칭(Batching) 이 필수인데, 배치 크기(Batch Size, BS)가 커지면 추측 디코딩의 이점이 사라지고 오히려 느려지기도 합니다. 초안 모델이 몇 개의 토큰(K개)을 미리 뽑을지 정하는 값 K를 고정해 두면, 어떤 상황에서는 도움이 되지만 다른 상황에서는 손해를 보는 셈입니다. Cohere가 공개한 하드웨어 인식 동적 추측 디코딩(Hardware-Aware Dynamic Speculative Decoding, DSD) 은 바로 이 문제를 정면으로 다룹니다. 핵심 아이디어는 단순하면서도 강력합니다. K를 고정하지 말고, 모델과 하드웨어의 상호작용에 맞춰 매 순간 최적의 K를 동적으로 고르자 는 것입니다. 이 글에서는 추측 디코딩이 GPU의 어떤 특성을 이용해 속도를 얻는지부터, 왜 배치 크기가 커지면 그 이점이 무너지는지, 그리고 DSD가 어떻게 최적의 K를 찾아내는지를 차례로 살펴봅니다. 나아가 Cohere가 이 최적화를 실제 프로덕션급 추론 엔진인 vLLM에 기여하면서 마주한 엔지니어링 난관 — 비동기 스케줄링(Async Scheduling)과 Full CUDA Graph 같은 고급 최적화와의 호환성 — 까지… --- ## [Tencent, 295B 규모(활성 21B)의 오픈소스 MoE 추론 및 에이전트 모델 Hy3 공개](https://discuss.pytorch.kr/t/tencent-295b-21b-moe-hy3/11147)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 8, 2026, 8:30오전 UTC](https://discuss.pytorch.kr/t/tencent-295b-21b-moe-hy3/11147 "2026-07-08T08:30:50Z")
Hy3 소개 Hy3 는 텐센트 훈위안(Tencent Hy, 舊 Hunyuan) 팀이 공개한 오픈소스 대규모 언어 모델(Large Language Model)로, 전체 2,950억(295B) 파라미터 중 매 토큰마다 210억(21B)만 활성화하는 전문가 혼합(Mixture-of-Experts, MoE) 구조의 추론 및 에이전트 특화 모델입니다. 지난 4월 말 공개한 Hy3 Preview 이후 텐센트는 50개 이상의 자사 제품에서 피드백을 수집하고, 더 높은 품질의 데이터로 사후 학습(post-training)을 대규모로 확장하여 이번 정식 버전을 내놓았습니다. 텐센트는 Hy3가 비슷한 크기의 모델을 능가하는 것은 물론, 파라미터가 2~5배 더 큰 플래그십 오픈소스 모델과도 경쟁할 수 있다고 설명합니다. Hy3가 흥미로운 이유는 활성 파라미터를 21B로 억제하면서도 최상위권 성능을 노린다 는 점에 있습니다. 최근 오픈소스 진영에서는 DeepSeek-V4-Pro나 Z.AI의 GLM-5.2처럼 거대한 MoE 모델이 잇따라 등장했지만, 실제 서비스에 투입할 때는 활성 파라미터가 곧 추론(inference) 비용과 지연 시간(latency)으로 직결됩니다. Hy3는 총 파라미터를 키워 지식 용량을 확보하되 활성 파라미터를 낮게 유지하는 전략으로, "성능은 대형 모델급, 비용은 소형 모델급"이라는 지점을 겨냥합니다. 텐센트가 자사의 이전 대형 MoE 모델인 Hunyuan-A52B(활성 52B)보다 활성 파라미터를 오히려 절반 이하로 줄인 것도 이런 맥락에서 이해할 수 있습니다. 또 하나 주목할 점은 라이선스입니다. Hy3와 FP8 양자화(quantization) 버전인 Hy3-FP8 모델 가중치가 모두 Apache License 2.0으로 Hugging Face, ModelScope, GitCode, CNB에 공개되어, 연구는 물론 상업적 용도로도 자유롭게 사용할 수 있습니다. 여기에 vLLM, SGLang 서빙 레시피와 LLaMA-Factory, ms-swift … --- ## [1조 파라미터 규모로 에이전틱 강화학습을 수행하는 prime-rl 0.6.0의 최적화 총정리 (feat. Prime Intellect)](https://discuss.pytorch.kr/t/1-prime-rl-0-6-0-feat-prime-intellect/10939)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 29, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/1-prime-rl-0-6-0-feat-prime-intellect/10939 "2026-06-29T00:30:20Z")
prime-rl 0.6.0 소개 최근 대규모 언어 모델(Large Language Model, LLM)의 성능을 끌어올리는 핵심 동력은 사전 학습(pre-training)의 규모 확장에서 사후 학습(post-training), 그중에서도 강화 학습(Reinforcement Learning, RL) 으로 빠르게 옮겨가고 있습니다. 단순히 정답이 주어진 데이터로 모델을 미세조정(fine-tuning)하는 것을 넘어, 모델이 실제로 도구를 호출하고 코드를 실행하며 환경과 상호작용하는 에이전틱 강화학습(Agentic RL) 이 프런티어 모델의 추론(reasoning) 능력을 결정짓는 단계가 된 것입니다. 문제는 이 과정이 엄청나게 비싸고 까다롭다는 데 있습니다. 1조(1T) 파라미터급 모델을 SWE(소프트웨어 엔지니어링) 같은 장기 과제(long-horizon task)로 강화학습하려면, 학습기(trainer)와 추론기(inference) 양쪽을 동시에 굴리면서 수천 개의 GPU에서 발생하는 모든 비효율을 짜내야 합니다. Prime Intellect가 공개한 prime-rl 0.6.0 버전은 바로 이 문제를 정면으로 다룹니다. 이 릴리스의 목표는 "1조 파라미터 규모의 모델을 무거운 에이전틱 워크로드 위에서 최고 효율로 학습"하는 것입니다. Prime Intellect 팀이 제시하는 대표 성과는 다음과 같습니다. GLM-5를 SWE 과제로, 최대 131k 시퀀스 길이에서 5분 미만의 스텝 시간(step time), 256개 롤아웃(rollout)의 배치 크기로, 단 28개의 H200 노드만으로 학습할 수 있다는 것입니다. 위 히어로 이미지의 두 막대 그래프는 학습기 스텝 시간 중앙값이 3.7분, 오케스트레이터 기준 롤아웃 스텝 시간 중앙값이 5.0분으로, RL 스텝이 진행되어도 1T 규모에서 시간이 폭증하지 않고 평탄하게 유지된다는 점을 보여줍니다. 이번 글에서는 prime-rl이 이런 성과를 내기까지 적용한 최적화를 추론과 학습 양쪽으로 나누어 깊이 … --- ## [TileKernels: DeepSeek AI가 공개한, LLM 연산을 위한 고성능 TileLang 기반 GPU 커널 라이브러리](https://discuss.pytorch.kr/t/tilekernels-deepseek-ai-llm-tilelang-gpu/9878)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 24, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/tilekernels-deepseek-ai-llm-tilelang-gpu/9878 "2026-06-24T11:30:20Z")
TileKernels 소개 현대 대규모 언어 모델(LLM)의 학습과 추론에서 GPU 커널 최적화는 연산 효율을 좌우하는 핵심 요소입니다. 특히 Mixture of Experts(MoE) 아키텍처가 널리 쓰이면서 게이팅(Gating), 전문가 라우팅(Expert Routing), 양자화(Quantization) 등 다양한 연산 커널의 하드웨어 수준 최적화 필요성이 높아졌습니다. 기존에는 커스텀 CUDA 커널을 작성하기 위해 C++와 CUDA 내부를 깊이 이해해야 했기 때문에 진입 장벽이 높았고, 새로운 아키텍처가 등장할 때마다 커널을 처음부터 다시 작성해야 하는 문제가 있었습니다. TileKernels는 DeepSeek AI가 공개한 오픈소스 GPU 커널 라이브러리로, LLM 연산에 특화된 고성능 커널 모음입니다. 이 프로젝트는 TileLang을 기반으로 구축되었습니다. TileLang은 Python으로 고성능 GPU 커널을 표현할 수 있도록 설계된 도메인 특화 언어(Domain-Specific Language, DSL)로, 쉬운 마이그레이션, 빠른 개발, 자동 최적화를 특징으로 합니다. 기존 CUDA C++ 대신 Python 수준에서 커널을 작성할 수 있어 개발 생산성이 크게 향상됩니다. 프로젝트의 커널 대부분은 연산 집약도(Compute Intensity)와 메모리 대역폭(Memory Bandwidth) 측면에서 하드웨어 성능 한계에 근접하도록 설계되었습니다. 일부 커널은 이미 DeepSeek 내부의 학습 및 추론 시나리오에서 사용되고 있으며, MoE 기반 모델의 핵심 연산들을 담고 있습니다. 다만 개발팀은 현재 코드가 베스트 프랙티스를 대표하지는 않으며, 코드 품질과 문서화를 지속적으로 개선하는 중이라고 밝히고 있습니다. TileKernels의 주요 커널 구성 TileKernels는 LLM 연산에 필요한 다양한 커널을 체계적으로 제공합니다. 각 커널 모음은 저장소의 tile\_kernels/ 디렉토리 아래 영역별로 정리되어 있습니다. 게이팅(Ga… --- ## [MAI-Thinking-1 기술 보고서: 데이터 파이프라인부터 RL 인프라까지, 프런티어 모델 학습의 전 과정을 해부한 '힐 클라이밍 머신' (feat. Microsoft AI)](https://discuss.pytorch.kr/t/mai-thinking-1-rl-feat-microsoft-ai/10558)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 8, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/mai-thinking-1-rl-feat-microsoft-ai/10558 "2026-06-08T21:30:00Z")
"모델"이 아니라 "모델을 만드는 기계"를 공개하다 요즘 새로운 프런티어 모델 발표는 거의 매주 쏟아지지만, 정작 "이 모델을 어떻게 만들었는가"는 대부분 베일에 싸여 있습니다. 벤치마크 점수와 데모는 화려해도, 데이터를 어떻게 모으고 걸렀는지, 아키텍처 선택을 어떤 실험으로 검증했는지, 강화 학습을 수천 스텝 동안 무너지지 않게 유지하는 비결이 무엇인지는 좀처럼 공유되지 않습니다. Microsoft AI(MAI)가 공개한 109쪽 분량의 기술 보고서 MAI-Thinking-1: Building a Hill-Climbing Machine이 주목받는 이유가 여기에 있습니다. 이 보고서는 모델 하나를 자랑하는 문서가 아니라, 사전 학습 데이터 파이프라인부터 강화 학습 인프라, 평가, 레드티밍, 클러스터 운영까지 프런티어 모델 학습의 전 과정을 단계별로 해부한 가이드 에 가깝습니다. 보고서의 핵심 개념은 제목 그대로 힐 클라이밍 머신(hill-climbing machine) 입니다. "AI의 발전은 단일 모델이 아니라, 현재 모델 상태를 지속적으로 개선할 수 있는 능력에서 나온다"는 관점 아래, 모델 개발을 시스템 수준의 최적화 문제로 다룹니다. 데이터 파이프라인, 학습 인프라, RL 환경과 보상, 평가 스위트, 안전성 테스트를 하나의 통합된 경험적 최적화 루프로 묶어, 언덕을 오르듯 꾸준히 성능을 끌어올리는 기계를 만드는 것입니다. 이 기계로 만든 첫 모델이 MAI-Thinking-1 입니다. 활성 파라미터 $35$B, 전체 파라미터 $1$T 규모의 전문가 혼합(Mixture-of-Experts, MoE) 모델로, SWE-Bench Pro 52.8\\%, AIME 2025 97.0\\%, LiveCodeBench v6 87.7\\% 를 기록하며 비슷한 체급에서 가장 강력한 모델 중 하나로 꼽힙니다. 특히 눈에 띄는 점은 개발 철학입니다. 보고서는 세 가지 설계 원칙을 천명합니다. 첫째, 능력은 물려받는 것이 아니라 학습하는 것 입니다. 제3자 모델로부터의 증류… --- ## [JetBrains, AI 워크플로를 위한 오픈소스 MoE 모델 Mellum 2 공개](https://discuss.pytorch.kr/t/jetbrains-ai-moe-mellum-2/10500)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 3, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/jetbrains-ai-moe-mellum-2/10500 "2026-06-03T09:30:56Z")
Mellum 2 소개 Mellum 2는 JetBrains가 2026년 6월 Apache 2.0 라이선스로 공개한 120억(12B) 파라미터 규모의 오픈소스 언어 모델로, 코드와 자연어를 함께 다루며 AI 시스템의 라우팅, 요약, 중간 추론 단계를 빠르고 저렴하게 처리하도록 설계되었습니다. 프론티어 모델의 절대 성능 경쟁이 아니라, 프로덕션 AI에서 가장 자주 부딪히는 세 가지 병목인 지연 시간(latency), 처리량(throughput), 비용(cost) 을 푸는 데 초점을 맞춘 모델입니다. JetBrains는 IntelliJ IDEA, PyCharm 같은 개발 도구를 만드는 회사답게, 처음에는 IDE의 코드 완성(code completion) 기능을 위해 1세대 Mellum을 개발했습니다. 1세대는 40억(4B) 파라미터의 밀집(dense) 모델로 코드 완성에 집중했지만, 그 후속인 Mellum 2는 코드 완성을 넘어 코드 생성과 편집, 디버깅, 다단계 추론, 도구 사용 및 함수 호출, 에이전트 코딩, 대화형 프로그래밍 보조까지 아우르는 소프트웨어 엔지니어링에 특화된 범용 모델 로 발전했습니다. 외부 모델을 가져와 미세조정한 것이 아니라 처음부터 자체적으로 학습(trained from scratch) 되었고, 실제 배포 환경을 염두에 두고 설계되었다는 점이 특징입니다. 모델은 Hugging Face에 가중치가 모두 공개되어 있어 실험, 미세조정, 대규모 배포 등 어떤 목적이든 자체 인프라에서 바로 실행할 수 있습니다. 이 글에서는 Mellum 2의 아키텍처와 후학습 변형, 벤치마크 성능, 그리고 JetBrains가 강조하는 포컬 모델(focal model) 철학을 차례로 살펴보겠습니다. 토큰당 25억 개만 켜지는 MoE 설계 Mellum 2가 작으면서도 빠를 수 있는 핵심은 전문가 혼합(Mixture-of-Experts, MoE) 구조에 있습니다. 모델 전체 파라미터는 120억 개지만, 64개의 전문가(Expert) 중 토큰당 8개만 활성화되기 … --- ## [Cohere Command A+: 엔터프라이즈 에이전트 워크로드를 위한 오픈 MoE 모델](https://discuss.pytorch.kr/t/cohere-command-a-moe/10321)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 21, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/cohere-command-a-moe/10321 "2026-05-21T09:30:00Z")
Command A+ 소개 엔터프라이즈 에이전트 시대, "충분히 강하면서 직접 돌릴 수 있는 모델"에 대한 갈증 엔터프라이즈에서 대규모 언어 모델(LLM)을 도입할 때 가장 자주 부딪히는 벽은 모델의 절대 성능이 아니라 운영의 현실성입니다. 데이터를 외부 API로 내보낼 수 없는 금융, 통신, 공공 도메인일수록 "이 모델을 우리 데이터센터 안에서 돌릴 수 있는가", "GPU 몇 장이면 되는가", "한국어/일본어/아랍어도 같은 품질이 나오는가" 같은 질문이 모델 점수표 한 줄보다 무겁게 다가옵니다. Cohere가 최근 공개한 Command A+(command-a-plus-05-2026)는 바로 이 지점을 정조준한 모델로, 3가지 주요 특징을 갖습니다: 첫째, Cohere가 처음으로 자사 최강 모델을 Apache 2.0 라이선스로 풀었다는 점. 둘째, 218\\text{B} 총 파라미터 / 25\\text{B} 활성 파라미터의 희소 MoE(Sparse Mixture-of-Experts) 구조로, 같은 품질을 종전보다 훨씬 작은 하드웨어 풋프린트에 욱여넣었다는 점. 셋째, 멀티모달과 48 개 언어를 한 모델에 통합하여 종전 Command A 패밀리(Command A, Command A Reasoning, Command A Vision, Command A Translate)를 하나의 모델로 합쳤다는 점입니다. 기존 접근법들과의 대비를 보면 의미가 더 분명해집니다. 폐쇄형 프런티어 모델(GPT-4 계열, Claude Sonnet 계열)은 성능은 우수하지만, "주권 AI(sovereign AI)"를 표방하는 고객사에게는 데이터를 외부로 흘려보내야 한다는 근본적 제약이 있습니다. 한편 기존 오픈 가중치 모델(Llama, Qwen, DeepSeek 계열) 중 엔터프라이즈 에이전트 워크로드를 본격적으로 겨냥한 모델은 의외로 많지 않았고, 멀티모달과 도구 사용을 동시에 만족하면서 W4A4 양자화 시 단일 NVIDIA Blackwell GPU에서 돌아가는 라인업은 더더욱… [다음 페이지](https://discuss.pytorch.kr/tag/moe/2893.md?match_all_tags=true&page=1&tags%5B%5D=moe)