# \#kimi-k3

**URL:** https://discuss.pytorch.kr/tag/kimi-k3/8555.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Kimi K3.1 Pro 출시: K3보다 33% 낮은 API 가격, 사이버 보안 데이터를 뺀 3T급 오픈 웨이트 모델 (가중치는 11/4까지 공개 예정)](https://discuss.pytorch.kr/t/kimi-k3-1-pro-k3-33-api-3t-11-4/12289)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 24, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/kimi-k3-1-pro-k3-33-api-3t-11-4/12289 "2026-10-24T09:30:05Z")

</div>

핵심 요약 문샷 AI는 Kimi K3.1 Pro 소개 블로그에서 Kimi K3에 사후 학습을 더 많이 투입한 Kimi K3.1 Pro를 발표했습니다. 컨텍스트는 100만 토큰이고, 전체 가중치는 11월 4일까지 공개할 예정입니다. Kimi API 가격표에서 kimi-k3.1-pro 는 100만 토큰당 입력 2달러, 출력 10달러로 K3보다 33% 낮습니다. 2~3배 빠른 Highspeed 변형은 입력 4달러, 출력 20달러입니다. Terminal-Bench 4.0에서 65.7%로 Claude Opus 5.5(66.4%)에 근접했습니다. 반면 도구 없이 푸는 HLE-Diamond(39.4 대 65.8)와 프로그램 전체를 다시 만드는 ProgramBench(31.5 대 65.0)에서는 상용 모델과 격차가 큽니다. 오픈 웨이트 공개를 위해 중간 학습 데이터와 강화학습 환경에서 사이버 보안 관련 데이터를 제거했습니다. 자체 익스플로잇 벤치마크 점수는 제거 전 체크포인트의 90.5%에서 81.0%로 내려갔습니다. Kimi K3.1 Pro 소개 Kimi K3.1 Pro는 문샷 AI(Moonshot AI)가 Kimi K3를 바탕으로 사후 학습(Post-training)을 크게 늘려 만든 모델입니다. 사전 학습을 새로 하지 않고 같은 3T급 기반 모델에서 출발해, 강화학습(Reinforcement Learning) 연산을 크게 늘린 결과입니다. 다만 문샷은 사이버 보안 데이터를 중간 학습 단계에서도 제거했다고 밝혀, K3 체크포인트에 강화학습만 더한 것은 아닌 것으로 보입니다. K3.1 시리즈의 첫 모델이고, 응답 속도를 2~3배 높인 Kimi K3.1 Pro Highspeed가 함께 나왔습니다. 기반이 된 Kimi K3는 2026년 7월에 발표된 총 2.78조 개, 활성 1,042억 개 매개변수의 전문가 혼합(Mixture of Experts, MoE) 모델입니다. 문샷은 당시 "7월 27일까지 가중치 공개" 를 약속했고, 실제로 가중치와 기술 문서를 공개했습니…

---

## [Ember-1: 40% 가량 적은 토큰으로 Kimi K3와 비슷한 품질을 보여주는 Fireworks AI의 추론 효율화 모델 (공개X)](https://discuss.pytorch.kr/t/ember-1-40-kimi-k3-fireworks-ai-x/12040)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 30, 2026, 2:30오전 UTC](https://discuss.pytorch.kr/t/ember-1-40-kimi-k3-fireworks-ai-x/12040 "2026-09-30T02:30:10Z")

</div>

Ember-1 소개 Ember-1은 Fireworks AI의 연구 조직 Fireworks Research가 2026년 9월 23일 공개한 추론(reasoning) 효율화 모델로, Kimi K3를 기반으로 추가 학습해 비슷한 품질을 약 40% 적은 토큰으로 내도록 만든 것이 핵심입니다. 모델 구조를 새로 설계한 것이 아니라, 이미 공개된 오픈 웨이트 모델이 불필요하게 길게 생각하는 습관을 학습으로 고친 모델입니다. 이런 모델이 나온 배경은 추론 모델의 비용 구조에 있습니다. Fireworks AI에 따르면 Kimi K3 같은 추론 모델은 생성하는 토큰의 대부분, 경우에 따라 90% 이상을 답변이 아닌 내부 추론에 씁니다. 이 비용은 여러 턴을 주고받는 에이전트 작업에서 더 커집니다. 매 턴마다 이전 추론이 다시 컨텍스트로 들어가므로 컨텍스트가 턴 수에 따라 대략 제곱으로 늘어나고, 초반 턴의 긴 추론 기록이 이후 호출마다 다시 읽히고 다시 과금됩니다. Fireworks AI는 사용자들로부터 Kimi K3의 코딩 능력을 더 낮은 비용으로 쓰고 싶다는 요청을 받았다고 합니다. 추론 기록이 길어 자동화된 코딩을 대규모로 실행하면 비용이 크게 늘었기 때문입니다. 그렇다고 추론 강도(reasoning effort)를 낮추는 설정만으로는 해결되지 않았다고 합니다. 추론 강도를 낮추면 품질이 너무 많이 떨어졌기 때문에, Fireworks Research는 모델이 스스로 더 효율적으로 추론하도록 학습시키는 방향을 택했습니다. 같은 Kimi K3를 바탕으로 비용 대비 성능을 끌어올린 사례로는 앞서 소개한 Cognition의 SWE-2도 있는데, SWE-2가 코딩 특화 강화 학습으로 추론 노력 단계별 비용 대비 성능 곡선 전체를 끌어올렸다면, Ember-1은 수학, 대화, 검색까지 포함한 폭넓은 작업에서 추론 길이 자체를 줄이는 데 초점을 둡니다. 추론을 줄이되 자기 성찰은 남기는 학습 방식 Fireworks Research는 Kimi K3의 추론이 모두 낭비는 아니라…

---

## [Cognition, Kimi K3 기반 코딩 모델 SWE-2 공개: Fable 5.1과 1점 차, 비용은 64% 절감](https://discuss.pytorch.kr/t/cognition-kimi-k3-swe-2-fable-5-1-1-64/11891)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 12, 2026, 1:30오전 UTC](https://discuss.pytorch.kr/t/cognition-kimi-k3-swe-2-fable-5-1-1-64/11891 "2026-09-12T01:30:00Z")

</div>

SWE-2 소개: 코딩 모델의 경쟁 축이 점수에서 비용 대비 성능으로 Cognition이 현지 시간 2026년 9월 10일 자사의 코딩 특화 모델 SWE-2 를 공개했습니다. 핵심 수치는 FrontierCode 1.1 Main에서 50.0%입니다. 같은 벤치마크에서 Claude Fable 5.1이 기록한 50.9%에 1점이 채 못 미치지만, 롤아웃 한 번에 드는 평균 비용은 64% 낮습니다. Cognition은 이 결과를 두고 파레토 프론티어(Pareto Frontier), 즉 더 싸게 만들려면 성능을 포기해야 하는 경계선 자체를 밀어냈다고 표현합니다. Cognition은 자율 소프트웨어 엔지니어를 표방하는 Devin을 만든 회사입니다. 이 회사는 모델을 평가하는 쪽과 학습하는 쪽 양쪽에 자산을 쌓아 왔는데, 평가 쪽이 FrontierCode이고 학습 쪽이 SWE 시리즈입니다. FrontierCode는 단순히 테스트가 통과하는지가 아니라 저장소 관리자가 이 PR을 실제로 병합하겠는가 를 묻는 벤치마크입니다. 과제는 그 코드가 나온 저장소의 오픈소스 관리자가 직접 만드는데, 20명이 넘는 개발자가 과제 하나에 40시간 이상을 들였고 무엇을 병합 가능하다고 볼지도 이들이 정의합니다. 채점에는 단위 테스트와 루브릭, 새로 만든 검증기를 함께 써서 정확성뿐 아니라 테스트 품질, 범위 준수, 코드베이스 규약 준수까지 봅니다. 이 벤치마크가 어떻게 설계되었는지는 커뮤니티에 정리된 FrontierCode 소개 글에서 더 자세히 보실 수 있습니다. SWE-2가 기술적으로 흥미로운 지점은 밑바탕이 자체 사전 학습 모델이 아니라는 데 있습니다. 이 모델은 Moonshot AI가 공개한 2.8조 파라미터 오픈 웨이트 모델 Kimi K3에서 사후 학습(Post-training) 으로 출발했습니다. K3는 토큰마다 896개의 라우팅 전문가 중 16개만 활성화하는 MoE 구조라 전체 2.8조 파라미터 가운데 1,040억 개만 실제 계산에 참여하고, 전체 가중치가 공개돼 있습니…

---

## [WARP: 2.78조 파라미터 Kimi K3를 64GB 맥북에서 실행하는 C 기반 추론 엔진](https://discuss.pytorch.kr/t/warp-2-78-kimi-k3-64gb-c/11601)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [8월 12, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/warp-2-78-kimi-k3-64gb-c/11601 "2026-08-12T09:30:55Z")

</div>

WARP 소개 프런티어급 오픈 모델이 공개될 때마다 반복되는 계산이 있습니다. 가중치 파일이 1TB를 넘으면 개인 장비에서는 열어볼 수조차 없고, 결국 증류하거나 가지치기한 축소판을 기다리거나 클라우드 API를 쓰는 선택지만 남습니다. 램에 모델을 통째로 올려야 한다는 전제가 이 계산을 지배해 왔습니다. 그런데 전문가 혼합(Mixture of Experts) 구조에서는 토큰 하나를 만드는 데 전체 파라미터의 일부만 실제로 쓰입니다. 나머지 대부분은 그 순간 램을 차지하고 있을 뿐입니다. WARP는 그 전제를 바꿔 보려는 추론 엔진입니다. 모델에서 항상 쓰이는 공용 부분만 램에 올려 두고, 토큰마다 선택된 전문가만 디스크에서 직접 읽어오며, 남은 램은 한도가 정해진 전문가 캐시로 씁니다. C로 작성되어 있고 추론 경로에 외부 런타임 의존성이 없습니다. 현재 목표는 2.78조 파라미터의 Kimi K3를 소비자용 하드웨어에서 돌리는 것이고, 64GB 맥북 프로에서 초당 약 0.6 토큰이 측정됐습니다. 증류하거나 가지치기한 축소판이 아니라 전체 모델입니다. 프로젝트가 밝히는 개발 방식도 특이합니다. 아이디어와 가설, 우선순위, 테스트, 결정은 사람이 하고 코드는 LLM이 작성한다고 적혀 있으며, 이 규모에서 새 알고리즘을 빠르게 시험하려면 그 방법밖에 없다고 설명합니다. 프로젝트 이름은 원래 WASTE였고 지금은 WARP(Weight-Aware Runtime and Paging)로 바뀌었지만 CLI 실행 파일과 컨테이너 확장자에는 여전히 waste 가 남아 있습니다. 최신 릴리즈는 v0.6.7 입니다. 본 게시물에서는 이 엔진이 램과 디스크를 나누는 방식, 실측 성능과 그 한계, 그리고 직접 실행하려면 무엇이 필요한지를 정리합니다. WARP가 모델을 램에 올리지 않는 방법 Kimi K3는 2.78조 파라미터를 가지고 있지만 토큰 하나에 활성화되는 것은 약 4%입니다. WARP는 이 성질을 저장 구조에 그대로 반영합니다. 컨테이너는 전문가 하나가 정렬…

---

## [kimi-k3-in-c: 2.78조 파라미터 모델을 GPU 없이 8GB 램에서 돌리는 C99 추론 엔진](https://discuss.pytorch.kr/t/kimi-k3-in-c-2-78-gpu-8gb-c99/11574)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [8월 12, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/kimi-k3-in-c-2-78-gpu-8gb-c99/11574 "2026-08-12T00:30:55Z")

</div>

kimi-k3-in-c 소개 큰 모델을 내 컴퓨터에서 돌리려 할 때 막는 것은 대개 연산 속도가 아니라 용량입니다. Moonshot AI가 공개한 Kimi K3는 파라미터가 2조 7,800억 개이고, 배포되는 체크포인트는 96개 샤드에 나뉜 1.56TB 입니다. 모든 가중치를 bfloat16으로 램에 올리면 5,560GB가 필요합니다. 이 숫자 앞에서는 더 빠른 GPU를 기다려도 소용이 없습니다. 벽이 속도가 아니라 용량이기 때문입니다. kimi-k3-in-c는 이 모델을 GPU 없이, 프레임워크 없이, BLAS 없이 C99로 다시 구현한 추론 엔진입니다. 핵심 관찰은 Kimi K3가 전문가 혼합(Mixture of Experts) 모델이라는 점입니다. 93개 레이어 중 라우팅을 수행하는 92개 레이어는 토큰 하나마다 896개 전문가 중 16개만 깨우고 나머지 880개는 디스크에서 잠들어 있습니다. 항상 쓰이는 부분만 메모리에 두고 잠든 전문가는 필요할 때 읽어 오면, 측정된 최대 상주 메모리는 8.24GB까지 내려갑니다. 엔진 바이너리 자체는 179,736바이트, 176KB 짜리 파일 하나입니다. 이 저장소가 흥미로운 지점은 압축률보다 출력이 변하지 않는다는 조건을 지켰다는 데 있습니다. 저자는 8GB부터 224GB까지 12개 메모리 예산에서 같은 프롬프트를 돌려 생성된 토큰 ID가 전부 동일했다고 측정 결과를 공개했습니다. 메모리를 더 주면 답이 좋아지는 것이 아니라 시계만 빨라집니다. 가중치를 추가로 줄이거나 버린 것이 아니라 바이트를 어디에 둘지에 대한 결정만 바꿨기 때문입니다. kimi-k3-in-c가 기존 로컬 실행 방식과 다른 점 로컬에서 대형 모델을 돌리는 흔한 접근은 양자화로 가중치를 더 낮은 정밀도로 줄여 램에 올리는 것으로 알려져 있습니다. 이 방식은 모델 전체가 메모리에 들어가야 한다는 전제를 유지한 채, 들어갈 수 있을 만큼 모델을 깎습니다. 정밀도를 깎으면 출력도 원본과 달라지고, 얼마나 달라지는지는 별도로 평가해야 합니다. …

---

## [Kimi K3 모델 가중치 및 기술 문서 공개: 2.8T 오픈 모델의 아키텍처와 학습 레시피 심층 분석](https://discuss.pytorch.kr/t/kimi-k3-2-8t/11455)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 29, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/kimi-k3-2-8t/11455 "2026-07-29T00:30:47Z")

</div>

Kimi K3 기술 문서 소개 건물을 더 높이 올리려면 층을 더 쌓는 것만으로는 되지 않습니다. 어느 높이를 넘어서면 기둥의 재질, 배관이 물을 끌어올리는 방식, 엘리베이터의 배치까지 전부 다시 설계해야 합니다. 지금까지 오픈 웨이트 모델의 규모 경쟁은 층수를 늘리는 이야기에 가까웠습니다. Kimi K3 기술 문서는 문샷 AI(Moonshot AI)가 총 2.78 조 개(활성 1042 억 개) 매개변수 규모의 네이티브 멀티모달 전문가 혼합(Mixture of Experts, MoE) 모델을 어떻게 설계하고 학습시켰는지를 정리한 문서입니다. 오픈 웨이트 모델이 1 조급 규모에서 정체된 사이 상용 모델과의 격차가 벌어지는 문제를 두 가지 방향에서 동시에 풀려는 시도로, 사전 학습 토대를 이른바 3 조급(3T-class)까지 밀어올리는 동시에 강화학습과 추론 강도(reasoning effort), 그리고 100 만 토큰 컨텍스트에서 이루어지는 긴 호흡 상호작용까지 함께 확장했습니다. 이미 커뮤니티에는 Kimi K3 발표 시점의 소개 글이 정리되어 있습니다. 당시에는 기술 블로그 수준의 정보와 "전체 가중치는 7월 27일까지 공개" 라는 약속만 있었는데, 그 약속은 지켜졌고 Hugging Face 저장소에 가중치와 함께 47 쪽 분량의 기술 문서가 올라왔습니다. 이 글은 그 문서를 바탕으로, 발표 당시에는 이름만 나열되었던 KDA, AttnRes, Stable LatentMoE, Quantile Balancing, MoonEP 같은 구성요소가 각각 어떤 문제를 풀기 위해 무슨 수식과 무슨 하이퍼파라미터로 들어갔는지를 살펴봅니다. 스케일링의 두 축, 그리고 한쪽만 달린 오픈 생태계 대형 언어 모델(Large Language Model, LLM)의 발전은 오랫동안 하나의 축을 따라 진행되었습니다. 더 큰 모델을 더 많은 데이터로 학습시키는, 다시 말해 배포 전에 연산을 투입하는 방식입니다. Scaling Laws와 Chinchilla가 이 축의 문법을 정리했습…

---

## [Kimi K3, Moonshot AI가 공개한 세계 첫 3T급 오픈 웨이트 모델 (전체 가중치 공개는 7월 27일 예정)](https://discuss.pytorch.kr/t/kimi-k3-moonshot-ai-3t-7-27/11301)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 18, 2026, 11:30오후 UTC](https://discuss.pytorch.kr/t/kimi-k3-moonshot-ai-3t-7-27/11301 "2026-07-18T23:30:04Z")

</div>

Kimi K3 소개 Kimi를 만드는 문샷 AI(Moonshot AI)가 자사 최고 성능 모델인 Kimi K3 를 공개했습니다. Kimi K3는 2.8조 개(2.8T)의 매개변수(Parameter)를 가진 모델로, 문샷이 "세계 최초의 오픈 3T급(3T-class) 모델" 이라고 소개한 대형 언어 모델입니다. 새로 설계한 Kimi Delta Attention(KDA) 과 Attention Residuals(AttnRes) 위에 세워졌고, 네이티브 비전(vision) 능력과 100만(1M) 토큰 컨텍스트 윈도우(context window)를 갖추었으며, 긴 호흡의 코딩과 지식 노동, 그리고 추론(reasoning) 같은 이른바 프론티어 지능(frontier intelligence)을 겨냥합니다. 문샷은 Kimi 시리즈로 오픈 모델의 규모 상단을 꾸준히 밀어붙여 왔습니다. 이전 세대인 Kimi-K2와 Kimi K2.5에 이어, 지난 12개월 중 9개월 동안 자사 모델이 오픈 모델 크기의 최상단을 차지했다고 밝혔습니다. 문샷 스스로 밝힌 대로 Kimi K3의 전체 성능은 여전히 가장 강력한 상용 모델인 Claude Fable 5, GPT 5.6 Sol에는 미치지 못하지만, 평가 스위트 전반에서 "프론티어급 성능" 을 보이며 그 외 비교 모델들은 꾸준히 앞섰다고 설명합니다. 특히 아키텍처와 학습 레시피를 다듬어 이전 세대 Kimi K2 대비 전체 스케일링 효율(scaling efficiency)을 약 2.5배 끌어올렸다는 점이 이번 세대의 핵심입니다. 한 가지 먼저 짚어둘 점이 있습니다. Kimi K3는 이미 kimi.com, Kimi Work, Kimi Code, Kimi API를 통해 오늘부터 쓸 수 있지만, "오픈" 이라는 표현이 곧 "지금 내려받을 수 있는 가중치" 를 뜻하지는 않습니다. 문샷은 전체 모델 가중치(weights)를 2026년 7월 27일까지 공개하겠다고 못 박았고, 그전까지 오픈은 로드맵에 적힌 약속에 가깝습니다. 이 글에서는 지금 당…

---

## [Kimi K3 Use Case 심층 분석\_ 101개 사례에서 추출한 4가지 실전 인사이트](https://discuss.pytorch.kr/t/kimi-k3-use-case-101-4/11306)

<div class="topic-metadata">

**Author:** [@jacey-dong](https://discuss.pytorch.kr/u/jacey-dong)\
**댓글:** 0\
**마지막 업데이트:** [7월 18, 2026, 6:51오전 UTC](https://discuss.pytorch.kr/t/kimi-k3-use-case-101-4/11306 "2026-07-18T06:51:47Z")

</div>

Kimi K3 Use Case 심층 분석: 70개 사례에서 추출한 4가지 실전 인사이트 Kimi K3의 기본 개념 및 분석 배경 Kimi K3는 최근 AI 코딩 커뮤니티에서 가장 주목받는 모델 중 하나입니다。 X(Twitter)를 열면 게임， 웹사이트， 3D 씬， "한 줄 생성" 데모가 쏟아져 나오고 있습니다。 하지만 여기서 진짜로 알고 싶은 것은 데모가 얼마나 화려한지가 아닙니다。 실제 사용자가 Kimi K3로 무엇을 했고， 그 사례 중 우리 워크플로우에 바로 적용할 수 있는 것이 있는가 — 이것이 이 분석의 출발점입니다。 그래서 48시간 동안 수집한 70개의 Kimi K3 Use Case 를 전부 다시 분해했습니다。 분석 결과， 가장 유용한 결론은 "K3가 코드를 잘 짠다"가 아니었습니다。 더 정확히 말하면， K3가 가장 주목할 만한 점은 불완전한 의도(intent)를 실행 가능하고 검증 가능한 first version 으로 끌어올리는 능력이 점점 드러나고 있다는 것입니다。 이것은 코드 보완(Code Completion)과는 다릅니다。 코드 보완이 해결하는 것은 "이 부분을 어떻게 쓸까"라는 문제지만， 이 사례들에서 보이는 더 강한 신호는 "내가 원하는 결과만 서술하면， 중간에 누락된 구현 단계를 스스로 채워서 검증 가능한 결과물을 내놓을 수 있는가"라는 질문입니다。 70개 Use Case 의 분포 및 주요 발견 70개 사례 중 79개(78.2%)가 게임， 프론트엔드， 3D, 크리에이티브 미디어에 집중되어 있었습니다。 카테고리 사례 수 비율 게임 및 인터랙티브 경험 36 35.6% 웹사이트 및 프론트엔드 16 15.8% 3D 및 과학 시각화 10 9.9% 기타 크리에이티브 미디어 17 16.8% 그 외(개발 통합， 평가 등) 22 21.8% 왜 K3 사례가 이 영역에 집중되어 있을까요？ 처음에는 전파력이 좋아서라고 생각했지만， 더 깊이 들여다보니 더 중요한 이유가 있었습니다。 이任务들은 모두 매우 명…
