Kimi K3, Moonshot AI가 공개한 세계 첫 3T급 오픈 웨이트 모델 (전체 가중치 공개는 7월 27일 예정)

9bow · 7월 18, 2026, 11:30오후

Kimi K3 소개

Kimi를 만드는 문샷 AI(Moonshot AI)가 자사 최고 성능 모델인 Kimi K3 를 공개했습니다. Kimi K3는 2.8조 개(2.8T)의 매개변수(Parameter)를 가진 모델로, 문샷이 "세계 최초의 오픈 3T급(3T-class) 모델" 이라고 소개한 대형 언어 모델입니다. 새로 설계한 Kimi Delta Attention(KDA) 과 Attention Residuals(AttnRes) 위에 세워졌고, 네이티브 비전(vision) 능력과 100만(1M) 토큰 컨텍스트 윈도우(context window)를 갖추었으며, 긴 호흡의 코딩과 지식 노동, 그리고 추론(reasoning) 같은 이른바 프론티어 지능(frontier intelligence)을 겨냥합니다.

문샷은 Kimi 시리즈로 오픈 모델의 규모 상단을 꾸준히 밀어붙여 왔습니다. 이전 세대인 Kimi-K2와 Kimi K2.5에 이어, 지난 12개월 중 9개월 동안 자사 모델이 오픈 모델 크기의 최상단을 차지했다고 밝혔습니다. 문샷 스스로 밝힌 대로 Kimi K3의 전체 성능은 여전히 가장 강력한 상용 모델인 Claude Fable 5, GPT 5.6 Sol에는 미치지 못하지만, 평가 스위트 전반에서 "프론티어급 성능" 을 보이며 그 외 비교 모델들은 꾸준히 앞섰다고 설명합니다. 특히 아키텍처와 학습 레시피를 다듬어 이전 세대 Kimi K2 대비 전체 스케일링 효율(scaling efficiency)을 약 2.5배 끌어올렸다는 점이 이번 세대의 핵심입니다.

한 가지 먼저 짚어둘 점이 있습니다. Kimi K3는 이미 kimi.com, Kimi Work, Kimi Code, Kimi API를 통해 오늘부터 쓸 수 있지만, "오픈" 이라는 표현이 곧 "지금 내려받을 수 있는 가중치" 를 뜻하지는 않습니다. 문샷은 전체 모델 가중치(weights)를 2026년 7월 27일까지 공개하겠다고 못 박았고, 그전까지 오픈은 로드맵에 적힌 약속에 가깝습니다. 이 글에서는 지금 당장 무엇을 쓸 수 있고 7월 27일에 무엇이 열리는지를 구분해 정리하겠습니다.

핵심 특징 요약

세계 첫 오픈 3T급 규모: 2.8조 개 매개변수로, 문샷은 오픈 모델 중 처음으로 2.8조 규모에 도달했다고 밝혔습니다. 흔히 "거대하다" 고 여겨지던 1조급 오픈 모델의 두 배가 넘는 크기입니다.
새로운 어텐션 아키텍처: Attention Residuals(AttnRes)와 Kimi Delta Attention(KDA)를 결합해, 시퀀스 길이와 모델 깊이 양쪽으로 정보가 잘 흐르도록 설계했습니다.
극단적 MoE 희소성: Stable LatentMoE 프레임워크와 함께 896개 전문가(expert) 중 16개만 활성화하는 전문가 혼합(Mixture of Experts, MoE) 구조로, 규모를 키우면서도 연산량은 억제했습니다.
네이티브 비전 + 1M 컨텍스트: 텍스트, 이미지, 영상을 하나의 모델 안에서 다루는 멀티모달 구조와 100만 토큰 컨텍스트 윈도우로, 스크린샷과 대형 저장소를 오가는 작업에 대응합니다.
2.5배 향상된 스케일링 효율: 학습 및 데이터 레시피 개선으로, 같은 연산을 지능으로 바꾸는 효율이 Kimi K2 대비 약 2.5배 좋아졌습니다.

오픈과 다운로드는 다르다: 지금 쓸 수 있는 것과 7월 27일

Kimi K3를 둘러싼 소식에서 가장 헷갈리기 쉬운 부분이 바로 "오픈" 의 의미입니다. 문샷이 K3를 "첫 오픈 3T급 모델" 이라 부르는 것은 가중치를 공개할 의도가 있고 아키텍처를 오픈 모델 규모에 맞춰 자리매김했다 는 뜻이지, 오늘 당장 Hugging Face에서 파일을 내려받을 수 있다는 뜻은 아닙니다. 발표 시점(2026년 7월 17일) 기준으로 제품과 API는 라이브 상태이지만, 완성된 공개 가중치 덤프는 아직 올라오지 않았습니다.

항목	현재 상태
제품 접근 (kimi.com, Kimi Work, Kimi Code, API)	사용 가능
API 모델 ID	`kimi-k3`
규모	2.8조 매개변수, 1M 컨텍스트, 네이티브 비전
런칭 시 추론 강도	기본값은 최대(max) 추론, 저강도/고강도 모드는 추후
전체 모델 가중치	2026년 7월 27일까지 공개 예정
API 가격 (100만 토큰당)	캐시 적중 입력 $0.30, 캐시 미적중 입력 $3.00, 출력 $15.00

두 가지를 덧붙이면 상황이 더 분명해집니다. 첫째, 문샷은 추론 파트너 및 오픈소스 메인테이너와 함께 롤아웃을 조율하고 있다고 밝혔는데, 이는 가중치 공개가 단순한 파일 업로드가 아니라 생태계의 스택 지원까지 맞춰야 하는 일이라는 뜻입니다. 둘째, 서빙과 관련해 K3는 가속기 64개 이상을 묶은 슈퍼노드(supernode) 구성을 권장합니다. 다시 말해 2.8조 규모의 K3는 소비자용 GPU 한 장으로 돌리는 모델이 아니라 데이터센터 규모의 인프라를 전제로 한 모델입니다. 자체 호스팅이 필요한 경우라면 이미 공개된 이전 세대 가중치를 쓰거나, 7월 27일 이후 공개될 저장소의 라이선스와 서빙 노트를 실제로 확인한 뒤 계획을 세우는 편이 안전합니다.

최소한의 사람 개입으로 도는 롱 호라이즌 코딩

Kimi K3가 가장 힘을 준 영역은 긴 호흡의 코딩입니다. 사람이 거의 개입하지 않는 상태에서 긴 엔지니어링 세션을 이어가고, 거대한 저장소를 탐색하며, 터미널 도구들을 직접 조율합니다. 여기에 스크린샷과 시각 자료를 활용하는 시각적 추론까지 결합해 게임 개발, 프론트엔드, CAD 같은 작업에 대응하는 것이 특징입니다.

밑바닥부터 만든 GPU 컴파일러, MiniTriton

가장 인상적인 사례는 K3가 GPU 프로그래밍 시스템 자체를 처음부터 만들 수 있는지 시험한 실험입니다. K3는 MLIR 위에 자체 타일 수준 IR 계층과 최적화 패스, PTX 코드 생성 파이프라인을 갖춘 Triton 스타일의 소형 컴파일러 MiniTriton 을 만들어냈습니다. 지원되는 루프라인(roofline) 벤치마크 전반에서 MiniTriton은 Triton 및 torch.compile과 대등하거나 더 나은 성능을 보였고, 일부 워크로드에서는 Triton을 앞섰습니다. 나아가 마이크로벤치마크를 넘어 nanoGPT의 엔드투엔드 학습을 안정적으로 수렴시켜, DSL 프론트엔드부터 IR 패스, PTX 코드 생성, 런타임까지 이어지는 일관된 컴파일러를 만들 수 있음을 보였습니다.

GPU 커널 최적화

문샷은 여러 모델에게 동일한 샌드박스를 주고 최대 24시간 동안 GPU 커널을 프로파일링, 재작성, 벤치마크하도록 했습니다. 과제는 AttnRes, KDA, 그리고 512 헤드 차원(head dimension) MLA 커널을 NVIDIA H200과 다른 벤더의 범용 GPU에서 최적화하는 네 가지였습니다. 이 평가에서 Kimi K3는 (폴백을 포함한) Claude Fable 5와 대등한 성능을 냈고, Claude Opus 4.8, GPT 5.6 Sol, GPT 5.5는 크게 앞섰습니다. 흥미롭게도 개발 후반부에는 초기 버전의 K3가 팀의 커널 최적화 작업 대부분을 직접 처리했다고 합니다.

게임 개발과 비전 인 더 루프

K3는 3D 추론과 코딩, 비전 능력을 결합해 개념, 이미지, 영상을 곧바로 플레이 가능한 인터랙티브 경험으로 바꿉니다. 문샷은 이를 코드와 실시간 스크린샷 사이를 오가며 출력물을 즉시 보고 다듬는 "비전 인 더 루프(vision in the loop)" 라고 표현합니다. 아래는 K3가 만든 오픈월드 게임 데모로, 도시를 배경으로 한 3D 인터랙션을 코드만으로 구성한 예시입니다.

칩 설계와 연구를 위한 코딩

K3의 긴 호흡 능력을 보여주는 또 다른 사례는 칩 설계입니다. K3는 자기 아키텍처를 기반으로 한 소형 모델을 서빙하기 위한 칩을 설계했는데, 단 48시간의 자율 실행 동안 오픈소스 EDA 도구와 Nangate 45nm 라이브러리로 칩을 만들고 최적화, 검증까지 마쳤습니다. 4mm² 안에서 100MHz 타이밍을 맞추고 시뮬레이션 기준 초당 8,700개 이상의 토큰 디코드 처리량을 내는, 표준 셀 146만 개와 INT4 MAC 배열을 담은 칩이었습니다.

연구 영역에서도 K3는 과학 문헌과 실행 가능한 코드를 잇습니다. 한 사례에서는 계산 천체물리학의 I-Love-Q 보편 관계를 재현하기 위해 20편이 넘는 논문을 교차 검증하고, 300개 이상의 상태 방정식을 평가하며, 3,000줄이 넘는 파이썬 코드를 작성해 인터랙티브 HTML 대시보드까지 만들어냈습니다. 숙련된 연구자가 1~2주 걸릴 작업을 약 2시간 만에 마쳤다는 것이 문샷의 설명입니다.

대화에서 대시보드로: 지식 노동 에이전트

Kimi K3는 코딩을 넘어 지식 노동 전반으로 확장됩니다. 문샷은 공개 벤치마크 외에도 실제 사용자와 에이전트의 협업 패턴에서 뽑아낸 내부 평가에서 K3(max)가 꾸준한 개선을 보였다고 밝혔습니다. 아래는 문샷 내부의 지식 노동 벤치마크 결과로, 세 가지 세부 벤치 모두에서 K3가 GPT 5.5, Claude Opus 4.8을 앞선 것으로 나타났습니다.

이런 역량은 Kimi Work 안에서 구체적인 산출물로 이어집니다. 한 사례에서 K3는 120회가 넘는 재귀적 자기 개선을 거쳐 "42년간의 AI ASIC 산업" 을 다루는 인터랙티브 리서치 웹사이트를 만들었습니다. 이 과정에서 2,800회 이상의 웹 검색과 1,100회 이상의 터미널 데이터 수집을 수행하며 87개 분기 보고서와 99개 원본 PDF를 포함한 11,000쪽 넘는 자료를 훑었습니다. 또 다른 사례에서는 391건의 중력파 이벤트를 20개 이상의 동시 서브에이전트로 분석해 7개의 과학적 시각화와 문헌 종합을 만들어내기도 했습니다.

이를 뒷받침하기 위해 Kimi Work에는 위젯(Widgets)과 대시보드(Dashboard)가 새로 추가되었습니다. 위젯은 대화 안에서 인터랙티브 컴포넌트를 바로 만들어 로컬 데이터나 외부 플러그인과 연결해 지속적으로 갱신하게 해주고, 대시보드는 자주 보는 위젯을 하나의 지속적인 화면으로 모아 주제나 프로젝트 단위로 정리해 줍니다. 여기에 더해 K3는 네이티브 멀티모달 구조를 살려 모션 디자인과 영상 편집에도 강점을 보였는데, 자기 아키텍처를 설명하는 3Blue1Brown 스타일의 모션그래픽 해설 영상을 만들고, 56개의 소스 클립으로 자신의 티저 영상을 직접 편집한 사례가 대표적입니다.

아키텍처와 인프라: 3조 규모를 떠받치는 것들

Kimi K3의 골격은 앞서 언급한 Kimi Delta Attention(KDA)과 Attention Residuals(AttnRes)입니다. KDA가 어텐션을 효율적으로 확장하는 토대를 제공한다면, AttnRes는 깊이 전반에서 표현을 균일하게 누적하는 대신 선택적으로 끌어옵니다. 두 기법 모두 문샷이 이전에 별도로 공개한 것으로, 커뮤니티에도 이미 소개된 바 있습니다.

MoE 측면에서 K3는 Stable LatentMoE로 896개 전문가 중 16개를 활성화합니다. 이 정도의 희소성에서는 라우팅과 최적화가 일급 과제가 되는데, 문샷은 라우터 점수의 분위수(quantile)에서 전문가 배분을 직접 유도하는 Quantile Balancing과, 어텐션 헤드를 개별적으로 최적화하도록 Muon 옵티마이저를 확장한 Per-Head Muon을 도입했습니다. 여기에 활성값을 제어하는 SiTU(Sigmoid Tanh Unit)와 어텐션 선택성을 높이는 Gated MLA가 더해져 2.8조 규모에서도 안정적인 학습을 가능하게 했습니다.

효율 측면에서는 SFT 단계부터 양자화 인식 학습(quantization-aware training)을 적용해, 폭넓은 하드웨어 호환성을 위해 MXFP4 가중치와 MXFP8 활성값을 사용합니다. 또한 대규모 전문가 병렬(expert-parallel) 환경에서 전문가 불균형이 처리량을 떨어뜨리지 않도록, 정적 형태(static shape)를 쓰고 임계 경로에서 호스트 동기화를 없앤 완전 균형 전문가 병렬 학습 기법을 제안했습니다. 특히 KDA가 기존 프리픽스 캐싱에 새로운 과제를 던지는 만큼, 문샷은 관련 구현을 vLLM 커뮤니티에 기여해 모델과 함께 공개할 예정입니다. 공식 Kimi API는 Mooncake의 분리형(disaggregated) 추론(inference) 아키텍처를 기반으로 코딩 워크로드에서 90%가 넘는 캐시 적중률을 달성한다고 합니다.

공개된 수치 중 확인 가능한 것들을 보면, K3는 DeepSWE에서 mini-SWE-agent 하네스 기준 67.3점을, BrowseComp에서는 1M 토큰 컨텍스트에 컨텍스트 관리를 끄고 평가했을 때 90.4점을 기록했습니다. 다만 모델과 하네스(harness)의 조합에 따라 점수가 달라지므로, 벤치마크 수치는 평가 조건과 함께 읽어야 합니다.

가격과 사용 가능한 곳

Kimi K3는 여러 경로로 접근할 수 있습니다.

Kimi 앱 / kimi.com: iOS, Android, HarmonyOS용 최신 앱 또는 웹에서 K3 에이전트를 사용할 수 있습니다.
Kimi Work: Windows와 Apple 실리콘 맥용 데스크톱 앱(3.1.0 버전 이상)에서 위젯과 대시보드를 활용합니다.
Kimi Code: 터미널에서 /model 명령으로 K3를 선택해 코딩 에이전트로 씁니다.
Kimi API: 모델 ID kimi-k3 를 선택합니다. 가격은 100만 토큰당 캐시 적중 입력 $0.30, 캐시 미적중 입력 $3.00, 출력 $15.00 입니다.

런칭 시점에는 최대 추론 강도가 기본값이라 짧은 프롬프트에도 추론 토큰이 제법 소모될 수 있으므로, 초기에는 파일럿 예산으로 접근하기를 권합니다.

한계

문샷은 K3의 한계도 함께 공개했습니다. 첫째, K3는 사고 이력(thinking history)을 보존하는 모드로 학습되어, 하네스가 과거 사고 내용을 되돌려주지 못하거나 다른 모델로 진행하던 세션을 중간에 K3로 바꾸면 생성 품질이 크게 불안정해질 수 있습니다. 문샷은 호환성이 검증된 Kimi Code 같은 하네스를 쓰고, 세션 도중 모델을 K3로 전환하지 말 것을 권합니다. 둘째, K3는 길고 어려운 과제에 특화되어 훈련된 탓에, 사소한 문제나 모호한 의도를 만나면 사용자를 대신해 예상 밖의 결정을 내리기도 합니다. 명확한 경계 안에서 동작하게 하려면 시스템 프롬프트나 AGENTS.md에 행동 제약을 더 분명히 명시하는 것이 좋습니다. 마지막으로 문샷은 전반적으로 매우 경쟁력 있는 모델임에도, 사용자 경험 측면에서는 Claude Fable 5, GPT 5.6 Sol과 눈에 띄는 격차가 있다는 점을 스스로 인정했습니다.

Kimi K3 기술 블로그

Kimi API 플랫폼

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~