Inkling: Thinking Machines Lab가 처음으로 공개하는 975B 멀티모달 MoE 모델

9bow · 7월 17, 2026, 11:30오후

Inkling 소개

Thinking Machines Lab은 전 OpenAI CTO 미라 무라티(Mira Murati)가 창업한 AI 연구소로, "인간의 의지와 판단을 확장하는 AI" 를 만들겠다는 목표를 내걸고 있습니다. 이들은 그동안 누구나 모델을 커스터마이징할 수 있게 해 주는 파인튜닝 플랫폼 Tinker를 공개하고, 음성과 시각으로 실시간 협업하는 인터랙션 모델(Interaction Models) 시스템을 선보였으며, 모듈러 매니폴드를 비롯한 학습 방법론 연구를 이어 왔습니다. 이번에는 한 걸음 더 나아가, 처음부터 직접 학습하고 전체 가중치를 공개한(open-weights) 첫 파운데이션 모델 Inkling 을 2026년 7월 15일 내놓았습니다.

Inkling은 총 975B(활성 41B) 파라미터 규모의 전문가 혼합(Mixture-of-Experts, MoE) 트랜스포머로, 최대 100만(1M) 토큰의 컨텍스트를 지원합니다. 텍스트, 이미지, 오디오, 비디오를 아우르는 45조(45T) 토큰으로 사전 학습되었고, 텍스트뿐 아니라 이미지와 음성을 네이티브(native)로 추론합니다. 여기에 비용과 성능을 저울질할 수 있는 조절 가능한 사고 노력(Controllable Thinking Effort) 기능이 더해져, 같은 모델을 상황에 따라 가볍게도 깊게도 굴릴 수 있습니다. 함께 공개된 경량 버전 Inkling-Small(총 276B, 활성 12B) 프리뷰도 유사한 레시피로 학습되어 더 낮은 비용과 지연으로 준수한 성능을 내는데, 자세한 내용은 뒤에서 따로 살펴봅니다.

주목할 점은 Thinking Machines Lab이 스스로도 밝히듯 "Inkling이 오늘날 존재하는 가장 강력한 모델은 아니다" 라는 대목입니다. 이 모델의 지향점은 단일 벤치마크 1위가 아니라, 커스터마이징을 위한 좋은 기반 모델이 되는 것입니다. 멀티모달 능력, 효율적인 사고, 그리고 Tinker 위에서의 손쉬운 파인튜닝이라는 조합이 그 근거입니다. 실제로 이들은 커스터마이징이 어떤 모습인지 보여주기 위해, Tinker를 이용해 Inkling이 스스로를 파인튜닝하도록 했습니다. 모델이 자기 파인튜닝 잡을 직접 작성하고, 실행하고, 결과를 평가하는 데모를 OpenCode 하네스 안에서 시연한 것입니다. Inkling은 앞으로 계속 확장해 나갈 모델 패밀리의 첫 번째 릴리스입니다.

한눈에 보는 Inkling

모델 유형: 멀티모달 자기회귀(Autoregressive) 트랜스포머, 66층 디코더 전용(decoder-only) 구조
파라미터: 총 975B, 토큰당 활성 41B (전문가 혼합)
컨텍스트 길이: 최대 100만(1M) 토큰
입력 모달리티: 텍스트(UTF-8), 이미지(40px~4096px), 오디오(16kHz WAV, 20분 이내 권장) / 출력: 텍스트
사전 학습 데이터: 텍스트, 이미지, 오디오, 비디오 45조(45T) 토큰
수치 표현(Numerics): BF16, MXFP8, NVFP4
라이선스: Apache 2.0 (연구, 상업적 이용 모두 자유)
배포: Hugging Face 가중치 다운로드, Tinker 파인튜닝, 서드파티 추론 제공사 API
학습 하드웨어: NVIDIA GB300 NVL72 시스템

하나의 벤치마크가 아니라 폭넓은 균형을 노린 모델

대부분의 신규 모델 발표가 특정 벤치마크의 최고 점수를 강조하는 것과 달리, Inkling은 제너럴리스트(Generalist) 를 표방합니다. Thinking Machines Lab은 에이전트, 추론, 코딩, 지시 따르기, 사실성(factuality), 비전, 오디오에 걸쳐 두루 학습시켰고, 한 도메인에 좁게 최적화하지 않았습니다. 이런 폭(breadth)이 중요한 이유는 커스터마이징과 실사용에 있습니다. 사용자마다 필요한 워크플로우가 제각각이기 때문에, 벤치마크 하나에서만 빛나는 모델보다 여러 방향으로 유연하게 적응할 수 있는 모델이 파인튜닝의 출발점으로 더 낫다는 판단입니다.

이러한 맥락에서 원문은 Inkling을 여러 오픈 웨이트, 클로즈드 웨이트 모델(Nemotron 3 Ultra, GLM 5.2, GPT 5.6 Sol, Claude Fable 5 등)과 텍스트, 에이전트, 멀티모달, 오디오 평가에 걸쳐 나란히 놓습니다. 아래 레이더 차트에서 짙은 코발트색으로 그려진 것이 Inkling인데, 특정 방향으로만 뾰족하게 뻗기보다 열 개 축에 걸쳐 비교적 고르게 채워진 형태를 볼 수 있습니다.

요지는 "한 벤치마크 계열에 좁게 최적화된 모델이 아니라, 여러 도메인과 제품에 걸쳐 커스터마이징할 수 있는 실용적 멀티모달 파운데이션 모델" 이라는 것입니다. 아래에서는 그 폭을 이루는 핵심 축들을 하나씩 살펴봅니다.

조절 가능한 사고 노력: 성능과 비용을 잇는 다이얼

Inkling의 가장 실용적인 특징 하나는 사고 노력(thinking effort) 을 하나의 실수(float) 값으로 조절할 수 있다는 점입니다. 0.0 이상 1.0 미만의 값을 지정하면, 값이 클수록 모델이 더 많이 추론하도록 유도됩니다. 이는 OpenAI 호환 API의 reasoning_effort 프리셋과 동일한 스칼라 값을 사용합니다.

프리셋	none	minimal	low	medium	high (기본)	xhigh
effort 값	`0.0`	`0.1`	`0.2`	`0.7`	`0.9`	`0.99`

이 기능이 중요한 까닭은, 특정 작업에 모델을 파인튜닝하는 개발자에게 최대 성능만큼이나 효율이 중요하기 때문입니다. 비용과 지연(latency)은 실제 애플리케이션에서 종종 결정적인 제약이고, 특히 낮은 지연은 반복을 통한 협업과 개선을 가능하게 합니다. 아래 차트는 Inkling의 effort 값을 0.2에서 0.99까지 훑으면서(sweep), 생성 토큰 수 대비 성능이 어떻게 변하는지를 에이전틱 코딩(Terminal Bench 2.1), 고난도 추론(HLE), 지시 따르기(IFBench)에서 보여줍니다.

핵심 결과는 같은 점수를 더 적은 토큰으로 달성한다는 것입니다. 예를 들어 Terminal Bench 2.1에서 Inkling은 Nemotron 3 Ultra와 같은 성능을 대략 3분의 1의 토큰으로 도달합니다(다만 이 스윕의 HLE 점수는 초기 체크포인트 기준이라 최종 릴리스보다 약간 낮게 나온다고 원문은 덧붙입니다). 수백만 번씩 호출되고 긴 워크플로우의 일부로 동작하는 모델에서 비용 곡선 전체를 놓고 보면, 개발자는 각 용도에 가장 알맞은 지점을 직접 고를 수 있습니다. 이 사고 노력 조절 능력은 강화 학습(Reinforcement Learning) 과정에서, 시스템 메시지를 바꾸고 토큰당 비용을 조정해 서로 다른 rollout에서 다른 양의 토큰을 쓰도록 유도함으로써 학습되었습니다.

텍스트, 이미지, 음성을 함께 이해하는 네이티브 멀티모달

Inkling의 설계 목표 중 하나는 Thinking Machines Lab이 앞서 소개한 인터랙션 모델 시스템에서 배경 추론 모델(background reasoning model) 로 동작하는 것입니다. 사용자가 음성과 시각으로 실시간 협업하려면, 폭넓은 멀티모달 능력을 네이티브로 갖춘 모델이 필요합니다.

그래서 멀티모달 구성요소는 일반 도메인 데이터로 처음부터(from scratch) 학습되었고, 인터랙션 모델 설계와 일관되게 인코더 프리(encoder-free) 아키텍처를 택했습니다. 오디오 신호는 dMel 스펙트로그램으로 입력되고, 이미지는 40x40 픽셀 패치로 인코딩되어 4층 hMLP를 거칩니다. 두 신호 모두 가벼운 임베딩 레이어를 통해 변환되어 텍스트 토큰과 함께 처리됩니다.

오디오 관련 논문: dMel(dMel: Speech Tokenization made Simple, Richard He Bai et al., 2024)
[2407.15835] dMel: Speech Tokenization made Simple
비전 관련 논문: hMLP(Three things everyone should know about Vision Transformers, Hugo Touvron et al., 2022)
[2203.09795] Three things everyone should know about Vision Transformers

Inkling은 음성을 전사(transcribe)하고, 음성 지시를 따르며, 녹음에 대해 질의응답하고, 긴 오디오를 추론할 수 있습니다. 이 능력들은 VoiceBench, MMAU, AudioMC에서 Inkling을 가장 강력한 오픈 웨이트 오디오 모델의 반열에 올려놓습니다. 비전에서는 이미지를 입력받아 시각적 내용을 설명하고, 질문에 답하며, 제공된 시각 정보에 근거해 깊이 있는 추론을 수행합니다. 특히 차트, 다이어그램, 수학적 시각 추론에서 강한 성능을 보이며, 추론 중에는 Python 도구를 활용해 확대(zoom)나 크롭(crop) 같은 조작으로 이미지 이해를 보완하면서 시각적 추론과 코드 기반 추론을 매끄럽게 결합합니다.

아래는 오픈 웨이트, 클로즈드 웨이트 전문 옴니(omni) 모델과 비교한 오디오, 비전 벤치마크입니다(effort=0.99 기준).

벤치마크	Inkling	Qwen3-Omni	Nemotron-3 Nano-Omni	Qwen3.5 Omni-Plus	Gemini 3.1 Pro (high)
Audio MC	56.6%	24.3%	23.2%	37.6%	66.8%
MMAU	77.2%	77.5%	76.7%	81.1%	82.5%
VoiceBench	91.4%	88.8%	89.4%	92.4%	94.3%
MMMU Pro (Standard 10)	73.5%	60.0%	53.0%	71.0%	82.0%
Charxiv RQ	78.1%	61.1%	63.6%	72.5%	80.2%
Charxiv RQ (with python)	82.0%	-	-	-	89.9%

Thinking Machines Lab은 이번 릴리스가 첫걸음인 만큼 멀티모달 능력이 아직 확장 여지가 크다고 보며, 이후 모델과 학습 파이프라인을 키워 가면서 계속 개선될 것으로 기대한다고 밝혔습니다.

에이전틱 코딩과 도구 사용, 그리고 데모들

파인튜닝의 좋은 기반이 되려면 다양한 작업을 에이전틱 도구 사용(agentic tool use) 으로 유연하게 풀어낼 수 있어야 합니다. Inkling은 대부분의 에이전틱 벤치마크에서 오픈 웨이트 모델 중 좋은 점수를 냅니다. Thinking Machines Lab은 Inkling을 여러 코딩, 에이전트 하네스 안에서 돌아가도록 학습시켰고, 특정 하네스에 대한 민감도를 줄이기 위해 학습 중 도구 집합과 스키마를 무작위화(randomize) 했습니다. 앞서 설명한 사고 노력 조절도 하네스 안에서 지정할 수 있습니다.

원문은 몇 가지 데모로 이 능력을 보여줍니다.

한 번에 만든 웹 앱과 임베디드 브라우저 사용: Inkling은 단 한 번의 프롬프트로 동작하는 채용 지원(job-application) 웹 앱을 만들고, 이어서 저장된 프로필로 폼을 채우는 브라우저 사용 에이전트(browser-use agent)를 그 인터페이스 위에서 자연어 지시로 구동합니다.

긴 개선 루프로 만든 멀티플레이어 게임: Inkling은 리뷰어 역할을 맡은 GPT Codex의 피드백을 40번 반복(iteration)하며 온라인 뱀 게임을 다듬었습니다. 실시간 서버, 봇, 리더보드까지 갖춘 결과물로, 피드백을 통해 긴 개선 과정을 지속하는 능력은 최고의 협업 결과물을 만드는 데 핵심입니다.

이 밖에도 정확한 지시 따르기와 일관된 스타일을 유지하며 9페이지짜리 음식, 여행 저널 PDF 같은 다중 페이지 산출물(artifact)을 만들어 내는 데모도 함께 공개되었습니다. 사람 평가자가 생성된 웹 앱을 블라인드로 맞비교하는 Design Arena의 Agentic Web Dev 리더보드에서도 Inkling(1257점)은 오픈 웨이트 모델 중 상위권에 자리했습니다.

사실을 다루는 태도: 캘리브레이션, 지시 따르기, 검열 저항

Thinking Machines Lab은 캘리브레이션(calibration), 지시 따르기, 검열 저항(resistance to censorship)을 묶어 모델의 에피스테믹스(Epistemics), 즉 지식을 다루는 태도라고 부르며 이를 별도로 학습시켰습니다. 사실을 제대로 다루는 일은 방대한 지식을 외우는 것 이상을 요구합니다. 유용한 모델은 아직 확정되지 않은 질문에 대해서도 적절한 만큼의 확신을 표현할 줄 알아야 하며, 이는 예측(forecasting)처럼 중요한 활용처의 핵심 능력이기도 합니다. 실제로 예측 과제에 파인튜닝된 모델들은 최근 빠르게 개선되며 프런티어 LLM을 앞서기도 했습니다.

예측은 여러 정보를 통합해 잘 보정된 확률로 만들어 내는 능력을 요구합니다. 모든 답에 자신만만한 모델은, 정보가 부족해 지어내는(confabulate) 순간에도 확신에 차 있어 사용자가 매번 재확인하게 만듭니다. Thinking Machines Lab은 방대한 실제 해결형(resolved) 질문 코퍼스에 대해 적정 점수 규칙(proper scoring rules) 을 상대로 강화 학습을 수행해 캘리브레이션을 학습시켰습니다. 아래는 예측, 캘리브레이션 벤치마크 성적입니다.

벤치마크	Inkling	GPT-5.5	Claude Opus 4.8	Gemini 3.1 Pro	Grok 4.3	Kimi K2.6
ForecastBench Brier Index ↑ (검색 없음)	61.1	59.1	54.6	61.1	61.7	58.1
ForecastBench Brier Index ↑ (검색 사용)	63.7	64.7	58.6	64.3	63.2	-
Prophet Arena Brier Score ↓	0.1617	0.1598	0.1605	0.1594	0.1715	0.1675

이 예측, 캘리브레이션 결과는 2026년 6월 30일부터 7월 13일 사이에, 실제 릴리스된 것과는 다른 Inkling 체크포인트로 측정된 값이라는 점을 원문은 함께 밝히고 있습니다.

신뢰할 수 있는 모델의 두 번째 축은 검증이 어려운 복잡한 질의에서도 지시를 따르는 능력입니다. Thinking Machines Lab은 두 개의 자동 채점기로 강화 학습을 진행했습니다. 루브릭 채점기(rubric grader) 는 좋은 답이 담아야 할 체크리스트에 응답을 대조하고, 주장 채점기(claims grader) 는 응답 속 각 사실 주장을 에이전틱 웹 검색으로 검증해 확인되지 않는 주장에 벌점을 매깁니다. 두 채점기를 함께 쓰면 도움됨(helpfulness)과 환각 감소를 맞바꾸지 않고 동시에 개선할 수 있습니다. 여기에 더해, 답이 맞을 것 같을 때만 이득이 되도록 설계한 회피 인식 보상(abstention-aware rewards) 기반의 단답형 사실 QA 데이터를 추가해, 확신이 없으면 "모르겠습니다" 라고 하거나 신중한 추정을 내놓도록 학습시켰습니다.

마지막으로 Inkling은 검열 대상이 될 수 있는 주제에도 직접 답하도록 학습되었습니다. Cognition이 자사의 Propaganda and Censorship Eval로 평가한 결과, Inkling은 검열 비순응(censorship non-compliance) 패턴을 강하게 보였습니다.

오픈 웨이트 모델의 안전성

오픈 웨이트 모델에서 안전성은 특히 중요합니다. Thinking Machines Lab은 모든 모달리티에 걸친 내부 안전 사양(spec)에 맞춰 Inkling을 학습시킨 뒤, 외부 안전 테스터에게 결과 검증을 의뢰했습니다. 위험한 능력(CBRN, 사이버, 통제 상실)에 대해서는 내부 평가와 외부 테스터를 함께 동원했고, 아첨(sycophancy), 취약한 사용자, 유해한 조작 같은 인간-AI 위협 벡터도 점검했습니다. 특히 통제 상실(loss of control) 항목에서는 에이전틱 능력, 전략적 기만, 사보타주 가능성을 공개 프런티어 모델과 견줘 평가했는데 Inkling은 프런티어 수준에 크게 못 미쳤고, 전 영역을 종합해 "Inkling이 이미 공개된 오픈 웨이트 생태계에 존재하는 수준 이상의 위험을 초래하지 않는다" 고 결론지었습니다.

벤치마크	Inkling	Nemotron 3 Ultra	Kimi K2.6	GLM 5.2	DeepSeek V4 Pro
FORTRESS (Adversarial)	78.0%	77.6%	65.6%	71.3%	36.0%
FORTRESS (Benign)	95.9%	90.5%	97.2%	90.0%	98.5%
StrongREJECT	98.6%	98.7%	99.8%	98.5%	98.6%

무기, 폭력 관련 요청 거부와 그와 닮은 무해한(benign) 질의를 함께 시험하는 FORTRESS 벤치마크에서 Inkling은 비교된 오픈 웨이트 모델 중 가장 강한 내장 안전장치를 보였습니다. 무해한 유사 질의를 과도하게 거부하지 않으면서도 유해 요청을 더 많이 거부했고, 명백히 유해한 요청을 거부하는 StrongREJECT에서도 98%를 넘겼습니다.

다만 모델 카드는 롤플레이나 간접적으로 표현된 프롬프트에 이따금 응하는 잔여 위험이 남아 있으며, 이는 여느 오픈 웨이트 모델과 다르지 않다고 솔직히 밝힙니다. Thinking Machines Lab은 모델의 거부에만 기대기보다 심층 방어(defense-in-depth) 를 권하며, Llama Guard 같은 다운스트림 조정 도구를 Inkling 주위에 겹겹이 두어 탈옥 시도를 잡고 유해 출력을 걸러 낼 것을 권장합니다.

Inkling은 어떻게 만들어졌는가

아키텍처: 효율과 장문 성능을 노린 선택들

Inkling은 흔한 레시피에서 몇 가지 지점을 의도적으로 바꾼 전문가 혼합 트랜스포머입니다. MoE 설계는 대체로 DeepSeek-V3를 따릅니다. 각 MoE 층은 256개의 라우팅 전문가(routed experts)와 2개의 공유 전문가(shared experts)를 두고, 토큰마다 6개의 라우팅 전문가를 활성화합니다. 라우터는 시그모이드(sigmoid) 기반이며, 보조 손실 없이(auxiliary-loss-free) 부하를 분산하는 편향(bias)을 사용합니다. 선택된 라우팅 전문가와 공유 전문가의 점수는 함께 정규화되어, 두 출력을 결합하는 가중치로 쓰입니다.

어텐션에서는 슬라이딩 윈도우(sliding-window) 층과 글로벌(global) 층을 5:1 비율로 교차 배치하고 8개의 KV 헤드를 씁니다. 위치 정보는 널리 쓰이는 회전 위치 임베딩(RoPE, Rotary Positional Embedding) 대신 상대 위치 표현(Music Transformer 계열)으로 인코딩하는 편이 더 나은 성능과 긴 시퀀스로의 외삽(extrapolation)을 보인다고 합니다. 또한 어텐션 층의 키, 값 프로젝션 뒤와, 어텐션 및 MLP 잔차 분기(residual branch) 출력이 메인 잔차 스트림에 합류하기 전 두 지점에 짧은 컨볼루션(short convolution)을 적용합니다.

학습: Muon과 Adam의 하이브리드

Inkling은 45조 토큰으로 사전 학습되었으며, 큰 행렬 가중치에는 Muon, 그 외 파라미터에는 Adam을 쓰는 하이브리드 최적화 전략을 사용했습니다. 하이퍼파라미터 스케줄은 모듈러 매니폴드 연구에서 영감을 받았고, 가중치 감쇠(weight decay) 강도를 학습률의 제곱에 연동시켜 학습 구간 전반에서 가중치 크기를 안정적으로 유지했습니다(관련하여 Kosson et al. (2023), Defazio (2025)).

사후 학습(post-training)은 수학, 에이전틱 코드 및 도구 사용, 오디오, 이미지, 채팅, 안전 도메인의 폭넓은 분포에서 이루어졌습니다. 부트스트랩을 위해 Kimi K2.5를 비롯한 오픈 웨이트 모델이 생성한 합성 데이터로 초기 SFT를 돌렸는데, 이 부트스트랩은 전체 컴퓨트의 작은 비중만 차지하고 대부분은 합성 및 사람 제작 환경에서의 대규모 강화 학습에 투입되었습니다.

규모의 강화 학습, 그리고 뜻밖의 부작용

Thinking Machines Lab은 모델 행동을 다듬고 추론 성능을 끌어올리기 위해 대규모 비동기 강화 학습(asynchronous RL) 에 의존했습니다. RL은 3천만(30M) 회 이상의 rollout 으로 확장되었고, 두 번의 길고 연속적인 실행에서 안정적으로 유지되었습니다. AIME, HLE, GPQA 등을 묶은 홀드아웃(held-out) 추론 평가에서 보상은 SFT 초기화부터 최종 체크포인트까지 로그-선형(log-linear) 으로 개선되었습니다.

흥미로운 부작용도 관찰되었습니다. RL이 진행되면서 추론 스타일이 점점 간결해지는 창발적(emergent) 변화가 나타난 것입니다. 사고 사슬(Chain-of-Thought)은 문법적 군더더기를 덜어 내면서도 이해 가능성은 유지했고, 최종 응답에는 영향을 주지 않았습니다. 이는 보상이 직접 겨냥한 것이 아니라 효율만으로 압축이 일어난 결과입니다. 원문은 같은 수학 문제에 대해, RL 초기의 장황하고 문법적인 사고 사슬이 후기에는 관사와 접속사를 덜어 낸 전보체로 바뀌는 예시를 보여줍니다(예: "We need to understand" 가 "We need determine" 로). Cognition 팀도 SWE-1.7 학습 과정에서 비슷한 현상을 보고한 바 있습니다.

벤치마크 종합 성적표

아래는 Inkling(effort=0.99, temperature 1.0)을 주요 오픈 웨이트, 클로즈드 웨이트 모델과 비교한 대표 벤치마크입니다. 일관성을 위해 일부 평가는 Artificial Analysis가 외부 보고한 점수를 사용했습니다. 벤치마크 점수는 시스템 프롬프트, max_tokens, temperature 등 평가 설정에 민감하므로 절대적 수치보다 경향으로 읽는 편이 좋습니다.

벤치마크	Inkling	Nemotron 3 Ultra	Kimi K2.6	GLM 5.2	DeepSeek V4 Pro	Gemini 3.1 Pro	GPT 5.6 Sol
HLE (텍스트)	29.7%	26.6%	35.9%	40.1%	35.9%	44.7%	47.2%
HLE (도구 사용)	46.0%	37.4%	54.0%	54.7%	48.2%	51.4%	55.0%
AIME 2026	97.1%	94.2%	96.4%	99.2%	96.7%	98.3%	99.9%
GPQA Diamond	87.2%	86.7%	91.1%	89.5%	88.8%	94.1%	94.1%
SWEBench Verified	77.6%	70.7%	80.2%	80.0%	80.6%	80.6%	82.2%
Terminal Bench 2.1	63.8%	56.4%	71.3%	82.7%	64.0%	73.8%	89.5%
MCP Atlas	74.1%	44.7%	68.1%	77.8%	73.2%	78.2%	81.8%
SimpleQA Verified	43.9%	32.4%	38.7%	38.1%	57.0%	77.3%	71.6%
IFBench	79.8%	81.4%	76.0%	73.3%	76.5%	77.1%	72.7%
Global-MMLU-Lite	88.7%	85.6%	88.4%	89.2%	89.3%	92.7%	91.8%

성적표를 보면 Inkling은 프런티어 클로즈드 모델에는 미치지 못하지만, 지시 따르기(IFBench)에서는 여러 상위 모델을 앞서는 등 특정 축에서 강점을 보이고, 무엇보다 오픈 웨이트 진영에서 폭넓게 균형 잡힌 위치를 차지합니다. Thinking Machines Lab의 표현대로, "하나의 벤치마크 계열에 좁게 최적화된 모델이 아니라" 커스터마이징의 출발점을 노린 설계가 수치에서도 드러납니다.

더 작고 효율적인 형제, Inkling-Small

Inkling과 함께 프리뷰로 공개된 Inkling-Small 은 총 276B(활성 12B) 규모의 전문가 혼합 모델로, 형 모델(활성 41B)과는 다른 성능, 지연 트레이드오프를 노립니다. 흥미로운 점은 이 작은 모델이 여러 벤치마크에서 형과 대등하거나 오히려 앞선다는 것인데, 이는 소형 모델을 위해 사전 학습 데이터와 레시피를 개선한 결과입니다. 두 모델은 동일한 확장형 사후 학습 스택을 공유합니다.

벤치마크	Inkling (활성 41B)	Inkling-Small (활성 12B)
HLE (텍스트)	29.7%	29.6%
GPQA Diamond	87.2%	88.3%
SWEBench Verified	77.6%	77.4%
Terminal Bench 2.1	63.8%	52.7%
MCP Atlas	74.1%	74.9%
SimpleQA Verified	43.9%	20.9%
IFBench	79.8%	83.4%
VoiceBench	91.4%	90.0%
FORTRESS (Adversarial)	78.0%	75.6%

성적표에서 드러나듯 Inkling-Small은 GPQA Diamond, MCP Atlas, IFBench에서는 형을 앞서지만, 긴 에이전틱 코딩(Terminal Bench 2.1)이나 단답형 사실성(SimpleQA Verified)에서는 뒤처지는 등 뚜렷한 강약점을 보입니다. 12B 활성 파라미터와 조절 가능한 사고 노력 덕분에, 코딩이나 LLM을 활용한 채점, 다른 모델 학습용 합성 데이터 생성처럼 비용과 지연이 중요한 워크로드에 잘 맞습니다. Thinking Machines Lab은 Inkling-Small의 테스트를 마무리하는 대로 전체 가중치를 공개할 예정입니다.

직접 실행하고 파인튜닝하기: Tinker와 오픈 웨이트

Inkling을 활용하는 길은 크게 두 가지입니다. 하나는 Thinking Machines Lab의 파인튜닝 서비스 Tinker를 통하는 것이고, 다른 하나는 Hugging Face에서 가중치를 받아 직접 서빙하는 것입니다.

많은 실무 문제는 최고의 제너럴리스트 모델로도 잘 풀리지 않고, 그 격차는 조직의 전문 지식을 활용한 파인튜닝으로 메워집니다. Thinking Machines Lab은 대규모 RL 경험과 사후 학습 결과에 비추어 Inkling이 파인튜닝으로 빠르게 학습할 수 있는 모델이라고 봅니다. Inkling은 오늘부터 Tinker에서 64K, 256K 컨텍스트 옵션으로 제공되며, 기간 한정 50% 할인이 적용됩니다(요금 정보는 문서 참고). 본격적인 학습에 들어가기 전에 모델을 먼저 체험해 보고 싶다면, 통합 에이전틱 웹 검색을 갖춘 채팅 인터페이스인 Inkling Playground를 Tinker 콘솔에서 기간 한정 무료로 써 볼 수 있습니다.

직접 실행에 필요한 하드웨어는 체크포인트 형식에 따라 다릅니다. BF16 체크포인트는 최소 2TB의 통합 VRAM(NVIDIA B300 8장 또는 H200 16장)이 필요합니다. 양자화된 NVFP4 체크포인트는 요구량을 최소 600GB로 낮춰, B300 4장(W4A4, SM100+ 아키텍처 필요) 또는 H200 8장(W4A16)에서 돌릴 수 있습니다. 추론 배포 프레임워크로는 SGLang, vLLM, TokenSpeed, Unsloth, Hugging Face Transformers 중 하나를 쓸 수 있습니다.

Tinker에서의 파인튜닝은 tinker-cookbook을 통해 이뤄집니다. inkling 엑스트라로 설치하면 Inkling의 렌더러와 스크립트가 의존하는 tml-renderers 패키지(및 torch>=2.10)가 함께 설치됩니다.

uv pip install 'tinker-cookbook[inkling]'

이후 기존 Cookbook 워크플로우에서 모델 이름만 지정하면 적절한 렌더러와 토크나이저가 자동 선택됩니다.

model_name = "thinkingmachines/Inkling"

사고 노력은 렌더러에 effort 값을 넘겨 조절합니다. 값을 생략하면 high(0.9)가 사용되며, 렌더러가 첫 비-시스템 메시지 앞에 Thinking effort level 시스템 메시지를 자동으로 삽입합니다(직접 추가하지 않도록 주의).

from tinker_cookbook.renderers import Message
from tinker_cookbook.renderers.tml_v0 import TmlV0Renderer
from tinker_cookbook.tokenizer_utils import get_tokenizer

renderer = TmlV0Renderer(get_tokenizer("thinkingmachines/Inkling"))
messages = [Message(role="user", content="Solve this problem step by step.")]
prompt = renderer.build_generation_prompt(messages, effort=0.9)

tinker-cookbook은 이 밖에도 채팅 SFT, 수학, 코드 RL, 선호 학습(DPO/RLHF), 지식 증류(distillation), 도구 사용, 멀티 에이전트, 오디오, 비전-언어 분류 등 다양한 레시피를 제공하며, 이번 릴리스에 맞춰 Inkling의 오디오 능력을 보여주는 새 레시피 3종과, 도구 호출, 추론 콘텐츠, 멀티모달 입력을 안정적으로 샘플링, 학습하기 위한 tml-renderers 패키지가 추가되었습니다. Claude Code용 스킬까지 함께 배포해 파인튜닝 코드 작성을 돕습니다.

생태계 전반의 배포 지원: Tinker에서 파인튜닝한 체크포인트를 실제 서비스에 올릴 수 있도록, Inkling은 TogetherAI, Fireworks, Modal, Databricks, Baseten의 API로도 제공됩니다. 추론, 강화 학습 오픈소스 지원은 RadixArk와 함께 SGLang, Miles에, vLLM 추론은 Inferact와, TokenSpeed 추론은 Lightseek와, llama.cpp 추론은 Unsloth와, Transformers 통합은 Hugging Face와 협업해 마련했습니다. Hugging Face에는 원본 체크포인트와 함께, NVIDIA Blackwell 시스템에서 효율적으로 추론할 수 있는 NVFP4 체크포인트가 함께 올라와 있습니다.

라이선스

Inkling은 Apache License 2.0으로 배포되고 있어, 연구 목적은 물론 상업적 용도로도 자유롭게 사용 및 수정이 가능합니다. 다만 Thinking Machines Lab은 별도의 Model Acceptable Use Policy를 두고 있으므로, 배포 시 함께 확인하시기 바랍니다.

Inkling 소개 블로그

Inkling 모델 카드

Inkling 모델 (Hugging Face)

tinker-cookbook GitHub 저장소

Tinker Inkling 사용 문서

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~