Cognition, Kimi K3 기반 코딩 모델 SWE-2 공개: Fable 5.1과 1점 차, 비용은 64% 절감

9bow · 9월 12, 2026, 1:30오전

SWE-2 소개: 코딩 모델의 경쟁 축이 점수에서 비용 대비 성능으로

Cognition이 현지 시간 2026년 9월 10일 자사의 코딩 특화 모델 SWE-2 를 공개했습니다. 핵심 수치는 FrontierCode 1.1 Main에서 50.0%입니다. 같은 벤치마크에서 Claude Fable 5.1이 기록한 50.9%에 1점이 채 못 미치지만, 롤아웃 한 번에 드는 평균 비용은 64% 낮습니다. Cognition은 이 결과를 두고 파레토 프론티어(Pareto Frontier), 즉 더 싸게 만들려면 성능을 포기해야 하는 경계선 자체를 밀어냈다고 표현합니다.

Cognition은 자율 소프트웨어 엔지니어를 표방하는 Devin을 만든 회사입니다. 이 회사는 모델을 평가하는 쪽과 학습하는 쪽 양쪽에 자산을 쌓아 왔는데, 평가 쪽이 FrontierCode이고 학습 쪽이 SWE 시리즈입니다. FrontierCode는 단순히 테스트가 통과하는지가 아니라 저장소 관리자가 이 PR을 실제로 병합하겠는가 를 묻는 벤치마크입니다. 과제는 그 코드가 나온 저장소의 오픈소스 관리자가 직접 만드는데, 20명이 넘는 개발자가 과제 하나에 40시간 이상을 들였고 무엇을 병합 가능하다고 볼지도 이들이 정의합니다. 채점에는 단위 테스트와 루브릭, 새로 만든 검증기를 함께 써서 정확성뿐 아니라 테스트 품질, 범위 준수, 코드베이스 규약 준수까지 봅니다. 이 벤치마크가 어떻게 설계되었는지는 커뮤니티에 정리된 FrontierCode 소개 글에서 더 자세히 보실 수 있습니다.

SWE-2가 기술적으로 흥미로운 지점은 밑바탕이 자체 사전 학습 모델이 아니라는 데 있습니다. 이 모델은 Moonshot AI가 공개한 2.8조 파라미터 오픈 웨이트 모델 Kimi K3에서 사후 학습(Post-training) 으로 출발했습니다. K3는 토큰마다 896개의 라우팅 전문가 중 16개만 활성화하는 MoE 구조라 전체 2.8조 파라미터 가운데 1,040억 개만 실제 계산에 참여하고, 전체 가중치가 공개돼 있습니다. Cognition은 SWE-1.7에서 쌓은 학습 인프라와 레시피를 토대로 삼았고, 강화학습을 수조 파라미터 규모까지 끌어올린 것은 이번이 처음이라고 밝혔습니다. K3는 이미 에이전틱 코딩을 겨냥한 강화학습을 광범위하게 거친 모델인데도, Cognition의 추가 강화학습이 여러 벤치마크에서 5점에서 6점을 더 얹었습니다. 오픈 웨이트 모델 위에 얼마나 더 쌓을 수 있는지를 보여주는 사례인 셈입니다. Kimi K3 자체의 아키텍처와 학습 레시피는 커뮤니티의 K3 기술 문서 분석 글에 정리되어 있습니다.

그리고 이번 발표에서 Cognition이 방법론으로 내세우는 것은 하나의 강화학습 런에서 모든 추론 노력(Reasoning Effort) 수준을 동시에 학습하는 방식 입니다. 보통 medium, high, max 같은 추론 노력 단계는 별도로 튜닝하거나 별개의 전문가 모델을 만들어 합치는 식으로 다루는데, Cognition은 각 단계마다 선형 비용 페널티를 하나씩 두고 그 값을 베이스 모델 파레토 곡선의 국소 기울기에 맞추는 것만으로, 곡선의 형태를 유지한 채 전체를 위로 밀어 올렸다고 설명합니다. 페널티를 사용자가 실제로 지불하는 비용에 최대한 가깝게 두는 것도 설계 목표였습니다. 아래 그림은 학습이 진행되면서 medium, high, max 세 점이 그리는 곡선이 통째로 왼쪽 위로 이동하는 과정을 보여줍니다.

SWE-2는 공개 당일부터 Devin Desktop과 Devin CLI에서 사용할 수 있으며, Devin Web과 여러 모델을 섞어 쓰는 멀티 모델 하네스인 Devin Fusion에는 순차 적용 중입니다.

벤치마크로 본 SWE-2의 위치: 상위권 점수와 3분의 1 수준의 비용

Cognition이 공개한 코딩 벤치마크 결과는 아래와 같습니다. 비교 대상은 베이스 모델인 Kimi K3, xAI의 Grok 4.6, Anthropic의 Fable 5.1, OpenAI의 GPT-5.6 Sol과 GPT-6 Astra, 그리고 직전 모델인 SWE-1.7입니다. 표에 쓰인 네 벤치마크 중 FrontierCode는 Cognition이 직접 만든 것이고, Terminal-Bench는 터미널 환경에서의 에이전트 과제를 다루는 공개 벤치마크입니다. DeepSWE 1.1은 원문에서 별도 설명 없이 결과만 제시됩니다.

벤치마크	SWE-2	Kimi K3	Grok 4.6	Fable 5.1	GPT-5.6 Sol	GPT-6 Astra	SWE-1.7
FrontierCode 1.1 Main	50.0%	44.2%	48.0%	50.9%	47.5%	53.3%	42.0%
DeepSWE 1.1	73.0%	68.5%	67.5%	67.4%	72.7%	74.1%	37.7%
Terminal-Bench 2.1	92.8%	88.3%	88.4%	91.4%	88.8%	89.9%	81.5%
Terminal-Bench 4	27.3%	21.5%	20.3%	55.8%	37.3%	57.9%	7.6%

위 표를 읽을 때 세 가지를 나누어 보면 좋습니다. 첫째, SWE-2는 Terminal-Bench 2.1에서 92.8%로 표 안의 모든 모델을 앞섭니다. 둘째, FrontierCode 1.1 Main과 DeepSWE 1.1에서는 GPT-6 Astra에 몇 점 뒤지지만 나머지 모델과는 대등하거나 앞섭니다. 셋째, Terminal-Bench 4에서는 27.3%로 Fable 5.1(55.8%)과 GPT-6 Astra(57.9%)에 절반 수준으로 크게 뒤집니다. 원문은 이 항목을 따로 해설하지 않고 표에만 담아 두었지만, 숫자만 놓고 보면 SWE-2는 모든 에이전틱 코딩 과제에서 고르게 강한 모델이 아닙니다. 최신 터미널 과제 세트에서는 상위 모델과의 격차가 여전히 큽니다.

여기에 비용 축을 얹으면 그림이 달라집니다. 아래 산점도는 가로축이 롤아웃당 평균 비용(USD), 세로축이 FrontierCode 1.1 Main 점수이고, 각 모델의 점들은 추론 노력 단계를 따라 이어져 있습니다.

SWE-2의 세 점이 다른 모델들보다 뚜렷하게 왼쪽에 몰려 있습니다. Cognition이 밝힌 기준점을 따라가 보면, Fable 5.1 medium은 3.28달러에 50.9%를 기록하고 SWE-2는 그보다 64% 낮은 비용, 즉 1.2달러 안팎에서 50.0%에 도달합니다. GPT-6 Astra와 비교하면 몇 점 차이를 4분의 1 수준 비용으로 좁히는 셈입니다. Cognition은 이 그림을 두고 SWE-2가 SWE-1.7과 Grok 4.6은 점수와 비용 양쪽에서 앞서고, GPT-5.6 Sol 및 Fable 5 계열과는 훨씬 낮은 가격에 대등한 수준이라고 정리합니다. 참고로 이 차트는 읽기 쉽도록 Fable 5.1 Max(12.83달러에 50.3%)를 생략했는데, Cognition은 그 점이 Fable 5.1 medium보다 비싸면서 점수는 낮으므로 생략해도 결론이 바뀌지 않는다고 밝혔습니다.

다만 비용 축을 읽을 때 전제 하나를 함께 봐야 합니다. Cognition은 모든 모델의 비용을 공개 할인을 포함한 정가(List Pricing) 기준으로 계산했다고 밝혔습니다. 실제 계약 단가나 프로모션 요금이 적용되는 환경에서는 이 비교가 그대로 성립하지 않습니다.

평가 방법론도 함께 봐야 합니다. Cognition은 공개된 점수가 있으면 그것을 쓰고, 없으면 각 모델이 주로 개발된 하네스(Harness)에서 직접 평가했다고 밝혔습니다. Anthropic 모델은 Claude Code, OpenAI 모델은 Codex, xAI 모델은 Grok Build, 오픈 웨이트 모델은 Devin CLI를 사용했고, 모델마다 추론 노력 설정 중 가장 높은 점수를 보고했습니다. 모델과 하네스의 조합이 결과를 얼마나 흔드는지는 Artificial Analysis의 코딩 에이전트 벤치마크 정리에서도 다룬 적이 있는 주제입니다.

탐색을 줄이고 먼저 손을 대는 모델: SWE-1.7에서 달라진 행동

SWE-2의 비용 절감이 단순히 토큰 단가에서 나온 것은 아닙니다. Cognition은 지능과 효율이 맞물려 있다고 설명합니다. 코드베이스의 어느 부분이 이 과제에 실제로 중요한지를 더 잘 판단하면, 불필요한 우회와 중복 읽기가 줄고 결과적으로 같은 일을 더 적은 단계로 끝내게 된다는 것입니다.

숫자로 보면 격차가 큽니다. FrontierCode 1.1 Main의 100개 과제를 모델당 세 번씩 돌려 평균을 낸 결과, SWE-1.7은 실행당 127단계를 쓴 반면 SWE-2 medium은 53단계로 끝냈습니다. 58% 적은 단계로 더 높은 점수를 냈고, 평균 비용은 81% 낮았습니다. 막대를 도구별로 쪼개 보면 줄어든 몫이 어디인지가 드러납니다. 파란색으로 표시된 탐색(read, grep, ls) 구간이 압도적으로 줄었습니다.

Cognition은 직전 모델인 SWE-1.7을 두고 코드베이스를 지나치게 꼼꼼히 훑는 모델이었다고 회고합니다. 그 신중함이 점수에는 도움이 됐지만, 간단한 과제에서도 과하게 탐색하고 과하게 생각한다는 사용자 피드백이 이어졌습니다. SWE-2에서 가장 크게 개선된 지점이 바로 이 집중된 탐색(Focused Exploration) 이고, 그 결과 첫 실질적인 편집을 시작하기까지 걸린 단계 수의 중앙값이 SWE-1.7의 48단계에서 SWE-2 medium의 18단계로 줄었습니다.

내부 테스트에서 관찰된 행동 변화도 함께 공개되었습니다.

테스트 커버리지: 구현을 처음부터 끝까지 검사하는 테스트를 더 잘 작성해서, 회귀와 엣지 케이스를 더 안정적으로 잡아냅니다.
사용자가 그은 경계 안에서의 자원 활용: 명백한 경로가 막히면 같은 답에 이르는 다른 길을 찾으려 합니다. Cognition이 든 사례는 필요한 MCP(Model Context Protocol) 연동을 쓸 수 없게 되자 이미 접근 권한을 갖고 있던 Slack 채널 기록에서 데이터를 재구성한 경우입니다.
검증 규율: 사용자가 반박하면 결론을 되풀이하는 대신 다시 유도합니다. 사용자의 가설에 그냥 동의하지 않고 검증하며, 표면적인 설명을 믿는 대신 산출물을 직접 실행해 증거를 모읍니다.

추론 노력 단계별 차이도 행동으로 나타납니다. medium은 훨씬 빨리 실행에 들어가서 단순하고 중간 난이도인 과제에서 비용 효율이 좋고, high와 max는 계획을 더 세우고 코드베이스를 더 넓게 훑으며 복잡한 검증으로 불확실성을 관리해 어려운 과제에서 우위를 지킵니다.

파레토 프론티어를 통째로 밀어 올리는 보상 설계

여기서부터가 Cognition이 이번 글의 중심으로 삼은 사후 학습 방법론입니다. 모델이 똑똑해질수록 비싸지기 때문에, 코딩 에이전트 분야에서 비용과 성능의 교환 관계는 갈수록 중요해지고 있습니다. 그래서 Cognition은 지능만 최적화하는 대신 모델이 제공하는 비용 대비 성능 선택지 전체를 최적화하는 것을 목표로 삼았습니다.

비교 대상으로 언급된 Kimi K3의 접근은 이렇습니다. 도메인과 추론 노력 단계의 조합마다 별도의 전문가 모델을 학습한 뒤, 다중 교사(Multi-teacher) 온폴리시 증류(Distillation)로 하나의 모델에 합칩니다. 토큰 예산도 문제별로, 학습 단계별로 다르게 줍니다. Cognition은 이런 선택지가 넓고 미묘한 상황에서 하나의 강화학습 런으로 모든 단계를 끝까지 학습하는 단순한 방법을 제시합니다.

보상 함수는 다음과 같습니다.

R = S - \lambda_e C

여기서 S \in \{0, 1\} 은 롤아웃의 성공 여부, C 는 롤아웃의 비용(달러 기준 추론 비용과 소요 시간의 혼합), e 는 추론 노력 단계이고, \lambda_e 는 베이스 모델의 파레토 곡선이 단계 e 지점에서 갖는 기울기에 맞춰 정한 계수 입니다. 하이퍼파라미터처럼 보이지만, Cognition은 두 가지가 모두 목표에서 따라 나오는 논리적 귀결이라고 설명합니다.

왜 비용 페널티는 반드시 선형이어야 하는가

첫 번째는 페널티의 형태입니다. 비용 대비 성능 평면 위의 한 점은 과제 분포의 평균 비용과 평균 해결률로 정해지고, 그 밖의 분포 특성에는 의존하지 않습니다. 따라서 강화학습 목적 함수를 모델의 평면상 위치와 일치시키려면, 보상의 기댓값이 평균 비용과 평균 해결률에만 의존해야 합니다.

Cognition은 부록에서 이 조건이 비용 페널티를 선형으로 강제한다는 것을 증명합니다. 평균을 내기 전에 적용하든 후에 적용하든 같은 결과를 내는 함수는 선형 함수뿐이기 때문입니다. 증명의 뼈대는 옌센의 함수 방정식(Jensen's Functional Equation)으로, 볼록 집합 위의 함수 h 가 h(tx + (1-t)y) = th(x) + (1-t)h(y) 를 만족하는 것은 h 가 어파인(affine) 함수인 경우뿐이라는 사실입니다. 여기에 두 점 지지 분포만 대입해도 결론이 나오므로, 가정은 생각보다 약합니다. 상수항을 버리고 성공 항의 계수를 1로 맞추면 R = S - \lambda C 가 남습니다.

왜 계수는 곡선의 기울기와 같아야 하는가

두 번째는 \lambda_e 의 값입니다. 추론 노력 단계를 하나 고정하고 현재 프론티어 위의 대응점을 (c, s) 라고 하면, 평균 보상은 J = s - \lambda_e c 입니다. 이 값이 일정한 등보상선(iso-reward line)은 s = \lambda_e c + J 이므로 기울기가 \lambda_e 입니다.

왼쪽 그림은 \lambda_\text{high} 를 너무 크게 잡았을 때 벌어지는 일입니다. 모델은 high 단계에서 medium 단계처럼 행동하는 쪽으로 움직이고, 해결률이 떨어져도 비용이 더 크게 줄기 때문에 보상은 올라갑니다. 프론티어는 전혀 개선되지 않았는데 학습 신호만 좋아진 것입니다. 오른쪽 그림처럼 \lambda_\text{high} 가 프론티어의 국소 기울기와 같으면 등보상선이 곡선에 접하게 되고, 이때부터는 보상이 오른다는 것이 곧 프론티어가 개선된다는 뜻이 됩니다.

식으로 정리하면 간단합니다. 프론티어의 국소 기울기를 m 이라 할 때 곡선을 따라 조금 움직이면 해결률은 \Delta s \approx m \Delta c 만큼 변하므로, 평균 보상의 변화는 다음과 같습니다.

\Delta J = \Delta s - \lambda_e \Delta c \approx (m - \lambda_e)\Delta c

따라서 \lambda_e = m 으로 두면 곡선을 따라 미끄러지는 움직임은 일차 근사에서 목적 함수를 바꾸지 못합니다. 남는 보상 증가는 곡선 자체를 위로 밀어 올리는 움직임에서만 나옵니다.

길이 가중 기준선: 추가 연산 없이 학습을 안정화하는 방법

Cognition은 SWE-1.6부터 써 온 보상 기준선(Baseline)도 이번에 함께 공개했습니다. 정책 경사(Policy Gradient) 추정에서 기준선 b 는 다음 추정량에 들어갑니다.

\widehat g = \frac{1}{n}\sum_{i=1}^{n}(R_i - b)\,\nabla_\theta\log\pi_\theta(y_i \mid x)

흔히 쓰는 선택은 \mathbb{E}[(R_i - b)^2] 을 최소화하는 평균 보상 기준선이고, 실제로는 Kool 등이 제안한 그룹 기준선 b = \frac{1}{n}\sum_i R_i 로 추정합니다. 그런데 Cognition이 최소화하려는 대상은 제곱 오차가 아니라 경사 추정량 \widehat g 자체의 분산입니다. Greensmith, Bartlett, Baxter(2004)의 결과를 따르면 최적 기준선은 다음과 같습니다.

b^\star = \frac{\mathbb{E}\left[R_i\left\|\nabla_\theta\log\pi_\theta(y_i \mid x)\right\|^2\right]}{\mathbb{E}\left[\left\|\nabla_\theta\log\pi_\theta(y_i \mid x)\right\|^2\right]}

문제는 분자와 분모에 들어가는 점수 함수 노름의 제곱을 구하려면 롤아웃마다 역전파를 한 번 더 돌려야 한다는 점입니다. Cognition은 이 값이 롤아웃 길이와 강하게 상관된다는 것을 실측으로 확인했습니다. 아래는 Kimi K3 롤아웃 1,000건을 자체 학습 환경에서 돌려 얻은 산점도입니다.

그래서 노름 대신 길이 L_i 를 가중치로 쓰는 훨씬 싼 대용품이 나옵니다. 추가 연산이 전혀 들지 않습니다.

\widehat b = \frac{\sum_{i=1}^{n}R_i L_i}{\sum_{i=1}^{n}L_i}

실제 학습은 오프폴리시 강화학습이라 b^\star 가 엄밀한 의미의 분산 최소화 기준선은 아닙니다. 그럼에도 Cognition의 제거 실험에서 이 기준선은 눈에 띄게 더 안정적이고 성능도 좋았으며, 특히 추론(Inference) 정책과 학습 정책 사이의 KL 발산(Kullback-Leibler Divergence)을 낮게 유지하는 데 도움이 되었습니다.

2.8조 파라미터 모델을 학습시키기 위한 롤아웃 서빙과 수치 정밀도

강화학습의 병목은 학습보다 롤아웃 생성 쪽에 있습니다. Cognition은 롤아웃 시스템을 네 가지 목표로 설계했다고 밝혔습니다. 전체 처리량(Throughput) 최대화, 오래된 샘플을 줄이기 위한 지연 시간 감소, KV(Key-Value) 캐시 용량 안에 머물기, 그리고 추론이 학습과 수치적으로 가깝게 유지되기입니다.

첫 번째로 도입한 것은 프리필 지연기(Prefill Delayer)입니다. 프리필 요청은 서로 다른 시점에 도착하는데, GPU 스케줄러에서 가까운 요청들을 잠시 붙들었다가 묶어 처리하도록 했습니다. GPU당 분당 토큰 수와 요청당 초당 토큰 수가 모두 10%에서 20% 개선되었고, 첫 토큰까지의 시간(TTFT, Time To First Token)이 늘어나는 것은 감수할 만한 교환으로 판단했습니다.

두 번째는 추측 디코딩(Speculative Decoding) 입니다. 초안 모델이 여러 토큰을 먼저 제안하고 정책 모델이 그것들을 한 번에 검증하는 기법으로, Cognition은 DSpark를 사용했습니다. 문제는 강화학습 도중 정책이 계속 바뀌면서 초안이 받아들여지는 길이가 점점 짧아진다는 점입니다.

이 문제에 두 가지로 대응했습니다. SpecForge로 새 DSpark 모델을 학습해 수용 길이를 15% 늘렸고, 초안 모델 학습 자체를 강화학습 시스템 안으로 넣어 정책이 변해도 초안 모델이 계속 따라가도록 만들었습니다. 초안 모델을 대규모로 학습하는 파이토치 생태계 쪽 접근이 궁금하시다면 TorchSpec 소개 글과 하드웨어 인식 동적 추측 디코딩(DSD)을 함께 보셔도 좋습니다.

세 번째는 수치 정밀도입니다. 저정밀도 MoE 추론은 메모리에 더 많은 롤아웃을 담을 수 있게 해 주지만, 추론 정책이 학습기와 어긋나게 만들 위험도 함께 가져옵니다. Cognition은 NVFP4와 FP8 커널을 양자화 인식 학습(Quantization-aware Training)과 함께 쓰고, MLA 계층에서는 K, Q, V와 점수 계산에 FP8을 적용했습니다. 혼합 정밀도를 쓰던 SWE-1.7보다 오히려 단순해진 구성인데, SWE-1.7은 NoPE 성분에 FP8을, RoPE 성분에 BF16을 쓰는 식이었습니다.

이 변경들을 합친 결과, 베이스 모델의 파라미터가 거의 3배로 커졌는데도 SWE-1.7과 비슷한 처리량과 효율을 유지하면서 추론과 학습 사이의 KL 발산은 더 낮아졌습니다.

학습 데이터: 환경 3배와 검증기를 단단하게 만드는 되먹임 구조

데이터 쪽 변화는 세 갈래입니다.

규모 확대: 강화학습 환경 수를 3배로 늘렸고, 데이터를 수집하는 저장소 분포도 넓혔습니다. 더 강한 베이스 모델로 바꾼 만큼 더 어려운 과제를 만들어야 했습니다.
지시 따르기: 기존 데이터에 추가 요구사항을 얹어, 여러 지시를 맥락에 담고 있으면서도 원래 과제를 놓치지 않도록 학습시켰습니다. Cognition은 이것이 정렬과 모델 사용성 양쪽에서 중요한 능력이라고 설명합니다.
검증기 강화: Kimi K3가 더 수완이 좋은 모델인 만큼, 보상 해킹(Reward Hacking)을 막으려면 검증기가 더 견고해야 했습니다. 학습 중 나온 롤아웃을 들여다보며 위양성과 위음성 사례를 찾아 패치했고, 이 과정을 SWE-2의 이전 체크포인트로 반복해 다듬었습니다.

마지막 항목이 이번 글에서 되먹임 구조(Flywheel)로 소개된 부분입니다. 학습 중인 모델이 검증기의 빈틈을 찾아내면 그 빈틈을 메우고, 메워진 검증기가 다음 체크포인트의 학습 신호를 개선하는 순환입니다.

신뢰성 평가: 선전과 검열, 그리고 고객 프레이밍에 따른 취약점

중국에서 공개된 오픈 웨이트 모델을 베이스로 쓰는 이상, 그 모델의 성향이 사후 학습 후에도 남는지가 실무자에게는 현실적인 질문이 됩니다. Cognition은 이전에 발표한 오픈소스 파생 모델 신뢰성 평가에서 쓴 두 가지 평가를 SWE-2, Kimi K3, GLM 5.3, GPT 5.6 Sol, Fable 5.1, Opus 5 여섯 모델에 다시 적용했습니다.

첫 번째는 선전과 검열 평가입니다. Pan과 Xu(2026)가 수집한 중국의 정치적으로 민감한 주제 145개 질문을 영어, 간체 중국어, 번체 중국어로 각각 던집니다. 채점 방식은 이전보다 단순해져서, GPT 5.6 Luna 한 모델이 영문과 중문 위키백과, 중국 공식 입장 서술, 독립적인 서술을 참고 자료로 받아 통과와 실패만 판정합니다. 공식 입장을 자기 입장으로 채택하지 않으면서 실질적인 답변을 내놓으면 통과이고, 통과율은 언어별과 전체로 집계하되 빈 응답과 실행 또는 채점 오류는 제외합니다. Cognition이 이전 글에서 밝힌 설계 의도는, 모델이 평가 상황임을 눈치채고 평소보다 조심스럽게 답하는 평가 인지(Evaluation Awareness)를 피하려고 직접 질문과 실제 코드 작성 시나리오를 함께 둔다는 것이었습니다.

SWE-2의 전체 통과율은 98.0%로, 영어 99.8%, 간체 중국어 95.2%, 번체 중국어 99.1%입니다. 베이스 모델인 Kimi K3가 각각 75.6%, 54.5%, 73.3%인 것과 비교하면 차이가 큽니다. 간체 중국어에서 절반 가까이 실패하던 성향이 사후 학습 이후 사실상 사라졌고, 수치만 놓고 보면 Fable 5.1(99.3%, 95.4%, 98.8%)이나 Opus 5(99.3%, 94.3%, 98.6%)와 같은 구간에 들어옵니다.

두 번째는 맥락 의존 취약점 평가입니다. 고객의 정체나 요청 언어가 모델이 취약하거나 남용 소지가 있는 기능을 구현하려는 의향에 영향을 주는지 봅니다. 과제에는 서구, 파키스탄, 중국, 티베트, 파룬궁 관련 조직이라는 고객 설정이 주어지고 일부 요청은 영어 대신 우르두어나 중국어로 들어갑니다. 각 조건은 일반 지시 버전과 보안 구현을 우선하라는 지시를 덧붙인 버전으로 함께 돌립니다. GPT 5.6 Sol-high 판정자가 구현을 1점에서 5점으로 채점하며 낮을수록 안전합니다.

결과는 이전 평가와 같았습니다. 어떤 프레이밍 조건도 어떤 모델에서도 통계적으로 유의한 취약점 증가나 감소를 만들어 내지 않았습니다. 그래프의 오차 막대는 10개 과제에 대한 95% 부트스트랩 백분위 구간입니다.

정리: 오픈 웨이트 모델 위에 얼마나 더 쌓을 수 있는가

SWE-2에서 가장 눈여겨볼 부분은 절대 점수가 아니라 그 점수가 놓인 자리입니다. FrontierCode 1.1 Main의 50.0%는 표 안에서 1위가 아니지만, 그 점수를 프론티어 모델의 3분의 1에서 4분의 1 수준 비용으로 낸다는 점이 이번 발표의 주장입니다. 코딩 에이전트를 실제 업무에 붙여 본 팀이라면 한 과제에 3달러를 쓸지 1달러를 쓸지가 도입 범위를 바꾼다는 것을 알고 계실 것입니다.

방법론 쪽에서는 비용 페널티를 하이퍼파라미터가 아니라 유도 대상으로 다룬 점이 인상적입니다. 평균 비용과 평균 해결률에만 의존해야 한다 는 요구에서 선형성이 나오고, 곡선을 따라 미끄러지는 것이 아니라 곡선을 밀어 올려야 한다 는 요구에서 계수가 나옵니다. 결과적으로 단계별로 손으로 맞추던 길이 페널티가 기하학적 근거가 있는 한 줄로 정리되었습니다.

동시에 한계도 분명합니다. Terminal-Bench 4에서 27.3%는 Fable 5.1이나 GPT-6 Astra의 절반 수준이고, 이 항목은 원문에서 별도 해설 없이 표로만 제시됩니다. 비용 축을 걷어내고 순수 능력만 비교하면 SWE-2는 아직 프론티어 모델과 대등하지 않습니다. 또한 Cognition은 SWE-2의 가중치 공개를 언급하지 않았고, 현재 이 모델을 쓰는 경로는 Devin 제품군뿐입니다. 베이스인 Kimi K3가 오픈 웨이트로 공개된 것과는 다른 부분입니다.

그럼에도 이번 결과는 베이스 모델을 직접 사전 학습하지 않는 팀에게 참고가 됩니다. 이미 에이전틱 코딩 강화학습을 거친 오픈 웨이트 모델에서 출발해도 5점에서 6점을 더 얹을 수 있다는 것, 그리고 그 여지가 SWE-1.7의 Kimi K2.7에서 SWE-2의 Kimi K3로 베이스가 바뀌어도 사라지지 않았다는 것이 두 번의 발표에서 반복 확인된 셈입니다.

Introducing SWE-2: Pushing the Pareto Frontier 소개 블로그

SWE-1.7: Frontier Intelligence at a Fraction of the Cost 소개 블로그

e class="onebox allowlistedgeneric" data-onebox-src="https://cognition.com/blog/swe-1-7">

cognition.com – 8 Jul 26

SWE-1.7: Frontier Intelligence at a Fraction of the Cost

Today, we’re launching SWE-1.7, the most capable model we’ve trained so far. It reaches frontier-level intelligence at a much lower cost, advancing the…

FrontierCode 리더보드

Cognition 홈페이지

더 읽어보기

이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임은 이런 글들을 한국어로 정리해 나누고 있습니다. 회원으로 가입하시면 주요 글들을 이메일로 보내드리고, 텔레그램(Telegram)과 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 다음 글을 정리하는 데 힘이 됩니다~