Agents-A1 소개
새 팀원이 합류했을 때를 떠올려 봅시다. 우리는 그 사람의 머릿속에 세상 모든 지식을 미리 채워 넣는 대신, 자료를 검색하고 도구를 써보고 중간 결과를 확인하며 시행착오를 거쳐 문제를 풀어내는 "일하는 방법"을 익히도록 돕습니다. 최근 대형 언어 모델(Large Language Model, LLM) 연구도 비슷한 갈림길에 서 있습니다. 모델의 머릿 속(파라미터)에 더 많은 것을 우겨넣을 것인가, 아니면 모델이 오래 일하며 스스로 문제를 풀어나가는 능력을 키울 것인가 하는 선택입니다.
이 글에서 소개하는 Agents-A1 은 InternScience 에서 공개한 35B 규모의 에이전트 모델로, 후자의 길을 택합니다. 이 연구는 파라미터를 키우는 대신 에이전트 호라이즌(agent horizon) 을 확장함으로써, 파라미터가 1T(조 단위)에 달하는 초대형 모델에 필적하는 성능을 35B 모델로 달성할 수 있음을 보입니다. 여기서 에이전트 호라이즌이란 하나의 과제를 해결하기 위해 모델이 거치는 단계와 상호작용 궤적(trajectory)의 길이를 뜻합니다. 실제로 Agents-A1의 학습 데이터는 평균 45K 토큰에 이르는 긴 궤적으로 구성되어 있습니다.
파라미터 확장의 벽과 또 다른 길
최근 인공지능 연구는 수동적으로 언어를 생성하던 모델에서, 계획을 세우고 도구를 사용하며 환경과 상호작용하고 피드백을 통해 스스로를 개선하는 자율 에이전트(agent) 로 빠르게 무게중심을 옮기고 있습니다. 소프트웨어 개발, 과학 연구, 복잡한 의사결정 같은 실제 과제에서 에이전트는 더 긴 시간, 이른바 롱-호라이즌(long-horizon) 환경에서 동작해야 합니다. 정보를 수집하고, 과제를 분해하고, 도구를 호출하고, 중간 결과를 검증하며, 새로운 정보가 들어올 때마다 전략을 계속 수정해야 하는 것입니다. 이런 환경은 초반의 작은 실수가 뒤로 갈수록 누적되기 때문에 특히 까다롭습니다.
롱-호라이즌 에이전트를 개선하려는 기존 노력은 크게 두 갈래의 확장 경로를 따라왔습니다.
첫 번째는 파라미터를 키우는(parameter scaling) 길입니다. 최신 프론티어 모델들은 다양한 추론(reasoning) 패턴, 도구 사용 방식, 도메인 지식을 모델 내부에 담기 위해 파라미터 규모를 키우는 데 의존합니다. 이 방식은 효과적이지만, 비슷한 수준의 모델 규모와 데이터, 학습 자원을 갖추지 못하면 같은 에이전트 역량을 재현하기 어렵다는 근본적인 한계가 있습니다.
두 번째는 파라미터를 키우는 대신 호라이즌을 확장하는(horizon scaling) 길입니다. 이 방식은 지식 획득, 행동 실행, 관찰 해석, 검증으로 이어지는 중간 의사결정 과정을 명시적으로 드러내어 학습 가능한 지도 신호로 바꿉니다. 다만 이 경로에는 두 가지 병목이 있습니다. 하나는 외부 지식, 행동, 관찰, 검증 신호를 하나로 잇는 지식-행동 인프라(knowledge-action infrastructure) 의 부재이고, 다른 하나는 도메인마다 고르지 않게 나타나고 서로 복잡하게 얽히는 이질적인 능력들(heterogeneous abilities) 을 하나의 모델로 통합하기 어렵다는 점입니다.
Agents-A1은 바로 이 두 병목을 정면으로 겨냥합니다. 연구팀은 (1) 외부 지식과 행동, 관찰, 실행 결과, 검증 신호를 연결하는 롱-호라이즌 지식-행동 인프라를 구축하고, (2) 이 인프라 위에서 세 단계로 이루어진 학습 레시피를 적용하여 여섯 개의 이질적인 도메인을 하나의 배포 가능한 모델로 통합했습니다.
무엇을 이뤄냈는가
Agents-A1은 Qwen3.5-35B-A3B 를 출발점으로 삼은 35B 규모의 전문가 혼합(Mixture-of-Experts, MoE) 모델로, 전체 35B 파라미터 중 토큰당 약 3B(A3B)만 활성화되어 추론 비용을 낮춥니다. 위 그림에서 볼 수 있듯이, Agents-A1(파란색 막대)은 Kimi-K2.6, DeepSeek-V4-pro, GPT-5.5 같은 1T급 모델들과 어깨를 나란히 하며, 여러 벤치마크에서는 이들을 앞서기까지 합니다.
핵심 결과를 미리 짚어보면, Agents-A1은 검색 벤치마크 SEAL-0에서 56.4 점, 지시 따르기 벤치마크 IFBench에서 80.6 점, 물리 올림피아드 HiPhO에서 46.4 점, FrontierScience-Olympiad에서 79.0 점, MolBench-Bind에서 56.8 점을 기록하며 여러 항목에서 종합 최고 성적(SOTA)을 달성했습니다. 또한 SciCode(44.3), 도구를 사용하는 HLE(47.6), BrowseComp(75.5)에서도 경쟁력 있는 결과를 보였습니다. 총 파라미터 기준 30 배 가까이 규모를 줄이고도 이런 성능을 낸다는 점이 이 연구의 가장 큰 메시지입니다.
롱-호라이즌 지식-행동 인프라
Agents-A1의 방법론에서 가장 먼저 이해해야 할 것은 데이터입니다. LLM의 규모가 커질수록 학습은 점점 더 "밀도 높고, 검증 가능하며, 스스로 확장되는(high-density, verifiable, and evolvable)" 지도 신호의 확보에 발목이 잡힙니다. 문제는 공개된 웹 말뭉치가 답이 도출되기까지의 출처, 행동 기록, 도구 호출 로그, 실행 결과, 검증 결과를 거의 담고 있지 않다는 데 있습니다. 웹에는 잘 정리된 "정답"은 많지만, 그 정답에 이르는 "과정"은 좀처럼 남아 있지 않은 셈입니다.
연구팀은 이 공백을 메우기 위해 이질적인 말뭉치를 조합 가능하고 검증 가능하며 스스로 확장되는 지도 신호로 변환하는 지식-행동 인프라를 설계했습니다.
지식-행동 그래프(KAG)와 5가지 원자적 능력
연구팀은 먼저 롱-호라이즌 에이전트 역량을 다섯 가지 원자적 능력(atomic abilities) 으로 분해합니다. 정보 획득(information acquisition), 도구 호출(tool calling), 실행 반복(executable iteration), 증거 검증(evidence verification), 제약 추적(constraint tracking)이 그것입니다. 그리고 이 능력들에 대한 지도 신호를 복원하기 위해, 증거와 행동, 관찰, 검증 결과를 도메인별 지식-행동 그래프(Knowledge-Action Graph, KAG) 안의 일급 객체(first-class object)로 다룹니다.
KAG는 하나의 도메인 d 에 대해 네 요소로 이루어진 타입이 지정된 구조 \mathcal{G}_{d} = (\mathcal{C}_{d}, \mathcal{A}_{d}, \mathcal{O}_{d}, \mathcal{V}_{d}) 로 정의됩니다. 여기서 \mathcal{C}_{d} 는 증거 조각과 사실, 제약을 담은 도메인 말뭉치이고, \mathcal{A}_{d} 는 도구 호출과 검색 질의, 코드 편집 및 실행 같은 행동 공간이며, \mathcal{O}_{d} 는 도구 반환값과 검색된 증거, 실행 상태 등을 담은 관찰 공간, \mathcal{V}_{d} 는 정확성과 증거 뒷받침, 제약 충족, 목표 달성을 자동으로 점검하는 검증기(verifier) 집합입니다. 그래프는 시점 t 의 행동 기록 (s_{t}, a_{t}, o_{t}, v_{t}) 들이 서로 연결되며 채워집니다.
일반적인 지식 그래프가 주로 개체와 관계 사실을 저장하는 것과 달리, KAG는 "답이 획득되고, 시험되고, 수정되고, 검증되는 과정 그 자체"를 보존한다는 점이 결정적으로 다릅니다. 이는 성공한 궤적뿐 아니라 실패한 궤적까지 증거와 함께 남겨, 단계 사이의 공로 배분(credit assignment)과 재현 가능한 롱-호라이즌 지도 신호를 가능하게 합니다. 마치 잘 정리된 실험 노트가 성공한 실험뿐 아니라 실패한 시도와 그 이유까지 기록해 두는 것과 같습니다.
자기 대국(self-play) 그래프 탐색과 확장
한 번에 생성한 데이터가 항상 고품질일 수는 없습니다. 그래서 연구팀은 제안자-해결자-검증자(proposer-solver-verifier) 게임을 통해 각 도메인의 그래프 \mathcal{G}_{d} 를 반복적으로 확장하고 품질을 끌어올립니다. 제안자 \pi_{P} 가 그래프 영역을 표집해 제약이 있는 과제를 제안하면, 해결자 \pi_{S} 가 검색과 도구로 이를 풀고, 검증자 \pi_{V} 가 답과 증거, 실행 결과, 궤적, 그리고 지름길로 풀리는 위험(shortcut risk)까지 검증합니다.
검증자는 생성된 과제 후보를 다섯 가지 기준으로 엄격하게 심사합니다. (1) 어떤 검증기로든 확인 가능한가, (2) 궤적이 검증기가 인정하는 답에 실제로 도달하는가, (3) 한 번의 조회로 끝나지 않고 의미 있는 중간 의사결정을 거치는가, (4) 필요한 증거를 궤적 위에서 실제로 참조하는가, (5) 지름길 없이 명확하게 정의되었는가 하는 것입니다. 이 기준을 통과한 신호만 다시 그래프에 기록되고, 통과하지 못한 과제는 다시 자기 대국 확장 단계로 되돌려집니다.
이렇게 강화된 그래프는 코딩, 에이전트 추론, 지시 따르기, 기계학습 엔지니어링(MLE), 과학 추론 등 도메인별 하위 그래프(sub-KAG)로 특화됩니다. 그 결과 웹 말뭉치가 담지 못했던 "과정"이, 검증을 통과한 학습 가능한 지도 신호로 자라나게 됩니다.
도메인별 데이터 파이프라인
지식-행동 인프라는 추상적인 틀이므로, 연구팀은 이를 다섯 개 핵심 도메인에 구체적으로 인스턴스화합니다. 각 도메인은 앞서 정의한 \mathcal{G}_{d} = (\mathcal{C}_{d}, \mathcal{A}_{d}, \mathcal{O}_{d}, \mathcal{V}_{d}) 네 요소를 자신의 문맥에 맞게 채웁니다.
- 롱-호라이즌 검색(Long-horizon Search): 위키 데이터베이스를 방향 그래프로 변환한 뒤, 통제된 무작위 보행(random walk)으로 관계 사슬을 만들고, 사슬의 마지막 개체를 정답으로 삼아 자연어 질문으로 재작성합니다. 고유명사를 가려 모델이 이름 매칭이 아닌 간접 증거를 따라가도록 강제하며, 최대 256K 토큰 문맥에서 검색과 페이지 읽기, 코드 도구를 자유롭게 사용한 궤적을 수집합니다.
- 기계학습 엔지니어링(MLE): 실행 가능한 해답 탐색을 트리 형태로 구성합니다. 스크립트를 새로 작성하면 새 뿌리 노드가 열리고, 코드를 수정하면 자식 노드가 생기며, 노드를 실행하면 로그와 지표, 제출 산출물이 관찰로 붙습니다.
write_full_code,patch_code,execute_code,invalidate_node등으로 이루어진 간결한 도구 인터페이스를 통해, 실패하거나 무효화된 노드마저 이후 결정을 위한 음성 증거(negative evidence)로 남습니다. 특히 긴 실행을 견디기 위해, 문맥 압축(context compaction)에도 살아남는 영속 메모(write_notes/read_notes)와 독립된 문맥에서 데이터를 조사해 보고서만 돌려주는analyze하위 에이전트를 두어, 에이전트가 긴 호라이즌 내내 상태를 잃지 않도록 설계했습니다. - 과학 추론 및 연구(Scientific Reasoning): 수학, 물리 등에서 모은 약 15K개의 문제를 그래프로 확장하되, 더 어려운 추론 변형과 상호작용이 강화된 변형이라는 두 방향으로 재작성합니다. 도구를 쓰지 않는 순수 추론 궤적과 search, visit, code, scholar 네 도구를 쓰는 궤적을 함께 생성해, 최종 답의 정확성으로 필터링합니다.
- 지시 따르기(Instruction Following): NVIDIA의 Nemotron-RL 데이터에서 검증 가능한 다중 제약 샘플 13K개와, 자체 구축한 롱-컨텍스트 QA 10K개를 결합합니다. 후자는 문서에서 개체와 관계, 수치를 뽑아 증거 그래프를 만든 뒤, 문서 규칙을 뒤집는 임시 규칙이나 오도하는 방해 요소(distractor)를 주입해 모델이 근거 없는 함정에 빠지지 않도록 훈련합니다.
- 도구 호출(Tool Calling): 도구 상호작용 그래프 위에서 제약 있는 그래프 탐색으로 과제를 합성합니다. 나중에 호출되는 도구가 앞선 도구가 만든 객체나 관찰에 의존하도록 강제하여, 도구를 아무렇게나 이어 붙이는 것을 방지합니다.
이처럼 서로 성격이 다른 다섯 갈래의 데이터가 하나의 KAG 표현으로 통일되어, 이후 학습 단계의 재료가 됩니다.
세 단계 학습 레시피
데이터 인프라가 갖춰지면, 이제 이 재료로 모델을 실제로 빚어내는 단계로 넘어갑니다. Agents-A1은 아래 그림과 같이 세 단계로 학습됩니다.
1단계: 전 도메인 지도 미세조정 (Full-domain SFT)
첫 단계는 Qwen3.5-35B-A3B를 여러 도메인의 롱-호라이즌 궤적으로 지도 미세조정(supervised fine-tuning, SFT) 하여, 폭넓은 에이전트 행동을 두루 갖춘 일반 모델을 만드는 것입니다. SFT 데이터는 심층 연구, 코딩 및 엔지니어링, 과학 문제 해결, 지시 따르기, 일반 에이전트 과제를 아우르며, 총 약 100K개의 궤적으로 이루어져 있습니다.
이 데이터의 가장 두드러진 특징은 압도적인 길이입니다. 전체 평균 궤적 길이가 45K 토큰에 달하며, 특히 코딩 및 엔지니어링은 48K, 심층 연구는 44K 토큰에 이릅니다. 손실은 응답 토큰에만 계산하고 지시 토큰은 마스킹하며, 여러 짧은 예제를 하나의 시퀀스로 묶는 샘플 패킹(sample packing)으로 GPU 활용도를 크게 높였습니다. 학습률은 1 \times 10^{-5}, 최대 시퀀스 길이는 131{,}072 로 설정했습니다.
2단계: 도메인별 교사 모델 (Domain Teachers)
전 도메인 SFT만으로는 각 도메인의 전문성을 충분히 끌어올리기 어렵습니다. 그래서 두 번째 단계에서는 도메인마다 특화된 교사 모델(teacher model) 을 별도로 학습시킵니다. 각 교사는 목표 지향적인 SFT나 강화학습(reinforcement learning, RL)으로 하나의 능력이나 상호작용 패턴에 집중하도록 훈련됩니다.
- 검색 교사: SFT로 기본적인 도구 사용과 다중 턴 검색 패턴을 익힌 뒤, GRPO 기반 RL로 다중 홉(multi-hop) 추론 능력을 강화합니다. 보상은 정답 보상에 더해, 정해진 K 라운드를 넘어서면 선형적으로 커지는 효율 페널티와 중복 검색을 막는 반복 페널티를 결합합니다. 흥미롭게도 학습 데이터는 SFT 모델이 정답과 오답을 모두 내놓는, 즉 "너무 쉽지도 너무 어렵지도 않은" 약 2{,}000 개의 질문만 선별해 사용합니다.
- 과학 교사: 도구 없이 깊게 추론하는 능력을 먼저 강화하는 1단계와, search, visit, code, scholar 도구로 외부 근거를 끌어오는 2단계로 나눈 SFT를 적용합니다. 언제 내부 추론만으로 부족한지 스스로 판단해 도구를 부르도록 가르치는 것이 핵심입니다.
- 지시 따르기 교사: 규칙 기반 보상으로 세밀한 제약 충족을 학습하는 1단계 RL과, 롱-컨텍스트 학습으로 근거 기반 추론을 강화하는 2단계 RL로 구성됩니다. 보상이 균일한 그룹을 걸러내는 동적 표집(dynamic sampling)으로 학습 효율을 높입니다.
- 도구 호출 교사: 도구 사용은 잘못된 초반 선택의 결과가 여러 턴 뒤에야 드러나기 때문에 SFT만으로는 부족하며, 궤적 전체를 최적화하는 RL이 필요합니다. 성공 여부를 나타내는 결과 보상과 부분 달성을 재는 과정 점수를 함께 쓰되, 성공 궤적에는 과정 보상을 더하지 않는 비대칭 설계 A_{i} = A_{i}^{\mathrm{out}} + \lambda_{\mathrm{neg}} \mathbf{1}[r_{i}^{\mathrm{out}}=0] A_{i}^{\mathrm{proc}} 를 씁니다. 특히 거의 성공에 근접했으나 결과 보상을 얻지 못한 단 64 개의 고품질 샘플만으로, 데이터 재사용과 PAPO 방식 이점(advantage)을 결합해 소수의 스텝만에 효율적으로 성능을 끌어올립니다.
3단계: 다중 교사 온-정책 증류 (Multi-teacher OPD)
이제 마지막 관문입니다. 도메인별 교사들은 각자의 전문성을 갖췄지만, 실제 배포에는 하나의 통합된 모델이 필요합니다. 여러 교사를 하나의 학생으로 합치는 이 과정에서 연구팀은 다중 교사 온-정책 증류(multi-teacher on-policy distillation, OPD) 를 제안합니다. 학생은 자신의 롤아웃(rollout)에 대해 학습하며, 각 샘플은 그 도메인에 맞는 교사의 지도만 받습니다. 교사들은 파라미터 수준에서 병합되지 않고, 프롬프트의 도메인 라벨에 따라 해당 교사가 증류 신호를 제공합니다.
여기서 두 가지 기술적 장치가 핵심 역할을 합니다.
핵심 어휘 정렬 (Salient Vocabulary Alignment)
기존의 표집 토큰(sampled-token) 방식 OPD는 실제로 생성된 토큰만 채점하기 때문에 효율적이지만, 바로 옆의 높은 확률을 가진 대안 토큰들을 제약하지 못해 불안정하거나 편향된 지도로 이어질 수 있습니다. 연구팀은 이를 핵심 어휘 정렬(Salient Vocabulary Alignment, SVA) 로 대체합니다.
SVA는 각 위치에서 교사 분포 기준 상위 k 개의 유효 토큰 집합 \mathcal{S}_{i,t}^{(k)} 만 골라, 그 위에서 학생과 교사의 분포를 다시 정규화한 뒤, 이 좁은 지지 집합에 대한 절단된 역방향 KL(truncated reverse KL)을 최소화합니다. 즉 전체 어휘가 아니라 교사가 실제로 중요하게 보는 "핵심 어휘"에만 집중해 학생을 정렬하는 것입니다. 다만 이렇게 하면 지지 집합 바깥의 확률 질량은 직접 제약하지 못하므로, 학생 측 커버리지 \rho(i,t) 를 함께 관찰하여 전체 어휘 정렬에 얼마나 가까운지를 점검합니다.
도메인 라우팅 정규화
도메인마다 강조하는 능력이 달라(응답 스타일, 추론 패턴, 증거 획득, 도구 사용 등) 이질적인 변화도(gradient)를 유발할 수 있습니다. 연구팀은 각 샘플을 소프트 혼합이 아니라 해당 도메인 교사에게만 배정하는 하드 라우팅(hard routing) \theta_{t,i} = \theta_{t}^{d_{i}} 을 사용해, 서로 맞지 않는 교사 신호가 토큰 수준에서 뒤섞이는 것을 막습니다. 나아가 손실을 도메인 안에서 먼저 평균 내고 다시 활성 도메인 전체에 걸쳐 평균 내는 도메인 정규화 목적함수를 써서, 자주 등장하거나 손실이 큰 도메인이 학생의 갱신을 독점하지 않도록 균형을 맞춥니다.
이 두 장치 덕분에 학생 모델은 SFT의 넓은 범용성을 유지하면서도, 교사 풀의 강력한 도메인별 행동을 하나의 통합된 롱-호라이즌 에이전트로 흡수할 수 있게 됩니다.
실험 결과 및 성능 분석
평가 설정
연구팀은 여섯 개 방향에 걸쳐 폭넓은 벤치마크로 모델을 평가합니다. 롱-호라이즌 검색(GAIA, BrowseComp, XBench-DeepResearch, SEAL-0), 엔지니어링(SciCode, MLE-Bench-Lite), 과학 연구(도구를 사용하는 HLE, HiPhO, FrontierScience-Olympiad/Research), 지시 따르기 및 롱-컨텍스트(LongBench V2, IFBench, IFEval), 일반 에이전트 과제(\tau^2-Bench, VitaBench), 과학 에이전트 과제(MatTools, MolBench-Bind)가 그것입니다. 검색 평가에서는 각 과제를 최대 300 턴까지 허용하고 pass@1을 주 지표로 보고합니다.
SFT 단계의 성과와 도메인 충돌 문제
먼저 흥미로운 관찰은 전 도메인 SFT만으로도 상당한 향상이 나타나지만, 동시에 일부 도메인에서는 오히려 성능이 하락한다는 점입니다. 아래 표는 베이스 모델, SFT 단계, 그리고 최종 OPD 단계의 성능을 비교합니다.
| 벤치마크 | Qwen3.5-35B-A3B | Agents-A1-SFT | Agents-A1 |
|---|---|---|---|
| GAIA | 59.8 | 95.2 | 96.0 |
| FS-R | 2.5 | 31.7 | 40.0 |
| MLE-Bench-Lite | 24.2 | 39.4 | 43.9 |
| HLE w/ tools | 47.4 | 41.6 | 47.6 |
| IFBench | 70.2 | 68.7 | 80.6 |
GAIA(59.8 \to 95.2)나 FrontierScience-Research(2.5 \to 31.7)처럼 극적으로 오른 항목이 있는 반면, 도구를 사용하는 HLE(47.4 \to 41.6)와 IFBench(70.2 \to 68.7)는 SFT 단계에서 오히려 하락했습니다. 연구팀은 이를 "긴 사고(long-thinking) 추론 패턴과 다중 턴 에이전트 패턴 사이의 차이"에서 비롯된 도메인 충돌로 진단합니다. 지시 따르기는 단일 턴에 길게 사고하는 패턴을, 롱-호라이즌 검색은 다중 턴으로 도구를 쓰며 짧게 사고하는 패턴을 요구하는데, 전 도메인 SFT로는 이 상충을 해소하기 어렵다는 것입니다. 바로 이 문제를 풀기 위해 다중 도메인 OPD가 도입되었습니다.
도메인 교사 모델의 효과
각 도메인 교사는 자기 영역에서 뚜렷한 향상을 보였습니다. 검색 교사는 GAIA에서 59.8 에서 95.1 로 크게 상승했고, 과학 교사는 FS-R에서 2.5 에서 54.3 으로, FS-O에서 64.5 에서 82.0 으로 뛰어올랐습니다. 지시 따르기 교사는 IFBench를 70.2 에서 82.0 으로 끌어올렸으며, 도구 호출 교사는 \tau^2-Bench 평균을 32.53 에서 82.50 으로, 특히 항공(Airline) 도메인을 16.00 에서 72.00 으로 대폭 개선했습니다.
온-정책 증류: 1T 모델과의 격차 좁히기
최종 OPD 단계를 거친 Agents-A1은 동급 35B 모델을 앞서는 것은 물론, 여러 과제에서 1T급 모델과도 경쟁합니다. 아래는 대표 벤치마크에서의 비교입니다.
| 벤치마크 | Agents-A1 (35B) | Kimi-K2.6 (1T급) | DSV4-Pro (1T급) | GPT-5.5 |
|---|---|---|---|---|
| SEAL-0 | \mathbf{56.4} | 50.5 | 55.0 | 42.3 |
| FS-O | \mathbf{79.0} | 73.0 | 76.0 | 78.0 |
| FS-R | \mathbf{40.0} | 17.9 | 13.3 | 26.7 |
| IFBench | \mathbf{80.6} | 71.8 | 73.5 | 75.9 |
| HiPhO | \mathbf{46.4} | 41.1 | 38.7 | 43.3 |
| BrowseComp | 75.5 | 83.2 | 83.4 | 84.4 |
| SciCode | 44.3 | 53.5 | 50.0 | 56.1 |
특히 FrontierScience-Research에서 40.0 점을 기록하며 1T급 모델들을 큰 격차로 앞선 점이 인상적입니다. 연구팀은 다중 홉 검색, 과학 연구, 롱-인스트럭션 따르기 능력이 서로를 뒷받침한다는 점도 관찰했습니다. 예를 들어 복잡한 과학 문제를 풀 때 검색이나 코드 도구를 잘 쓰는 능력이 좋아지면, 열린 과제에서 올바른 도구를 골라 외부 지식을 효율적으로 끌어와 과학 연구 성능까지 함께 향상된다는 것입니다.
다만 한계도 솔직하게 드러납니다. MLE-Bench-Lite에서 Agents-A1은 43.9 점으로 동급 모델 중 최고이지만, GPT-5.5의 72.7 점에는 크게 못 미칩니다. 연구팀은 MLE 최적화가 정적인 문제 풀이가 아니라 전체 엔지니어링 과정을 완수해야 하는 과제이기에, 목표를 안정적으로 유지하고 과거 결정을 기억하며 반복 시도를 피하는 능력을 더 강하게 요구하기 때문이라고 분석합니다. 또한 \tau^2-Bench의 경우 재현한 Qwen3.5-35B-A3B 베이스라인 점수가 공식 보고치(81.2)와 달리 40 점 미만으로 나오는데, 이는 벤치마크 코드베이스 버전과 평가 환경 차이에서 비롯된 것으로, 커뮤니티에서도 유사한 이슈가 논의되고 있다고 밝힙니다.
또 한 가지 정직한 관찰은, OPD로 학습한 모델이 항상 해당 도메인 교사를 능가하지는 않는다는 점입니다. 각 교사는 한 도메인에 특화된 반면 Agents-A1은 이질적인 과제 전반에 걸쳐 하나의 통합 정책을 유지해야 하기 때문입니다. 연구팀은 OPD의 역할이 "모든 교사를 각자의 전문 영역에서 일관되게 뛰어넘는 것"이 아니라, 교사들의 강점을 하나의 모델로 옮겨 담고 전 도메인 SFT 대비 균형을 개선하는 데 있다고 명확히 선을 긋습니다.
12시간에 걸친 롱-호라이즌 최적화
Agents-A1의 진가는 벤치마크 점수보다 실제 롱-호라이즌 과제에서 더 잘 드러납니다. 연구팀은 MLE 데이터셋의 고래 울음소리 탐지(right whale call detection, ICML 2013 Whale Challenge) 과제를 골라, 모델이 처음부터 끝까지 스스로 최적화를 수행하도록 했습니다.
위 그림에서 보듯, Agents-A1은 단순한 CNN 베이스라인(\text{AUC} = 0.58)에서 출발해 스스로 개선 방향을 찾아 나갑니다. 오디오 증강(노이즈와 게인 변화 추가)으로 +0.13, 테스트 분포와 가까운 가장 최근 날짜 데이터로 학습해 +0.10, Mel-스펙트로그램 CNN 앙상블로 +0.08 을 얻고, 마지막으로 10 배 규모의 대규모 증강과 최종 튜닝을 거쳐 12 시간 만에 검증 AUC를 0.9935 까지 끌어올렸습니다. 이는 금메달 수준의 결과입니다.
주목할 점은 이것이 단순한 하이퍼파라미터 튜닝이 아니라는 것입니다. 모델은 학습 데이터와 테스트 데이터 사이의 시간적 분포 이동(temporal domain shift)을 스스로 발견하고, 그에 맞는 알고리즘적 개선을 적용했습니다. 데이터 진단, 표현 설계, 증강 전략, 반복 평가를 통합해 하나의 해석 가능한 다단계 최적화 해법을 만들어낸 것입니다. 연구팀은 이 밖에도 지구과학 분야에서 사이클론 나르기스(Nargis, 2008)의 경로와 강도를 IBTrACS 데이터로부터 재구성하고 진단 시각화까지 완성하는 등, 계획, 코딩, 실행, 결과 점검, 과학적 분석, 보고서 생성으로 이어지는 닫힌 고리(closed loop)를 자동으로 수행하는 사례도 함께 제시합니다.
한계점 및 향후 연구 방향
연구팀은 Agents-A1이 에이전트 호라이즌을 확장하는 하나의 초기 시도임을 분명히 합니다. 현재 모델의 에이전트 능력은 크게 세 가지, 즉 Qwen3.5-35B-A3B의 기반 능력, 여러 롱-호라이즌 시나리오를 위해 구축한 통합 지식-행동 인프라, 그리고 도메인 간 추론 패턴 충돌을 줄이는 도메인 라우팅 OPD에서 나옵니다.
동시에 연구팀은 롱-호라이즌 과제를 오래 안정적으로 수행하려면 몇 가지 기초적인 원자적 능력이 더 필요하다는 점을 발견했습니다. 추론에 앞서 계획하기, 행동에 앞서 성찰하기, 긴 문맥에서 핵심 정보 요약하기, 과거의 중요한 정보 식별하기가 그것입니다. 앞서 살펴본 MLE 과제에서 1T 모델과의 격차가 여전히 큰 것도, 긴 엔지니어링 과정 내내 목표를 잃지 않고 과거 결정을 기억하는 이런 능력들이 아직 부족하기 때문으로 볼 수 있습니다. 향후 연구는 이 기초 능력들을 강화하는 데 초점을 맞출 예정입니다.
Agents-A1이 던지는 메시지는 명확합니다. 최전선의 에이전트 역량이 반드시 압도적인 파라미터 규모에서만 나오는 것은 아니며, 잘 설계된 지식-행동 인프라와 학습 레시피를 통해 호라이즌을 확장하는 것이 파라미터 확장에 대한 실질적인 대안이 될 수 있다는 점입니다. 이는 막대한 자원 없이도 강력한 에이전트를 만들고자 하는 연구자와 기업 모두에게 재현 가능한 기술 경로를 제시합니다.
설치 및 사용 방법
Agents-A1은 Apache-2.0 라이선스로 공개되어 있으며, SGLang 이나 vLLM 같은 표준 추론 엔진으로 OpenAI 호환 엔드포인트를 띄울 수 있습니다.
SGLang으로 서빙하는 예시는 다음과 같습니다.
uv pip install sglang
python -m sglang.launch_server \
--model-path InternScience/Agents-A1 \
--port 8000 \
--tp-size 1 \
--mem-fraction-static 0.8 \
--context-length 262144 \
--reasoning-parser qwen3 \
--tool-call-parser qwen3_coder
vLLM을 사용하는 경우는 다음과 같습니다.
uv pip install vllm --torch-backend=auto
vllm serve InternScience/Agents-A1 \
--port 8000 \
--tensor-parallel-size 1 \
--max-model-len 262144 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
권장 샘플링 파라미터는 temperature=0.85, top_p=0.95, top_k=20, presence_penalty=1.1 입니다. 한편 연구팀은 로컬 환경에서 더 가볍게 쓸 수 있는 밀집(dense) 모델 Agents-A1-4B 도 공개했는데, 4B 파라미터만으로 BrowseComp 66.8, GAIA 95.1, IFEval 94.8 을 기록하며 동급 모델을 크게 앞서고 일부 대형 MoE 모델에 근접하는 효율성을 보입니다.
Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent 논문
Agents-A1 프로젝트 홈페이지
Agents-A1 GitHub 저장소
Agents-A1 (Hugging Face)
Agents-A1-4B (Hugging Face)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 