[2026/07/20 ~ 26] 이번 주에 살펴볼 만한 AI/ML 논문 모음
PyTorchKR
이번 주 선정된 논문들을 살펴본 결과, 더 큰 모델보다 하네스로 에이전트를 안전하게 묶는 방식을 통한 실질적 적용, 모델 학습 파이프라인을 고도화 및 정밀화하는 흐름 등을 살펴볼 수 있었습니다. 주요 내용은 다음과 같습니다:
에이전트 실행 환경을 통제하는 '하네스(Harness)' 및 프로토콜의 부상: 이번 주 연구들에서는 AI 에이전트가 소프트웨어와 물리적 세계에서 안정적으로 작동하도록 돕는 미들웨어, 즉 하네스(Harness) 의 중요성이 크게 대두되었습니다. Harness Engineering for Physical AI는 로봇의 제어와 통신을 중재하는 하네스 계층의 필요성을 역설했고, DataFlow-Harness는 에이전트가 자유 형식의 코드가 아닌 플랫폼에 종속된 구조적 데이터 파이프라인을 구축하도록 유도하여 신뢰성을 높였습니다. 또한 Harness Handbook은 복잡하게 얽힌 하네스 코드를 에이전트가 쉽게 이해하고 수정할 수 있도록 돕는 방법론을 제안했으며, Intelligent AI Delegation은 에이전트 간의 권한과 책임을 명확히 하는 위임 프로토콜을 설계했습니다. 이는 에이전트의 단편적인 능력을 키우는 것을 넘어, 이를 실세계 시스템에 안전하고 통제 가능하게 통합하려는 인프라적 접근입니다.
단순 스칼라 보상을 넘어서는 학습 패러다임과 최적화의 과학화: 대규모 언어 모델의 훈련 및 사후학습 과정에서 기존 강화학습(RL)이나 최적화 기법의 한계를 극복하려는 시도도 돋보였습니다. LLM-as-a-Coach는 기존 RL이 스칼라 보상으로 압축하며 놓치던 풍부한 텍스트 피드백을 '경험적 지식'으로 증류하여 모델에 전달함으로써 학습 효율과 일반화 성능을 크게 끌어올렸습니다. 또한 Understanding Reasoning from Pretraining to Post-Training은 통제된 체스 환경을 통해 사전학습과 사후학습 간의 컴퓨팅 자원 배분 트레이드오프를 정량적이고 과학적으로 규명해 냈습니다. 이에 더해 SOAP, Muon, and Beyond 연구는 대규모 학습 시 AdamW를 뛰어넘는 고차 최적화기의 수치적 불안정성을 해결하여, 모델 훈련의 근본적인 효율성을 극대화하려는 노력을 보여줍니다.
AI 에이전트 주도의 '자가 진화(Self-Evolving)' 및 자율적 엔지니어링: AI가 인간의 개입 없이 스스로 가설을 세우고 시스템을 최적화하는 수준으로 진화하고 있는 트렌드도 확인됩니다. Self-Evolving Recommendation System은 LLM 에이전트가 직접 머신러닝 엔지니어 역할을 맡아 거대한 추천 시스템의 아키텍처와 보상 함수를 자율적으로 생성, 테스트, 배포하는 혁신적인 프레임워크를 선보였습니다. 한편 Intelligence from Learnable Novelty는 '학습 가능한 새로움'이라는 내재적 보상을 통해 에이전트가 외부의 정답 라벨 없이도 자율적으로 탐색하고 복잡성을 생성하며 스스로 지능을 고도화할 수 있음을 입증했습니다. 이는 AI 시스템이 인간이 다루는 고정된 도구를 넘어, 지속해서 자신의 구조와 동작을 직접 진화시키는 능동적 주체로 변모하고 있음을 시사합니다.
논문별 간략 요약
-
LLM-as-a-Coach : 언어 모델 사후학습 시 기존의 단순한 점수 기반 스칼라 보상 대신 평가 모델을 코치로 활용하여 풍부한 텍스트 형태의 경험적 지식을 전달함으로써, 검증이 어려운 개방형 과제에서 모델의 일반화 성능을 크게 향상시킵니다.
-
지능형 AI 위임 (Intelligent AI Delegation) : AI 에이전트가 복잡한 목표를 달성할 수 있도록 단순한 작업 할당을 넘어 권한과 책임의 이전, 신뢰 구축 메커니즘을 종합적으로 포함하는 적응형 위임 프레임워크를 제안하여 안전한 협업 네트워크 구축을 돕습니다.
-
사전학습과 사후학습의 추론 연관성 분석 : 통제된 체스 게임 환경을 활용하여 모델 규모와 사전학습 데이터가 강화학습 효율성에 미치는 영향을 부동 연산 수 기반으로 분석하며, 사전학습이 탄탄할수록 강화학습에 투입된 자원 대비 성능 향상 폭이 더 커진다는 점을 정량적으로 증명했습니다.
-
대규모 사전학습을 위한 고차 최적화기 안정화 (SOAP, Muon 등) : 기존 최적화기보다 수렴이 빠르지만 수치적으로 불안정했던 고차 최적화기의 문제를 단계별 직교화와 개선된 사전조건화 전략으로 해결하여, 수조 개의 토큰을 다루는 극단적인 환경에서도 훈련 안정성을 확보했습니다.
-
LLM 기반 자기 진화 추천 시스템 : 에이전트가 오프라인과 온라인 환경을 오가며 가설을 생성하고 검증하여 추천 모델의 아키텍처와 보상 함수를 스스로 최적화하며, 실제 글로벌 서비스 배포를 통해 기존 엔지니어링 방식을 뛰어넘는 개발 속도와 성능을 입증했습니다.
-
학습 가능한 새로움 (Learnable Novelty) 기반의 지능 통합 : 학습자가 유의미한 지식으로 전환할 수 있는 새로운 정보만을 정량화하는 추정기를 도입하여, 외부의 라벨 없이도 시스템이 스스로 복잡성을 생성하고 탐색하도록 유도함으로써 다양한 분야의 지능 개념을 하나의 원리로 통합합니다.
-
DataFlow-Harness : 코딩 에이전트가 자유 형식의 스크립트 대신 플랫폼 환경에 맞춰 지속해서 수정 가능한 방향성 비순환 그래프 형태의 데이터 워크플로우를 구성하도록 안내하여, 신뢰성 높은 데이터 파이프라인을 저비용으로 구축하게 지원합니다.
-
메모리-기술 공진화 (MSCE) 프레임워크 : 대규모 언어 모델 에이전트가 과거의 단순 기억 검색에 그치지 않고 검증된 경험을 호출 가능한 재사용 기술로 변환하여, 에이전트가 깊은 환경 이해를 바탕으로 평생에 걸쳐 능력을 진화시키도록 돕습니다.
-
물리적 AI를 위한 로봇 미들웨어 하네스 : 학습된 AI 모델이 물리적 로봇에 미치는 영향을 제어하기 위해 기존 로봇 미들웨어를 모델의 실행과 자원을 중재하는 하네스 계층으로 활용할 것을 제안하며, 오류 발생 시 안전한 상태로 복구하는 핵심 집행 기능을 정의했습니다.
-
Harness Handbook (하네스 핸드북) : 방대하게 얽힌 하네스 코드베이스 내에서 특정 행동의 위치를 에이전트가 쉽게 파악하고 수정할 수 있도록 돕는 자동화된 매핑 가이드와 점진적 정보 공개 방식을 결합하여, AI 시스템 유지보수와 편집 계획 수립의 정확성을 극대화합니다.
LLM-as-a-Coach: 검증 불가능한 과제를 위한 경험 학습 / LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks
논문 소개
개방형·비검증 가능(non-verifiable) 과제에서 언어 모델 사후학습의 표준으로 자리 잡은 강화학습(Reinforcement Learning, RL)은, 사실성·관련성·완전성·구성·문체처럼 다차원 품질을 다루는 설명·추천·창작 등 과제에서 흔히 LLM-as-a-Judge의 루브릭(rubric) 기반 평가에 의존합니다. 그런데 Judge가 이미 강점·실패·개선점을 담은 풍부한 텍스트 분석을 생성함에도, 표준 RL은 이를 스칼라(scalar) 보상으로 압축하여 세부 피드백을 폐기하고, 서로 다른 품질 프로파일을 가진 응답을 동일 점수로 혼동시키는 정보 병목을 만듭니다. 특히 보상 척도의 상단에서 많은 “만족스러운” 응답이 같은 최고점을 받으면서도 미묘한 차이가 사라지므로, 학습의 상한이 낮아지기 쉽습니다.
이러한 한계에 대응하여 Experiential Learning(EL)은 피드백 모델을 LLM-as-a-Judge에서 LLM-as-a-Coach로 재정의하고, 각 온폴리시(on-policy) 응답에 대한 평가를 전이 가능한 경험적 지식(experiential knowledge)으로 증류합니다. 이 지식은 특정 인스턴스의 국소 교정문을 그대로 남기기보다, 유사 과제에 재사용할 수 있는 일반적 전략·가이드를 담도록 설계됩니다. 추출된 경험은 교사 모델(teacher model)의 컨텍스트로 제공되어 코치의 가이드를 반영한 분포를 유도하고, 정책에서 샘플링한 응답을 따라 정책과 컨텍스트 조건화 교사 사이의 토큰 수준 역 KL 발산(reverse Kullback–Leibler divergence)을 최소화하는 온폴리시 컨텍스트 증류(on-policy context distillation)를 통해 정책 파라미터에 내재화됩니다. 학습 시에는 고대역폭의 밀집 감독을 쓰되, 추론 시에는 코치와 경험 컨텍스트가 필요 없어 배포 비용을 늘리지 않는 점이 실용적 핵심입니다.
정보이론적 직관으로 보면, 이산 1–10 점수의 이론적 최대 대역폭은 샘플당 약 3.3 bits에 그치는 반면, 수천 토큰 규모의 경험 컨텍스트는 그보다 훨씬 넓은 피드백 채널을 열어 토큰별 밀집 감독으로 번역될 수 있습니다. 그 결과 동일 보상 구간에 묶인 고품질 응답 간의 세밀한 선호가 보존되고, 온폴리시 샘플이 제한된 상황에서도 학습이 가속될 여지가 생깁니다. 개방형 인스트럭션 팔로잉 과제에서 두 정책 패밀리와, 정책 자체 또는 상용(proprietary) 모델로부터의 피드백을 사용한 평가에서 EL은 홀드아웃·미지의 개방형 과제에서 루브릭 기반 RL을 일관되게 능가했으며, 학습 분포 밖 일반화가 더 좋고 보상 해킹(reward hacking)을 완화하는 경향을 보였습니다. 더불어 증류된 경험적 지식이 원시 비평이나 루브릭만 쓰는 경우보다 효과적이고, 반복적 교사 업데이트와 일반 도메인 프롬프트에 대한 온폴리시 증류가 성능 향상과 분포 밖 능력의 망각 완화에 기여한다는 점이 보고되었습니다. 종합하면, 경험적 지식은 비검증 가능 과제 사후학습에서 스칼라 보상보다 풍부하고 일반화 가능한 학습 신호로 기능할 수 있음을 시사합니다.
초록(Abstract)
개방형 과제에서의 강화학습(RL)은 대규모 언어 모델(LLM)의 루브릭 기반 평가를 스칼라 보상으로 압축하여, 풍부한 텍스트 피드백을 버리고 서로 다른 품질 프로파일을 가진 응답들을 혼동한다. 우리는 피드백 모델을 LLM-as-a-Judge에서 LLM-as-a-Coach로 재목적화하는 경험적 학습(Experiential Learning, EL)을 제안한다. 코치는 각 온폴리시(on-policy) 응답에 대한 평가를 전이 가능한 경험적 지식으로 증류하며, 이 지식은 교사 모델을 조건화하고 온폴리시 컨텍스트 증류를 통해 정책에 내재화된다. 스칼라 보상과 비교할 때, 이 더 높은 대역폭의 피드백 채널은 밀집된 감독 신호를 제공하며 고품질 응답들 간의 세밀한 선호를 보존한다. 두 가지 정책 계열에 걸쳐, 정책 자체 또는 상용 모델로부터의 피드백을 사용할 때, EL은 홀드아웃 및 미지의 개방형 과제에서 루브릭 기반 RL을 일관되게 능가한다. 특히, EL은 학습 분포를 넘어 더 잘 일반화하며, 보상 해킹(reward hacking)을 완화한다. 이러한 결과는 경험적 지식이 검증 불가능한 과제에 대한 사후학습을 위한 더 풍부하고 일반화 가능한 학습 신호임을 확립한다.
Reinforcement learning (RL) on open-ended tasks compresses an LLM's rubric-based evaluation into a scalar reward, discarding rich textual feedback and conflating responses with distinct quality profiles. We propose Experiential Learning (EL), which repurposes the feedback model from an LLM-as-a-Judge into an LLM-as-a-Coach. The coach distills its assessment of each on-policy response into transferable experiential knowledge, which conditions a teacher model and is internalized by the policy through on-policy context distillation. Compared with scalar rewards, this higher-bandwidth feedback channel provides dense supervision and preserves fine-grained preferences among high-quality responses. Across two policy families, with feedback from the policy itself or a proprietary model, EL consistently outperforms rubric-based RL on held-out and unseen open-ended tasks. Notably, EL generalizes better beyond the training distribution, and mitigates reward hacking. These findings establish experiential knowledge as a richer and more generalizable learning signal for post-training on non-verifiable tasks.
논문 링크
더 읽어보기
https://github.com/microsoft/LMOps/tree/main/el
지능형 AI 위임 / Intelligent AI Delegation
논문 소개
AI 에이전트가 더 야심찬 목표를 달성하려면 문제를 관리 가능한 하위 요소로 의미 있게 분해하고, 그 완수를 다른 AI 에이전트와 인간에게 안전하게 넘길 수 있어야 합니다. 그러나 기존의 작업 분해·위임 방식은 단순 휴리스틱(heuristic)에 의존하는 경우가 많아, 환경 변화에 동적으로 적응하거나 예상치 못한 실패를 견고하게 다루기 어렵습니다. Intelligent AI Delegation은 이러한 한계를 넘기 위해, 위임을 단순한 작업 할당이 아니라 권한(authority)·책임(responsibility)·책무성(accountability)의 이전, 역할과 경계에 대한 명확한 명세, 의도(intent)의 명확화, 그리고 위임자(delegator)와 수임자(delegatee) 간 신뢰 구축 메커니즘까지 포함하는 일련의 의사결정으로 재정의하는 적응형 프레임워크를 제안합니다. 이 접근은 인간과 AI가 모두 위임자·수임자가 될 수 있는 복잡한 위임 네트워크를 전제로 하며, 신흥 에이전틱 웹(agentic web)에서 프로토콜을 설계하기 위한 분석적 기반을 마련하는 데 목적이 있습니다.
방법론의 핵심은 위임을 여러 분석 축으로 프로파일링하여, 어떤 프로토콜·신뢰 수준·감독 강도가 필요한지를 정량·정성적으로 판단할 수 있게 만드는 데 있습니다. 위임자·수임자 유형(인간→AI, AI→AI, AI→인간), 작업 특성, 세분화(granularity), 자율성(autonomy), 모니터링(monitoring), 상호성(reciprocity)이 좌표계를 이루며, 작업 특성은 복잡도·중요도·불확실성·기간·비용·자원 요구·제약·검증 가능성(verifiability)·가역성(reversibility)·맥락성·주관성 등 열한 개 세부 차원으로 분해됩니다. 복잡하고 중요하며 불확실한 작업, 검증이 어렵거나 실세계 부작용이 비가역적인 작업일수록 더 강한 감독, 더 높은 신뢰의 수임자, 책임 방화벽(liability firebreaks), 가파른 권한 기울기(authority gradient)가 요구된다는 점이 강조됩니다. 동시에 AI→인간 위임은 생산성 잠재력과 함께, 알고리즘 관리가 노동자 복지와 사회적 외부효과를 충분히 반영하지 못할 수 있다는 비판을 함께 고려해야 한다고 봅니다.
이 프레임워크는 인간 조직론의 개념을 AI 위임에 이식하여 동적 프로토콜로 번역한다는 점에서 차별화됩니다. 주체–대리인 문제(principal–agent problem)는 보상 오명세(reward misspecification)와 보상 해킹·명세 게이밍(reward hacking, specification gaming) 같은 정렬(alignment) 이슈로, 통제 폭(span of control)은 오케스트레이션과 인간·AI 감독의 부하 한계로, 권한 기울기는 능력 과소 추정과 아첨(sycophancy)으로 인한 이의 제기 실패로 재해석됩니다. 무관심 영역(zone of indifference)이 긴 위임 사슬에서 의도 불일치를 하류로 전파하지 않도록 동적 인지 마찰(dynamic cognitive friction)을 설계하고, 신뢰 보정(trust calibration)·거래비용 경제학·상황적합 이론(contingency theory)을 통해 감독 수준과 수임자 선택을 작업·환경에 맞춰 재구성·조정하는 것이 핵심 혁신입니다. 결국 자동화는 “AI가 할 수 있는 것”뿐 아니라 “AI가 해야 하는 것”을 작업별로 동적으로 매칭하는 문제로 정리되며, 이 좌표계가 에이전틱 웹의 안전한 위임 프로토콜 설계에 실질적 지침을 제공합니다.
초록(Abstract)
AI 에이전트는 점점 더 복잡한 작업을 수행할 수 있게 되었다. 보다 야심찬 목표를 달성하려면, AI 에이전트는 문제를 관리 가능한 하위 구성 요소로 의미 있게 분해하고, 그 완료를 다른 AI 에이전트와 인간에게 안전하게 위임할 수 있어야 한다. 그러나 기존의 작업 분해 및 위임 방법은 단순한 휴리스틱에 의존하며, 환경 변화에 동적으로 적응하거나 예상치 못한 실패를 견고하게 처리하지 못한다. 본 연구에서는 지능형 AI 위임을 위한 적응형 프레임워크를 제안한다. 이는 작업 할당을 포함한 일련의 의사결정으로, 권한·책임·책무의 이전, 역할과 경계에 대한 명확한 명세, 의도의 명확성, 그리고 두(또는 그 이상) 당사자 간 신뢰를 구축하는 메커니즘을 포함한다. 제안된 프레임워크는 복잡한 위임 네트워크에서 인간과 AI 위임자 및 피위임자 모두에게 적용 가능하며, 부상하는 에이전틱 웹에서의 프로토콜 개발에 기여하는 것을 목표로 한다.
AI agents are able to tackle increasingly complex tasks. To achieve more ambitious goals, AI agents need to be able to meaningfully decompose problems into manageable sub-components, and safely delegate their completion across to other AI agents and humans alike. Yet, existing task decomposition and delegation methods rely on simple heuristics, and are not able to dynamically adapt to environmental changes and robustly handle unexpected failures. Here we propose an adaptive framework for intelligent AI delegation - a sequence of decisions involving task allocation, that also incorporates transfer of authority, responsibility, accountability, clear specifications regarding roles and boundaries, clarity of intent, and mechanisms for establishing trust between the two (or more) parties. The proposed framework is applicable to both human and AI delegators and delegatees in complex delegation networks, aiming to inform the development of protocols in the emerging agentic web.
논문 링크
사전학습에서 사후학습까지, 추론 이해하기 / Understanding Reasoning from Pretraining to Post-Training
논문 소개
대규모 언어 모델(Large Language Model, LLM)의 복잡한 추론 능력을 끌어올리는 과정에서 강화학습(Reinforcement Learning, RL) 사후학습이 핵심으로 자리 잡았지만, 그 효과는 대개 앞선 사전학습과 분리되어 논의되어 왔다. 본 연구는 사전학습의 모델 규모와 데이터가 RL 컴퓨트(compute) 수익을 어떻게 좌우하는지, 그리고 RL이 실제로 정책을 어떻게 바꾸는지라는 근본 질문에 답하기 위해, 방대하고 통제 불가능한 일반 말뭉치 대신 체스를 통제된 실험 환경으로 채택한다. 인간 기보로 5M부터 1B 규모까지 언어 모델을 사전학습하고, 합성 추론 궤적에 대한 지도 미세조정(Supervised Fine-Tuning, SFT)을 거친 뒤, 검증 가능한 보상을 쓰는 체스 퍼즐 RL까지 표준 LLM 파이프라인을 그대로 따른다. 모든 단계의 연산량을 부동 연산 수(Floating Point Operations, FLOPs)로 통일해 측정하며, IsoFLOP 스윕으로 얻은 체크포인트를 고정 SFT 레시피로 맞춘 뒤 RL을 수행해 사전학습–사후학습 전 구간의 컴퓨트 배분을 정량적으로 비교한다.
고정 총 컴퓨트 예산 아래에서 사전학습 토큰을 늘리면 초기화는 좋아지지만 RL에 쓸 연산은 줄어드는 트레이드오프를 규명하기 위해, 모델 크기와 예산마다 남은 연산을 RL에 배분한 뒤 최적 성능을 고정 예산 프론티어(fixed-budget frontier)로 정의한다. 경험적으로 RL은 pass@1을 크게 끌어올리지만, 낮은 총 예산에서는 프론티어가 사전학습 비중이 높은 쪽에 머물러 RL이 초기화 품질에 강하게 제약됨을 보여 준다. 예산이 커질수록 프론티어상 RL 비중이 높아져, 초기화가 충분히 강해진 뒤에는 추가 RL이 더 유리해진다. 반면 pass@16은 개선이 제한적이거나 혼재되어, 동일 연산을 더 긴 사전학습에 쓰는 편이 유리한 경우가 많다는 점도 확인된다.
비포화 RL 구간에서는 시그모이드 법칙의 국소 근사로, 보상 $R_{N,T}(C)$를 RL 컴퓨트의 로그에 대한 선형식으로 적합한다. 참조 성능 $R^{\mathrm{ref}}{N,T}$는 사전학습 검증 손실로 강하게 예측되고, 기울기 $B{N,T}$는 사전학습 토큰 수와 양의 상관을 보이며 모델 크기가 약한 보정을 더한다. 이 관계를 결합한 사전학습–RL 결합 스케일링 법칙은 Chinchilla 손실 예측과 함께, 학습하지 않은 가상 레시피까지 외삽해 컴퓨트 최적 프론티어를 구성할 수 있게 한다. 외삽 결과 최적 RL 비율은 총 컴퓨트가 커질수록 증가하고, 대응 사전학습 토큰 배분은 Chinchilla 스케일링에서 크게 벗어나지 않는다. 종합하면 사전학습은 고정 RL 컴퓨트에서의 하류 보상과 RL에 따른 성장률이라는 두 경로로 사후학습을 규정하며, 수학 도메인 1B 모델에서도 같은 예측 패턴이 재현되어, 추론의 과학을 전 파이프라인에 걸쳐 연구할 수 있는 정량적 틀과 통제된 실험대를 제시한다.
초록(Abstract)
강화학습(RL)은 복잡한 추론 과제에서 대규모 언어 모델(LLM)을 개선하는 데 핵심적인 역할을 하게 되었지만, RL 사후학습은 대개 그에 선행하는 사전학습과 분리되어 연구된다. 그 결과, 두 가지 근본적인 질문이 여전히 열려 있다. (1) 사전학습 선택(모델 크기, 데이터)이 RL 컴퓨트에 대한 수익을 어떻게 형성하는지, (2) RL이 실제로 모델에 무엇을 하는가? 이러한 질문은 표준 LLM 설정에서는 연구하기 어렵다. 사전학습 코퍼스는 방대하고 통제되지 않아 행동을 사전학습과 RL 중 어디에 귀속시킬지 판단하기 어렵고, 두 단계에 걸친 체계적인 컴퓨트 스윕은 비용이 지나치게 크다. 이러한 과제를 해결하기 위해, 우리는 전체 사전학습–사후학습 파이프라인에 걸친 추론을 연구하기 위한 통제된 테스트베드로 체스를 사용한다. 우리는 인간 체스 대국으로 5M에서 1B 파라미터 규모의 언어 모델을 사전학습하고, 합성 추론 궤적에 대해 지도 파인튜닝(SFT)을 수행하며, 검증 가능한 보상이 있는 체스 퍼즐에서 RL을 실행함으로써 표준 LLM 학습 파이프라인을 따른다. 이 프레임워크를 사용하여, 우리는 주어진 RL 컴퓨트 수준에서의 사후 RL 성능이 사전학습 손실로부터 잘 예측되며, RL 보상 곡선의 기울기가 사전학습 토큰 수에 대략 선형적으로 향상된다는 것을 발견한다. 스케일링을 넘어, 우리는 RL이 SFT 정책을 단순히 날카롭게 만드는 것이 아님을 발견한다. 쉬운 퍼즐에서는 SFT 정책이 이미 선호하던 올바른 수를 증폭하고, 어려운 퍼즐에서는 SFT에서 거의 나타나지 않았던 올바른 수를 표면화한다. 우리는 또한 수학 도메인 텍스트로 1B 언어 모델을 학습하여 우리의 발견이 체스를 넘어 전이되는지 검증하며, 동일한 예측 패턴이 나타난다. 더 오래 사전학습된 체크포인트가 더 높은 사후 RL 성능에 도달하고 RL 하에서 더 빠르게 향상된다. 요약하면, 우리는 사전학습–RL 인터페이스에 대한 정량적 설명을 제시하고, 전체 사전학습–사후학습 파이프라인에 걸친 추론의 과학을 연구하기 위한 통제된 테스트베드를 제공한다.
Reinforcement learning (RL) has become central to improving large language models (LLMs) on complex reasoning tasks, yet RL post-training is largely studied in isolation from the pretraining that precedes it. As a result, two basic questions remain open: (1) how do pretraining choices (model size, data) shape the returns to RL compute, and (2) what does RL actually do to the model? These questions are difficult to study in the standard LLM setting: pretraining corpora are vast and uncontrolled, making it hard to attribute behaviors to pretraining versus RL, and systematic compute sweeps across both stages are prohibitively expensive. To address these challenges, we use chess as a controlled testbed for studying reasoning across the full pretraining-to-post-training pipeline. We follow the standard LLM training pipeline by pretraining language models from 5M to 1B parameters on human chess games, supervised fine-tuning on synthetic reasoning traces, and running RL on chess puzzles with verifiable rewards. Using this framework, we find that the post-RL performance at given RL compute level is well-predicted from the pretraining loss, and slope of the RL reward curves improves approximately linearly with the pretraining tokens. Beyond scaling, we find that RL does not simply sharpen the SFT policy: on easy puzzles it amplifies correct moves the SFT policy already preferred, while on hard puzzles it surfaces correct moves that were nearly absent under SFT. We further test whether our findings transfer beyond chess by training a 1B language model on math-domain text, where the same predictive pattern emerges: longer-pretrained checkpoints reach higher post-RL performance and improve faster under RL. In sum, we provide a quantitative account of the pretraining-to-RL interface and a controlled testbed for studying the science of reasoning across the full pretraining-to-post-training pipeline.
논문 링크
더 읽어보기
SOAP, 뮤온 및 그 너머: 대규모 LLM 사전학습의 한계 극복 / SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales
논문 소개
대규모 언어모델의 사전학습에서 최적화 알고리즘의 선택은 수렴 속도, 메모리 효율성, 그리고 극단적인 배치 크기에서의 안정성을 결정하는 핵심 요소다. 최근 고차 최적화기인 SOAP(Second-Order Adaptive Preconditioning)과 Muon이 AdamW보다 빠른 수렴을 보이면서 주목받고 있지만, 높은 계산 비용과 대규모 학습에서의 수치 안정성 문제로 인해 실제 적용에 제약이 있었다. 본 연구는 이러한 고차 최적화기들을 수조 개의 토큰으로 훈련되는 수십억 매개변수 규모의 모델에 적용하기 위해 알고리즘적, 시스템 수준의 개선을 종합적으로 제시한다. 먼저 큰 배치 크기에서 SOAP의 불안정성 원인을 파악하고, 단계별 QR 정규화와 개선된 사전조건화 전략을 통해 손실 급증을 제거하며 안정적인 훈련을 가능하게 했다. 아울러 업데이트-RMS 매칭(update-RMS matching) 프레임워크를 도입하여 SOAP, Muon, AdamW 간에 공정한 학습률 전이를 보장함으로써 세 최적화기를 일관된 조건 하에서 비교했다. 실험 결과 최대 1억 개의 토큰 배치 크기에서 SOAP과 Muon은 AdamW가 성능 저하를 보이는 상황에서도 훈련 안정성과 품질을 유지하며, 테스트된 모든 규모에서 AdamW를 일관되게 초월하는 성능을 나타냈다. 더 나아가 Megatron-LM 프레임워크와 호환되는 계층별 분산 최적화기를 개발하여 메모리 균형과 통신 효율성을 갖춘 동시에 최적화기의 수렴 이점을 그대로 유지했으며, 시스템 수준의 추가 개선으로 계층별 구현의 속도를 더욱 가속화했다. 이 연구의 실질적 기여는 고차 최적화기들이 극단적인 규모에서도 안정적이고 효율적으로 작동할 수 있음을 실증했다는 점이며, 더불어 NVIDIA-NeMo 프로젝트를 통해 Emerging-Optimizers라는 오픈소스 라이브러리를 공개함으로써 연구 커뮤니티가 최적화 알고리즘 개발에 접근할 수 있는 기반을 제공했다.
초록(Abstract)
고차원 옵티마이저인 Muon과 SOAP는 AdamW보다 더 빠른 수렴을 제공하지만, 계산 비용과 수치적 안정성 문제로 인해 대규모 채택이 제한되었습니다. 본 연구에서는 대규모 대형 언어 모델(LLM) 사전학습의 실제 문제를 극복하기 위해 사전 조건화된 그래디언트 방법을 조정하고 개선합니다. 먼저, 대규모 배치 사이즈에서 SOAP의 불안정성을 식별하고, 손실 스파이크를 제거하고 이러한 영역에서 안정적인 학습을 가능하게 하는 단계별 QR 직교화 및 개선된 사전 조건화 전략을 포함한 알고리즘 수정안을 제안합니다. 그런 다음, 옵티마이저 간의 공정한 학습률 이전을 보장하기 위해 업데이트-RMS 매칭을 사용하여 SOAP, Muon 및 AdamW에 대한 통합 실험 연구를 제시합니다. 이 분석의 일환으로, Muon의 직교화 품질을 실험적으로 평가합니다. 수조 개의 토큰으로 훈련된 수십억 개의 매개변수를 가진 모델에 대한 실험 결과, SOAP과 Muon은 테스트한 규모에서 AdamW보다 지속적으로 우수한 성능을 보였습니다. 특히, 다음 토큰 예측을 위한 배치 사이즈가 최대 1억 토큰에 이를 때, 이러한 옵티마이저는 AdamW가 성능 저하를 겪는 동안 학습 안정성과 품질을 유지합니다. 대규모에서 효율적인 학습을 가능하게 하기 위해, Megatron-LM과 호환되는 레이어별 분산 옵티마이저를 도입합니다. 우리의 구현은 메모리 균형을 맞추고 통신을 숨기면서 옵티마이저 계산에 대한 근사를 피하여 수렴 이점을 유지합니다. 또한, 레이어별 구현을 더욱 가속화하기 위한 특정 시스템 수준 개선 사항을 식별하고 구축합니다. 연구 커뮤니티를 지원하기 위해, 최적화를 위한 신흥 알고리즘을 포함하는 코드베이스를 공개합니다: GitHub - NVIDIA-NeMo/Emerging-Optimizers · GitHub
Higher-order optimizers such as Muon and SOAP offer faster convergence than AdamW, but their computational cost and numerical stability challenges have limited adoption at scale. In this work, we adapt and enhance preconditioned gradient methods to overcome the practical challenges of large-scale LLM pretraining. We first identify instabilities in SOAP at large batch sizes and propose algorithmic modifications including per-step QR orthogonalization and improved preconditioning strategies that eliminate loss spikes and enable stable training in these regimes. We then present a unified empirical study of SOAP, Muon, and AdamW using update-RMS matching to ensure fair learning rate transfer across optimizers. As part of this analysis, we empirically evaluate the orthogonalization quality of Muon. Our experiments on multi-billion-parameter models trained on trillions of tokens reveal that SOAP and Muon consistently outperform AdamW at the scales we tested. Notably, at batch sizes of up to 100M tokens for next-token prediction, these optimizers maintain training stability and quality while AdamW degrades. To enable efficient training at large scale, we introduce a layer-wise distributed optimizer compatible with Megatron-LM. Our implementation balances memory and hides communication while avoiding approximations to the optimizer computations, thus retaining their convergence benefits. Additionally, we identify and build specific system-level improvements to further accelerate our layer-wise implementation. To support the research community, we release a codebase that contains emerging algorithms for optimization: GitHub - NVIDIA-NeMo/Emerging-Optimizers · GitHub
논문 링크
더 읽어보기
자기 진화 추천 시스템: LLM 에이전트를 통한 종단 간 자율 모델 최적화 / Self-Evolving Recommendation System: End-To-End Autonomous Model Optimization With LLM Agents
논문 소개
대규모 기계 학습 시스템의 최적화는 추천 모델의 성능을 극대화하기 위한 중요한 과제로, 특히 글로벌 비디오 플랫폼에서 더욱 두드러집니다. 이러한 시스템은 방대한 하이퍼파라미터 검색 공간을 탐색하고, 복잡한 옵티마이저와 보상 함수를 설계하여 사용자 행동을 세밀하게 반영해야 합니다. 그러나 전통적인 방법론은 수많은 수동 반복을 요구하며, 이러한 과정을 자동화할 필요성이 절실히 대두되고 있습니다. 본 연구에서는 구글의 제미니 계열 대규모 언어 모델(LLM)을 활용한 자가 진화 추천 시스템을 제안하여, 자동으로 높은 성능의 모델 변화를 생성하고 학습하며 배포하는 혁신적인 접근 방식을 소개합니다. 이 시스템은 오프라인 에이전트와 온라인 에이전트로 구성되어, 각각 고속으로 가설을 생성하고, 실제 환경에서 비즈니스 메트릭을 통해 후보 모델을 검증합니다.
오프라인 에이전트는 과거의 메트릭을 기반으로 후보 모델을 제안하는 역할을 하며, 온라인 에이전트는 이러한 후보를 실제 데이터에서 검증하여 최종 모델을 결정합니다. 이 과정에서 LLM은 단순한 파라미터 조정을 넘어, 모델 아키텍처의 구조적 변경과 장기 사용자 참여를 목표로 하는 혁신적인 보상 함수를 설계하는 데 기여합니다. 따라서 이 자가 진화 시스템은 전통적인 기계 학습 엔지니어의 역할을 대체하거나 보완하는 새로운 프레임워크로 자리잡을 가능성을 가지고 있습니다.
이 연구의 주요 기여는 자율적 기계 학습 엔지니어링 프레임워크를 통해 실험 속도를 향상시키고, 사용자의 장기 만족도와 더 잘 정렬된 새로운 아키텍처 구성 요소를 발견하는 데 있습니다. 여러 성공적인 유튜브의 생산 출시 사례를 통해, 제안된 시스템의 효과가 입증되었으며, 이는 LLM 주도적 진화가 기존의 엔지니어링 워크플로우를 초월할 수 있음을 보여줍니다. 이러한 혁신은 추천 시스템의 미래를 재정의하고, 기계 학습 분야에서의 새로운 패러다임을 열어줄 것으로 기대됩니다.
초록(Abstract)
대규모 기계 학습 시스템, 예를 들어 글로벌 비디오 플랫폼을 위한 추천 모델을 최적화하는 것은 방대한 하이퍼파라미터 검색 공간을 탐색해야 하며, 더 중요하게는 미세한 사용자 행동을 포착하기 위해 정교한 옵티마이저, 아키텍처 및 보상 함수를 설계해야 합니다. 이러한 영역에서 실질적인 개선을 이루는 것은 비트는 작업으로, 전통적으로 새로운 가설을 테스트하기 위해 광범위한 수작업 반복에 의존해 왔습니다. 우리는 구글의 제미니(Gemini) 계열의 대규모 언어 모델(LLMs)을 활용하여 고성능의 복잡한 모델 변화를 자율적으로 생성, 학습 및 배포하는 자기 진화 시스템을 제안합니다. 이 자기 진화 시스템은 프록시 메트릭스를 사용하여 고처리량 가설 생성을 수행하는 오프라인 에이전트(내부 루프)와, 실시간 생산 환경에서 지연된 북극성 비즈니스 메트릭스에 대해 후보를 검증하는 온라인 에이전트(외부 루프)로 구성됩니다. 우리의 에이전트는 전문화된 기계 학습 엔지니어(MLE) 역할을 하며, 깊은 추론 능력을 발휘하여 최적화 알고리즘과 모델 아키텍처에서 새로운 개선점을 발견하고, 장기 사용자 참여를 목표로 하는 혁신적인 보상 함수를 수립합니다. 이 접근 방식의 효과는 YouTube에서의 여러 성공적인 생산 출시를 통해 입증되었으며, 자율적이고 LLM 기반의 진화가 전통적인 엔지니어링 워크플로우를 개발 속도와 모델 성능 모두에서 초월할 수 있음을 확인했습니다.
Optimizing large-scale machine learning systems, such as recommendation models for global video platforms, requires navigating a massive hyperparameter search space and, more critically, designing sophisticated optimizers, architectures, and reward functions to capture nuanced user behaviors. Achieving substantial improvements in these areas is a non-trivial task, traditionally relying on extensive manual iterations to test new hypotheses. We propose a self-evolving system that leverages Large Language Models (LLMs), specifically those from Google's Gemini family, to autonomously generate, train, and deploy high-performing, complex model changes within an end-to-end automated workflow. The self-evolving system is comprised of an Offline Agent (Inner Loop) that performs high-throughput hypothesis generation using proxy metrics, and an Online Agent (Outer Loop) that validates candidates against delayed north star business metrics in live production. Our agents act as specialized Machine Learning Engineers (MLEs): they exhibit deep reasoning capabilities, discovering novel improvements in optimization algorithms and model architecture, and formulating innovative reward functions that target long-term user engagement. The effectiveness of this approach is demonstrated through several successful production launches at YouTube, confirming that autonomous, LLM-driven evolution can surpass traditional engineering workflows in both development velocity and model performance.
논문 링크
학습 가능한 새로운 정보에서의 지능 / Intelligence from Learnable Novelty
논문 소개
지능의 개념은 통계학, 머신러닝, 동적 시스템 및 에이전트 행동과 같은 다양한 분야에서 서로 다른 방식으로 해석되고 있다. 이러한 분야 각각은 고유한 목표를 가지고 있지만, 두 가지 주요 접근 방식인 새로운 것 탐색과 자유 에너지 원리는 상반된 결과를 초래하는 경우가 많다. 이 연구에서는 학습 가능한 새로움이라는 개념을 통해 이러한 상반된 접근 방식을 통합하고, 지능의 다양한 투영을 설명하고자 한다. 이를 위해 연구자들은 저렴하고 미분 가능한 저장소 컴퓨터를 기반으로 하는 닫힌 형태의 추정기를 제시했으며, 이는 감독 없이도 사용할 수 있다. 이 추정기는 수십 년간의 복잡성 분류를 재현하고, 튜링 완전 규칙 110을 기본적인 세포 자동자 중 가장 높은 순위로 평가하는 데 기여하였다.
본 연구에서 제안된 학습 가능한 새로움은 신경 세포 자동자를 통해 단순한 동역학에서 솔리톤 체제로의 전환을 가능하게 하며, MNIST 데이터셋의 10개 숫자 클래스에 대한 이미지 인코더의 표현을 조직하는 데 도움을 준다. 더욱이, 강화 학습 에이전트에게 내재적 보상으로 제공될 경우, 이는 탐색을 촉진하여 작업 기준을 개선하고, 다양한 환경에서 안정성을 유지하는 데 기여한다. 이러한 결과는 복잡성 생성, 추상화 및 탐색이 서로 다른 분야에서 독립적으로 연구되어 온 것을 극복하고, 하나의 미분 가능한 양에 의해 통합될 수 있음을 보여준다.
이 연구는 지능의 정의에 대한 새로운 통찰을 제공하며, 학습 가능한 새로움을 통해 지능의 복잡한 개념을 단일 정량적 기초로 통합하는 혁신적인 접근법을 제시한다. 이러한 기여는 지능 연구의 방향성을 제시하며, 향후 연구의 기초를 마련하는 데 중요한 역할을 할 것이다.
초록(Abstract)
지능은 다양한 분야에서 서로 다른 이름으로 나타납니다: 통계와 머신러닝에서는 데이터 압축으로, 동적 시스템에서는 보편적 계산으로, 에이전트에서는 적응 행동으로 나타납니다. 각 분야는 고유한 목표를 가지고 있으며, 가장 영향력 있는 두 가지 동기는 종종 서로 반대되는 실패를 겪습니다: 놀라움을 추구하는 새로움 탐색은 소음이 가득한 텔레비전 화면에 고정되어 있는 반면, 놀라움을 피하는 자유 에너지 원리는 어두운 방에서 가장 만족스러워합니다. 이러한 두 가지 실패는 단일한 원인에서 비롯됩니다: 각 목표는 학습자가 지식으로 전환할 수 있는 놀라움과 절대적으로 전환할 수 없는 놀라움을 하나의 양으로 취급합니다. 여기에서 우리는 학습 가능한 정보의 일부, 즉 학습 가능한 새로움이 지능의 서로 다른 투영을 생성함을 보여주며, 저렴하고 미분 가능한 저수조 컴퓨터를 기반으로 한 이를 위한 폐쇄형 추정기를 제공합니다. 이 추정기를 측정값으로 사용하면, 어떤 종류의 감독 없이도 수십 년의 복잡도 분류를 회복하여 튜링 완전한 규칙 110을 기본 셀룰러 오토마타 중 가장 높은 순위로 매깁니다. 이 추정기를 목표로 사용하면, 그 그래디언트는 간단한 동역학에서 솔리톤의 영역으로 신경 셀룰러 오토마타를 이끌어 가며, 규칙 110이 계산하는 방식으로 이동하고 충돌하는 구조를 생성할 뿐만 아니라, MNIST의 10개 숫자 클래스 주위에 이미지 인코더의 표현을 완전히 비지도 방식으로 조직합니다: 훈련에 라벨이 결코 들어가지 않습니다. 강화 학습 에이전트에 내재적 보상으로 제공되면, 이는 작업 보상이 결여된 탐색을 제공하여, 열 개의 환경 중 아홉 개에서 작업 기준선을 개선하고, 어느 환경에서도 붕괴되지 않습니다. 복잡성 생성, 추상화 및 탐색은 일반적으로 별개의 분야에서 별개의 목표로 추구되지만, 하나의 미분 가능한 양에서의 상승으로부터 나타나며, 지능의 투영은 공통의 정량적 기반을 갖게 됩니다.
Intelligence appears under different names in different fields: as data compression in statistics and machine learning, as universal computation in dynamical systems, and as adaptive behavior in agents. Each field carries its own objective, and the two most influential drives often fail in mirror image: novelty search, which seeks surprise, is transfixed by a noisy television screen, while the free-energy principle, which avoids surprise, is most content in a dark room. Both failures have a single cause: each objective treats as one quantity the surprise a learner can convert into knowledge and the surprise it never can. Here we show that the learnable part of that information, which we call learnable novelty, yields the seemingly disparate projections of intelligence, and we give a closed-form estimator of it built on a cheap and differentiable reservoir computer. Used as a measure, with no supervision of any kind, the estimator recovers decades of complexity classification, ranking the Turing-complete rule~110 highest among the elementary cellular automata. Used as an objective, its gradient carries a neural cellular automaton from simple dynamics into a regime of solitons, the traveling, colliding structures by which rule~110 computes, as well as organizes the representation of an image encoder around the ten digit classes of MNIST, fully unsupervised: no label ever enters training. Handed to a reinforcement-learning agent as an intrinsic reward, it supplies the exploration that task rewards lack, improving on the task baseline in nine of ten environments and collapsing in none. Complexity generation, abstraction, and exploration, ordinarily pursued with unrelated objectives in separate fields, thus emerge from ascent on one differentiable quantity, and the projections of intelligence gain a common quantitative footing.
논문 링크
더 읽어보기
데이터플로우-하네스: 편집 가능한 LLM 데이터 파이프라인 구축을 위한 그라운딩 코드 에이전트 플랫폼 / DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines
논문 소개
대규모 언어 모델(LLMs)은 데이터 처리 워크플로우를 자동화하는 데 있어 중요한 역할을 하고 있으나, 코드 에이전트가 생성하는 스크립트는 지속 가능하고 편집 가능한 플랫폼 아티팩트로 자동 변환되지 않는 문제, 즉 NL2Pipeline 갭이 존재한다. 이를 해결하기 위해 제안된 DataFlow-Harness 플랫폼은 LLM 에이전트가 자유 형식의 스크립트가 아닌 형식화된 점진적 변화를 통해 플랫폼 고유의 유향 비순환 그래프(DAG)를 구성하도록 안내한다. 이 플랫폼은 세 가지 주요 구성 요소로 이루어져 있다. 첫째, DataFlow-Skills는 도메인 특화된 구성 지식을 인코딩하여 에이전트가 필요한 연산자 선택 패턴과 조립 절차를 이해하도록 돕는다. 둘째, 모델 컨텍스트 프로토콜(Model Context Protocol, MCP)은 라이브 연산자 레지스트리와 현재 파이프라인 상태에 대한 접근을 제공하여 에이전트의 행동을 실행 환경에 그라운딩한다. 셋째, DataFlow-WebUI는 대화형 저자 작성과 시각적 DAG 편집기를 동기화하여 사용자가 생성된 워크플로우를 지속 가능하고 편집 가능하게 만든다.
실험 결과, DataFlow-Harness는 12개의 데이터 엔지니어링 벤치마크에서 93.3%의 종단 간 통과율을 달성하며, 기존의 Vanilla Claude Code에 비해 금전적 비용을 72.5% 감소시키고 생성 지연 시간을 49.9% 단축시키는 성과를 보였다. 또한, 태스크별 분석에 따르면, 절차적 지식이 필요한 작업에서 DataFlow-Skills의 효과가 가장 두드러졌다. 이러한 결과는 라이브 플랫폼 그라운딩이 지속 가능하고 편집 가능한 워크플로우 아티팩트를 생성할 수 있으며, 스크립트 생성 기준선에 근접한 신뢰성을 유지하면서도 더 낮은 구축 비용과 지연 시간을 달성할 수 있음을 보여준다. DataFlow-Harness는 LLM 에이전트가 실용적이고 신뢰할 수 있는 데이터 파이프라인을 생성할 수 있는 새로운 가능성을 제시하며, 데이터 처리 워크플로우의 효율성과 효과성을 크게 개선하는 데 기여하고 있다.
초록(Abstract)
대규모 언어 모델(LLM)은 데이터 처리 워크플로우 자동화에 점점 더 많이 사용되고 있지만, 코딩 에이전트는 일반적으로 지속적이고 편집 가능한 플랫폼 아티팩트로 자동적으로 구현되지 않는 스크립트를 생성합니다. 우리는 이 단절을 \textit{NL2Pipeline 갭}이라고 부릅니다. 이를 연결하기 위해, 우리는 LLM 에이전트가 자유 형식의 스크립트가 아닌 유형화된 점진적 변이를 통해 플랫폼 네이티브 방향 비순환 그래프(DAG)를 구성하도록 안내하는 플랫폼인 \textsc{DataFlow-Harness}를 소개합니다. 이 플랫폼은 절차적 가이드를 위한 \textsc{DataFlow-Skills}, 라이브 운영자 레지스트리와 현재 파이프라인 상태를 노출하는 모델 컨텍스트 프로토콜(MCP) 레이어, 그리고 시각적 DAG 편집기와의 대화형 저작을 동기화하는 \textsc{DataFlow-WebUI}를 결합합니다. 12개의 작업 데이터 엔지니어링 벤치마크에서 \textsc{DataFlow-Harness}는 93.3%의 관찰된 종단 간 통과율을 달성합니다. Vanilla Claude Code와 비교할 때, 측정된 금전적 비용을 72.5% 줄이고 생성 지연 시간을 49.9% 단축합니다. 관찰된 통과율은 Context-Aware Claude Code 기준선과 0.9% 포인트 이내이며, 비용은 42.8% 낮습니다. 작업별 분석에 따르면, Skills는 구축이 암묵적 절차적 지식에 의존할 때 가장 유용합니다. 이러한 결과는 라이브 플랫폼 그라운딩이 스크립트 생성 기준선에 가까운 신뢰성을 가지며, 측정된 구축 비용과 지연 시간이 더 낮은 지속적이고 편집 가능한 워크플로우 아티팩트를 생성할 수 있음을 보여줍니다.
Large language models (LLMs) are increasingly used to automate data-processing workflows, yet coding agents typically produce scripts that are not automatically materialized as persistent, editable platform artifacts. We call this disconnect the \textit{NL2Pipeline gap}. To bridge it, we introduce \textsc{DataFlow-Harness}, a platform that guides an LLM agent to construct platform-native directed acyclic graphs (DAGs) through typed, incremental mutations rather than free-form scripts. The platform combines \textsc{DataFlow-Skills} for procedural guidance, a Model Context Protocol (MCP) layer that exposes the live operator registry and current pipeline state, and \textsc{DataFlow-WebUI}, which synchronizes conversational authoring with a visual DAG editor. On a 12-task data-engineering benchmark, \textsc{DataFlow-Harness} achieves a 93.3% observed end-to-end pass rate. Relative to Vanilla Claude Code, it reduces measured monetary cost by 72.5% and generation latency by 49.9%; its observed pass rate is within 0.9 percentage points of the Context-Aware Claude Code baseline while its cost is 42.8% lower. Per-task analysis indicates that Skills are most useful when construction depends on implicit procedural knowledge. These results show that live platform grounding can produce persistent, editable workflow artifacts with an observed reliability close to script-generation baselines and with lower measured construction cost and latency.
논문 링크
더 읽어보기
MemOS, 기억에서 기술로: 장기 지향 LLM 에이전트를 위한 증거 기반 공동 진화 거버넌스 / From Memory to Skills: Evidence-Grounded Co-Evolution Governance for Long-Horizon LLM Agents
논문 소개
기존의 대규모 언어 모델(LLM) 에이전트를 위한 메모리 시스템은 과거의 경험을 수동적으로 검색하는 데 그치며, 이를 실행 가능한 능력으로 전환하지 못하는 한계를 지니고 있다. 이 문제를 해결하기 위해, 본 연구에서는 MSCE(메모리-기술 공진화)라는 혁신적인 프레임워크를 제안하였다. MSCE는 에이전트의 경험을 근거 있는 단계적 흔적, 재사용 가능한 절차적 정책, 그리고 선언적 환경 인지 형태로 조직화하여, 에이전트가 환경에 대한 깊은 이해를 바탕으로 행동할 수 있도록 지원한다. 이 프레임워크는 긍정적인 추정 이익을 갖춘 증거 기반 L2 정책을 호출 가능한 기술로 결정화하여, 이러한 기술이 신뢰성 있는 근거 링크, 적용 경계, 의사 결정 안내 및 검증 규칙을 포함하도록 한다.
MSCE의 핵심 혁신 중 하나는 반사 가중치 가치 채우기 기법이다. 이 방법은 희소한 최종 피드백을 밀집한 지역 자기 반성을 통해 전파하여, 메모리와 기술의 진화를 관리하는 데 필요한 증거 보정 추적 값을 생성한다. 이를 통해 에이전트는 더욱 효과적으로 학습하고, 복잡한 환경에서도 유연하게 작동할 수 있는 능력을 갖추게 된다. EvoAgentBench와 LoCoMo와 같은 벤치마크 테스트에서 MSCE는 최신의 기술 증강 및 메모리 기반 에이전트와 비교하여 상당히 우수한 성능을 발휘하였으며, 특히 강력한 도메인 간 전이 가능성과 평생 진화 능력을 보여주었다.
이 결과는 MSCE가 장기 지향 LLM 에이전트의 메모리와 기술을 효과적으로 진화시키는 데 기여할 수 있음을 강하게 뒷받침한다. 이러한 접근 방식은 에이전트가 환경에 대한 인식을 깊게 하고, 이를 통해 더욱 향상된 성능을 발휘할 수 있도록 하는 데 중요한 역할을 할 것으로 기대된다. 본 연구는 LLM 에이전트의 진화 가능성과 관련된 새로운 방향성을 제시하며, 향후 AI 및 머신러닝 분야에서의 활용 가능성을 더욱 넓혀줄 것으로 보인다.
초록(Abstract)
기존의 장기 지향 대규모 언어 모델(LLM) 에이전트의 메모리 시스템은 종종 이전의 흔적을 수동적인 맥락으로 검색하는 데 그치지 않고, 이를 실행 가능한 능력으로 전환하지 않습니다. 본 논문에서는 MSCE(메모리-스킬 공동 진화)라는 훈련이 필요 없는 프레임워크를 제안합니다. 이는 에이전트 경험을 근거 있는 단계 흔적, 재사용 가능한 절차적 정책, 그리고 선언적 환경 인지로 조직합니다. MSCE는 증거 기반의 L2 정책을 긍정적인 추정 이익과 함께 구체화하여, 증거 링크, 적용 가능 경계, 의사 결정 안내, 검증 규칙, 신뢰성 추정치를 보유한 호출 가능한 스킬로 전환합니다. 또한, MSCE는 희소한 최종 피드백을 밀집된 지역 자기 반사를 통해 전파하여 메모리와 스킬 진화를 관리하기 위한 증거 보정 단계 값을 생성하는 반영 가중치 가치 보충을 도입합니다. EvoAgentBench 및 LoCoMo에서의 실험 결과, MSCE는 최신의 스킬 증강 및 메모리 기반 에이전트 기준선보다 유의미하게 우수한 성능을 보이며, 강력한 교차 도메인 전이 가능성과 평생 진화 능력을 나타냅니다.
Existing memory systems for long-horizon LLM agents often retrieve prior traces as passive context rather than converting them into executable capabilities. In this paper, we propose MSCE, a training-free Memory--Skill Co-Evolution framework that organizes agent experience into grounded step traces, reusable procedural policies, and declarative environmental cognition. MSCE crystallizes evidence-backed L2 policies with positive estimated gain into callable skills that retain evidence links, applicability boundaries, decision guidance, verification rules, and reliability estimates. It further introduces reflection-weighted value backfilling, which propagates sparse terminal feedback through dense local self-reflections to produce evidence-calibrated trace values for governing memory and skill evolution. Experiments on EvoAgentBench and LoCoMo demonstrate that MSCE significantly outperforms state-of-the-art skill-augmented and memory-driven agent baselines, exhibiting strong cross-domain transferability and lifelong-evolution capabilities.
논문 링크
더 읽어보기
피지컬 AI를 위한 하니스 엔지니어링: 로봇 미들웨어는 하니스 레이어이다 / Harness Engineering for Physical AI: Robot Middleware Is the Harness Layer
논문 소개
로봇 미들웨어는 현재 물리적 AI 시대에서 중요한 역할을 맡고 있으며, 이를 통해 학습된 정책, 계획자, 비전-언어-행동 모델이 로봇의 제어 경로에서 인과적 참여자로 작용할 수 있도록 지원하고 있습니다. 그러나 이러한 모델을 통합하는 데 필요한 레이어는 아직 명명되지 않았으며, 최근 연구에서는 이를 '하네스'라고 정의하였습니다. 하네스는 도구를 중재하고 상태를 관리하며 자원을 제한하고 실행을 기록하는 외부 시스템으로, 로봇 커뮤니티에서는 이러한 개념이 아직 널리 채택되지 않고 있습니다. 본 연구는 로봇 미들웨어가 바로 이 하네스 역할을 수행해야 한다고 주장하고 있습니다.
물리적 AI 하네스는 소프트웨어 하네스와는 달리 제어, 컴퓨팅, 통신을 동시에 중재해야 하며, 이는 학습된 정책의 출력이 이 세 가지 모두에 걸쳐 영향을 미치기 때문입니다. 로봇 미들웨어는 이러한 세 가지 요소를 동시에 중재할 수 있는 최적의 위치에 있으며, 이미 하네스가 필요로 하는 많은 기능을 제공하고 있지만 AI 모델에 대한 적절한 enforcement 메커니즘이 부족합니다. 이를 해결하기 위해 본 연구에서는 Projection, Isolation, Transfer라는 세 가지 기능을 제안하며, 각각은 로봇 시스템에서 AI 모델의 선언된 출력 영역, 추론 예산 및 운영 체제를 관리하는 데 필수적인 역할을 합니다.
이러한 기능들은 현재 배치된 로봇 시스템에 수동으로 작성된 코드로 존재하지만, 로봇 미들웨어가 이들을 통합하여 보다 효과적으로 관리할 수 있는 가능성을 제시합니다. 본 연구에서는 이러한 메커니즘을 ROS 2 하네스 프로필이라는 배포 아티팩트의 형태로 정의하여, 미들웨어가 AI 모델의 실행을 관리하고 보장할 수 있도록 하는 방향성을 제시합니다. 이를 통해 로봇 미들웨어는 물리적 AI의 하네스 레이어로 자리 잡아, 로봇 시스템의 신뢰성과 안전성을 확보하는 데 기여할 수 있을 것입니다. 이러한 제안은 로봇 기술의 발전에 중요한 기여를 할 것으로 기대되며, 물리적 AI의 구현에 있어 필수적인 요소로 자리매김할 것입니다.
초록(Abstract)
로봇 미들웨어는 물리적 AI 시대에 새로운 역할을 맡고 있습니다. 학습된 정책, 계획자, 비전-언어-행동(VLA) 모델이 이제 제어 경로에서 인과적 참여자로 배치된 로봇에 들어가고 있지만, 이들을 타이밍, 스케줄링 및 네트워크와 통합하는 계층은 아직 명명되지 않았습니다. 최근의 언어-에이전트 연구에서는 이 계층을 ‘하네스(harness)’라고 명명하였으며, 이는 도구를 중재하고 상태를 관리하며 자원을 제한하고 실행을 기록하는 외부 시스템입니다. 로봇 커뮤니티는 아직 이 프레이밍을 채택하지 않았으며, 우리는 로봇 미들웨어가 바로 그 하네스라고 제안합니다. 물리적 AI 하네스는 개입하는 위치에서 소프트웨어 하네스와 다릅니다. 소프트웨어 하네스는 도구 호출 경계에서 중재합니다. 물리적 AI 하네스는 제어, 컴퓨팅 및 통신을 동시에 중재해야 합니다. 왜냐하면 학습된 정책의 출력은 세 가지 모두를 가로지르기 때문입니다: 명령은 궤적을 변화시키고, 추론 시간은 스케줄을 변화시키며, 페이로드는 대역폭을 변화시킵니다. 로봇 미들웨어는 세 가지에 대한 중재 추상화를 제공하는 로봇 스택의 가장 낮은 계층이므로, 이들의 집합적 집행을 구성하는 데 가장 적합한 위치에 있습니다. 로봇 미들웨어는 하네스에 필요한 대부분의 기능을 제공하지만 AI 모델에 대한 집행이 부족합니다. 우리는 이 부족한 집행을 세 가지 기능으로 명명합니다: Projection은 각 출력을 방출 시점에서 게이트하고, Isolation은 모델의 실행 및 전송 슬롯을 제한하며, Transfer는 점검 실패 시 검증된 기준으로 돌아갑니다. 이 각 기능은 현재 배치된 로봇 시스템의 수작업으로 작성된 애플리케이션 코드로 나타나며, 로봇 미들웨어가 이미 제공하는 표면 위에 구축되어 있습니다. 로봇 미들웨어는 이들을 단일 축의 최상의 집행자로 호스팅하는 것이 아니라, 세 가지 모두를 구성하는 계층으로 기능해야 합니다. 우리는 이를 ROS 2 하네스 프로파일로 개략적으로 설명하며, 이는 AI 모델의 선언된 출력 영역, 추론 예산 및 운영 모드를 포함하는 배치 아티팩트로, 미들웨어가 ROS 2, DDS 및 Zenoh 전반에 걸쳐 이를 집행하도록 합니다.
Robot middleware faces a new role in the era of Physical AI. Learned policies, planners, and vision-language-action (VLA) models now enter deployed robots as causal participants on the control path, but the layer that integrates them with timing, scheduling, and network has not been named. Recent language-agent work names this layer the harness, the external system that mediates tools, manages state, bounds resources, and records execution. The robotics community has not yet adopted this framing, and we propose that robot middleware is that harness. A Physical AI harness differs from a software harness in where it intervenes. A software harness mediates at tool-call boundaries. A Physical AI harness must mediate at control, computing, and communication simultaneously, because a learned policy's output crosses all three: its commands shift the trajectory, its inference time shifts the schedule, and its payload shifts the bandwidth. Robot middleware is the lowest robot-stack layer with mediating abstractions over all three, so it is best positioned to compose their enforcement. It already provides most of what a harness needs but lacks the enforcement for an AI model. We name this missing enforcement as three functions: Projection gates each output at emission, Isolation bounds the model's execution and transmission slot, and Transfer falls back to a verified baseline when checks fail. Each appears today as hand-built application code in deployed robot systems, built on surfaces robot middleware already provides. Robot middleware should host them not as the best single-axis enforcer but as the layer that composes all three. We sketch this as a ROS 2 Harness Profile, a deployment artifact that carries an AI model's declared output region, inference budget, and operating regime while the middleware enforces them across ROS 2, DDS, and Zenoh.
논문 링크
하네스 핸드북: 진화하는 에이전트 하네스를 읽기 쉽고 탐색 가능하며 편집 가능하게 만들기 / Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable
논문 소개
현대 인공지능(AI) 시스템의 성능은 단순히 기초 모델에 의존하는 것이 아니라, 하네스(harness)의 품질과 설계에도 크게 좌우된다. 하네스는 AI 에이전트의 행동을 정의하고 조정하는 중요한 역할을 하며, 특히 프롬프트 구성, 상태 관리, 도구 호출 및 실행 조정을 포함한다. 그러나 AI 모델과 API, 환경, 요구 사항이 지속적으로 변화함에 따라 하네스를 수정하는 과정은 복잡하고 도전적이다. 이러한 수정 작업을 수행하기 위해서는 개발자나 코딩 에이전트가 목표 행동을 구현하는 코드의 모든 위치를 파악해야 하지만, 생산 하네스는 일반적으로 크고 밀접하게 결합되어 있으며 행동이 산재해 있어 이를 식별하는 것이 어렵다.
이 논문에서는 이러한 문제를 해결하기 위해 **하네스 핸드북(Harness Handbook)**을 제안한다. 하네스 핸드북은 정적 분석과 대규모 언어 모델(LLM)을 활용하여 하네스 코드베이스에서 자동으로 합성된 행동 중심 표현으로, 각 행동을 해당 소스 코드와 연결함으로써 개발자들이 보다 쉽게 행동 로컬라이제이션을 수행할 수 있도록 돕는다. 더불어, 행동 유도 점진적 공개(Behavior-Guided Progressive Disclosure, BGPD) 기법을 통해 에이전트가 높은 수준의 행동에서부터 관련 구현 세부사항으로 자연스럽게 안내받을 수 있으며, 이를 통해 후보 코드 위치를 현재 소스와 비교하여 검증할 수 있다.
두 개의 오픈 소스 하네스를 대상으로 한 다양한 수정 요청에 대한 실험 결과, 핸드북 지원 계획은 행동 로컬라이제이션과 편집 계획의 품질을 향상시키면서도 사용된 계획자 토큰 수를 감소시키는 성과를 보였다. 특히, 분산된 사이트나 드물게 실행되는 경로, 그리고 모듈 간의 상호작용에서 가장 큰 효과를 나타내었다. 이러한 결과는 복잡한 에이전틱 시스템의 진화를 위해서는 단순히 편집을 생성하는 것뿐만 아니라, 이러한 편집이 이루어져야 할 위치를 정확하게 파악하는 것이 필수적임을 강조한다. 하네스 핸드북과 BGPD의 도입은 AI 시스템의 하네스 진화 과정에서 중요한 기여를 할 것으로 기대된다.
초록(Abstract)
현대 AI 에이전트의 능력은 파운데이션 모델뿐만 아니라 프롬프트를 구성하고 상태를 관리하며 도구를 호출하고 실행을 조정하는 하네스(harness)에도 의존합니다. 모델, API, 환경 및 요구 사항이 진화함에 따라 하네스는 지속적으로 수정되어야 합니다. 이러한 변경을 수행하기 전에 개발자 또는 코딩 에이전트는 목표 동작을 구현하는 모든 코드 위치를 식별해야 합니다. 이는 생산 하네스가 크고, 밀접하게 결합되어 있으며, 행동적으로 분산되어 있기 때문에 어렵습니다. 수정 요청은 시스템이 수행해야 할 작업을 설명하고, 저장소는 파일과 모듈로 구성되어 있습니다. 코드 검색, 저장소 인덱싱 및 장기 컨텍스트 처리는 검사를 용이하게 하지만, 여전히 이 행동-코드 매핑은 수작업으로 복구해야 합니다. 따라서 행동 로컬라이제이션(behavior localization)은 하네스 진화의 주요 병목 현상입니다. 우리는 정적 분석과 LLM 지원 구조화를 통해 하네스 코드베이스에서 자동으로 합성된 행동 중심의 표현인 하네스 핸드북(Harness Handbook)을 소개합니다. 이 핸드북은 각 행동을 해당 소스와 연결합니다. 또한, 고수준 행동에서 관련 구현 세부정보로 에이전트를 안내하고 후보 위치를 현재 소스와 대조하여 검증하는 행동 중심 점진적 공개(Behavior-Guided Progressive Disclosure, BGPD)를 소개합니다. 두 개의 오픈소스 하네스에서 다양하게 발생한 수정 요청에 대해, 핸드북 지원 계획은 행동 로컬라이제이션과 수정 계획의 품질을 향상시키면서도 사용되는 플래너 토큰 수를 줄이며, 특히 분산된 사이트, 드물게 실행되는 경로 및 모듈 간 상호작용에서 가장 큰 성과를 보였습니다. 따라서 복잡한 에이전트 시스템의 진화는 단순히 수정 사항을 생성하는 것뿐만 아니라, 이러한 수정이 어디에서 이루어져야 하는지를 결정하는 데에도 의존합니다.
The capability of a modern AI agent depends not only on its foundation model but also on its harness, which constructs prompts, manages state, invokes tools, and coordinates execution. As models, APIs, environments, and requirements evolve, the harness must be continually modified. Before such a change can be made, a developer or coding agent must identify all code locations that implement the target behavior. This is difficult because production harnesses are large, tightly coupled, and behaviorally distributed, while modification requests describe what the system should do and repositories are organized by files and modules. Code search, repository indexing, and long-context processing ease inspection, but still leave this behavior-to-code mapping to be recovered by hand. Behavior localization is therefore a central bottleneck in harness evolution. We introduce the Harness Handbook, a behavior-centric representation synthesized automatically from a harness codebase via static analysis and LLM-assisted structuring, linking each behavior to its corresponding source. We also introduce Behavior-Guided Progressive Disclosure (BGPD), which guides agents from high-level behaviors to relevant implementation details and verifies candidate locations against the current source. On diverse modification requests from two open-source harnesses, Handbook-Assisted planning improves behavior localization and edit-plan quality while using fewer planner tokens, with the largest gains on scattered sites, rarely executed paths, and cross-module interactions. Evolving complex agentic systems thus depends not only on generating edits, but also on determining where those edits should be made.
논문 링크
더 읽어보기
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 