[2026/06/15 ~ 21] 이번 주에 살펴볼 만한 AI/ML 논문 모음
PyTorchKR
이번 주에 선정된 10편의 논문을 살펴보면, 에이전트의 기억, 실행 하네스, 점진적 추론, 자동화된 피드백 루프를 중심으로, LLM을 단순 생성기가 아니라 지속적으로 학습하고 수정되는 시스템으로 다루고 있습니다.
단순 생성을 넘어선 "반복적 자가 수정 및 검증(Iterative Self-Correction & Verification)": 이번 주 논문들에서는 에이전트가 단발성 텍스트나 코드 생성에 그치지 않고, 외부 환경의 피드백을 통해 스스로 오류를 수정하며 결과물을 정교화하는 흐름이 돋보입니다. LEAP와 Agentic Framework 논문은 각각 Lean 컴파일러의 오류 메시지와 PyTorch 실행 기반 오라클(Oracle)을 활용해, 수학 증명과 프레임워크 간 코드 변환의 무결성을 스스로 디버깅하는 폐루프(closed-loop) 구조를 제안했습니다. 또한 RDA는 비전-언어 모델을 이용해 로봇의 실패 양상을 분석하여 보상 코드를 반복적으로 수정하고, PR-CAD는 점진적 정제 과정을 통해 텍스트 기반 3D 모델링의 생성과 수정을 하나로 통합했습니다. 이는 AI가 인간의 개입 없이도 스스로 실행 결과를 검증하고 교정하는 자율적이고 신뢰도 높은 에이전트로 진화하고 있음을 명확히 보여줍니다.
문맥 한계 극복을 위한 "동적 메모리 압축(Dynamic Memory Compression)"의 부상: 모델의 컨텍스트 윈도우 크기를 무작정 늘리는 대신, 필요한 정보를 선별하고 압축하여 장기적인 상호작용의 안정성을 높이는 연구들도 중요한 트렌드입니다. AtomMem은 긴 대화 속에서 가치 있는 원자적 사실(atomic facts)만을 추출해 계층적 구조로 저장함으로써, 정보의 중복을 줄이고 시간의 흐름에 따라 안정적으로 진화하는 개인화된 장기 기억을 구현했습니다. 이와 맥락을 같이하는 다중 턴 추론(LiC 완화) 논문은 늘어나는 대화 이력을 모두 읽는 대신, 작고 갱신 가능한 롤링 메모리(rolling memory)를 유지하도록 모델을 학습시켜 파편화된 문맥 속에서의 점진적 추론 능력을 크게 향상시켰습니다. 이러한 접근은 무의미한 정보 과부하를 방지하고, 에이전트가 장기적인 작업에서도 핵심 맥락을 놓치지 않도록 돕는 경제적이고 실용적인 해결책을 제시합니다.
가중치 최적화를 보완하는 "하네스(Harness) 진화와 지식의 외재화": 모델의 파라미터(가중치) 자체를 직접 학습시키기보다, 프롬프트, 스킬 라이브러리, 도구 등 모델을 둘러싼 실행 환경인 '하네스'를 최적화하여 성능을 극대화하려는 시도가 활발해지고 있습니다. HarnessX와 자기 진화형 에이전트 역량 분리 연구는 실행 궤적을 바탕으로 에이전트의 제어 흐름과 프롬프트를 자율적으로 갱신하는 구조를 선보였으며, 특히 하네스를 생성하는 능력과 이를 끈기 있게 따르는 능력이 별개임을 증명해 냈습니다. 더 나아가 Prompt-Level Distillation(PLD)은 교사 모델의 추론 패턴을 구조화된 시스템 프롬프트로 압축해 소형 모델에 이식했고, SKILL.md 자동화 연구는 행동 데이터에서 인간이 읽을 수 있는 스킬 구조를 채굴해 냈습니다. 이는 모델의 덩치를 키우는 데 의존하지 않고, 실행 인터페이스와 논리 규칙을 정교하게 조립하고 외재화함으로써 효율성과 설명 가능성을 동시에 확보하려는 새로운 패러다임입니다.
논문별 핵심 요약
-
AtomMem: Building Simple and Effective Memory System for LLM Agents via Atomic Facts: 대화에서 중요한 정보를 원자적 사실(atomic facts) 단위로 추출해 계층적 사건 구조와 시간 프로필로 조직하는 장기 기억 시스템을 제안합니다. 검색 단계에서는 연상 메모리 그래프로 관련 기억을 복원하며, LoCoMo 벤치마크에서 최신 성능을 달성했습니다.
-
Agentic Framework for Deep Learning workload migration via In-Context Learning: PyTorch를 JAX로 옮기는 작업을 문맥 내 학습(In-Context Learning, ICL)과 실행 오라클을 결합한 에이전틱 번역 문제로 재정의합니다. 실제 텐서 상태를 기반으로 자기 수정 루프를 돌려, 수치적 동등성을 크게 끌어올렸습니다.
-
HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry: 프롬프트, 도구, 메모리, 제어 흐름을 하나의 진화 가능한 실행 계층으로 보는 하네스 프레임워크를 제안합니다. 실행 궤적을 바탕으로 하네스를 적응시키고, 모델 학습과 하네스 진화를 함께 묶어 평균 성능을 개선했습니다.
-
Multi-Turn Reasoning When Context Arrives in Pieces: Scalable Sharding and Memory-Augmented RL: 정보를 여러 턴에 걸쳐 받는 상황에서의 추론 저하를 Lost in Conversation으로 정의하고, 롤링 메모리를 학습시키는 방식을 제안합니다. 저비용 샤딩 파이프라인과 검증 가능 보상 기반 강화학습으로 다중 턴 추론 성능과 일반화를 높였습니다.
-
Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining: GUI 상호작용 궤적을 분석해 사람이 읽을 수 있는 스킬 문서(Skill.md)를 자동 생성하는 파이프라인을 제안합니다. 다만 스킬 구조의 가독성은 높지만, 교차 도메인 정책 성능 향상은 제한적이어서 구조화 방식의 한계도 함께 드러냅니다.
-
PR-CAD: Progressive Refinement for Unified Controllable and Faithful Text-to-CAD Generation with Large Language Models: 텍스트-투-CAD 생성과 CAD 편집을 하나의 점진적 정제 프레임워크로 통합합니다. 생성과 수정 데이터를 함께 학습하고, 기하학적 충실성과 제어 가능성을 동시에 끌어올려 실제 설계 워크플로에 더 가깝게 만듭니다.
-
RDA: Reward Design Agent for Reinforcement Learning: 비전-언어 모델(Vision-Language Model, VLM)을 활용해 궤적을 해석하고 실패 양상을 진단한 뒤, 보상 코드를 반복적으로 수정하는 보상 설계 에이전트를 제안합니다. 단순 성공률이 아니라 지시 정렬성(instruction alignment) 을 개선하는 방향으로 로봇 정책을 유도합니다.
-
Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents: 하네스를 잘 업데이트하는 능력과, 업데이트된 하네스의 혜택을 실제로 받는 능력을 분리해 분석합니다. 결과적으로 하네스 생성 능력은 기본 성능과 크게 연동되지 않았고, 실제 병목은 하네스 호출과 장기 지시 추종에 있음을 보였습니다.
-
LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks: Lean 환경에서 범용 파운데이션 모델이 형식 증명을 수행하도록 돕는 에이전틱 정리 증명 프레임워크입니다. 비공식 증명 청사진과 Lean 컴파일러 피드백을 왕복하며, 형식 수학에서 강한 성능을 보여 줍니다.
-
Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning: 긴 사고의 연쇄(Chain-of-Thought)를 매번 생성하지 않고, 교사 모델의 추론 규칙을 시스템 프롬프트에 구조화해 주입하는 비파라메트릭 증류 방법입니다. 해석 가능성과 낮은 지연 시간을 유지하면서 소형 모델의 추론 성능을 크게 끌어올렸습니다.
AtomMem: 원자적 사실을 통해 LLM 에이전트를 위한 단순하고 효과적인 메모리 시스템 구축 / AtomMem: Building Simple and Effective Memory System for LLM Agents via Atomic Facts
논문 소개
대규모 언어 모델(Large Language Models, LLMs)은 뛰어난 추론과 생성 능력을 보이지만, 고정된 컨텍스트 윈도우 때문에 여러 세션에 걸친 정보를 장기적으로 축적하고 재활용하는 데에는 구조적인 한계를 드러냅니다. AtomMem은 이러한 문제를 장기 기억의 저장 밀도와 갱신 안정성이라는 관점에서 재해석하며, 긴 상호작용에서 중요한 정보를 선별적으로 보존하고 시간이 지나도 일관되게 진화하는 메모리 체계를 제안합니다. 이 접근의 핵심은 Fact Executor를 통해 긴 대화나 상호작용 속에서 메모리로서의 가치가 높은 원자적 사실(atomic facts)만 추출하는 데 있으며, 이를 통해 거친 문단 단위 저장이 초래하는 중복과 잡음을 줄이면서도 실제 활용 가능한 정보를 압축적으로 유지합니다. 추출된 사실들은 개별 조각으로 흩어지지 않고 계층적 사건 구조(hierarchical event structures)로 조직되어, 하나의 일화적 맥락 안에서 서로 관련된 기억을 함께 복원할 수 있게 설계됩니다. 여기에 시간 프로필(temporal profiles)을 결합함으로써 사용자의 선호나 속성이 시간에 따라 어떻게 변화하는지를 추적하여, 정적인 개인화가 놓치기 쉬운 동적 변화를 메모리 자체에 반영합니다.
검색 단계에서는 연상 메모리 그래프(associative memory graph)를 활성화하여 분산된 사실과 사건, 시간 정보를 연결하고, 질의와 직접 맞닿은 기억뿐 아니라 주변의 연관 단서까지 단계적으로 복원합니다. 특히 랜덤 워크 리스타트(Random Walk Restart)와 보정적 융합(compensatory fusion)을 활용한 탐색은 그래프 확산의 범위를 적절히 통제하면서도, 사실 수준의 정합성과 사건 수준의 맥락성을 동시에 고려하도록 만듭니다. 이러한 구조는 단순히 메모리를 많이 쌓는 방식이 아니라, 저장 단계에서부터 검색 단계까지 일관되게 선택과 연결을 설계한 점에서 기존 메모리 증강 시스템과 뚜렷이 구별됩니다. 실험 결과 역시 이러한 설계의 타당성을 뒷받침하며, LoCoMo 벤치마크에서 AtomMem이 다양한 추론 과제 전반에 걸쳐 최신 성능(state-of-the-art)을 달성한 것으로 보고됩니다. 결국 이 논문은 장기 개인화 에이전트가 요구하는 핵심 능력, 즉 중요한 사실을 경제적으로 저장하고, 시간에 따라 안정적으로 갱신하며, 필요한 순간에 맥락적으로 정확히 되살리는 과정을 하나의 체계로 통합했다는 점에서 의미가 큽니다.
초록(Abstract)
대규모 언어 모델(LLM)은 강력한 추론 및 생성 능력을 보여주지만, 고정된 컨텍스트 윈도우는 장기적인 정보 축적과 여러 세션에 걸친 재사용을 제한합니다. 기존의 메모리 증강 시스템은 비효율적인 메모리 표현이나 불안정한 제약 없는 업데이트에 의존하여, 대체로 거칠고 불안정한 방식으로 메모리를 구성하는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 가치 밀도가 높은 저장과 안정적인 메모리 진화를 위해 설계된 장기 기억 시스템인 AtomMem을 제안합니다. AtomMem은 Fact Executor를 도입하여 장문 상호작용에서 가치가 높은 원자적 사실을 선택적으로 추출하고, 이를 매우 효율적인 메모리 표현으로 활용합니다. 이후 AtomMem은 이러한 사실들을 계층적 이벤트 구조와 시간적 프로파일로 조직하여, 일관된 에피소드 문맥을 포착하고 시간에 따라 동적으로 변화하는 사용자 속성을 추적합니다. 검색 시에는 시스템이 연상 메모리 그래프를 활성화하여 분절된 기억들을 연결합니다. LoCoMo 벤치마크에서 수행한 실험은 AtomMem이 다양한 추론 작업 전반에서 최신 최고 성능을 달성함을 확인했으며, 지능형 개인화 에이전트를 배포하기 위한 확장 가능하고 경제적으로 실행 가능한 해결책을 제공합니다.
Large language models (LLMs) demonstrate strong reasoning and generation abilities, but their fixed context windows limit long-term information accumulation and reuse across multi-session interactions. Existing memory-augmented systems often construct memory in a coarse and unstable manner, relying on inefficient memory representations or unstable unconstrained updates. To address these challenges, we propose AtomMem, a long-term memory system designed for value-dense storage and stable memory evolution. AtomMem introduces a Fact Executor, which selectively extracts high value atomic facts from long form interactions to serve as highly efficient memory representations. Subsequently, AtomMem organizes these facts into hierarchical event structures and temporal profiles, capturing coherent episodic contexts and tracking dynamically evolving user attributes over time. During retrieval, the system activates an associative memory graph to connect fragmented memories. Experiments on the LoCoMo benchmark confirm that AtomMem achieves state-of-the-art performance across various reasoning tasks, offering a scalable and economically viable solution for deploying intelligent personalized agents.
논문 링크
더 읽어보기
문맥 내 학습을 활용한 딥러닝 워크로드 마이그레이션을 위한 에이전틱 프레임워크 / Agentic Framework for Deep Learning workload migration via In-Context Learning
논문 소개
PyTorch의 유연한 객체 지향적 구현을 JAX의 함수형·무상태 구조로 옮기는 작업은 겉보기보다 훨씬 복잡하며, 단순한 코드 치환만으로는 상태 관리, 텐서 레이아웃, 정밀도, 제어 흐름의 차이를 동시에 맞추기 어렵습니다. 이러한 배경에서 제안된 접근은 대규모 언어 모델(Large Language Models, LLMs)을 단순 생성기로 두지 않고, 문맥 내 학습(In-Context Learning, ICL)과 실행 기반 오라클을 결합한 에이전틱 번역 시스템으로 재구성했다는 점에서 의미가 큽니다. 먼저 소수의 정제된 예시를 ICL 문맥에 배치해 JAX 스타일과 테스트 형식을 강하게 고정함으로써, 모델이 번역 과정에서 불필요한 API 환각에 빠지지 않도록 구조적 기준을 제공합니다. 이어서 원본 PyTorch 모듈을 실제로 실행해 입력, 가중치, 중간 활성값, 출력 상태를 그대로 수집하고, 이를 변경 불가능한 오라클로 삼아 LLM이 수학적 결과를 추측하는 대신 실행된 사실에 맞추도록 설계했습니다. 이 오라클은 정적 코드 분석으로는 놓치기 쉬운 패딩 방식, 텐서 차원 변화, 가중치 매핑 차이까지 드러내기 때문에, 번역의 기준을 추상적 형식이 아니라 실제 수치적 동등성에 두게 만듭니다.
방법론의 핵심은 이러한 두 축을 바탕으로 한 자율적 자기 수정 루프에 있습니다. 번역 에이전트는 ICL로부터 얻은 참조 구조와 오라클로부터 얻은 실행 결과를 함께 활용해 JAX(flax.linen) 모듈을 생성하고, 자동 합성된 테스트를 반복 실행하면서 traceback을 다시 받아 수정합니다. 즉, 이 시스템은 단순히 코드를 한 번 생성하는 것이 아니라, 컴파일 가능성, 형상 일치, 수치적 동등성을 순차적으로 검증하며 번역 품질을 끌어올리는 폐루프 구조를 이룹니다. 특히 수치적 동등성은 엄격한 허용 오차 하에서 비교되므로, 문법적으로는 그럴듯하지만 의미적으로는 다른 구현을 걸러내는 데 강합니다. 벤치마크에서도 이러한 설계의 효과는 분명하게 나타났는데, 기본 생성만 사용한 경우나 단순 지시문 기반 접근은 낮은 정합성에 머문 반면, ICL, 오라클, 자기 디버깅을 모두 결합한 전체 파이프라인은 신경망 모듈 기준 91퍼센트의 수치적 동등성을 달성해 큰 폭의 향상을 보였습니다.
더 나아가 이 연구는 단일 모듈 번역을 넘어 SAM, T5, Whisper 계열 등 여러 최신 모델에 대해 높은 재현성을 보였다는 점에서, 교차 프레임워크 마이그레이션의 실용적 청사진을 제시합니다. 이는 LLM의 한계를 보완하는 방식으로, 생성 능력과 실행 검증을 분리하지 않고 긴밀히 결합할 때 자동화의 신뢰도가 크게 높아질 수 있음을 보여줍니다. 결국 이 작업의 기여는 PyTorch에서 JAX로의 이식이라는 구체적 문제를 넘어, 복잡한 딥러닝 워크로드를 다른 실행 체계로 옮길 때 어떤 제약과 피드백 구조가 필요한지를 정교하게 정식화한 데 있습니다. 이러한 관점에서 보면, 이 접근은 향후 프레임워크 전환, 모델 재구현, 가속기 최적화가 요구되는 다양한 환경에서 활용 가능한 안정적이고 확장 가능한 방법론으로 해석할 수 있습니다.
초록(Abstract)
PyTorch의 유연한 객체 지향 설계에서 JAX의 함수형 무상태 설정으로 딥러닝 모델을 변환하는 작업은 일반적으로 수동으로 수행해야 하며 오류가 발생하기 쉽습니다. 자동 마이그레이션은 대규모 언어 모델(LLM)이 엄격하고 동적인 API 정렬에 어려움을 겪고, 정밀한 연산에서는 실수를 하기 쉽기 때문에 도전적입니다. 우리는 문맥 내 학습(ICL)과 오라클 기반 자기 디버깅을 결합한 완전 자율 시스템을 제안합니다. 먼저, 관용적인 JAX 스타일과 테스트 케이스 생성을 위한 엄격한 참조로 기능하는 ICL 컨텍스트를 구성했습니다. 둘째, LLM이 수학적 출력을 추론하도록 두는 대신, 소스 PyTorch 모듈을 실행하여 실제 동적 텐서 상태를 얻었습니다. 이를 통해 변경할 수 없는 실행 오라클이 생성됩니다. 이후 오라클 데이터를 바탕으로 테스트를 합성하는 자율적 에이전트 루프를 사용했습니다. 테스트 케이스는 반복 실행되며, 트레이스백은 LLM에 전달되어 자기 교정을 수행합니다. 소거 실험 결과, ICL 참조에 오라클 그라운딩과 자기 디버깅을 결합하면 순수한 지시형 방법과 기본 에이전틱 베이스라인보다 훨씬 뛰어난 성능을 보였습니다. 이러한 개선은 과도한 계산 오버헤드를 추가하지 않습니다. 우리의 경량 파이프라인은 신경 모듈에서 91%의 수치적 동등성(베이스라인: 9%, 인스트럭션 + 자기 디버깅: 27%)을 달성하여, 프레임워크 간 마이그레이션을 위한 매우 신뢰할 수 있고 확장 가능한 청사진을 제공합니다. 이는 SAM(Segment Anything), T5, Code Whisper 등을 포함한 여러 최신 모델 전반에서 검증되었으며, 높은 수치적 동등성을 보여주었습니다. 코드: accelerator-agents/MaxCode at main · AI-Hypercomputer/accelerator-agents · GitHub
Translating deep learning models from PyTorch's flexible, object-oriented design to JAX's functional, stateless setup is usually a manual and error-prone task. Automated migration is challenging because Large Language Models (LLMs) struggle with strict and dynamic API alignment and are prone to mistakes for exacting operations. We propose a fully autonomous system that combines In-Context Learning (ICL) with oracle-driven self-debugging. First, we curated an ICL context that serves as a strict reference for idiomatic JAX styling and test case generation. Second, instead of depending on the LLM to deduce mathematical outputs, we run the source PyTorch modules to get their actual dynamic tensor states. This creates an unchangeable execution oracle. We then use an autonomous agentic loop to synthesize tests based on the oracle data. The test cases are executed repeatedly, and the traceback is sent back to the LLM for self-correction. Ablations show that combining ICL references with oracle grounding and self-debugging greatly outperforms pure instructional and basic agentic baselines. This improvement does not add an excessive computational overhead. Our lightweight pipeline achieves 91% numerical equivalence (compared to baseline: 9%, instruction + self-debugging: 27%) on neural modules, providing a highly reliable, scalable blueprint for cross-framework migration. This has been validated across several state-of-the-art models including SAM (segment anything), T5, Code Whisper amongst others showing high numerical equivalency. Code: accelerator-agents/MaxCode at main · AI-Hypercomputer/accelerator-agents · GitHub
논문 링크
더 읽어보기
HarnessX: 조합 가능하고 적응적이며 진화 가능한 에이전트 하니스 파운드리 / HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry
논문 소개
AI 에이전트의 성능은 단순히 모델의 파라미터 규모만으로 결정되지 않고, 모델이 관찰하고 추론하며 행동하는 방식을 규정하는 런타임 하네스(runtime harness)에 크게 좌우된다. HarnessX는 이러한 문제의식에서 출발하여, 프롬프트, 도구, 메모리, 제어 흐름을 하나의 진화 가능한 실행 계층으로 보고 이를 체계적으로 구성·적응·개선하는 방법을 제안한다. 기존 하네스가 대체로 수작업으로 설계된 정적 구조에 머물러 새 모델이나 새 과제마다 반복적인 스캐폴딩이 필요했다는 점을 고려하면, 이 접근은 에이전트 시스템을 더 일반적이고 재사용 가능한 형태로 재정의한다는 데 의미가 있다. 저자들은 타입이 부여된 하네스 프리미티브를 substitution algebra(치환 대수)로 조합하는 방식으로 하네스를 모듈화하고, 서로 다른 구성 요소를 느슨하게 결합함으로써 구조적 재사용성과 확장성을 높인다.
핵심 방법론 가운데 하나는 AEGIS(Trace-driven Multi-agent Evolution Engine)로, 실행 과정에서 수집된 궤적(trace)을 바탕으로 하네스를 적응시키는 진화 엔진이다. AEGIS는 단순히 규칙을 바꾸는 수준이 아니라, Digester, Planner, Evolver, Critic으로 이어지는 단계적 파이프라인을 통해 실패 원인을 요약하고, 개선안을 설계하며, 후보 변형을 생성하고, 검증 가능한 변경만 반영한다. 이 과정에서 프롬프트나 도구 래퍼, 메모리 정책, 제어 전략 같은 상징적 구조(symbolic artifacts)를 학습 대상처럼 다루기 때문에, 하네스 설계가 일회성 공학 작업이 아니라 반복적으로 개선 가능한 최적화 문제로 바뀐다. 특히 이러한 설계는 reward hacking, catastrophic forgetting, under-exploration과 같은 강화학습(reinforcement learning)의 실패 양상을 하네스 수준의 위험으로 해석하고 이를 억제하도록 구성된다는 점에서 주목할 만하다.
HarnessX의 또 다른 중요한 기여는 하네스와 모델을 분리된 대상이 아니라 함께 발전하는 쌍으로 본다는 점이다. 동일한 실행 궤적을 공유 replay buffer에 저장한 뒤, 이를 이용해 하네스는 AEGIS로 갱신하고 모델은 GRPO(Group Relative Policy Optimization)로 학습하는 co-evolution 구조를 구성함으로써, 하네스 개선과 모델 학습이 서로를 보완하도록 설계한다. 이때 cross-harness grouping을 통해 서로 다른 하네스 버전에서 생성된 궤적도 같은 작업 단위로 묶어 비교하므로, 모델은 단순한 샘플 노이즈가 아니라 전략적 차이를 학습 신호로 받아들일 수 있다. 또한 궤적 생성 시점의 로그 확률을 저장해 두는 방식으로 오프폴리시(off-policy) 학습을 가능하게 하여, 추가 롤아웃 비용 없이 하네스 진화와 모델 학습을 동시에 수행한다는 점도 실용적이다.
실험적으로는 ALFWorld, GAIA, WebShop, tau^3-Bench, SWE-bench Verified의 다섯 벤치마크에서 검증되었으며, 평균 14.5% 향상과 최대 44.0% 향상을 기록했다. 향상 폭이 특히 기준선 성능이 낮은 환경에서 크게 나타났다는 결과는, 하네스가 약한 모델의 행동 결함을 보완하는 데 매우 효과적일 수 있음을 보여준다. 이는 에이전트 발전이 모델 스케일링만으로 이루어질 필요가 없고, 실행 인터페이스 자체를 조합하고 진화시키는 접근이 모델 성능 향상의 또 다른 축이 될 수 있음을 시사한다. 결과적으로 HarnessX는 에이전트 하네스를 정적인 실행 래퍼가 아니라, 실행 피드백을 통해 지속적으로 개선되는 학습 가능 시스템으로 확장하며, 향후 에이전트 연구에서 구조적 설계와 학습 최적화를 연결하는 중요한 기반을 제시한다.
초록(Abstract)
AI 에이전트의 성능은 런타임 하니스(runtime harness)에 결정적으로 좌우되는데, 여기에는 모델이 관찰하고, 추론하며, 행동하는 방식을 매개하는 프롬프트, 도구, 메모리, 그리고 제어 흐름이 포함된다. 그러나 오늘날의 하니스는 여전히 대부분 수작업으로 제작된 정적 구조에 머물러 있으며, 새로운 모델이나 작업이 나올 때마다 맞춤형 기반 작업이 필요하고, 실행 중 생성된 풍부한 궤적은 체계적인 개선으로 되돌아가는 경우가 드물다. 우리는 조합 가능하고, 적응적이며, 진화 가능한 에이전트 하니스(agent harness)를 위한 파운드리(foundry)인 HarnessX를 제안한다. HarnessX는 치환 대수(substitution algebra)를 통해 타입화된 하니스 원시 요소들을 조립하고, 기호적 적응과 강화학습 사이의 조작적 거울 관계에 기반한 궤적 주도형(trace-driven) 멀티에이전트 진화 엔진인 AEGIS를 통해 이를 적응시키며, 궤적을 하니스 업데이트와 모델 학습 신호로 전환함으로써 하니스-모델 루프를 닫는다. 다섯 개의 벤치마크(ALFWorld, GAIA, WebShop, tau^3-Bench, SWE-bench Verified) 전반에서 HarnessX는 평균 +14.5%의 향상폭을 보였고, 최대 +44.0%까지 개선되었으며, 기준선 성능이 가장 낮은 영역에서 향상이 가장 크게 나타났다. 이러한 결과는 에이전트의 발전이 반드시 모델 스케일링만으로 이루어질 필요는 없음을 시사한다. 실행 피드백으로부터 런타임 인터페이스를 구성하고 진화시키는 것은 실행 가능한 동시에 상보적인 레버리지다. 전체 코드베이스는 향후 릴리스에서 오픈소스로 공개될 예정이다.
AI agent performance depends critically on the runtime harness, comprising the prompts, tools, memory, and control flow that mediate how a model observes, reasons, and acts. Yet today's harnesses remain largely hand-crafted and static: each new model or task still demands bespoke scaffolding, and the rich traces produced during execution are rarely distilled back into systematic improvement. We introduce HarnessX, a foundry for composable, adaptive, and evolvable agent harnesses. HarnessX assembles typed harness primitives via a substitution algebra, adapts them through AEGIS, a trace-driven multi-agent evolution engine grounded in an operational mirror between symbolic adaptation and reinforcement learning, and closes the harness-model loop by turning trajectories into both harness updates and model training signal. Across five benchmarks (ALFWorld, GAIA, WebShop, tau^3-Bench, and SWE-bench Verified), HarnessX yields an average gain of +14.5% (up to +44.0%), with gains largest where baselines are lowest. These results suggest that agent progress need not come from model scaling alone: composing and evolving runtime interfaces from execution feedback is an actionable and complementary lever. The complete codebase will be open-sourced in a future release.
논문 링크
더 읽어보기
문맥이 조각난 채 도착할 때의 멀티턴 추론: 확장 가능한 샤딩과 메모리 증강 강화학습 / Multi-Turn Reasoning When Context Arrives in Pieces: Scalable Sharding and Memory-Augmented RL
논문 소개
실제 대화에서는 핵심 정보가 한 번에 주어지지 않고 여러 턴에 걸쳐 점진적으로 드러나는 경우가 많으며, 대규모 언어 모델(large language model, LLM)은 전체 문맥이 주어져도 이런 상황에서 정확도가 크게 떨어질 수 있습니다. 특히 여러 차례의 발화 속에서 필요한 단서를 순차적으로 받아들이는 환경에서는, 긴 히스토리를 단순히 누적해 읽는 방식보다 매 턴 중요한 정보만 선별해 갱신하는 메커니즘이 더 적합할 수 있다는 점이 이 연구의 출발점입니다. 저자들은 이러한 성능 저하를 Lost in Conversation(LiC)으로 정의하고, 이를 단순한 문맥 길이 문제라기보다 정보를 압축하고 보존하는 전략의 실패로 해석합니다. 이를 해결하기 위해 제안된 핵심 방법은 작고 갱신 가능한 롤링 메모리(rolling memory)를 유지하도록 모델을 학습시키는 것이며, 모델은 과거 대화를 모두 재검토하는 대신 현재 메모리와 새로 들어온 정보만으로 상태를 계속 업데이트합니다.
이 접근을 대규모로 학습시키기 위해 논문은 저비용 샤딩(sharding) 파이프라인을 도입하여, 단일 턴 질의응답(QA) 데이터를 다중 턴의 조각난 정보 에피소드로 자동 변환합니다. 이 과정은 수작업으로 다중 턴 주석을 만드는 번거로운 절차를 대체하며, 최소한의 few-shot 예시만으로도 GSM8K와 같은 데이터셋을 점진적 추론용 학습 데이터로 바꿀 수 있게 합니다. 더 나아가 각 턴에서 별도의 히스토리 전체를 제공하지 않고도, 모델이 현재까지의 정보 조각들을 메모리에 압축해 담아두도록 설계함으로써, 단순한 재생(recall)보다 선택적 보존과 정리 능력을 학습하도록 유도합니다. 학습 신호는 검증 가능한 보상 기반 강화학습(reinforcement learning with verifiable rewards, RLVR)을 통해 주어지며, 중간 메모리를 직접 정답과 정렬시키기보다 최종 답변의 정확도를 기준으로 메모리 갱신 정책을 최적화합니다.
이때 사용되는 메모리-증강 정책은 다중 턴 DAPO(dual-clipped advantage policy optimization) 방식과 결합되어 안정적으로 학습되며, 각 턴의 메모리 작성이 최종 추론 성패에 기여하도록 만듭니다. 흥미로운 점은 이러한 방식이 단지 샤딩된 학습 데이터에만 특화되지 않고, 더 어려운 수학 문제와 도메인 밖 장문 질의응답으로도 제로샷(zero-shot) 일반화를 보인다는 점입니다. 실험 결과는 메모리로 학습한 모델이 다중 턴 조건에서 기존 전체 이력 기반 학습보다 더 높은 정확도를 달성할 뿐 아니라, 테스트 시점에 전체 히스토리를 다시 제공받더라도 오히려 더 강건한 성능을 보인다는 사실을 보여 줍니다. 이는 긴 문맥을 그대로 읽는 능력보다, 필요한 정보를 압축해 유지하고 점진적으로 갱신하는 능력이 더 본질적인 추론 역량일 수 있음을 시사합니다.
결국 이 연구는 LiC를 단순한 평가 실패로 보지 않고, 정보가 조각나서 도착하는 환경에서 모델이 어떤 상태를 기억하고 어떻게 갱신해야 하는지를 학습해야 하는 정책 문제로 재정의합니다. 또한 데이터 생성과 강화학습을 하나의 파이프라인으로 묶어, 비싼 수작업 없이도 다중 턴 점진 추론을 체계적으로 학습시킬 수 있다는 점에서 실용성과 확장성을 함께 제시합니다. 이러한 관점은 대화형 에이전트, 장문 맥락 추론, 그리고 실제 사용자 상호작용이 요구하는 기억 중심의 추론 체계를 설계하는 데 중요한 출발점이 됩니다.
초록(Abstract)
사용자가 여러 대화 턴에 걸쳐 과업 수행에 필수적인 정보를 드러낼 때, 전체 컨텍스트를 사용할 수 있음에도 LLM 정확도는 최대 65%까지 떨어집니다. 우리는 늘어나는 이력을 어텐션하는 대신 간결한 롤링 메모리(rolling memory)를 유지하도록 모델을 학습하면 이러한 Lost in Conversation 성능 저하를 상당 부분 완화할 수 있음을 보입니다. 이러한 학습을 확장 가능하게 만들기 위해, 단일 턴 QA 데이터셋을 여러 턴에 걸친 파편화된 정보 에피소드로 변환하는 저비용 샤딩 파이프라인을 도입하여 수 시간에 걸친 수작업 주석을 없앴습니다. 샤딩된 GSM8K만으로 학습했을 때, 메모리 증강 정책은 다중 턴 정확도를 크게 향상시키고 더 어려운 수학 문제와 도메인 밖의 장문 컨텍스트 QA로 제로샷 일반화를 보였습니다. 또한 메모리로 학습한 모델은 테스트 시점에 전체 이력을 제공받더라도 전체 이력 기반 기준선보다 더 뛰어난 성능을 보였으며, 이는 압축을 학습하는 것이 전체 컨텍스트에 노출되는 것만으로는 얻기 어려운 더 강건한 점진적 추론을 유도함을 시사합니다.
When a user reveals task-critical information across several conversation turns, LLM accuracy drops by up to 65% despite full context availability. We show that this Lost in Conversation degradation can be substantially mitigated by training models to maintain a compact rolling memory instead of attending to a growing history. To make such training scalable, we introduce a low-cost sharding pipeline that converts single-turn QA datasets into multi-turn fragmented-information episodes, eliminating the need for hours of manual annotation. Training only on sharded GSM8K, our memory-augmented policy significantly improves multi-turn accuracy and generalises zero-shot to harder math and out-of-domain long-context QA. Moreover, memory-trained models outperform full-history baselines even when given the full history at test time, suggesting that learning to compress induces more robust incremental reasoning than full-context exposure alone.
논문 링크
상호작용 궤적 마이닝을 통한 컴퓨터 사용 에이전트의 SKILL.md 생성 자동화 / Automating SKILL.md Generation for Computer-Using Agents via Interaction Trajectory Mining
논문 소개
컴퓨터를 사용하는 에이전트에서 명시적 스킬 라이브러리(skill library)는 복잡한 작업 절차를 사람이 읽고 점검할 수 있는 형태로 정리해 주며, 에이전트의 행동을 재사용 가능한 단위로 캡슐화한다. 이러한 관점에서 SKILL.md는 단순한 프롬프트가 아니라, 언제 해당 스킬을 써야 하는지, 무엇을 먼저 확인해야 하는지, 어떤 절차로 수행하고 실패 시 어떻게 복구할지를 담는 운영 지침에 가깝다. 이 연구는 바로 그 스킬 문서를 사람이 직접 쓰지 않고, 그래픽 사용자 인터페이스(GUI) 상호작용 궤적(interaction trajectory)으로부터 자동으로 발굴할 수 있는지, 그리고 그 과정이 다운스트림 정책 학습에 실제로 도움이 되는지를 묻는다. 이를 위해 저자들은 궤적을 세그먼트로 분할한 뒤, 서로 유사한 세그먼트를 후보 스킬로 군집화하고, 이렇게 얻은 주석을 바탕으로 스킬 인지 정책(skill-aware policy)을 학습하는 3단계 파이프라인을 제안한다. 핵심 아이디어는 반복적으로 나타나는 행동 패턴을 수동 문서화 대신 데이터 마이닝으로 복원하여, 사람이 해석 가능한 스킬 구조를 자동 생성하는 데 있다.
이 접근의 중요한 점은 단순히 문서를 생성하는 데 그치지 않고, 상호작용 데이터 안에 숨어 있는 절차적 구조를 드러내려 했다는 데 있다. 예시에서 보이듯 자동으로 추출된 클러스터는 record_field_update처럼 의미 있는 작업 단위와 대응되며, 원천 벤치마크인 InteraSkill Workflows(IW) 라벨과의 순도(purity)도 상당히 높게 나타난다. 실제로 8개 클러스터 중 5개가 0.95 이상의 순도를 기록해, 적어도 원천 도메인에서는 스킬 경계가 비교적 선명하게 포착될 수 있음을 보여 준다. 다만 이 성과는 가독성 측면의 성공이지, 곧바로 일반화 가능한 학습 신호를 의미하지는 않는다. 저자들은 세그먼트 경계 검출기(boundary detector), 순서 정보를 약화시키는 orderless segment representation, 그리고 오프라인 보상 모델(offline reward model)이 스킬의 시간적·절차적 특성을 충분히 보존하지 못한다는 점을 한계로 지적한다.
이 한계는 평가 결과에서도 분명하게 드러난다. 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 적용했을 때 IW의 skill-step accuracy는 18.5%에서 20.5%로 소폭 개선되는 데 그쳤고, BrowseComp+와 같은 교차 도메인 평가에서는 사실상 변화가 없었다. 더 나아가 일부 핵심 원천 도메인 지표에서는 단순 빈도 사전(trivial frequency priors)보다도 낮은 성능을 보여, 읽기 쉬운 스킬 구조와 실제 정책 개선 사이에 큰 간극이 존재함을 시사한다. 결국 이 논문의 기여는 자동 생성된 스킬이 얼마나 그럴듯하게 보이는지보다, 그런 구조가 실제로 어디까지 유효한지를 엄격하게 분리해 검증한 데 있다. 다시 말해, trajectory mining은 에이전트 행동의 반복 구조를 해석 가능하게 드러내는 진단 도구로서는 유망하지만, 현재의 표현 방식과 학습 신호만으로는 신뢰할 만한 범용 정책 개선으로 이어지기 어렵다는 점을 분명히 보여 준다. 이런 결과는 향후 연구가 단순한 스킬 요약을 넘어, 절차 순서와 예외 처리까지 보존하는 더 정교한 구조화 방식으로 나아가야 함을 제시한다.
초록(Abstract)
명시적인 스킬 라이브러리는 컴퓨터를 사용하는 에이전트를 검토하기 쉽게 만들지만, 이러한 라이브러리를 상호작용 데이터로부터 추출해 후속 정책을 개선하는 방식으로 활용할 수 있는지는 여전히 불분명하다. 우리는 GUI 궤적을 구간으로 분할하고, 해당 구간들을 후보 스킬로 클러스터링하며, 그 결과 주석으로부터 스킬 인지 정책을 학습하는 3단계 파이프라인을 통해 이 질문을 연구한다. 추출된 클러스터는 원천 벤치마크에서 해석 가능하다: 8개 클러스터 중 5개는 InteraSkill Workflows 라벨에 대해 최소 0.95의 순도(purity)를 보인다. 그러나 해석 가능성이 전이 가능성을 의미하지는 않는다. GRPO는 IW 스킬-단계 정확도를 18.5%에서 20.5%로만 개선할 뿐이며, BrowseComp+는 사실상 변하지 않고, 핵심 원천 도메인 지표에서는 단순한 빈도 사전(prior)보다도 성능이 낮다. 따라서 우리는 이 방법을 진단적 연구로 제시한다. 궤적 마이닝은 검토 가능한 스킬 구조를 드러낼 수 있지만, 현재의 경계 탐지기, 순서가 없는 세그먼트 표현, 그리고 오프라인 보상 모델은 신뢰할 수 있는 교차 도메인 정책 개선에는 충분하지 않다.
Explicit skill libraries make computer-using agents easier to inspect, but it remains unclear whether such libraries can be mined from interaction data in a way that improves downstream policies. We study this question through a three-stage pipeline that segments GUI trajectories, clusters segments into candidate skills, and trains a skill-aware policy from the resulting annotations. The mined clusters are readable on the source benchmark: five of eight clusters have at least 0.95 purity against InteraSkill Workflows labels. However, readability does not imply transfer. GRPO improves IW skill-step accuracy only from 18.5% to 20.5%, leaves BrowseComp+ essentially unchanged, and underperforms trivial frequency priors on key source-domain metrics. We therefore present the method as a diagnostic study: trajectory mining can expose inspectable skill structure, but the current boundary detector, orderless segment representation, and offline reward model are insufficient for reliable cross-domain policy improvement.
논문 링크
PR-CAD: 대규모 언어 모델을 활용한 제어 가능하고 충실한 Text-to-CAD 생성을 위한 점진적 정제 / PR-CAD: Progressive Refinement for Unified Controllable and Faithful Text-to-CAD Generation with Large Language Models
논문 소개
대규모 언어 모델(large language models, LLMs)의 발전은 텍스트만으로 CAD 모델을 생성하려는 시도를 크게 앞당겼지만, 실제 설계 환경에서는 생성과 편집이 분리되어 있다는 한계가 여전히 남아 있었습니다. PR-CAD는 이러한 문제를 해결하기 위해, 텍스트-투-CAD(text-to-CAD) 생성과 CAD 편집을 하나의 흐름으로 통합하는 점진적 정제(progressive refinement) 프레임워크를 제안합니다. 핵심 아이디어는 CAD 모델을 한 번에 완성하는 방식이 아니라, 사용자의 의도를 이해하고 현재 상태를 분석하며 필요한 위치를 정확히 찾아가면서 점진적으로 형상을 다듬는 방식에 있습니다. 이를 위해 저자들은 CAD의 전체 수명주기를 포괄하는 고충실도 상호작용 데이터를 구축하고, 정성적 설명과 정량적 설명을 모두 포함한 인간 유사 주석을 체계적으로 정리하여 모델이 다양한 수준의 지시를 안정적으로 처리하도록 설계했습니다. 이 데이터는 단순한 생성 쌍을 넘어 삭제, 추가, 수정과 같은 구체적 편집 연산까지 포괄하므로, 모델이 설계 생성과 설계 수정을 별개의 과제가 아니라 연속적인 상호작용으로 학습하게 합니다.
방법론 측면에서 PR-CAD는 CAD 표현 자체를 LLM에 맞게 정교하게 설계했다는 점이 중요합니다. 저자들은 생성 작업과 편집 작업에서 서로 다른 CAD 직렬화(serialization) 표현이 유리하다는 점을 확인하고, 작업 성격에 따라 도메인 특화 언어(domain-specific language, DSL)와 구조화 텍스트(structured text, ST)를 구분해 활용합니다. 특히 내부 추론 과정은 구조화 사고의 연쇄(structured chain-of-thought, SCoT) 형태로 조직하여, 의도 이해, 모델링 분석, 파라미터 계산, 편집 위치 식별이라는 단계적 추론을 거치도록 만듭니다. 이렇게 형성된 추론 체인은 지도 미세조정(supervised fine-tuning, SFT)의 학습 신호로 사용되어, 모델이 CAD 생성 절차를 단순 암기하지 않고 단계별 기하학적 판단을 내리도록 돕습니다. 이후에는 일반화 보상 최적화(generalized reward optimization, GRPO) 기반의 강화학습(reinforcement learning, RL)을 적용하여, 형상 정확도와 실행 가능성, 출력 형식 준수, 불필요한 장황함 억제를 함께 최적화합니다.
보상 설계는 특히 정교하게 구성되어 있으며, 생성된 CAD와 정답 형상 사이의 기하학적 차이를 측정하는 Chamfer distance를 중심으로 충실성을 직접 끌어올립니다. 여기에 형식 오류나 실행 실패에 대한 패널티, 그리고 과도하게 긴 출력에 대한 길이 패널티를 더함으로써, 모델이 단지 그럴듯한 텍스트를 생성하는 수준을 넘어 실제로 실행 가능한 CAD를 안정적으로 산출하도록 유도합니다. 또한 편집 작업에서는 전체 형상이 아니라 수정이 필요한 부분에 대해서만 정밀한 보상을 계산함으로써, 국소적 수정의 정확도를 높이는 방향으로 학습을 정렬합니다. 이러한 설계는 생성과 편집이 서로를 보완한다는 점을 실증적으로 뒷받침하며, 한쪽 과제에서 얻은 추론 능력이 다른 과제의 성능까지 끌어올리는 상호 강화 효과를 만들어냅니다. 결과적으로 PR-CAD는 하나의 에이전트가 설계 생성과 설계 수정을 모두 수행하는 “all-in-one” 해법을 제시하며, 사용자 의도를 더 잘 반영하는 제어 가능성(controllability)과 결과 형상의 충실성(faithfulness)을 동시에 추구합니다. 이러한 접근은 CAD 자동화가 요구하는 실용성과 정밀성을 함께 만족시키는 방향으로, 대형 언어 모델 기반 3차원 설계 연구의 활용 가능성을 한층 넓혀 줍니다.
초록(Abstract)
CAD 모델의 구축은 전통적으로 노동 집약적인 수작업과 전문 지식에 의존해 왔습니다. 최근 대규모 언어 모델(LLM)의 발전은 텍스트-투-CAD 생성 연구를 촉진했습니다. 그러나 기존 접근법은 일반적으로 생성과 편집을 분리된 과제로 취급하여 실용성을 제한합니다. 우리는 제어 가능하고 충실한 텍스트-투-CAD 모델링을 위해 생성과 편집을 통합하는 점진적 정교화 프레임워크 PR-CAD를 제안합니다. 이를 지원하기 위해, 우리는 여러 CAD 표현과 질적·양적 설명을 모두 포괄하는, CAD 생명주기 전반에 걸친 고충실도 상호작용 데이터셋을 구축했습니다. 이 데이터셋은 편집 연산의 유형을 체계적으로 정의하고, 매우 인간과 유사한 상호작용 데이터를 생성합니다. 대규모 언어 모델(LLM)에 맞게 설계된 CAD 표현을 기반으로, 우리는 의도 이해, 파라미터 추정, 정밀한 편집 위치 특정화를 단일 에이전트에 통합하는 강화학습 강화 추론 프레임워크를 제안합니다. 이를 통해 설계 생성과 정교화를 모두 아우르는 ‘올인원’ 솔루션이 가능해집니다. 광범위한 실험은 생성과 편집 과제, 그리고 질적·양적 모달리티 전반에서 강한 상호 강화 효과를 보여줍니다. 공개 벤치마크에서 PR-CAD는 생성 및 정교화 시나리오 모두에서 최첨단 수준의 제어 가능성과 충실성을 달성했으며, 동시에 사용자 친화성을 입증하고 CAD 모델링 효율성을 크게 향상시켰습니다.
The construction of CAD models has traditionally relied on labor-intensive manual operations and specialized expertise. Recent advances in large language models (LLMs) have inspired research into text-to-CAD generation. However, existing approaches typically treat generation and editing as disjoint tasks, limiting their practicality. We propose PR-CAD, a progressive refinement framework that unifies generation and editing for controllable and faithful text-to-CAD modeling. To support this, we curate a high-fidelity interaction dataset spanning the full CAD lifecycle, encompassing multiple CAD representations as well as both qualitative and quantitative descriptions. The dataset systematically defines the types of edit operations and generates highly human-like interaction data. Building on a CAD representation tailored for LLMs, we propose a reinforcement learning-enhanced reasoning framework that integrates intent understanding, parameter estimation, and precise edit localization into a single agent. This enables an "all-in-one" solution for both design creation and refinement. Extensive experiments demonstrate strong mutual reinforcement between generation and editing tasks, and across qualitative and quantitative modalities. On public benchmarks, PR-CAD achieves state-of-the-art controllability and faithfulness in both generation and refinement scenarios, while also proving user-friendly and significantly improving CAD modeling efficiency.
논문 링크
RDA: 강화학습을 위한 보상 설계 에이전트 / RDA: Reward Design Agent for Reinforcement Learning
논문 소개
강화학습은 로봇이 복잡한 조작 기술을 획득하는 데 강력한 성능을 보여 왔지만, 여전히 사람이 직접 설계한 보상 함수에 크게 의존한다는 한계를 안고 있습니다. 특히 수작업 보상 설계는 시간이 많이 들고, 작업 지시문에 담긴 인간의 의도와 정확히 일치시키기 어렵기 때문에, 최종 목표를 달성하더라도 행동 방식이 어색하거나 지시와 어긋나는 정책이 쉽게 발생합니다. 이러한 문제의식을 바탕으로 제안된 보상 설계 에이전트(Reward Design Agent, RDA)는 비전-언어 모델(Vision-Language Model, VLM)을 활용해 궤적을 시각적으로 이해하고, 작업을 의미 단위로 분해하며, 실패 양상을 언어적으로 요약한 뒤 이를 다시 보상 코드 수정에 반영하는 에이전틱(agentic) 프레임워크입니다. 기존의 자동 보상 설계가 대규모 언어 모델(Large Language Model, LLM)을 이용해 보상 코드를 반복 생성하는 수준에 머물렀다면, RDA는 여기에 의미론적 해석을 결합함으로써 단순한 성공률 중심 최적화의 한계를 넘어서고자 합니다. 즉, “성공했는가”만 묻는 것이 아니라 “어떤 방식으로 성공하거나 실패했는가”를 함께 해석하여, 보상이 작업 지시의 절차와 질적 기준까지 반영되도록 만듭니다.
이 접근의 핵심은 작업 분해와 시각적 평가, 실패 진단, 보상 재작성의 순환에 있습니다. RDA는 먼저 자연어 지시를 세부 하위 목표로 나눈 뒤, 롤아웃 궤적을 관찰하면서 자세 안정성, 접근 방향, 접촉 품질, 운동 정렬, 감속과 정지 조건 같은 요소를 개별적으로 평가합니다. 이후 관찰된 실패 모드를 바탕으로 보상 항을 수정하는데, 이때 수정은 단순한 가중치 조정이 아니라 지시문의 의미 구조 자체를 더 정밀하게 반영하는 방향으로 이루어집니다. 예를 들어 전신 조작 과제에서는 곧게 서기, 물체 뒤로 접근하기, 양손 접촉 확보하기, 박스와 몸의 속도를 목표 방향에 맞추기, 목표 근처에서 감속하고 정지하기 같은 단계가 각각 다른 보상 신호로 분리되어 다뤄집니다. 이러한 세분화는 강화학습 정책이 최종 목표를 달성하는 것뿐 아니라, 인간이 기대하는 자연스러운 절차에 가깝게 행동하도록 유도한다는 점에서 의미가 큽니다. 다시 말해 RDA는 보상 설계를 수치 최적화의 문제가 아니라 의미 해석의 문제로 확장합니다.
실험은 ManiSkill의 12개 테이블탑 조작 과제와 HumanoidBench의 4개 전신 조작 과제에서 수행되었으며, RDA는 다른 기준선보다 훨씬 더 지시 정렬적인 정책을 만들면서도 작업 성공률은 비슷한 수준을 유지했습니다. 이는 성능 향상이 단순히 성공 판정을 쉽게 만드는 방식이 아니라, 작업의 과정과 형태를 더 잘 반영하는 보상 설계 덕분임을 시사합니다. 특히 전신 조작 사례에서는 정책이 박스 뒤로 이동하고, 접촉을 형성하며, 목표 방향으로 밀고, 목표 근처에서 힘을 줄이는 과정이 단계별로 진단되어, 최종 성공 여부만으로는 보이지 않는 중간 행동의 질을 세밀하게 드러냅니다. 이러한 결과는 로봇 강화학습에서 중요한 과제가 더 이상 “목표를 맞히는가”에만 있지 않으며, “목표에 이르는 경로가 인간 의도와 얼마나 잘 맞는가”까지 포함해야 한다는 점을 분명하게 보여줍니다. 결국 RDA는 의미 기반 보상 설계가 실제로 정책의 정렬성을 개선할 수 있음을 입증하며, 향후 로봇 학습에서 설명 가능하고 인간 친화적인 보상 자동화의 방향을 제시합니다.
초록(Abstract)
강화학습은 인상적인 로봇 기술의 획득을 가능하게 했지만, 일반적으로 설계에 시간이 오래 걸리고 인간의 의도와 정렬하기 어려운 수작업 보상 함수가 필요합니다. 최근의 Eureka와 같은 연구는 대규모 언어 모델(LLM)을 사용해 작업 설명으로부터 보상 코드를 반복적으로 생성하고 개선함으로써 보상 설계를 자동화합니다. 그러나 이들은 성공률과 같은 거친 피드백 신호에 의존하며, 이는 학습된 행동에 대한 의미적 통찰을 거의 제공하지 않습니다. 그 결과, 학습된 정책은 최종 목표는 달성하지만 작업 지시와의 정렬이 자주 좋지 않습니다. 우리는 보상 설계에 의미 이해를 주입하는 비전-언어 모델(VLM) 기반 에이전틱 프레임워크인 Reward Design Agent(RDA)를 소개합니다. RDA는 작업을 분해하고, 궤적을 시각적으로 평가하며, 실패 모드를 요약하고, 작업 지시에 더 잘 맞도록 보상 코드를 반복적으로 수정합니다. ManiSkill의 12개 테이블탑 조작 작업과 HumanoidBench의 4개 전신 조작 작업 전반에서, RDA는 다른 기준선보다 훨씬 더 지시 정렬성이 높은 정책을 생성하면서도 유사한 작업 성공률을 달성합니다. 비디오와 생성된 보상 코드는 RDA | Reward Design Agent for Reinforcement Learning 에서 확인할 수 있습니다.
Reinforcement learning has enabled the acquisition of impressive robotic skills, but typically requires hand-crafted reward functions that are slow to design and difficult to align with human intentions. Recent work, such as Eureka, automates reward design by using an LLM to iteratively generate and refine reward code from task descriptions. However, they rely on coarse feedback signals such as success rate, which provide little semantic insight into the learned behavior. As a result, their trained policies achieve the final goal but are frequently poorly aligned with task instructions. We introduce the Reward Design Agent (RDA), a VLM-based agentic framework that injects semantic understanding into reward design. RDA decomposes tasks, visually evaluates trajectories, summarizes failure modes, and iteratively revises reward code to better align with task instructions. Across 12 tabletop manipulation tasks from ManiSkill and 4 whole-body manipulation tasks from HumanoidBench, RDA produces policies substantially more instruction-aligned than those of other baselines, while achieving comparable task success rates. Videos and the generated reward code are available on RDA | Reward Design Agent for Reinforcement Learning.
논문 링크
더 읽어보기
하니스 업데이트는 하니스 이득이 아니다: 자기 진화형 대규모 언어 모델(LLM) 에이전트의 진화 역량 분리 / Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents
논문 소개
대규모 언어 모델(Large Language Model, LLM) 에이전트가 프롬프트, 스킬, 메모리, 도구 같은 외부 하네스(harness)를 통해 동작하는 환경에서, 실행 증거를 바탕으로 하네스를 스스로 갱신하는 능력이 실제로 무엇을 의미하는지 정밀하게 분리해 살핀 연구입니다. 핵심 방법론은 하네스 업데이트를 만들어 내는 능력인 harness-updating과, 업데이트된 하네스를 실제 과제 해결에 활용해 이득을 얻는 능력인 harness-benefit을 서로 다른 축으로 정의하고, 이를 기본 과제 해결 능력(base capability)과 교차 비교하는 데 있습니다. 이를 위해 저자들은 SWE-bench Verified, MCP-Atlas, SkillsBench라는 서로 다른 유형의 에이전트 벤치마크를 사용해 소프트웨어 공학 작업, 도구 사용, 스킬 기반 실행에서 같은 현상이 재현되는지 검증했습니다. 평가 절차는 in-situ 방식으로 구성되어, 과거 실행의 증거가 다음 시점의 하네스에 반영되는 순차적 solve-evolve 루프를 그대로 모사함으로써 실제 자기진화 시스템의 동작을 충실하게 반영합니다. 또한 에이전트와 에볼버(evolver)를 여러 계열의 모델로 분리해 배치하고, 동일한 초기 하네스와 동일한 예산, 동일한 턴 제한을 적용해 관측된 차이가 프롬프트 설계가 아니라 모델 능력 차이에서 비롯되도록 통제했습니다.
실험 결과는 직관적인 가정을 크게 흔듭니다. 먼저 harness-updating은 기본 능력에 대해 거의 평평한 양상을 보여, 작은 모델과 큰 모델이 만들어 내는 하네스 업데이트의 품질 차이가 생각보다 크지 않았으며, 어떤 경우에는 Qwen3.5-9B 같은 작은 모델이 Claude Opus 4.6과 비슷하거나 더 나은 개선을 만들기도 했습니다. 반면 harness-benefit은 기본 능력에 따라 단조롭게 증가하지 않았고, 약한 모델은 거의 이득을 보지 못하고 중간 능력대 모델이 가장 큰 향상을 얻은 뒤, 강한 모델에서는 오히려 이득이 다시 줄어드는 비단조 패턴이 나타났습니다. 이러한 결과는 하네스를 잘 생성하는 능력과 그 하네스를 실제로 활용하는 능력이 동일하지 않으며, 후자의 병목이 더 복잡하다는 점을 분명히 보여줍니다. 특히 약한 모델의 낮은 이득은 두 가지 실패 모드로 설명되었는데, 하나는 관련 하네스 아티팩트를 컨텍스트에 제대로 불러오지 못하는 harness activation failure이고, 다른 하나는 불러온 지침을 장기 실행 과정에서 끝까지 따르지 못하는 harness adherence failure입니다. 이때 skill-load rate(SLR)와 Harness-Following Rate(HFR) 같은 지표를 통해, 하네스 호출 자체와 지시 준수의 취약성이 약한 모델일수록 더 두드러진다는 점이 정량적으로 확인되었습니다.
이 논문의 중요한 기여는 셀프-에볼빙 LLM 에이전트의 성능을 단순히 “더 똑똑한 모델이 더 좋은 하네스를 만든다”는 관점으로 해석할 수 없다는 사실을 실증적으로 제시한 데 있습니다. 오히려 실제 성능을 좌우하는 중심 변수는 에볼버의 규모보다 태스크 해결 에이전트가 하네스를 얼마나 안정적으로 불러오고, 얼마나 긴 실행 경로 동안 충실하게 따를 수 있는가에 있었습니다. 따라서 연구는 향후 에이전트 학습의 초점을 하네스 생성 능력의 확장보다 하네스 호출과 장기 지시 추종 능력의 강화로 옮겨야 한다는 실천적 함의를 제안합니다. 결국 이 작업은 자기진화형 에이전트에서 “업데이트를 잘 만드는 능력”과 “업데이트의 혜택을 실제로 누리는 능력”을 분리해 바라봐야 한다는 점을 보여 주며, 보다 효율적인 모델 설계와 훈련 전략을 위한 기준점을 제공한다는 데 의의가 있습니다.
초록(Abstract)
대규모 언어 모델(LLM) 에이전트는 점점 더 프롬프트, 스킬, 메모리, 도구를 포함한 수정 가능한 외부 하니스(harness)를 중심으로 구축된 시스템으로 배치되고 있으며, 이는 모델 파라미터를 바꾸지 않고도 작업 실행을 좌우합니다. 하니스 자체 진화(harness self-evolution)는 실행 증거를 바탕으로 이러한 하니스를 업데이트함으로써 에이전트를 적응시킵니다. 그러나 작업 해결에서의 모델의 기본 역량이 하니스 자체 진화 역량을 예측하는지는 아직 분명하지 않습니다. 즉, 어떤 모델이 유용한 하니스 업데이트를 만들어 내고, 어떤 모델이 실제로 그로부터 이득을 얻는지는 아직 알려져 있지 않습니다. 우리는 하니스 자체 진화의 두 가지 역량을 분석합니다. (i) 하니스 업데이트 능력, 즉 실행 증거로부터 유용한 지속적 하니스 업데이트를 만들어 내는 능력, (ii) 하니스 이득 능력, 즉 업데이트된 하니스를 사용해 작업을 해결하는 동안 그 혜택을 받는 능력입니다. 분석 결과, 두 가지를 확인했습니다. 첫째, 하니스 업데이트는 기본 역량에 따라 거의 평평합니다. 서로 다른 역량 등급의 모델이 생성한 하니스 업데이트는 놀라울 정도로 비슷한 수준의 성능 향상을 이끌어내며, Qwen3.5-9B의 업데이트조차 Claude Opus 4.6의 업데이트와 비슷한 수준의 향상을 냅니다. 둘째, 하니스 이득은 기본 역량에 대해 단조롭지 않습니다. 약한 등급 모델은 업데이트된 하니스의 혜택을 거의 받지 못하고, 중간 등급 모델이 가장 큰 혜택을 받으며, 강한 등급 모델은 중간 등급보다 덜 이득을 봅니다. 우리는 약한 등급에서의 낮은 향상을 두 가지 실패 양상으로 설명합니다. 약한 등급 모델은 관련 하니스 아티팩트를 활성화하지 못할 수 있고, 또는 이를 활성화하더라도 충실하게 따르지 못할 수 있습니다. 이러한 결과는 진화기보다는 작업 해결 에이전트에 역량 예산을 투자하고, 에이전트 학습에서는 하니스 호출과 장기 지시 이행을 목표로 삼아야 함을 시사합니다. 소스 코드는 GitHub - A-EVO-Lab/a-evolve at release/harness-evolution · GitHub 에서 공개되어 있습니다.
LLM agents are increasingly deployed as systems built around editable external harnesses, including prompts, skills, memories and tools, that shape task execution without changing model parameters. Harness self-evolution adapts such agents by updating these harnesses from execution evidence. Yet it remains unclear whether a model's base capability in task-solving predicts its capabilities in harness self-evolution: which models produce useful harness updates, and which actually benefit from them? We analyze two harness self-evolution capabilities: (i) harness-updating, the capability to produce useful persistent harness updates from execution evidence; (ii) harness-benefit, the capability to benefit from updated harnesses during task solving. Our analysis reveals two findings. First, harness-updating is flat in base capability: models from different capability tiers produce harness updates that lead to surprisingly similar gains; even Qwen3.5-9B's updates yield gains comparable to those of Claude Opus~4.6. Second, harness-benefit is non-monotonic in base capability: weak-tier models benefit little from updated harnesses, mid-tier models benefit most, and strong-tier models benefit less than mid-tier. We trace low gains at the weak tier to two failure modes: weak-tier models may fail to activate relevant harness artifacts, or activate them but fail to follow them faithfully. These findings suggest investing capability budget in the task-solving agent rather than the evolver, and targeting harness invocation and long-horizon instruction following in agent training. Our source code is publicly available at GitHub - A-EVO-Lab/a-evolve at release/harness-evolution · GitHub.
논문 링크
더 읽어보기
LEAP: 에이전틱 프레임워크로 형식 수학용 대규모 언어 모델(LLM)을 강화하기 / LEAP: Supercharging LLMs for Formal Mathematics with Agentic Frameworks
논문 소개
대규모 언어 모델(LLM)은 자연어 수준의 비공식 수학 추론에서는 뛰어난 성능을 보여 왔지만, Lean과 같은 형식 언어에서 기계적으로 검증 가능한 증명을 안정적으로 생성하는 데에는 여전히 큰 어려움이 있습니다. LEAP(LLM-in-Lean Environment Agentic Prover)는 이러한 간극을 메우기 위해 제안된 에이전트 기반(agentic) 프레임워크로, 범용 파운데이션 모델이 가진 비공식 추론, 지시 따르기, 반복적 자기 개선 능력을 형식 증명 과정에 직접 활용합니다. 이 접근의 핵심은 복잡한 정리를 한 번에 완성하려 하기보다, 문제를 더 작은 단위로 분해하고 비공식적인 증명 청사진과 형식화된 Lean 증명을 지속적으로 왕복시키는 데 있습니다. 특히 LEAP는 Lean 컴파일러가 제공하는 오류 메시지와 검증 피드백을 적극적으로 활용하여, 초안 수준의 증명을 점진적으로 수정하고 정교화하는 폐쇄 루프를 형성합니다. 다시 말해, 사람 수학자가 증명 아이디어를 세우고 세부 논리를 검토해 나가는 과정을 기계적으로 재현하되, 그 중심에 범용 LLM을 배치한 셈입니다.
이 방법론의 중요한 점은 형식 정리 증명에서 필요한 능력을 단순한 텍스트 생성이 아니라, 장기적인 계획 수립과 단계적 검증, 그리고 오류에 대한 자율적 복구로 재정의했다는 데 있습니다. 저자들은 증명 전체를 방향 비순환 그래프(DAG) 형태의 구조로 조직해 각 단계의 의존성을 명확히 하고, 이를 바탕으로 형식 증명과 비공식 청사진 사이의 연결을 강화합니다. 이러한 설계는 범용 LLM이 전문화된 정리 증명기 없이도 높은 수준의 형식 추론을 수행할 수 있음을 보여 주며, 기존의 “특화 모델이 아니면 어렵다”는 관점을 재검토하게 만듭니다. 또한 저자들은 포화 상태에 가까운 기존 평가를 보완하기 위해 Lean-IMO-Bench를 새롭게 구성했는데, 이는 국제수학올림피아드(IMO) 스타일의 문제를 Lean으로 형식화한 벤치마크로서 짧은 진술 안에 고난도의 다단계 증명 구조를 담고 있습니다. 이 벤치마크는 단순히 정답을 떠올리는 능력보다, 형식 환경에서 장기적인 증명 계획을 유지하고 반복적으로 수정하는 능력을 더 엄격하게 시험합니다. 실험적으로 LEAP는 2025년 Putnam Competition의 12문제를 모두 해결하며 최첨단 성능을 입증했고, Lean-IMO-Bench에서는 범용 LLM의 원샷(one-shot) 형식 해결률을 10% 미만에서 70%까지 끌어올렸습니다. 이는 특화된 IMO 시스템의 기준을 크게 상회하는 결과로, 에이전틱 프레임워크가 범용 모델의 잠재력을 얼마나 크게 확장할 수 있는지를 잘 보여 줍니다. 더 나아가 LEAP는 조합론의 열린 문제에서도 연구 수준의 형식화를 수행해, Knuth의 해밀토니안 분해 문제의 핵심 부분문제에 대한 검증된 증명을 제시함으로써 실제 수학 연구 도구로서의 가능성까지 드러냅니다.
초록(Abstract)
대규모 언어 모델(LLM)은 비공식적인 수학 추론에서는 강점을 보이지만, Lean 같은 형식 언어로 기계적으로 검증 가능한 증명을 생성하는 데에는 어려움을 겪습니다. 우리는 범용 파운데이션 모델이 자동 형식 정리 증명에서 최첨단 성능을 달성할 수 있도록 하는 에이전트 기반 프레임워크 LEAP를 제안합니다. LEAP는 비공식 추론, 지시 따르기, 반복적 자기 개선과 같은 파운데이션 모델의 역량을 활용합니다. 복잡한 문제를 더 작은 단위로 분해함으로써, 이 시스템은 Lean 컴파일러와의 지속적인 상호작용을 통해 형식 증명 구성과 비공식적 청사진을 연결합니다. 점점 포화되는 벤치마크를 넘어서는 엄밀한 평가를 제공하기 위해, 우리는 Lean에서 형식화한 IMO 스타일 문제들로 구성된 벤치마크인 Lean-IMO-Bench를 도입합니다. 이 벤치마크는 짧은 진술을 가지면서도, 매우 비정형적이고 다단계의 증명을 다양한 난이도 수준에 걸쳐 요구합니다. 실증적으로, LEAP는 북미의 학부생을 위한 연례 수학 대회인 최신 2025년 Putnam Competition에서 12개 모든 문제를 풀어내며, 최근 최첨단 형식 수학 모델들의 돌파구와 맞먹는 성과를 보입니다. Lean-IMO-Bench에서는 범용 LLM의 원샷 형식 문제 해결률을 10% 미만에서 70%로 끌어올렸으며, 금메달급 성능의 특화된 IMO 시스템이 세운 48% 기준을 눈에 띄게 상회합니다. 더 나아가, 우리는 LEAP가 연구 수준에서도 유용함을 보여 주기 위해, 홀수 차수가 아닌 짝수 차수 Cayley 그래프에 대한 Knuth의 해밀토니안 분해에서 핵심 부분 문제에 대한 검증된 증명을 포함하여, 열린 조합론 문제들에 대한 복잡한 증명을 자율적으로 형식화함을 입증합니다.
Large Language Models (LLMs) exhibit strong informal mathematical reasoning but struggle to generate mechanically verifiable proofs in formal languages like Lean. We present LEAP, an agentic framework that enables general-purpose foundation models to achieve state-of-the-art performance on automated formal theorem proving. LEAP leverages foundation model capabilities, such as informal reasoning, instruction following, and iterative self-refinement. By decomposing complex problems into smaller units, the system bridges formal proof construction with informal blueprints through continuous interaction with the Lean compiler. To provide a rigorous evaluation beyond increasingly saturated benchmarks, we introduce Lean-IMO-Bench, a benchmark of IMO-style problems formalized in Lean, with short statements yet highly non-routine and multi-step proofs across a wide range of difficulty levels. Empirically, on the latest 2025 Putnam Competition, an annual mathematics competition for undergraduate students in North America, LEAP solves all 12 problems, matching recent breakthroughs by frontier formal mathematical models. On Lean-IMO-Bench, LEAP boosts the one-shot formal solve rate of general-purpose LLMs from below 10% to 70%, notably surpassing the 48% benchmark set by a specialized, gold-medal-caliber IMO system. Furthermore, we demonstrate LEAP's research-level utility by autonomously formalizing complex proofs for open combinatorial challenges, including a verified proof for a key subproblem in Knuth's Hamiltonian decomposition of even-order Cayley graphs.
논문 링크
더 읽어보기
프롬프트 수준 증류: 효율적 추론을 위한 모델 파인튜닝의 비모수적 대안 / Prompt-Level Distillation: A Non-Parametric Alternative to Model Fine-Tuning for Efficient Reasoning
논문 소개
복잡한 추론 성능을 높이기 위해 널리 활용되는 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅은 높은 정확도를 제공하지만, 매 요청마다 긴 중간 추론 토큰을 생성해야 하므로 지연 시간(latency)과 test-time inference 비용이 크게 증가한다는 한계를 지닙니다. 기존의 대안인 소형 모델 파인튜닝(fine-tuning)은 추론 능력을 일부 전이할 수 있지만, 해석 가능성을 약화시키고 학습 및 운영 자원에 상당한 부담을 주기 때문에, 저자는 파라미터를 직접 수정하지 않는 비파라메트릭(non-parametric) 접근의 필요성을 제기합니다. 이를 해결하기 위해 제안된 Prompt-Level Distillation(PLD)은 교사 모델(Teacher model)이 문제를 해결할 때 사용하는 명시적 추론 패턴을 추출하여, 이를 학생 모델(Student model)의 System Prompt에 구조화된 지시문 형태로 정리하는 방식입니다. 즉, 지식을 가중치 안에 저장하는 대신 프롬프트 수준에 압축함으로써, 별도의 학습 없이도 추론 규칙을 재사용할 수 있도록 설계되었습니다. 이 과정은 단순한 문장 요약이 아니라, 데이터셋 전반에서 반복적으로 나타나는 논리 규칙을 일반화하고 재구성하는 데 초점이 맞춰져 있어, 추론 자체를 하나의 명시적 정책으로 외재화한다는 점에서 의미가 큽니다.
방법론적으로 PLD는 교사 모델로부터 추출한 미세한 추론 지시문들을 수집한 뒤, Gemini Embedding을 이용해 의미적으로 표현한 다음 DBSCAN을 통해 군집화하여 중복과 노이즈를 줄이고, 각 군집을 다시 통합된 논리 지시문으로 합성합니다. 이후 closed-loop conflict resolution을 통해 서로 충돌하는 규칙이나 예외 조항을 점검하고 수정함으로써, 단순히 짧은 프롬프트를 만드는 것이 아니라 일관성과 재현성을 갖춘 추론 규칙 집합을 완성합니다. 이렇게 정제된 System Prompt를 학생 모델에 주입하면, 모델은 긴 Chain-of-Thought를 매번 생성하지 않고도 교사의 논리 구조를 활용하여 빠르게 응답할 수 있으며, 이는 추론 비용과 운영 복잡도를 동시에 낮춰 줍니다. 실험 결과에서도 이러한 접근의 효과는 분명하게 나타났는데, Gemma-3 4B에서 StereoSet의 Macro F1이 57%에서 90.0%로 크게 향상되었고, Contract-NLI는 67%에서 83%로 상승했으며, LogiQA 정확도 역시 70%까지 개선되었습니다. 또한 Mistral Small 3.1에서도 유사한 성능 향상이 관찰되어, PLD가 특정 아키텍처에 종속되지 않는 교차 아키텍처 일반화(cross-architecture generalizability)를 갖는다는 점이 확인되었습니다. 이러한 결과는 소형 모델이더라도 잘 정리된 자연어 규칙만으로 frontier급 성능에 근접할 수 있음을 보여주며, 특히 대량 처리 환경이나 엣지 디바이스처럼 지연 시간이 중요한 상황에서 높은 실용성을 제공합니다. 더 나아가 모든 추론 규칙이 사람이 직접 읽고 검증할 수 있는 형태로 남기 때문에, 법률, 금융, 콘텐츠 모더레이션처럼 설명 가능성과 규제 준수가 중요한 분야에서도 유력한 대안이 될 수 있습니다.
초록(Abstract)
고급 추론에는 일반적으로 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅이 필요하며, 이는 정확하지만 과도한 지연 시간과 상당한 테스트 시 추론 비용을 초래합니다. 표준적인 대안인 더 작은 모델의 파인튜닝은 해석 가능성을 저해하는 경우가 많고, 동시에 상당한 자원 및 운영 오버헤드를 유발합니다. 이러한 한계를 해결하기 위해, 우리는 프롬프트 수준 증류(Prompt-Level Distillation, PLD)를 제안합니다. 우리는 교사(Teacher) 모델에서 명시적인 추론 패턴을 추출하여, 학생(Student) 모델의 시스템 프롬프트를 위한 표현력이 풍부한 지시문의 구조화된 목록으로 정리합니다. Gemma-3 4B를 사용해 평가한 결과, PLD는 StereoSet에서 Macro F1 점수를 57%에서 90.0%로, Contract-NLI에서 67%에서 83%로 향상시켰으며, LogiQA 정확도는 70%까지 높였습니다. Mistral Small 3.1에서의 유사한 결과는 아키텍처를 초월한 일반화 가능성을 입증하며, 이들 소형 모델이 거의 무시할 수 있는 지연 시간 오버헤드로 최첨단 성능에 필적할 수 있게 합니다. 이러한 표현력 있는 지시문은 의사결정 과정을 투명하게 만들어 논리의 완전한 인간 검증을 가능하게 하므로, 본 접근법은 법률, 금융, 콘텐츠 모더레이션과 같은 규제 산업은 물론 대규모 처리 시나리오와 엣지 디바이스에 이상적입니다.
Advanced reasoning typically requires Chain-of-Thought prompting, which is accurate but incurs prohibitive latency and substantial test-time inference costs. The standard alternative, fine-tuning smaller models, often sacrifices interpretability while introducing significant resource and operational overhead. To address these limitations, we introduce Prompt-Level Distillation (PLD). We extract explicit reasoning patterns from a Teacher model and organize them into a structured list of expressive instructions for the Student model's System Prompt. Evaluated using Gemma-3 4B, PLD improved Macro F1 scores on StereoSet (57% to 90.0%) and Contract-NLI (67% to 83%), while increasing LogiQA accuracy to 70%. Similar results on Mistral Small 3.1 demonstrate cross-architecture generalizability, enabling these compact models to match frontier performance with negligible latency overhead. These expressive instructions render the decision-making process transparent, allowing for full human verification of logic, making this approach ideal for regulated industries such as law, finance, and content moderation, as well as high-volume use cases and edge devices.
논문 링크
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 