[2026/06/29 ~ 07/05] 이번 주에 살펴볼 만한 AI/ML 논문 모음
PyTorchKR
이번 주 선정된 10편의 논문들을 살펴보면, 최근 주요 연구들의 방향성이 단순한 성능 향상을 넘어 '경험의 자산화', '과정의 투명성', '자원의 효율화'를 향해 나아가고 있음을 확인할 수 있었습니다.
에이전트 메모리의 구조화 및 과거 경험의 자산화: 이번 주 논문들에서는 AI 에이전트가 단기적인 문맥 창(Context Window)에 의존하던 한계를 벗어나, 과거의 경험을 체계적으로 축적하고 재사용하는 연구가 두드러졌습니다. AutoMem과 Memora는 에이전트가 스스로 무엇을 기억할지 결정하는 메타메모리(Metamemory) 능력을 학습하게 하고, 추상화와 구체성의 균형을 맞추어 장기 작업의 효율을 높이는 구조를 제안했습니다. 또한 Experience Graphs(Trellis)와 PreAct는 에이전트의 이전 탐색 궤적이나 성공적인 실행 기록을 단순한 로그가 아닌 데이터베이스나 상태 기계(State Machine) 형태로 저장하여, 반복 작업 시 연산 비용을 대폭 줄였습니다. 이는 에이전트의 과거 경험을 일회성으로 소비하지 않고 지속 가능한 '인지적 자산'으로 전환하여 스스로 발전할 수 있는 기반을 마련하려는 중요한 흐름입니다.
블랙박스를 탈피한 '명시적 추론'과 '구조적 분해': 결과만 도출하는 불투명한 모델에서 벗어나, 의사결정 과정을 세밀하게 분해하고 명시적으로 추론하여 결과의 해석 가능성을 높이려는 시도도 핵심 트렌드입니다. BINEVAL은 모호하고 포괄적이던 기존의 LLM 평가 방식을 원자적 단위의 '예/아니오' 질문으로 쪼개어 투명하고 진단 가능한 피드백을 제공하며, ReasonRec은 추천 시스템에 '사고의 연쇄(CoT)'를 도입해 의사결정 과정을 사용자에게 설명할 수 있게 만들었습니다. 아울러 Generative Skill Composition은 복잡한 도구 사용 시 스킬의 종류와 순서를 구조적으로 예측하고, Google's PAT는 논문의 검증 과정을 세분화하여 인간 심사위원 수준의 꼼꼼한 오류 탐지를 수행합니다. 이러한 연구들은 복잡한 과제를 투명하고 검증 가능한 단위로 나누어 AI의 신뢰성을 근본적으로 높이고 있습니다.
무지성 스케일링을 넘어선 '선택적 최적화'와 고효율 추론: 무작정 모델의 크기와 연산량을 늘리기보다는, 성능에 가장 결정적인 부분에만 자원을 집중하거나 상황에 맞게 계산량을 조절하는 고효율 연구가 돋보입니다. Is One Layer Enough? 논문은 강화학습(RL) 과정에서 중간의 단일 트랜스포머 층만 학습시켜도 전체 파라미터 학습과 맞먹는 성능을 냄을 증명하여 훈련 비용의 패러다임을 혁신했습니다. 또한 FlowWM은 고차원 공간에서 효율적인 플로우 매칭(Flow Matching) 방식을 설계해 계산 병목을 해결했고, 앞서 언급된 ReasonRec과 PreAct 역시 확신이 높거나 이미 아는 작업은 가벼운 서브 모델에 위임하거나 과거 프로그램을 재생해 추론 지연시간(Latency)을 획기적으로 줄였습니다. 이는 모델의 성능을 최고 수준으로 유지하면서도 실제 산업 환경에 적용하기 위한 매우 실용적이고 경제적인 접근 방식입니다.
논문별 간략 요약
-
메타메모리 기반 자동화 메모리 프레임워크 (AutoMem): 에이전트의 메모리 관리를 고정된 모듈이 아닌 학습 가능한 '기술'로 재정의하여, 파일 시스템 작업을 통해 스스로 메모리를 최적화하게 만든 프레임워크입니다. 이중 루프 자동화 학습을 통해 작업 능력 손상 없이 장기 수행 작업에서의 성능을 비약적으로 향상시켰습니다.
-
단일 트랜스포머 층 학습을 통한 효율적 강화학습 (Is One Layer Enough?): 대규모 언어 모델의 강화학습 과정에서 전체 파라미터가 아닌 중간에 위치한 단일 트랜스포머 층만 학습시켜도 기존 방식과 유사하거나 뛰어난 성능을 낼 수 있음을 증명한 연구입니다. 이를 통해 강화학습에 필요한 계산 비용을 획기적으로 줄일 수 있는 새로운 훈련 패러다임을 제시했습니다.
-
추상화-구체성 균형의 이중 계층 메모리 시스템 (Memora): 에이전트가 장기 작업을 수행할 때 필요한 정보의 '추상화'와 미세한 세부 정보인 '구체성' 사이의 균형을 맞춘 이중 계층 구조의 메모리 시스템입니다. 단순한 의미론적 유사성을 넘어 다중 홉 의존성을 포착하는 검색 메커니즘을 도입하여 정보 검색의 정확도와 추론 효율성을 높였습니다.
-
작업 조건부 구조화 스킬 조합 모델 (SkillComposer): 복잡한 작업을 수행하는 LLM 에이전트가 어떤 도구를 몇 개, 무슨 순서로 사용할지 단일 디코딩 단계에서 한 번에 예측하는 구조화된 스킬 조합 모델입니다. 스킬 간의 상호 의존성을 자연스럽게 포착하여 코딩 에이전트의 실제 작업 성공률을 크게 향상시켰습니다.
-
지속적 개선을 위한 에이전트 경험 그래프 구축 (Trellis): 에이전트의 긴 탐색 과정과 성공/실패 기록을 단순한 로그가 아닌 데이터베이스 내 일급 객체인 '경험 그래프'로 저장하고 관리하는 시스템을 제안했습니다. 이를 통해 이전 세션의 탐색 결과를 효율적으로 재사용하고 충돌 복구를 용이하게 하여 에이전트의 지속적인 자기 개선을 가능하게 합니다.
-
고차원 특징 공간에서의 플로우 매칭 세계 모델 (FlowWM): 사전학습된 고차원 특징 공간에서 직접 플로우 매칭을 수행하여, 미래 예측의 다양성과 하위 지각 작업에 필요한 세부 정보를 모두 보존하는 확률적 세계 모델입니다. 미분 가능한 단일 단계 투영 메커니즘을 도입하여 계산 효율성을 높이고 시각 기반 세계 모델의 기존 한계를 극복했습니다.
-
사고의 연쇄(CoT)를 도입한 투명한 멀티모달 추천 에이전트 (ReasonRec): 기존 추천 시스템의 불투명성을 극복하기 위해 추천 과정을 '사고의 연쇄(CoT)'로 변환하여 명시적 추론을 수행하는 멀티모달 에이전트입니다. 확신이 낮을 때는 경량 서브 모델에 의사결정을 위임하는 방식을 통해 높은 추천 정확도와 추론 효율성을 동시에 달성했습니다.
-
세분화된 이진 질문 기반의 LLM 해석 평가 프레임워크 (BINEVAL): 대규모 언어 모델의 결과물을 포괄적으로 평가하는 대신, 기준을 세밀한 이진(예/아니오) 질문으로 쪼개어 평가하는 해석 가능한 프레임워크입니다. 투명한 질문 수준의 피드백을 통해 기존 평가 모델의 천장 효과를 피하고 디버깅과 프롬프트 최적화를 용이하게 만들었습니다.
-
AI 기반 과학 논문 심층 검증 및 보조 프레임워크 (PAT): 인간 심사위원을 보조하여 과학 논문의 수식 오류나 실험 타당성 등을 깊이 있게 검증하고 개선 사항을 제안하는 에이전틱 AI 프레임워크입니다. 단일 모델 호출 대신 추론 스케일링 기법을 활용하여 심층적인 오류를 조기에 식별함으로써 학술 검토 과정의 병목을 해소합니다.
-
상태 기계 컴파일을 통한 반복 작업 고속화 에이전트 (PreAct): 컴퓨터를 조작하는 에이전트가 성공적으로 마친 작업을 상태 기계 프로그램으로 저장한 후, 반복 작업 시 에이전트 호출 없이 이를 직접 재생하여 처리 속도를 비약적으로 높이는 시스템입니다. 실행 중 화면 상태를 지속적으로 검증하고 예기치 못한 상황에서는 에이전트에게 제어권을 넘겨 안정성을 보장합니다.
AutoMem: 인지 기술로서의 메모리 자동 학습 / AutoMem: Automated Learning of Memory as a Cognitive Skill
논문 소개
인지 과학에서 메타메모리(metamemory)는 무엇을 기억할 가치가 있는지, 언제 그것을 검색할지, 그리고 지식을 어떻게 조직할지를 결정하는 학습된 기술을 의미합니다. 본 논문은 이러한 관점을 대규모 언어 모델에 적용하여 메모리 관리를 에이전트의 훈련 가능한 기술로 재개념화합니다. 현재 LLM은 고정 크기의 컨텍스트 윈도우라는 작업 메모리의 한계로 인해 수천 단계가 필요한 장기 수평 작업에서 심각한 어려움을 겪고 있습니다. 기존의 검색 데이터베이스, 벡터 저장소, 요약 버퍼 등 다양한 메모리 해결책들은 메모리를 고정된 아키텍처 모듈로 취급하기 때문에 모델이 적응적으로 자신의 메모리 전략을 최적화하기 어렵습니다.
이 문제를 해결하기 위해 본 논문은 파일 시스템 작업(읽기, 쓰기, 검색, 추가, 생성)을 작업 액션과 동등한 수준의 일급 메모리 액션으로 승격시키는 방식을 제안합니다. 에이전트는 같은 액션 공간에서 환경에 작용하는 작업과 외부 메모리를 관리하는 메모리 작업을 직접 선택할 수 있으며, 모든 결정이 궤적에서 투명하게 추적됩니다. 메모리 기술의 개선은 두 가지 독립적 축을 따릅니다. 첫 번째는 메모리 구조로, 에이전트가 사용할 수 있는 메모리 프롬프트, 파일 스키마, 액션 어휘를 결정하며, 두 번째는 메모리 숙련도로 주어진 구조 내에서 에이전트가 얼마나 효과적으로 메모리 작업을 선택하는지를 나타냅니다.
수천 단계의 에피소드에서 단일 메모리 오류가 미치는 영향을 인간이 수동으로 검토하는 것은 현실적으로 거의 불가능하기에, 본 논문은 AutoMem 프레임워크를 통해 메타-LLM 기반의 이중 루프 자동화를 제시합니다. 첫 번째 루프에서 메타-LLM은 완전한 에피소드 궤적을 검토하여 메모리 사용의 실패 패턴을 진단한 후 에이전트의 메모리 스캐폴드를 반복적으로 수정합니다. 두 번째 루프에서는 에이전트의 좋은 메모리 결정들이 많은 에피소드에서 식별되어 지도 학습을 위한 신호로 사용되며, 메모리 전문 모델만 파인튜닝됨으로써 기존 작업 능력의 손상을 방지합니다. 절차적으로 생성되는 세 가지 장기 수평 게임(Crafter, MiniHack, NetHack)에서 메모리 최적화만으로 32B 오픈 웨이트 모델의 성능이 2배에서 4배로 향상되었으며, 이는 모델 규모 증대보다 메모리 관리가 더 큰 영향력을 가진다는 점을 시사합니다. 최적화된 에이전트는 Claude Opus 4.5와 Gemini 3.1 Pro Thinking 같은 최첨단 독점 시스템과 경쟁력 있는 성능 수준에 도달했으며, 이는 메모리를 고영향도 최적화 목표로 삼는 것이 장기 수평 작업에서 매우 높은 가치를 가진다는 것을 입증합니다.
초록(Abstract)
메모리 전문성은 습득 가능한 기술이다: 무엇을 인코딩할지, 언제 검색할지, 지식을 어떻게 조직할지 아는 것 -- 인지과학에서 메타메모리라고 알려진 능력이다. 우리는 메모리 관리를 학습 가능한 기술로 취급함으로써 이 관점을 대규모 언어 모델(LLM)에 적용한다. 우리는 파일 시스템 작업을 작업 행동과 함께 일급 메모리 행동으로 승격시켜, 모델 자신이 자신의 메모리를 어떻게 관리할지 결정하도록 한다. 이 메모리 기술은 두 가지 축을 따라 개선된다: 이를 지원하는 구조(프롬프트, 파일 스키마, 행동 어휘)와 이를 실행하는 모델의 숙련도이다. 두 축 모두 수동 최적화가 어렵다: 장기 작업의 에피소드는 수천 개의 단계를 거쳐 실행되며, 단 하나의 메모리 실수도 오랫동안 숨겨져 있다가 나중에 드러날 수 있어서, 전체 궤적의 인간 검토는 비실용적이다. 우리는 두 축을 모두 자동화하는 프레임워크인 오토멤(AutoMem)을 소개한다. 첫 번째 루프에서는 강력한 대규모 언어 모델이 완전한 에이전트 궤적을 검토하고, 에이전트가 메모리 파일과 상호작용하는 방식을 형성하는 메모리 구조를 반복적으로 수정한다. 두 번째 루프에서는 많은 에피소드로부터 에이전트의 좋은 메모리 결정들을 식별하고, 이를 학습 신호로 사용하여 모델의 메모리 숙련도를 직접 향상시킨다. 세 개의 절차 생성 장기 게임(Crafter, MiniHack, NetHack)에 걸쳐, 모델의 작업 행동을 수정하지 않고 메모리만 최적화함으로써 기본 에이전트의 성능을 약 2배에서 4배 향상시켰고, 32B 오픈 가중치 모델을 Claude Opus 4.5 및 Gemini 3.1 Pro Thinking과 같은 최선단 시스템과 경쟁할 수 있는 수준으로 끌어올렸다. 우리의 결과는 메모리 관리가 독립적으로 학습 가능한 기술이며 장기 작업에서 큰 이득을 가져다주는 높은 영향력의 목표임을 보여준다.
Memory expertise is a learned skill: knowing what to encode, when to retrieve, and how to organize knowledge--a capacity known in cognitive science as metamemory. We bring this perspective to LLMs by treating memory management as a trainable skill. We promote file-system operations to first-class memory actions alongside task actions, letting the model itself decide how to manage its memory. This memory skill improves along two axes: the structure that supports it (prompts, file schemas, action vocabulary), and the proficiency of the model exercising it. Both axes resist manual optimization: episodes in long-horizon tasks run for thousands of steps, and a single memory mistake can hide long before it surfaces, making human review of full trajectories impractical. We introduce AutoMem, a framework that automates both axes. In the first loop, a strong LLM reviews complete agent trajectories and iteratively revises the memory structure that shapes how the agent interacts with its memory files. In the second loop, the agent's own good memory decisions are identified from many episodes and used as training signal to sharpen the model's memory proficiency directly. Across three procedurally generated long-horizon games (Crafter, MiniHack, and NetHack), optimizing memory alone--without modifying the model's task-action behavior--improved the base agent's performance ~2x-4x, bringing a 32B open-weight model competitive with frontier systems such as Claude Opus 4.5 and Gemini 3.1 Pro Thinking. Our results show that memory management is an independently learnable skill, and a high-leverage objective yielding large gains on long-horizon tasks.
논문 링크
더 읽어보기
한 층으로 충분한가? 단일 트랜스포머 층 훈련이 전체 파라미터 RL 훈련과 일치할 수 있음 / Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training
논문 소개
강화학습(Reinforcement Learning, RL)은 대규모 언어 모델(LLM)의 사후 학습에서 중요한 역할을 하고 있으며, 그러나 RL의 효과가 구체적으로 트랜스포머 층에서 어떻게 분포되는지는 충분히 이해되지 않고 있다. 기존의 연구에서는 모든 모델 매개변수를 동등하게 업데이트하는 방식이 일반적이었으나, 이 연구는 그러한 가정을 검토하며 각 층의 기여도를 면밀히 분석하였다. 연구의 주요 발견은 단일 트랜스포머 층만을 학습시킴으로써도 전체 매개변수 RL 학습에서 얻은 성과의 대부분을 회복할 수 있다는 점이다. 심지어 일부 경우에서는 이를 초과하는 성과를 보여주기도 하였다. 새로운 개념인 '층 기여도(layer contribution)'를 도입하여 각 층이 전체 RL 개선에 기여하는 비율을 정량화함으로써, 연구는 RL 성과가 소수의 층에 집중된다는 안정적인 패턴을 드러내었다.
이 연구는 Qwen3와 Qwen2.5 등 두 가지 모델 패밀리와, GRPO, GiGPO, Dr. GRPO와 같은 세 가지 RL 알고리즘을 포함하여 다양한 작업 환경에서 수행되었다. 결과적으로, 기여도가 높은 층들은 트랜스포머 스택의 중간에 위치하고, 입력과 출력 끝에 가까운 층은 상대적으로 기여도가 낮은 경향을 보였다. 이러한 발견은 데이터셋, 작업, 모델 패밀리, RL 알고리즘 전반에 걸쳐 강한 상관관계를 나타내며, RL 사후 학습의 구조적 특성을 이해하는 데 중요한 통찰을 제공한다.
또한, LLM에서의 RL 적응이 어떻게 이루어지는지를 명확히 하고, 중간 층의 중요성을 강조하여 향후 연구 방향을 제시하는 데 기여하고 있다. 특히, 높은 기여도를 가진 층에 대해 선택적으로 학습률을 조정하거나 학습을 수행함으로써, 표준 RL보다 더 일관된 성과를 얻을 수 있는 가능성을 제시하였다. 이러한 접근은 RL 사후 학습의 기초적 이해를 높이고, RL 모델을 향상시키기 위한 새로운 기회를 창출할 수 있다.
초록(Abstract)
강화학습(RL)은 사후 학습 대규모 언어 모델(LLMs)의 중심 요소가 되었으나, RL 적응이 트랜스포머 층에 어떻게 분포되는지는 잘 이해되지 않고 있다. 기존 접근법은 일반적으로 모든 모델 파라미터를 균일하게 업데이트하며, 각 층이 RL 사후 학습 중에 얻어진 이익에 유사하게 기여한다고 암묵적으로 가정한다. 본 연구에서는 RL 학습에 대한 체계적인 층별 연구를 통해 이 가정을 도전한다. 놀랍게도, 단일 트랜스포머 층을 학습하는 것만으로도 전체 파라미터 RL 학습을 통해 달성한 대부분의 이익을 회복할 수 있으며, 경우에 따라 이를 초월하기도 한다. 이 현상을 정량화하기 위해, 우리는 격리된 층을 학습함으로써 회복된 전체 RL 개선의 비율을 측정하는 '층 기여(layer contribution)'라는 개념을 도입한다. 두 모델 계열(Qwen3, Qwen2.5)에 걸쳐 일곱 개 모델, 세 가지 RL 알고리즘(GRPO, GiGPO, Dr. GRPO), 그리고 수학적 추론, 코드 생성, 에이전트 의사결정 등 여러 작업 도메인에서 우리는 놀랍도록 안정적인 패턴을 관찰한다: RL 이익은 소수의 트랜스포머 층, 많은 경우 단일 층에 고도로 집중되어 있다. 더욱 놀라운 점은 동일한 구조적 패턴이 지속적으로 나타난다는 것이다: 기여도가 높은 층은 트랜스포머 스택의 중간에 집중되며, 입력 및 출력 끝에 가까운 층은 상대적으로 훨씬 낮은 기여를 한다. 그 결과 층 순위는 데이터셋, 작업, 모델 계열, RL 알고리즘에 걸쳐 강한 상관관계를 유지한다.
Reinforcement learning (RL) has become a central component of post-training large language models (LLMs), yet little is understood about how RL adaptation is distributed across transformer layers. Existing approaches typically update all model parameters uniformly, implicitly assuming that every layer contributes similarly to the gains obtained during RL post-training. In this work, we challenge this assumption through a systematic layer-wise study of RL training. Surprisingly, we find that training a single transformer layer can recover most of the gains achieved by full-parameter RL training, and in some cases even surpass it. To quantify this phenomenon, we introduce the quantity layer contribution, which measures the fraction of full RL improvement recovered by training a layer in isolation. Across seven models spanning two model families (Qwen3, Qwen2.5), three RL algorithms (GRPO, GiGPO, Dr. GRPO), and multiple task domains including mathematical reasoning, code generation, and agentic decision-making, we observe a remarkably stable pattern: RL gains are highly concentrated in a small subset of, and in many cases even a single, transformer layers. More strikingly, the same structural pattern consistently emerges: high-contribution layers concentrate in the middle of the transformer stack, while layers near the input and output ends contribute substantially less. The resulting layer rankings remain strongly correlated across datasets, tasks, model families, and RL algorithms.
논문 링크
Memora: 추상화와 구체성의 균형을 맞추는 메모리 표현 / Memora: A Harmonic Memory Representation Balancing Abstraction and Specificity
논문 소개
에이전트 시스템이 복잡한 장기 작업을 수행할 때 핵심이 되는 것은 순간의 추론 능력이 아니라 시간에 따라 경험을 체계적으로 축적하고 재사용하는 능력입니다. 현재의 대규모 언어 모델 기반 에이전트들은 개별 문제 해결에는 탁월하지만 구조화된 메모리 메커니즘이 없어 반복되는 추론을 계속 수행하게 되고, 이는 토큰 비용의 기하급수적 증가와 성능 불안정으로 이어집니다. 에이전트 메모리를 확장하기 위해서는 추상화와 구체성 사이의 근본적 긴장을 해결해야 하는데, 기존 접근법들은 일반적으로 이 두 극단 중 하나로 치우칩니다. 구체성을 우선시하는 방식은 원본 상호작용이나 세부 사실들을 저장하지만 정보의 단편화로 인해 맥락을 상실하고, 반대로 추상화를 우선시하는 방식은 효율적이지만 정밀한 실행에 필수적인 미세한 뉘앙스와 세부 정보를 제거하여 추론의 질을 떨어뜨립니다. 이러한 표현의 격차는 검색 과정을 약화시키며, 에이전트는 무분별한 저수준 세부 정보와 추상화된 요약 사이에서만 선택할 수 있게 됩니다.
본 논문에서 제안하는 Memora는 이러한 문제를 구조적으로 해결하는 조화로운 메모리 표현입니다. Memora는 주요 추상화, 메모리 값, 신호 앵커로 구성된 이중 계층 구조를 통해 추상화와 구체성의 균형을 맞춥니다. 주요 추상화는 메모리의 정준 아이덴티티를 정의하여 개념적으로 관련된 정보가 분리되는 것을 방지하고, 메모리 값은 실제의 구체적이고 세부적인 정보를 보존합니다. 신호 앵커는 메모리의 다양한 측면을 포착하는 문맥화된 접근 지점으로 기능하여 검색 접근성을 확장하고 관련 메모리 엔트리 간의 다대다 연결을 확립합니다. 이러한 구조를 바탕으로 Memora는 정책 기반 검색 메커니즘을 도입하는데, 이는 쿼리 정제, 메모리 확장, 종료라는 이산 행동 공간을 통해 메모리 접근을 능동적 추론 프로세스로 취급하여 직접 의미론적 유사성을 넘어 다중 홉 의존성을 효과적으로 포착합니다. 이론적으로는 표준 검색-증강 생성과 지식 그래프 기반 메모리 시스템이 Memora 프레임워크의 특수한 경우로 나타남을 보여, 이 접근법의 일반성과 기초를 입증합니다. 실증적으로 Memora는 LoCoMo와 LongMemEval 벤치마크에서 각각 86.3%, 87.4%의 새로운 최첨단 성능을 달성하며, 메모리 규모가 증가할수록 검색 관련성과 추론 효과가 지속적으로 향상되고 전체 문맥 처리 대비 최대 98%의 토큰을 절감함을 입증합니다.
초록(Abstract)
에이전트 메모리 시스템은 지속적으로 증가하는 정보를 수용하면서 하위 작업을 위한 효율적이고 컨텍스트 인식적 검색을 지원해야 합니다. 추상화는 에이전트 메모리 스케일링에 필수적이지만, 종종 구체성의 대가로 효과적인 추론에 필요한 미세한 세부정보를 모호하게 만듭니다. 우리는 추상화와 구체성을 구조적으로 균형 있게 조정하는 조화 메모리 표현인 Memora를 소개합니다. Memora는 구체적인 메모리 값을 인덱싱하고 관련 업데이트를 통합된 메모리 항목으로 결합하는 주요 추상화를 통해 정보를 구성하며, 한편 큐 앵커는 메모리의 다양한 측면에 걸쳐 검색 접근을 확대하고 관련 메모리를 연결합니다. 이러한 구조를 바탕으로, 우리는 이러한 메모리 연결을 능동적으로 활용하여 직접적인 의미적 유사성을 넘어선 관련 정보를 검색하는 검색 정책을 제안합니다. 이론적으로, 표준 검색-증강 생성(RAG)과 지식 그래프(KG) 기반 메모리 시스템이 우리의 프레임워크의 특수한 경우로 나타남을 보여줍니다. 실증적으로, Memora는 LoCoMo와 LongMemEval 벤치마크에서 새로운 최첨단을 확립하며, 메모리가 스케일링되면서 향상된 검색 관련성과 추론 효율성을 시연합니다.
Agent memory systems must accommodate continuously growing information while supporting efficient, context-aware retrieval for downstream tasks. Abstraction is essential for scaling agent memory, yet it often comes at the cost of specificity, obscuring the fine-grained details required for effective reasoning. We introduce Memora, a harmonic memory representation that structurally balances abstraction and specificity. Memora organizes information via its primary abstractions that index concrete memory values and consolidate related updates into unified memory entries, while cue anchors expand retrieval access across diverse aspects of the memory and connect related memories. Building on this structure, we employ a retrieval policy that actively exploits these memory connections to retrieve relevant information beyond direct semantic similarity. Theoretically, we show that standard Retrieval-Augmented Generation (RAG) and Knowledge Graph (KG)-based memory systems emerge as special cases of our framework. Empirically, Memora establishes a new state-of-the-art on the LoCoMo and LongMemEval benchmarks, demonstrating better retrieval relevance and reasoning effectiveness as memory scales.
논문 링크
더 읽어보기
SkillComposer: LLM 에이전트를 위한 생성형 스킬 조합 / Generative Skill Composition for LLM Agents
논문 소개
대규모 언어모델(LLM) 기반 에이전트 시스템에서 복잡한 작업을 효과적으로 해결하기 위해 스킬(Skill) 또는 도구 라이브러리를 활용하는 방식이 점차 중요해지고 있습니다. 이러한 스킬들은 샌드박스 환경 설정, 테스트 스위트 실행, 함수 리팩토링 등 전문화된 절차적 지식을 패키징한 모듈식 구성 요소로 기능합니다. 그러나 스킬 라이브러리가 성장하면서 여러 도메인과 작업에 재사용 가능해질수록, 어떤 스킬을 선택할지, 몇 개를 조합할지, 그리고 어떤 순서로 실행할지 결정하는 것이 에이전트 성능의 핵심 병목으로 떠올랐습니다. 기존 접근 방식들은 크게 두 가지로 나뉘는데, 첫째는 전체 스킬 컬렉션에 대한 에이전트의 추론을 노출하는 방식이고, 둘째는 임베딩이나 LLM 기반 리랭커를 통해 스킬을 검색하는 방식입니다. 두 방식 모두 유용한 통찰력을 제공하지만, 스킬 구성의 구조적 특성을 간과하고 있습니다. 즉, 활성화할 스킬 부분집합, 개수, 실행 순서라는 세 가지 차원이 상호 의존적이며 독립적으로 결정할 수 없다는 점입니다.
본 논문은 이 문제를 구조화된 스킬 구성(Structured Skill Composition)으로 형식화하며, 주어진 작업과 스킬 라이브러리로부터 활성화할 스킬의 부분집합, 개수, 실행 순서를 동시에 명시하는 실행 가능한 스킬 계획을 예측하는 것을 목표로 합니다. 이를 해결하기 위해 SkillComposer라는 새로운 모델을 제시합니다. SkillComposer는 task-conditioned skill sequence prediction 문제로 구조화된 스킬 구성을 구현하며, 스킬 식별자에 대한 제약이 있는 자회귀 디코더(Constrained Autoregressive Decoder)를 사용합니다. 이러한 설계를 통해 스킬 부분집합, 개수, 순서가 단일 디코딩 패스에서 동시에 도출되며, 연속된 스킬 간의 의존성이 자연스럽게 포착됩니다. 연구팀은 실제 인간 큐레이션 스킬 라이브러리로부터 작업-구성 쌍 데이터셋을 구축하고, 두 가지 축을 따라 모델을 평가합니다. 첫 번째는 홀드아웃 테스트 집합에 대한 구성 품질이고, 두 번째는 두 개의 프로덕션급 코딩 에이전트를 대상으로 한 SkillsBench에서의 다운스트림 작업 성공률입니다. 실험 결과, GPT-5.2-Codex와 Gemini-3-Pro-Preview에서 각각 +23.1pp와 +18.2pp의 성과율 향상을 달성하여 스킬 미사용 기준선을 크게 상회하고, top-3 retrieval 방식을 능가하며 gold-skill retrieval 상한선과 맞춤을 이루되, 프롬프트 토큰 비용은 더 낮은 수준으로 달성했습니다.
초록(Abstract)
최근 LLM 에이전트는 복잡한 작업을 해결하기 위한 스킬로부터 이점을 얻습니다. 스킬은 절차적 지식과 샌드박스 환경 설정, 테스트 스위트 실행, 다중 파일 간 함수 리팩토링 등의 전문화된 작업을 수행하기 위한 명령을 포함하는 모듈식 패키지를 캡슐화합니다. 스킬 라이브러리가 성장하고 작업과 도메인 전반에 걸쳐 재사용 가능해짐에 따라, 적절한 스킬 조합을 선택하는 것이 중요한 병목으로 떠올랐습니다. 기존 접근 방식은 두 가지 범주로 나뉩니다. 하나는 에이전트의 추론을 전체 스킬 컬렉션에 노출하고, 다른 하나는 임베딩(Embedding) 또는 LLM 기반 리랭커를 통해 스킬 검색을 수행합니다. 둘 다 유용한 통찰을 제공하지만, 어떤 스킬을, 몇 개를, 어떤 순서로 실행할지에 대한 결합된 결정인 스킬 조합의 구조적 성질을 놓치고 있습니다. 이는 분리할 수 없는 세 가지 차원입니다. 우리는 이를 구조화된 스킬 조합으로 공식화합니다: 작업과 스킬 라이브러리가 주어졌을 때, 활성화된 부분집합, 개수, 실행 순서를 공동으로 지정하는 실행 가능한 스킬 계획을 예측합니다. 우리는 구조화된 스킬 조합을 작업 조건부 스킬 시퀀스 예측으로 구체화하는 SkillComposer를 제안합니다. SkillComposer는 스킬 식별자에 대한 제약된 자동회귀 디코더(Autoregressive Decoder)를 사용하므로, 부분집합, 개수, 순서가 단일 디코딩 단계에서 공동으로 나타나고, 연속적인 스킬 간의 의존성이 자연스럽게 캡처됩니다. 우리는 실제 인간이 선별한 스킬 라이브러리에서 작업-조합 쌍의 학습 세트를 구축합니다. 우리는 SkillComposer를 두 가지 축에 따라 평가합니다: 보유 테스트 세트에서의 조합 품질과 두 개의 프로덕션급 코딩 에이전트 전반의 SkillsBench에서의 다운스트림 작업 성공입니다. GPT-5.2-Codex와 Gemini-3-Pro-Preview에서 SkillComposer는 스킬 없음 기준선 대비 각각 +23.1pp, +18.2pp로 통과율을 높이며, 상위-3 검색을 능가하고 더 낮은 프롬프트 토큰 비용으로 최적 스킬 검색 상한과 일치합니다.
Recent LLM agents benefit from skills for solving complex tasks. Skills encapsulate modular packages of procedural knowledge and instructions for performing specialized tasks, such as setting up a sandboxed environment, running a test suite, or refactoring a function across multiple files. As skill libraries grow and become reusable across tasks and domains, selecting an appropriate skill composition has emerged as a central bottleneck. Existing approaches fall into two categories. One exposes the agent's reasoning to the entire skill collection; the other performs skill retrieval via embeddings or LLM-based rerankers. Both provide useful insights; however, they miss the structural nature of skill composition, which is a joint decision over which skills, how many, and in what order -- three dimensions that cannot be decoupled. We formalize this as structured skill composition: given a task and a skill library, predict an executable skill plan that jointly specifies the activated subset, count, and execution order. We propose SkillComposer, which instantiates structured skill composition as task-conditioned skill sequence prediction. SkillComposer uses a constrained autoregressive decoder over skill identifiers, so subset, count, and order emerge jointly from a single decoding pass, and dependencies between successive skills are captured naturally. We build a training set of task-composition pairs from a real, human-curated skill library. We then evaluate SkillComposer along two axes: composition quality on a held-out test set, and downstream task success on SkillsBench across two production-grade coding agents. On GPT-5.2-Codex, Gemini-3-Pro-Preview, SkillComposer raises the pass rate by +23.1, +18.2pp over the no-skill baseline, surpassing top-3 retrieval and matching the gold-skill retrieval upper bound at lower prompt-token cost.
논문 링크
더 읽어보기
경험 그래프: 자기 개선 에이전트의 데이터 토대 / Experience Graphs: The Data Foundation for Self-Improving Agents
논문 소개
자율적으로 동작하며 코드를 생성하고 도구를 실행하는 에이전트들은 수백 단계에 걸친 탐색 과정에서 방대한 양의 구조화된 데이터를 생성합니다. 생성된 아티팩트, 도구의 실행 결과, 각 시도에 대한 보상 값, 그리고 인과 관계를 담은 이 정보들은 단순한 임시 상태를 넘어 미래의 탐색과 모델 학습에 활용될 수 있는 귀중한 자산입니다. 그러나 기존의 에이전트 프레임워크 대부분은 이러한 탐색 기록을 JSON 체크포인트나 세션 로그로 취급하여 시스템 충돌 시 복구할 수 없게 하고, 사용자 간 공유를 불가능하게 만들며, 체계적인 쿼리와 분석을 막고 있습니다. 데이터베이스 커뮤니티의 오랜 경험에 따르면, 이처럼 구조화되고 지속적인 가치를 지닌 상태는 파일 시스템이 아닌 관리되는 데이터베이스에서 다루어져야 합니다.
본 논문은 에이전트의 탐색 과정에서 생성되는 경험 그래프(experience graph)를 데이터베이스의 일급 객체로 승격시키는 Trellis라는 데이터 기반을 제안합니다. 이 접근 방식의 핵심 통찰은 경험 그래프에 대한 탐색이 본질적으로 데이터베이스 접근 패턴이라는 것입니다. 다음 탐색 노드를 선택하는 프론티어 선택은 정렬된 쿼리이고, 이전 세션의 유사한 탐색을 활용하는 크로스 세션 재사용은 벡터 임베딩으로 시작하는 그래프 검색이며, 학습 데이터를 추출하는 것은 구체화된 뷰(materialized view)이고, 과거 특정 시점의 에이전트 상태를 복원하는 것은 시간 여행 쿼리입니다. 경험 그래프를 데이터베이스가 관리할 때, 에이전트는 상태 비저장 계산으로 변환되며, 시스템 충돌 후 자동 복구, 여러 워커의 병렬 탐색, 그리고 폐쇄 루프 학습 피드백은 아키텍처의 자연스러운 부산물로 나타납니다.
이 설계의 실효성은 Meta에서 운영 중인 KernelEvolve라는 가속기 커널 최적화 시스템에서 입증되었습니다. 크로스 세션 재사용을 통해 목표 성능 달성이 약 10배 빠르게 진행되었고, 동시에 같은 최적화를 달성하는 데 필요한 토큰 사용량은 52% 감소했습니다. 더 나아가, 이 접근 방식은 추론 시간의 탐색을 일회성 계산에서 조직 전체에서 재사용 가능한 지속적 자산으로 전환합니다. 로그가 과거 데이터베이스 시스템의 신뢰성을 확보한 것처럼, 경험 그래프는 에이전트 시스템을 진정으로 누적적이고 지속적으로 개선되는 존재로 만들 수 있는 기초가 될 것입니다.
초록(Abstract)
데이터베이스 커뮤니티는 새로운 워크로드가 새로운 시스템 아키텍처를 요구한다는 점을 인식함으로써 반복적으로 최신 기술을 발전시켜왔습니다. 우리는 장기 지평선 에이전트 작업 -- 코드 생성, 과학적 발견, 하드웨어 설계 -- 이 그러한 워크로드라고 주장합니다. 이러한 에이전트들은 탐색합니다: 수백 단계에 걸쳐 아티팩트를 생성하고, 도구를 실행하며, 실패를 관찰하고, 분기하고, 복구합니다. 이 탐색은 경험 그래프라고 부르는 구조화된 객체를 생성합니다: 실행 가능한 아티팩트, 도구 출력, 보상, 형제 비교, 그리고 인과 계통입니다. 그러나 기존 에이전트 프레임워크는 이 경험을 일회용 상태로 취급합니다 -- 충돌 후 복구할 수 없고, 사용자 간에 쿼리할 수 없으며, 훈련 데이터로 구체화할 수 없는 JSON 체크포인트와 세션 로그입니다. 우리는 Trellis를 제안합니다: 경험 그래프를 최상급의 관리되는 쿼리 가능한 데이터베이스 상태로 취급하는 데이터 기반입니다. 핵심 통찰은 경험 그래프에 대한 탐색이 데이터베이스 접근 패턴이라는 것입니다. 프론티어 선택은 쿼리이고, 교차 세션 재사용은 벡터 시드 그래프 검색이며, 훈련 데이터 추출은 구체화된 뷰이고, 과거의 임의의 단계에서 에이전트가 알았던 것을 재구성하는 것은 시간 여행 쿼리입니다. 데이터베이스가 경험 그래프를 소유할 때, 에이전트는 상태 비저장 계산이 되고, 충돌 복구, 수평 확장, 폐루프 훈련 플라이휠이 아키텍처의 부산물로 나타납니다. 우리는 설계를 Meta의 프로덕션 가속기 커널 옵티마이저인 KernelEvolve에서 검증합니다. 여기서 교차 세션 재사용은 토큰 비용이 52% 더 낮으면서도 약 10배의 속도 향상을 달성합니다. 더 넓은 관점에서, Trellis는 추론 시간 탐색을 일회용 계산에서 지속적인 제도적 자산으로 변환합니다: 로그가 데이터베이스를 신뢰할 수 있도록 만들었습니다; 경험 그래프는 에이전트를 누적적으로 만들 수 있습니다.
The database community has repeatedly advanced the state of the art by recognizing that new workloads demand new system architectures. We argue that long-horizon agentic tasks -- code generation, scientific discovery, hardware design -- are such a workload. These agents explore: they generate artifacts, execute tools, observe failures, branch, and repair over hundreds of steps. This search produces a structured object we call an experience graph: executable artifacts, tool outputs, rewards, sibling comparisons, and causal lineage. Yet existing agent frameworks treat this experience as disposable state -- JSON checkpoints and session logs that cannot be recovered after a crash, queried across users, or materialized into training data. We propose Trellis: a data foundation that treats the experience graph as first-class, governed, queryable database state. The core insight is that search over experience graphs is a database access pattern. Frontier selection is a query, cross-session reuse is vector-seeded graph retrieval, training-data extraction is a materialized view, and reconstructing what an agent knew at any past step is a time-travel query. When the database owns the experience graph, agents become stateless compute, and crash recovery, horizontal scaling, and a closed-loop training flywheel emerge as architectural byproducts. We ground the design in KernelEvolve, a production accelerator-kernel optimizer at Meta, where cross-session reuse reaches a target speedup roughly 10x faster at 52% lower token cost. More broadly, Trellis turns inference-time search from disposable computation into a durable institutional asset: logs made databases reliable; experience graphs may make agents cumulative.
논문 링크
FlowWM: 특징 공간에서의 플로우 매칭을 통한 확률적 월드 모델링 / Flow Matching in Feature Space for Stochastic World Modeling
논문 소개
세계 모델링은 과거의 맥락으로부터 미래 환경 상태를 예측함으로써 자율주행과 로봇공학 같은 응용 분야에서 계획 수립과 의사결정을 가능하게 합니다. 그러나 이러한 분야에서 효과적인 예측은 단순히 시각적으로 타당한 픽셀을 생성하는 것을 넘어, 객체 탐지나 깊이 추정 같은 하위 지각 작업에 필요한 정보를 보존해야 하는 본질적인 어려움을 안고 있습니다. 기존의 시각 기반 세계 모델들은 VAE 기반 잠재 공간에서 작동하거나 사전학습된 특징을 활용하는 방식으로 이 문제에 접근해왔지만, VAE 병목은 의미론적 구조 손실을 초래하고 결정론적 예측기는 다중모달 미래를 하나의 흐릿한 평균으로 붕괴시키는 한계를 보여왔습니다.
본 논문은 이러한 문제를 해결하기 위해 DINOv3와 같은 사전학습 특징 공간에서 직접 플로우 매칭(Flow Matching)을 수행하는 확률적 세계 모델인 FlowWM을 제안합니다. 사전학습 특징이 매우 높은 차원이라는 도전을 극복하기 위해, 저자들은 충분히 큰 프로젝션 헤드의 사용, 신중한 타임스텝 스케줄링, 그리고 미분가능한 원스텝 프로젝션 메커니즘 등 고차원 특징 공간에서의 플로우 매칭에 필수적인 설계 선택사항들을 체계적으로 조사하고 제시합니다. 이러한 메커니즘은 전체 샘플링 궤적을 역전파하는 계산 비용을 피하면서도 시간적 일관성과 작업 중심 감독을 효율적으로 적용함으로써, 생성된 미래 특징이 단순히 그럴듯할 뿐만 아니라 실제 하위 지각 작업에 유용한 정보를 보존하도록 합니다. 합성 벤치마크와 실제 데이터셋인 FuturePerception에서의 평가를 통해 FlowWM은 지각 성능, 모드 커버리지, 그리고 장기간 예측 견고성 측면에서 기존의 결정론적 및 확률적 세계 모델들을 능가함을 입증합니다.
초록(Abstract)
세계 모델링은 불확실한 미래를 예측하면서 동시에 하위 지각 작업에 유용한 정보를 보존해야 한다. 기존의 시각 세계 모델은 두 목표를 동시에 만족하기 어려운데, VAE 기반 확률 모델은 저차원 재구성 잠재 공간에서 작동하여 지각 성능을 제한할 수 있고, 강력한 사전학습 특성을 활용하는 결정론적 예측기는 멀티모달 미래를 단일한 흐릿한 평균으로 붕괴시킨다. 본 논문에서는 사전학습 특성 공간(예: DINOv3) 내에서 직접 플로우 매칭을 수행하는 확률적 세계 모델인 FlowWM을 제안한다. 사전학습 특성이 상당히 고차원적이어서 표준 디퓨전 기법이 최적이 아니기 때문에 이는 도전적인 문제이다. 이를 해결하기 위해 우리는 특성 공간 플로우 매칭에 필요한 설계 선택사항들을 조사하고, 시간적 일관성과 작업 중심 목표를 갖춘 효율적인 학습을 가능하게 하는 미분 가능한 단일 단계 투영 메커니즘을 도입한다. 우리는 정확도와 다양성의 체계적 평가를 위한 합성 벤치마크와 실제 벤치마크인 FuturePerception의 두 벤치마크에서 FlowWM을 평가한다. FlowWM은 지각 성능, 모드 커버리지, 거리 견고성을 개선하여 고차원 특성 공간에서의 확률적 세계 모델링을 위한 제안된 설계를 검증한다.
World modeling requires forecasting uncertain futures while preserving information useful for downstream perception. Existing visual world models often struggle to satisfy both goals: VAE-based stochastic models operate in low-dimensional reconstruction latents, which can limit perception performance, while deterministic predictors using strong pretrained features collapse multimodal futures into a single blurry mean. In this work, we propose FlowWM, a stochastic world model that performs flow matching directly within pretrained feature space (e.g., DINOv3). This is challenging because pretrained features are substantially high-dimensional, making standard diffusion recipes suboptimal. To address this, we investigate the design choices needed for feature-space flow matching and introduce a differentiable one-step projection mechanism that enables efficient training with temporal consistency and task-driven objectives. We evaluate FlowWM on two benchmarks: a synthetic benchmark for systematic evaluation of accuracy and diversity, and a real-world benchmark FuturePerception. FlowWM improves perception performance, mode coverage, and horizon robustness, validating our proposed design for stochastic world modeling in high-dimensional feature spaces.
논문 링크
더 읽어보기
https://github.com/facebookresearch/flowwm
ReasonRec: 추론 증강 멀티모달 에이전트를 통한 통합 추천 / ReasonRec: A Reasoning-Augmented Multimodal Agent for Unified Recommendation
논문 소개
대규모 언어 모델의 명시적 추론 능력 발전에도 불구하고, 추천 시스템에서는 여전히 암묵적이고 불투명한 의사결정 방식이 지배적입니다. 기존 멀티모달 추천자는 다양한 특성 융합에 뛰어나지만, 자신의 의사결정 과정을 설명하지 못하며, 예측 불확실성을 인식하지 못하고, 높은 계산 비용으로 인한 효율성 문제를 안고 있습니다.
ReasonRec은 세 단계의 명시적 추론 파이프라인을 통해 이러한 근본적인 한계들을 해결하는 추론-증강 멀티모달 에이전트입니다. 먼저 추론-인식 시각 지시 튜닝 전략은 순차 추천, 직접 추천, CTR 예측, 설명 생성 등 다양한 추천 작업을 통일된 사고의 연쇄 형식으로 변환하여, 비전-언어 모델이 중간 추론 단계를 명시적으로 표현하도록 합니다. 다음으로 증거-호라이즌 커리큘럼은 학습 과정에서 사용자-아이템 상호작용의 희소성 수준을 점진적으로 조정함으로써 콜드-스타트와 롱테일 사용자 시나리오에 대한 모델의 일반화 능력을 크게 향상시킵니다. 더불어 불확실성-기반 위임 메커니즘은 에이전트가 자신의 신뢰도를 평가하여 높은 확신의 추천은 직접 생성하고, 낮은 확신이나 도전적인 경우는 경량의 고전적 추천 모델로 동적으로 위임함으로써 정확도를 유지하면서 추론 효율성을 획기적으로 개선합니다.
다섯 개의 실제 데이터셋에서의 종합적 실험을 통해 ReasonRec은 최첨단 기준선 대비 주요 순위 지정 메트릭에서 30% 이상의 상대 개선을 달성하며, 동시에 최대 35%의 쿼리를 효율적인 부-모델로 위임하여 추론 지연시간을 현저히 감소시킵니다. 광범위한 절제 연구는 제안된 각 메커니즘이 개별적으로도 실질적인 기여를 하며, 통합된 아키텍처에서는 상승 효과를 발휘함을 확인합니다. 이러한 성과는 명시적 추론과 에이전트 설계를 통해 해석 가능하고, 적응적이며, 효율적인 멀티모달 추천 시스템 구축이 가능함을 보여주며, 추천 시스템 분야의 근본적인 패러다임 전환을 제시합니다.
초록(Abstract)
최근 멀티모달 추천 시스템의 발전은 특성 융합에는 탁월하지만, 여전히 불투명하고 비효율적인 의사결정자로 남아있으며, 명시적인 추론과 불확실성에 대한 자기인식이 부족합니다. 우리는 3단계 명시적 추론 파이프라인을 중심으로 구조화된 추론 강화형 멀티모달 에이전트인 ReasonRec을 제시합니다. 특히, 다양한 추천 작업을 통합된 사고의 연쇄(CoT) 프롬프트로 체계적으로 변환하는 추론 인식형 시각 인스트럭션 튜닝 전략을 제안하여, 비전-언어 모델(VLM)이 중간 의사결정 단계를 명시적으로 나타낼 수 있게 합니다. 또한 우리의 증거-지평선 커리큘럼은 추론 복잡도를 점진적으로 높여 콜드스타트 및 롱테일 사용자 시나리오를 더 잘 처리하고 모델의 일반화 능력을 크게 향상시킵니다. 더욱이, 불확실성 기반 위임 메커니즘은 에이전트가 자신의 신뢰도를 평가하고 계산 자원을 전략적으로 할당하여 추천 정확도와 추론 효율성을 함께 최적화하도록 합니다. 5개의 실제 데이터셋에 걸친 4개의 표준 추천 작업에서의 종합 실험을 통해, ReasonRec은 최신 멀티모달 추천 시스템 대비 핵심 순위 메트릭에서 30% 이상의 상대적 개선을 달성합니다. 특히 주목할 점은, ReasonRec이 최대 35%의 쿼리를 효율적인 서브모델로 동적으로 위임함으로써 정확도 저하 없이 추론 지연시간을 대폭 단축한다는 것입니다. 광범위한 제거 연구를 통해 제안된 각 추론 및 계획 메커니즘이 ReasonRec의 전반적 성능에 개별적으로 상당히 기여함을 보여줍니다. 종합적으로, 우리의 결과는 명시적 추론과 에이전트 설계를 통한 해석 가능하고 적응형이며 효율적인 멀티모달 추천을 향한 명확한 방향을 제시합니다.
Recent advances in multimodal recommenders excel at feature fusion but remain opaque and inefficient decision-makers, lacking explicit reasoning and self-awareness of uncertainty. We introduce ReasonRec, a reasoning-augmented multimodal agent structured around a three-stage explicit reasoning pipeline. Specifically, we propose a reasoning-aware visual instruction tuning strategy that systematically transforms diverse recommendation tasks into unified CoT prompts, enabling the VLM to explicitly articulate intermediate decision steps. Additionally, our evidence-horizon curriculum progressively enhances the reasoning complexity to better handle cold-start and long-tail user scenarios, significantly boosting model generalization. Furthermore, the uncertainty-guided delegation mechanism empowers the agent to assess its own confidence, strategically allocating computational resources to optimize both recommendation accuracy and inference efficiency. Comprehensive experiments on four standard recommendation tasks across five real-world datasets demonstrate that ReasonRec achieves over 30% relative improvement in key ranking metrics compared to state-of-the-art multimodal recommenders. Crucially, ReasonRec substantially reduces inference latency by dynamically delegating up to 35% of queries to efficient sub-models without compromising accuracy. Extensive ablation studies further confirm that each proposed reasoning and planning mechanism individually contributes substantially to ReasonRec's overall effectiveness. Collectively, our results illustrate a clear pathway towards interpretable, adaptive, and efficient multimodal recommendation through explicit reasoning and agentic design.
논문 링크
판단하지 말고, 묻기: 해석 가능한 LLM 평가와 자기 개선을 위한 이진 질문 / Ask, Don't Judge: Binary Questions for Interpretable LLM Evaluation and Self-Improvement
논문 소개
대규모 언어 모델(LLM)의 출력을 평가하는 것은 현대 자연어처리(NLP)에서 가장 도전적인 문제 중 하나입니다. 인간 평가는 비용이 많이 들고 시간이 오래 걸리며, ROUGE나 BLEU 같은 전통적인 어휘 기반 메트릭은 개방형 생성 작업에서 실제 인간 판단과의 상관관계가 매우 낮습니다. 더욱이 대규모 언어 모델 자체를 평가자로 활용하는 최근 방법들도 불투명한 점수를 반환하여 그 근거를 파악하기 어렵다는 근본적인 한계를 갖고 있습니다. 본 논문은 이러한 평가의 병목을 해결하기 위해 BINEVAL이라는 새로운 프레임워크를 제안합니다. BINEVAL의 핵심 아이디어는 단순하면서도 효과적입니다. 전체적이고 불투명한 판정을 요청하는 대신, 평가 기준을 원자적 예/아니오 질문으로 분해하고 각 질문에 대한 답변을 집계하여 해석 가능한 다차원 점수를 생성하는 것입니다. 메타 프롬프트가 주어진 작업으로부터 세분화된 평가 질문을 자동으로 도출하면, 평가 모델이 각 질문에 대해 독립적으로 답변하여 투명한 질문 수준 피드백과 보정된 최종 점수를 함께 제공합니다. 이러한 분해 기반 접근방식은 평가를 단순한 점수에서 진단 가능한 신호로 전환하여 검사와 디버깅을 크게 용이하게 합니다.
BINEVAL의 실증적 성능은 매우 경쟁력이 있습니다. 요약 평가, 대화 평가, 사실적 일관성 평가 등 다양한 벤치마크에서 UniEval과 G-Eval을 포함한 강력한 기존 방법들과 동등하거나 우수한 결과를 달성합니다. 특히 QAGS 같은 사실적 일관성 벤치마크에서는 두드러진 성능을 보여줍니다. 더욱 중요한 것은 인간 점수와의 상관관계뿐 아니라 인간 점수의 분포를 더욱 잘 일치시키며, 기존 LLM 판사에서 흔한 천장 효과를 피함으로써 경계선상의 출력과 명백하게 결함이 있는 출력 사이를 더 정확하게 구분한다는 점입니다. 논문은 실제 사례 분석을 통해 이 우월성을 입증합니다. 예를 들어, 세 가지 명확한 사실적 오류를 포함하는 요약이 기존 방법에서는 완벽한 점수를 받는 반면, BINEVAL은 각 오류를 정확히 식별하여 훨씬 더 정확한 점수를 부여합니다. 본 논문의 또 다른 중요한 기여는 질문 수준 피드백을 활용한 반복적 프롬프트 최적화입니다. 자체 업데이트와 교차 모델 업데이트 설정 모두에서 평가자 프롬프트와 생성 프롬프트를 개선할 수 있으며, 이는 요약 작업과 명령어 추종 벤치마크에서 검증되었습니다. 결과적으로 BINEVAL은 학습이 필요 없는 작업 불가지론적 프레임워크이면서도 강력한 경험적 성능과 실질적인 진단 및 최적화 가치를 동시에 제공하여, 현재의 LLM 기반 평가 방식의 근본적인 문제들을 효과적으로 해결합니다.
초록(Abstract)
대규모 언어 모델(LLM) 출력의 평가는 자연어 처리(NLP) 분야에서 여전히 주요 병목입니다. 인간 평가는 비용이 크고 느리며, 어휘적 메트릭은 개방형 생성에서 인간 판단과의 상관이 낮고, 전체적 LLM 판정자는 디버깅하기 어려운 불투명한 점수를 생성합니다. 우리는 평가 기준을 원자적 이진 질문으로 분해하고 결과 판정을 해석 가능한 다차원 점수로 집계하는 프레임워크 BINEVAL을 제안합니다. 주어진 작업 프롬프트에 대해 메타-프롬프트가 세밀한 평가 질문을 생성하고, LLM이 각 출력에 대해 독립적으로 답변하여 질문 수준의 투명한 피드백과 함께 보정된 전체 점수를 생성합니다. 이러한 분해는 평가의 검사, 진단, 프롬프트 개선을 용이하게 합니다. SummEval, Topical-Chat, QAGS를 포함한 여러 벤치마크에서 BINEVAL은 UniEval 및 G-Eval을 포함한 강력한 베이스라인과 동등하거나 우수한 성능을 보이며, 특히 QAGS와 같은 사실적 일관성 벤치마크에서 매우 강한 결과를 달성합니다. 인간 판단과의 경쟁력 있는 상관관계를 넘어, BINEVAL은 인간 점수 분포를 더 잘 반영하며 이전 LLM 판정자에서 흔한 천장 효과를 회피하여 경계선 출력과 명백히 결함 있는 출력을 더 잘 구별합니다. 또한 동일한 질문 수준 피드백은 반복적 프롬프트 최적화를 지원하여, 자체 업데이트 및 교차 모델 업데이트 설정 하에서 요약에 대한 평가자 프롬프트와 IFBench의 생성 프롬프트를 개선합니다. 종합적으로 BINEVAL은 작업 무관적, 학습 불필요, 해석 가능한 평가 프레임워크를 제공하며, 강력한 경험적 성능과 실용적 진단 및 최적화 가치를 결합합니다.
Evaluating LLM outputs remains a major bottleneck in NLP: human evaluation is expensive and slow, lexical metrics correlate poorly with human judgments on open-ended generation, and holistic LLM judges often produce opaque scores that are hard to debug. We propose BINEVAL, a framework that decomposes evaluation criteria into atomic binary questions and aggregates the resulting verdicts into interpretable, multi-dimensional scores. Given a task prompt, a meta-prompt generates fine-grained evaluation questions, and an LLM answers them independently for each output, yielding transparent question-level feedback together with calibrated overall scores. This decomposition makes evaluation easier to inspect, easier to diagnose, and directly usable for prompt improvement. Across SummEval, Topical-Chat, and QAGS, BINEVAL matches or outperforms strong baselines including UniEval and G-Eval, with especially strong results on factual consistency benchmarks such as QAGS. Beyond competitive correlation with human judgments, BINEVAL better matches human score distributions and avoids the ceiling effects common in prior LLM judges, leading to better discrimination between borderline and clearly flawed outputs. We further show that the same question-level feedback supports iterative prompt optimization, improving evaluator prompts on summarization and generation prompts on IFBench under both self-update and cross-model update settings. Overall, BINEVAL provides a task-agnostic, training-free, and interpretable evaluation framework that combines strong empirical performance with practical diagnostic and optimization value.
논문 링크
PAT: 과학적 검토의 자동화를 향하여: 구글의 논문 어시스턴트 도구 / Towards Automating Scientific Review with Google's Paper Assistant Tool
논문 소개
인공지능의 급속한 발전이 가설 생성부터 수학 정리 증명까지 과학적 발견의 전 영역을 가속화하고 있으나, 이러한 변화는 새로운 체계적 문제를 야기하고 있습니다. AI가 지원하는 과학 연구가 기하급수적으로 증가하면서 전통적인 인간 동료 검토 시스템이 그 규모를 따라가기 어려워졌기 때문입니다. 이러한 긴장 관계를 해결하기 위해서는 과학적 검증과 평가 과정 자체에도 AI를 도입하여 이를 가속화해야 한다는 문제의식에서 출발한 이 연구는, 과학 평가에 있어 AI와 인간이 협력하는 네 가지 진행 수준을 분류하는 분류체계를 제시합니다. 동시에 이러한 미래로의 전환을 구체화하는 단계로서, 깊이 있는 과학 검토와 검증을 위해 설계된 에이전틱 AI 프레임워크인 Paper Assistant Tool(PAT)을 소개합니다.
PAT는 완전한 학술 논문을 입력받아 포괄적인 평가를 수행하며, 이론적 결과의 검증, 실험의 타당성 검증, 개선 제안 및 잠재적 결함 식별을 통합적으로 수행합니다. 추론 스케일링 기법을 활용함으로써 PAT는 단일 모델 호출만으로는 식별하기 어려운 더 깊이 있는 문제들을 발견할 수 있으며, SPOT 벤치마크에서 수학적 오류 식별에 대해 제로샷 대비 34% 성능 향상을 달성했습니다. STOC과 ICML 등 주요 컴퓨터과학 학술대회에서 저자들의 투고 전 검토 도구로 진행된 파일럿 배포는 PAT가 중대한 오류를 식별하고 연구 논문에 대해 실질적인 개선 사항을 제안할 수 있음을 입증했습니다. 이러한 접근은 조기 오류 검출을 통해 심사위원의 인지적 부담을 경감시키는 동시에, 과학 검토 과정의 최종 결정권을 인간 심사위원에게 유지시키는 균형을 실현합니다.
초록(Abstract)
인공지능은 과학적 발견에 혁명을 일으키고 있으며, 가설 생성부터 수학적 정리 증명에 이르기까지 모든 것을 가속화하고 있다. 그러나 이러한 빠른 가속화는 체계적인 도전 과제를 만들고 있다: 전통적인 인간의 동료 평가는 AI 보조 과학의 급증에 맞출 수 없다. 궁극적으로 이러한 긴장을 해결하기 위해서는 검증 및 평가 프로세스 자체를 가속화하기 위해 AI도 배포해야 한다. 이러한 전환을 중심으로 논의를 진행하기 위해, 우리는 과학적 평가에서 AI-인간 협업의 네 가지 진보적 수준으로 구성된 분류체계를 제안하고, 각각의 트레이드오프를 논의한다. 이러한 미래를 향한 한 걸음으로, 우리는 심층적인 과학적 검토와 검증을 위해 구축된 에이전트 AI 프레임워크인 논문 보조 도구(PAT)를 소개한다. PAT는 완전한 과학 논문 원고를 처리하여 포괄적인 평가를 생성하며, 이론적 결과를 검증하고, 실험을 검증하며, 개선 사항을 제안하고, 잠재적 결함을 식별한다. 추론 스케일링 기법을 활용함으로써, PAT는 단일 모델 호출만으로는 식별할 수 없는 더 깊은 문제를 식별할 수 있으며, SPOT 벤치마크에서 수학적 오류의 제로샷 재현율 대비 34% 성능 개선을 달성한다. STOC 및 ICML 두 주요 컴퓨터 과학 학회에서 저자용 제출 전 도구로 PAT를 파일럿 배포한 결과는 연구 논문의 중요한 오류를 식별하고 실질적인 개선 사항을 제안하는 능력을 입증한다. 조기 오류 식별을 통해 PAT는 심사자들의 인지적 부담을 완화하면서도 평가 프로세스의 결과에 대한 그들의 통제력을 보존한다.
Artificial intelligence is driving a revolution in scientific discovery, accelerating everything from hypothesis generation to mathematical theorem proving. However, this rapid acceleration is creating a systemic challenge: traditional human peer review cannot scale to match the influx of AI-assisted science. Ultimately, to resolve this tension, we must also deploy AI to accelerate the verification and review process itself. To frame the discussion around this transition, we propose a taxonomy consisting of four progressive levels of AI-human collaboration in scientific evaluation, and discuss various trade-offs involved with each. As a step toward this future, we introduce the Paper Assistant Tool (PAT), an agentic AI framework built for deep scientific review and verification. PAT ingests full scientific manuscripts and produces a comprehensive evaluation, checking theoretical results, validating experiments, suggesting improvements, and identifying potential flaws. By utilizing inference scaling techniques, PAT is able to identify deeper issues than a single model call alone, achieving a 34% improvement over zero-shot recall on mathematical errors in the SPOT benchmark. Pilot deployments of PAT as a pre-submission tool for authors at two major Computer Science conferences -- STOC and ICML -- demonstrate its ability to identify critical errors and suggest substantive improvements to research papers. By catching errors early, PAT eases the cognitive burden placed on referees, while preserving their control over the outcomes of the review process.
논문 링크
PreAct: 반복 작업에서 더 빨라지는 컴퓨터 사용 에이전트 / PreAct: Computer-Using Agents that Get Faster on Repeated Tasks
논문 소개
컴퓨터를 사용하는 에이전트는 사용자가 수행해야 하는 작업을 자동화하는 데 중요한 역할을 하지만, 이러한 에이전트는 매번 새로운 방식으로 문제를 해결해야 하기 때문에 효율성이 떨어지는 문제가 있다. 이를 해결하기 위해 제안된 PreAct 시스템은 에이전트가 이전에 수행한 작업을 반복할 때 속도를 향상시킬 수 있는 방법론을 제공한다. PreAct는 첫 번째 성공적인 실행을 통해 작업을 소규모 상태 기계 프로그램으로 변환하여, 이후 동일한 작업을 수행할 때 에이전트를 호출하는 대신 직접 재생함으로써 8.5배에서 13배까지 성능을 향상시킨다. 이 과정에서 에이전트는 각 단계마다 현재 화면이 프로그램의 기대와 일치하는지를 확인하고, 예기치 않은 상황이 발생할 경우 즉시 제어를 에이전트에게 반환한다.
PreAct는 프로그램을 저장할지 여부를 결정하는 데 있어서도 엄격한 검증 절차를 적용한다. 새로 컴파일된 프로그램은 독립적인 평가자가 작업을 성공적으로 수행했음을 확인해야만 저장소에 들어갈 수 있으며, 이를 통해 반복 실행 시 성능이 향상되는 프로그램과 비효율적인 프로그램을 구분하는 데 기여한다. 연구에서는 모바일, 데스크탑, 웹 벤치마크를 사용하여 PreAct의 성능을 평가하였으며, 모든 벤치마크에서 일관되게 1.75배에서 2.6배의 성능 개선을 보여주었다. 이러한 결과는 PreAct가 반복적인 작업에서 에이전트의 성능을 극대화하는 혁신적인 접근 방식을 제공함을 입증한다.
PreAct의 방법론은 에이전트가 과거의 경험을 기반으로 더 빠르고 효율적으로 작업을 수행할 수 있도록 하여, 기존의 컴퓨터 사용 에이전트가 가진 한계를 극복하는 데 중요한 기여를 한다. 연구 결과는 에이전트 시스템의 발전 방향에 중요한 통찰을 제공하며, 향후 연구에서 에이전트의 학습 및 적응 능력을 더욱 강화하는 기초 자료가 될 것으로 기대된다. PreAct는 인공지능 분야에서 반복적인 작업 수행의 효율성을 높이는 데 있어 실용적인 응용 가능성을 제시하며, 에이전트의 성능을 향상시키기 위한 새로운 전환점을 마련하고 있다.
초록(Abstract)
컴퓨터를 사용하는 에이전트는 화면을 통해 실제 소프트웨어를 작동시키며 - 클릭하고 타이핑하지만 - 매번 작업을 처음부터 해결합니다: 작업을 반복하라는 요청을 받으면 에이전트는 화면을 다시 읽고, 모든 클릭을 다시 논리적으로 추론하며, 전체 비용을 다시 지불합니다. 우리는 에이전트가 이전에 수행한 작업에서 더 빠르게 진행할 수 있도록 하는 PreAct를 소개합니다. 성공적으로 작업을 수행한 첫 번째 시점에서, PreAct는 실행을 작은 상태 머신 프로그램으로 컴파일합니다. 이 프로그램은 화면을 확인하는 상태와 작동하는 전환을 포함하며, 이후 실행에서는 에이전트를 호출하는 대신 이를 직접 재생하여 8.5-13배 더 빠르게 수행하며, 단계별 언어 모델 호출이 없습니다. 재생은 단순한 것이 아닙니다: 각 단계에서 PreAct는 화면이 프로그램이 예상하는 것과 일치하는지 확인한 후 행동하며, 무언가가 잘못되면 즉시 에이전트에게 제어를 반환합니다. PreAct는 무엇을 유지할지 결정할 때도 동일한 규칙을 적용합니다: 새로 컴파일된 프로그램은 깨끗한 상태에서 다시 실행했을 때 독립적인 평가자가 작업을 해결했음을 확인해야만 저장소에 들어갑니다. 이는 마지막 단계까지 재생되지만 작업이 완료되지 않은 프로그램을 걸러냅니다. 모바일, 데스크탑 및 웹 벤치마크를 통해, 이 저장 시간 검사는 반복 실행이 향상되는 경우와 결함 있는 프로그램이 누적되어 저하되는 경우를 구분하며, 각 벤치마크에서 1.75-2.6 작업의 가치를 제공합니다. 세 가지 모두 동일한 방향으로 진행됩니다. 프로그램이 맞지 않을 때 새롭게 탐색하는 백업 방식은 PreAct를 강력한 기록 및 재생 기준선과 동등한 수준으로 끌어올립니다. 또한, 중요하지 않았던 사항도 보고합니다: 프롬프트의 문구, 실행 시간 가드레일, 그리고 언어 모델 또는 일반 임베딩 검색기가 재사용할 프로그램을 선택하는지 여부입니다.
Computer-using agents drive real software through the screen -- clicking and typing -- but they solve every task from scratch: asked to repeat a task, an agent re-reads the screen, re-reasons every tap, and pays the full cost again. We present PreAct, which lets such an agent get faster on tasks it has done before. The first time it succeeds, PreAct compiles the run into a small state-machine program-states that check the screen, transitions that act-and on later runs replays it directly instead of invoking the agent 8.5-13x faster, with no per-step language-model calls. Replay is not blind: at each step PreAct checks that the screen matches what the program expects before acting, and hands control back to the agent the moment something is off. PreAct applies the same discipline when deciding what to keep: a freshly compiled program enters the store only if, re-run from a clean state, an independent evaluator confirms it solved the task-catching programs that replay to their last step yet leave the task undone. Across a mobile, a desktop, and a web benchmark, this store-time check separates repeated runs that improve from ones that degrade as faulty programs accumulate, worth 1.75-2.6 tasks per benchmark, the same direction on all three; a fallback that explores afresh when no program fits brings PreAct level with a strong record-and-replay baseline. We also report what did not matter: prompt wording, runtime guardrails, and whether a language model or a plain embedding retriever selects which program to reuse.
논문 링크
더 읽어보기
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 