[2026/07/06 ~ 12] 이번 주에 살펴볼 만한 AI/ML 논문 모음
PyTorchKR
단순 생성을 넘어선 "에이전틱(Agentic)" 워크플로우의 전면화: 이번 주 연구들에서는 대규모 언어 모델이 단순한 텍스트 생성 도구를 넘어, 스스로 계획하고 복잡한 현실 세계의 문제를 해결하는 자율적 에이전트로 진화하는 흐름이 뚜렷하게 나타났습니다. Nexus는 시계열 예측을 단순한 수치 연산이 아닌 다중 에이전트의 추론 문제로 재정의하여 뉴스 등 비구조적 맥락까지 종합적으로 판단하도록 설계되었습니다. 또한 KernelEvolve와 OpenClaw-Skill은 각각 하드웨어에 맞춘 커널 코드를 자동으로 최적화하거나, 복잡한 작업 수행을 위한 기술 트리를 공동 탐색하여 모델 스스로 해결책을 찾아내는 에이전틱 시스템의 강력함을 입증했습니다. 이는 AI가 단순한 작업 수행자에서 벗어나, 논리적 추론과 도구 사용을 결합해 실질적인 전문가 수준의 과정을 주도하고 있음을 보여줍니다.
수동적 검색을 탈피한 "구조화된 기억"과 "초장기(Long-Horizon)" 문맥 이해: 모델이 긴 시간 동안의 정보를 처리하는 방식이 기존의 단순 검색에서 구조화된 기억을 능동적으로 탐색하는 형태로 고도화되었습니다. NapMem은 장기 사용자 기억을 수동적으로 제공되는 맥락이 아닌 하나의 구조화된 행동 공간으로 취급하여, 에이전트가 쿼리에 맞춰 다양한 세분화 수준의 기억을 스스로 선택하도록 훈련시켰습니다. 마찬가지로 EGAgent는 스마트 안경 등에서 수집되는 수일 혹은 수주 간의 초장기 비디오 스트림을 이해하기 위해, 시공간적 관계를 나타내는 엔티티 장면 그래프를 구축하고 다단계 추론을 수행합니다. 이러한 변화는 AI가 제한된 문맥 창의 한계를 극복하고, 인간처럼 연속적이고 장기적인 기억 구조를 바탕으로 일관성 있는 상호작용을 유지하도록 만듭니다.
정적 벤치마크의 한계 돌파: "오픈월드 평가"와 메타인지를 통한 신뢰성 확보: AI의 실질적인 능력을 평가하고 통제하기 위해 기존의 정형화된 평가 기준과 학습 방식을 넘어서는 연구들도 큰 주목을 받았습니다. 프론티어 AI의 능력을 측정하기 위한 CRUX 프로젝트는 통제된 벤치마크 대신 AI가 직접 iOS 앱을 개발해 스토어에 출시하게 하는 오픈월드 평가를 도입하여 실제 배포 시의 능력과 위험성을 정확히 진단했습니다. 학습 측면에서는 RLMF가 모델 스스로 자신의 인지 과정을 모니터링하는 메타인지(Metacognition) 를 기반으로 강화학습을 진행해 불확실성 표현의 신뢰도를 높였으며, SAO는 에이전틱 작업의 안정성을 극대화하기 위해 비동기 최적화 기법을 새롭게 설계했습니다. 이는 모델의 성능 수치를 높이는 것을 넘어, 실제 세계에서 스스로 한계를 인지하고 신뢰할 수 있는 결정을 내리는 실용적이고 안전한 AI를 구축하려는 핵심적인 움직임입니다.
논문별 간략 요약
-
프론티어 AI 오픈월드 평가: 기존 벤치마크의 한계를 극복하기 위해 통제된 환경이 아닌 현실 세계의 복잡하고 장기적인 작업을 에이전트가 직접 수행하게 하여, AI 시스템의 실제 배포 능력과 잠재적 위험성을 조기에 진단하는 새로운 평가 방법론을 제안합니다.
-
비디오 생성 및 이해 통합 프레임워크: 최신 비디오 디퓨전 모델의 중간 활성화 값을 체계적으로 분석하여, 별도의 파인튜닝 과정 없이도 단일 전방 패스만으로 모델을 강력한 비디오 인코더로 재사용해 생성과 인식 작업을 효율적으로 통합합니다.
-
능동적 기억 탐색 프레임워크: 개인화된 대화 에이전트가 장기 사용자 기억을 수동적으로 검색하는 데 그치지 않고, 다중 세분화된 구조적 행동 공간으로 재구성된 기억 피라미드를 쿼리에 맞춰 스스로 탐색하고 선택하도록 학습시킵니다.
-
이종 AI 가속기용 커널 코딩 에이전트: 대규모 딥러닝 추천 모델의 효율적인 학습 및 추론을 지원하기 위해, 다양한 하드웨어 환경과 아키텍처에 맞춰 커널 코드의 생성부터 최적화까지의 전 과정을 그래프 기반 검색으로 자동화하는 시스템을 구축했습니다.
-
초장기 비디오 이해 에이전트: 스마트 안경과 같은 웨어러블 기기에서 수집되는 수일 혹은 수주 간의 긴 비디오 스트림을 분석하기 위해, 시간에 따른 인물 및 객체의 관계를 엔티티 장면 그래프로 구축하고 이를 기반으로 다단계 추론을 수행합니다.
-
에이전트 프로토콜의 거버넌스 격차: 현재 개발된 다중 에이전트 상호운용성 표준들이 단순한 작업 조정을 넘어서 기업 거버넌스 제약 하에서의 투표, 심의, 반대 의견 보존 등 복잡한 집단 의사결정을 지원하는 데에는 아직 구조적인 한계가 있음을 명확히 분석했습니다.
-
시계열 예측용 에이전틱 프레임워크: 수치적인 데이터 패턴 외삽에만 의존하던 기존 예측 모델의 한계를 벗어나, 대규모 언어 모델이 뉴스나 사건과 같은 비구조적 맥락 정보를 종합하고 거시적 및 미시적 시간 변동을 분해하여 판단하는 다중 에이전트 접근법을 선보입니다.
-
메타인지 피드백 기반 강화학습: 대규모 언어 모델이 자신의 작업 성과를 스스로 모니터링하고 평가하는 능력을 강화하여, 환각 현상을 줄이고 표현된 불확실성과 내재적 불확실성을 일치시켜 신뢰도 높은 예측을 생성하도록 모델을 최적화합니다.
-
단일 롤아웃 비동기 강화학습: 긴 수명의 에이전틱 작업에서 발생하는 비동기 강화학습의 불안정성과 오정책 문제를 해결하기 위해, 프롬프트당 단일 롤아웃 샘플링과 엄격한 양면 토큰 수준 클리핑 전략을 도입하여 훈련 효율과 성능을 극대화했습니다.
-
집단 기술 트리 탐색: 여러 대규모 언어 모델의 집단 지성을 활용하여 복잡한 작업을 해결하는 데 필요한 다양한 기술을 공동으로 생성하고 평가하며, 이를 재사용이 가능한 구조적 기술 트리로 구축하여 에이전트의 도구 사용 및 장기 계획 능력을 향상시킵니다.
프론티어 AI 능력을 측정하기 위한 오픈월드 평가 / Open-World Evaluations for Measuring Frontier AI Capabilities
논문 소개
프론티어 인공지능의 발전을 평가하는 것은 매우 중요한 과제로, 기존의 벤치마크 기반 평가 방식은 그 한계가 명확하게 드러나고 있다. 이러한 평가 방법은 일반적으로 명확하게 정의된 작업에 중점을 두기 때문에, 실제 능력을 과대 혹은 과소 평가할 가능성이 있다. 이에 따라 새로운 접근 방식인 오픈 월드 평가가 필요해졌다. 오픈 월드 평가는 장기적이고 복잡한 현실 세계의 작업을 대상으로 소규모 질적 분석을 통해 수행되며, 벤치마크 평가와는 차별화된 방법론을 제공한다. 본 논문에서는 최근의 오픈 월드 평가 사례를 종합적으로 분석하고, 그 강점과 한계를 파악하며, 이를 정기적으로 수행할 수 있는 프로젝트인 CRUX(협력적 연구를 통한 인공지능 기대 업데이트)를 소개한다.
CRUX의 첫 실험으로 AI 에이전트가 간단한 iOS 애플리케이션을 개발하고 이를 Apple App Store에 게시하는 과제가 주어졌다. 이 과정에서 AI 에이전트는 단 한 번의 피할 수 있는 수동 개입으로 작업을 성공적으로 완료했으며, 이는 오픈 월드 평가가 AI의 실제 능력에 대한 조기 경고를 제공할 수 있는 가능성을 시사한다. 이러한 연구는 AI 시스템의 진전을 보다 정확하게 추적할 수 있는 길을 열어주며, 특정 작업에서의 우수한 성과가 실제 능력을 반영하지 않을 수 있다는 점을 강조한다.
또한, 연구 결과는 AI 정책 및 관리에 중요한 시사점을 제공하며, 오픈 월드 평가가 기존 벤치마크에서 간과되었던 중요한 능력에 대한 통찰을 제공할 수 있음을 보여준다. CRUX 프로젝트는 AI의 발전을 지속적으로 모니터링할 수 있는 체계적인 방법론을 제시하며, 향후 AI 평가의 복잡성을 반영하는 중요한 기초 자료로 작용할 것이다. 본 논문은 이러한 오픈 월드 평가의 설계와 보고에 대한 권장 사항도 제시하여, 향후 연구자들이 이 분야에서 더욱 발전할 수 있는 토대를 마련하고자 한다.
초록(Abstract)
벤치마크 기반 평가는 최전선 AI의 발전을 추적하는 데 여전히 중요합니다. 그러나 이는 정확하게 명시할 수 있고, 자동으로 평가할 수 있으며, 최적화가 용이하고, 낮은 예산과 짧은 시간 범위로 실행할 수 있는 작업에 우선순위를 두기 때문에 배포된 능력을 과장하거나 과소평가할 수 있습니다. 우리는 개방형 평가(open-world evaluations)라는 보완적인 평가 유형을 제안합니다. 이는 긴 시간 범위의 복잡하고 현실적인 작업으로, 벤치마크 규모의 자동화가 아닌 소규모 질적 분석을 통해 평가됩니다. 본 논문에서는 최근의 개방형 평가를 조사하고, 이들의 강점과 한계를 식별하며, 이러한 평가를 정기적으로 수행하기 위한 프로젝트인 CRUX(Collaborative Research for Updating AI eXpectations)를 소개합니다. 첫 번째 사례로, 우리는 AI 에이전트에게 간단한 iOS 애플리케이션을 개발하고 Apple App Store에 게시하는 작업을 부여했습니다. 에이전트는 단 한 번의 피할 수 있는 수동 개입만으로 작업을 완료하였으며, 이는 개방형 평가가 곧 널리 퍼질 수 있는 능력에 대한 조기 경고를 제공할 수 있음을 시사합니다. 우리는 개방형 평가를 설계하고 보고하기 위한 권장 사항으로 결론을 맺습니다.
Benchmark-based evaluation remains important for tracking frontier AI progress. But it can both overstate and understate deployed capability because it privileges tasks that can be precisely specified, automatically graded, easy to optimize for, and run with low budgets and short time horizons. We advocate for a complementary class of evaluations, which we term open-world evaluations: long-horizon, messy, real-world tasks assessed through small-sample qualitative analysis rather than benchmark-scale automation. In this paper we survey recent open-world evaluations, identify their strengths and limitations, and introduce CRUX (Collaborative Research for Updating AI eXpectations), a project for conducting such evaluations regularly. As a first instance, we task an AI agent with developing and publishing a simple iOS application to the Apple App Store. The agent completed the task with only a single avoidable manual intervention, suggesting that open-world evaluations can provide early warning of capabilities that may soon become widespread. We conclude with recommendations for designing and reporting open-world evals.
논문 링크
Gen4U: 디퓨전을 통한 비디오 생성 및 이해 통합 / Gen4U: Unifying Video Generation and Understanding via Diffusion
논문 소개
비디오 생성과 이해의 경계를 허물기 위한 새로운 접근법으로 제안된 Gen4U 프레임워크는 최신 비디오 디퓨전 모델의 강력한 특징을 활용하여 이 두 가지 작업을 통합하는 혁신적인 방법론을 제시합니다. 기존 연구에서는 디퓨전 표현이 고수준 의미를 효과적으로 포착하는 데 한계가 있음을 지적했으나, 본 연구는 최신 비디오 디퓨전 모델이 이러한 한계를 극복할 수 있음을 실험적으로 입증하였습니다. 중간 활성화 값을 체계적으로 분석하여, 비주얼 표현이 네트워크 깊이와 노이즈 수준에 따라 어떻게 변화하는지를 밝혀내고, 이로 인해 생성된 표현이 비디오 인코더로서의 기능을 수행할 수 있는 최적의 조건을 제시하였습니다.
Gen4U 프레임워크는 단일 전방 패스를 통해 비디오 생성 표현을 재사용할 수 있도록 설계되어, 계산 효율성을 극대화하고 다양한 비디오 작업에 대한 강력한 성능을 나타냅니다. 이 방법론을 통해 비디오 분류, 깊이 추정, 카메라 자세 추정 및 비디오 캡셔닝과 같은 다양한 작업에서 경쟁력 있는 성능을 보여주며, 파인튜닝 없이도 높은 인식 성능을 달성하는 데 성공했습니다. 특히, 중간 활성화 분석을 통해 발견된 전역 의미의 선형적 분리가 적절한 노이즈 수준에서 발생하며, 세부 사항은 낮은 노이즈 수준에서 여전히 존재하나 공간적으로 분산되는 경향이 있음을 밝혔습니다. 이러한 통찰은 Gen4U의 설계와 기능을 더욱 강화하는 데 기여하였습니다.
Gen4U의 핵심 기여는 비디오 생성과 이해의 패러다임을 통합하여, 단일 모델이 두 가지 기능을 효과적으로 수행할 수 있도록 만든 점입니다. 이는 비디오 생성과 이해를 위한 단일 모델 개발의 가능성을 제시하며, 향후 연구에서 더욱 발전된 형태로 이어질 것으로 기대됩니다. Gen4U는 비디오 디퓨전 모델의 활용 방안을 확장하고, 비주얼 표현 학습의 새로운 방향성을 제시하는 중요한 연구로 자리 잡을 것입니다.
초록(Abstract)
이전 연구들은 디퓨전 표현이 저수준 기하학을 포착하지만 고수준 의미론에서 어려움을 겪는다고 제안합니다. 우리는 최첨단 비디오 디퓨전 모델이 이러한 한계를 극복함을 보여줍니다. 최근의 상호 kNN 정렬 메트릭스를 사용하여 그들의 중간 활성화를 체계적으로 조사함으로써, 우리는 시각적 표현이 네트워크 깊이와 노이즈 수준을 가로질러 진화하는 고도로 구조화된 잠재 공간을 드러냅니다. 우리는 적당한 노이즈 수준에서 전역 의미가 선형적으로 분리될 수 있지만, 낮은 노이즈 수준에서는 세부 사항이 지속되면서 공간적으로 흩어져 주의 메커니즘을 필요로 한다는 것을 보여줍니다. 이러한 통찰을 바탕으로, 우리는 단일 순전파로 이러한 생성적 표현을 재사용하는 프레임워크인 Gen4U(Generation for Understanding)를 소개합니다. 우리의 실험은 동결된 대규모 비디오 디퓨전 모델이 의미적 및 비의미적 목표(비디오 분류, 깊이 추정, 카메라 자세 추정, 이미지 및 비디오 캡셔닝)를 아우르는 다양한 작업에서 매우 경쟁력 있는 비디오 인코더로 기능함을 입증합니다. 파인튜닝을 우회하여, Gen4U는 생성과 이해의 패러다임을 통합하여 강력한 인식 성능을 달성하면서 모델의 고품질 비디오 생성 능력을 완전히 유지합니다.
Prior work suggests that diffusion representations capture low-level geometry but struggle with high-level semantics. We demonstrate that state-of-the-art video diffusion models overcome this limitation. By systematically probing their intermediate activations using recent mutual-kNN alignment metrics, we reveal a highly structured latent space where visual representations evolve across both network depth and noise levels. We show that while moderate noise levels yield linearly separable global semantics, fine-grained details persist at lower noise levels but become spatially scattered, requiring attention mechanisms to decode. Building on these insights, we introduce Gen4U (Generation for Understanding), a framework that repurposes these generative representations with a single forward pass. Our experiments establish that frozen, large-scale video diffusion models function as highly competitive video encoders across a wide spectrum of tasks, spanning semantic and non-semantic objectives (video classification, depth estimation, camera pose estimation, image and video captioning). Bypassing fine-tuning, Gen4U unifies the generation and understanding paradigms, achieving strong perception performance while fully preserving the model's ability to generate high-quality video.
논문 링크
더 읽어보기
수동 검색에서 능동 기억 탐색으로: 구조화된 행동 공간으로서의 기억 활용 학습 / From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space
논문 소개
개인화된 대화 에이전트의 성능 향상을 위해 장기 사용자 기억의 활용은 필수적입니다. 그러나 기존의 많은 기억 시스템은 수동적인 검색 방식을 채택하여 사용자가 원하는 정보를 미리 선택된 증거로만 제공하는 제한적인 접근을 취하고 있습니다. 이러한 문제를 해결하기 위해 NapMem이라는 혁신적인 프레임워크가 제안되었습니다. NapMem은 장기 사용자 기억을 구조화된 행동 공간으로 활용하는 방식을 통해 에이전트가 더 유연하고 지능적으로 대화에 응답할 수 있도록 설계되었습니다. 이 프레임워크는 사용자 기록을 다중 세분화된 기억 피라미드로 구성하여 원시 대화, 입력된 기억 기록, 주제 트랙, 사용자 프로필 간의 관계를 명확히 연결합니다. 이를 통해 에이전트는 쿼리와 중간 증거에 따라 적절한 기억을 선택하고, 다양한 기억 세분화를 탐색할 수 있도록 훈련됩니다.
실험 결과, NapMem 기반의 에이전트는 PersonaMem-v2, LongMemEval, LoCoMo와 같은 다양한 기억 집약적 작업에서 경쟁력을 보였으며, 비기억 작업에서도 일반적인 추론과 도구 사용 능력을 유지하고 있음을 나타냈습니다. 이러한 결과는 구조화된 기억 저장소와 학습된 정책의 결합이 장기 사용자 기억의 활용에 긍정적인 영향을 미친다는 것을 시사합니다. 추가적인 분석을 통해 저장 및 추론 비용, 도구 사용 행동, 내비게이션의 효과를 검토하였으며, 이는 NapMem이 기억의 적절한 세분화를 활용하도록 돕는 데 중요한 역할을 한다는 점을 강조합니다. 이러한 연구는 개인화된 대화 에이전트의 성능을 향상시키는 데 기여할 뿐만 아니라, 향후 기억 시스템의 발전을 위한 새로운 방향을 제시합니다. NapMem 프레임워크는 사용자 기억을 보다 능동적으로 활용할 수 있는 가능성을 열어줍니다.
초록(Abstract)
장기 사용자 메모리는 개인화된 대화형 에이전트에 필수적이지만, 많은 메모리 시스템이 여전히 메모리를 수동적으로 검색하는 인터페이스를 통해 노출하고 있어 모델이 미리 선택된 증거의 소비자가 되게 합니다. 우리는 나프멤(NapMem)을 소개합니다. 나프멤은 장기 사용자 메모리를 수동적으로 검색된 맥락이 아닌 구조화된 행동 공간으로 사용하는 방법을 학습하기 위한 프레임워크입니다. 나프멤은 사용자 기록을 연결된 다중 세분성 메모리 피라미드로 조직하며, 여기서 원시 대화, 입력된 메모리 기록, 주제 추적 및 사용자 프로필이 출처 관계를 통해 연결되고, 이러한 수준은 메모리 도구를 통해 노출됩니다. 에이전트는 쿼리와 중간 증거에 따라 메모리를 선택하도록 훈련되어, 답변하기 전에 다양한 메모리 세분성을 검사할 수 있습니다. PersonaMem-v2, LongMemEval 및 LoCoMoMo에 대한 실험 결과, 메모리 도구 강화 학습으로 훈련된 나프멤 에이전트가 다양한 메모리 집약적 작업에서 경쟁력을 보이며, 비 메모리 작업에 대한 평가에서는 학습된 정책이 일반적인 추론 및 도구 사용 능력을 크게 유지함을 나타냅니다. 추가 분석에서는 저장, 추론 비용, 도구 사용 행동 및 탐색, 메모리 세분성 및 강화 학습 훈련에 대한 절단을 검토합니다. 우리의 결과는 장기 사용자 메모리가 구조화된 저장과 메모리를 적절한 세분성으로 사용하는 학습된 정책을 결합함으로써 이익을 얻는다는 것을 제안합니다.
Long-term user memory is essential for personalized conversational agents, yet many memory systems still expose memory through passive retrieval interfaces, making the model a consumer of pre-selected evidence. We introduce NapMem, a framework for learning to use long-term user memory as a structured action space rather than passively retrieved context. NapMem organizes user history into a linked multi-granularity memory pyramid, where raw conversations, typed memory records, topic tracks, and user profiles are connected through provenance relations, and exposes these levels through memory tools. The agent is trained to select memory according to the query and intermediate evidence, allowing it to inspect different memory granularities before answering. Experiments on PersonaMem-v2, LongMemEval, and LoCoMo show that a NapMem agent trained with memory-tool reinforcement learning is competitive across diverse memory-intensive tasks, while evaluations on non-memory tasks suggest that the learned policy largely preserves general reasoning and tool-use abilities. Additional analyses examine storage, inference cost, tool-use behavior, and ablations over navigation, memory granularity, and RL training. Our results suggest that long-term user memory benefits from coupling structured storage with a learned policy for using memory at the appropriate granularity.
논문 링크
KernelEvolve: 메타의 이종 AI 가속기들(GPU, AMD GPU, MTIA)을 위한 에이전트 커널 코딩 확장 / KernelEvolve: Scaling Agentic Kernel Coding for Heterogeneous AI Accelerators at Meta
논문 소개
딥러닝 추천 모델(DLRM)의 훈련과 추론을 신속하고 효율적으로 수행하는 것은 현대 인공지능 시스템에서 필수적이다. 그러나 이러한 목표를 달성하기 위해서는 모델 아키텍처의 다양성, 커널 원시의 다양성, 하드웨어 세대 및 아키텍처의 이질성이라는 세 가지 주요 도전 과제가 존재한다. 이러한 문제를 해결하기 위해 제안된 KernelEvolve는 에이전틱 커널 코딩 프레임워크로, 다양한 하드웨어 아키텍처에서 추천 모델을 위한 커널 생성과 최적화 과정을 자동화하는 데 중점을 두고 있다. KernelEvolve는 Triton 및 CuTe와 같은 고급 프로그래밍 언어부터 저수준 하드웨어 비종속 언어에 이르기까지 여러 프로그래밍 추상화에서 운영되며, 전체 하드웨어-소프트웨어 최적화 스택을 포괄한다.
이 프레임워크는 그래프 기반 검색 알고리즘을 통해 커널 최적화 프로세스를 수행하며, 선택 정책, 범용 연산자, 피트니스 함수 및 종료 규칙으로 구성된 복잡한 구조를 통해 런타임 실행 컨텍스트에 동적으로 적응한다. KernelEvolve는 NVIDIA 및 AMD GPU는 물론 Meta의 AI 가속기를 포함한 다양한 하드웨어에서 생산 추천 모델을 최적화하기 위해 설계되고 구현되었으며, 공개적으로 제공되는 KernelBench 스위트에서 250개의 문제에 대해 100% 통과율을 기록하여 그 신뢰성을 입증하였다. 이를 통해 KernelEvolve는 개발 시간을 수주에서 수 시간으로 단축시키고, 다양한 생산 사용 사례에서 PyTorch 기준과 비교하여 상당한 성능 향상을 달성하였다.
또한, KernelEvolve는 새로운 AI 하드웨어에 대한 프로그래머블 장벽을 줄이는 데 기여하며, 내부 개발된 AI 하드웨어에 대해 자동화된 커널 생성을 지원한다. 이 프레임워크는 커널의 정확성과 실행 효율성을 평가하기 위해 다양한 벤치마크를 활용하고, 커널 최적화의 상업적 가능성을 탐색하는 사례 연구를 통해 Meta의 비즈니스 모델에도 긍정적인 영향을 미친다. 이러한 혁신적인 접근 방식은 추천 시스템의 커널 최적화 분야에서 중요한 역할을 하며, 향후 AI 하드웨어 발전과 소프트웨어 최적화에 기여할 수 있는 잠재력을 지닌다. KernelEvolve는 이질적인 AI 시스템에서의 성능 효율성을 극대화하면서도, 사용자 친화적인 개발 환경을 제공하는 데 중점을 두고 있다.
초록(Abstract)
딥러닝 추천 모델(DLRM)의 학습 및 추론을 빠르고 효율적으로 만드는 것은 중요합니다. 그러나 이는 모델 아키텍처 다양성, 커널 원시 연산 다양성, 하드웨어 세대 및 아키텍처 이질성이라는 세 가지 주요 시스템 도전에 직면하게 됩니다. 본 논문에서는 DLRM의 이질성을 대규모로 해결하기 위한 에이전틱 커널 코딩 프레임워크인 KernelEvolve를 소개합니다. KernelEvolve는 커널 사양을 입력으로 받아 이질적인 하드웨어 아키텍처 전반에 걸쳐 추천 모델을 위한 커널 생성 및 최적화 프로세스를 자동화하도록 설계되었습니다. KernelEvolve는 Triton 및 CuTe DSL에서 저수준 하드웨어 독립 언어에 이르기까지 다양한 프로그래밍 추상화에서 작동하여 전체 하드웨어-소프트웨어 최적화 스택을 포괄합니다. 커널 최적화 프로세스는 그래프 기반 검색과 선택 정책, 범용 연산자, 적합도 함수, 종료 규칙으로 설명되며, 검색-증강 프롬프트 합성을 통해 런타임 실행 맥락에 동적으로 적응합니다. 우리는 KernelEvolve를 설계, 구현 및 배포하여 NVIDIA와 AMD GPU의 다양한 세대뿐만 아니라 메타의 AI 가속기에서 생산 추천 모델을 최적화했습니다. 우리는 공개적으로 제공되는 KernelBench 스위트에서 KernelEvolve를 검증하였으며, 세 가지 난이도 수준에서 250개 문제에 대해 100% 통과율을 달성하고, 세 가지 이질적인 하드웨어 플랫폼에서 160개의 PyTorch ATen 연산자에 대해 100% 정확성을 입증했습니다. KernelEvolve는 개발 시간을 주 단위에서 시간 단위로 단축시키고, 다양한 생산 사용 사례 및 대규모 이질적 AI 시스템에 대해 PyTorch 기준보다 상당한 성능 개선을 달성합니다. 성능 효율성 개선을 넘어, KernelEvolve는 인하우스 개발 AI 하드웨어를 위한 자동화된 커널 생성을 가능하게 하여 새로운 AI 하드웨어에 대한 프로그래머블 장벽을 크게 완화합니다.
Making deep learning recommendation model (DLRM) training and inference fast and efficient is important. However, this presents three key system challenges - model architecture diversity, kernel primitive diversity, and hardware generation and architecture heterogeneity. This paper presents KernelEvolve-an agentic kernel coding framework-to tackle heterogeneity at-scale for DLRM. KernelEvolve is designed to take kernel specifications as input and automate the process of kernel generation and optimization for recommendation model across heterogeneous hardware architectures. KernelEvolve does so by operating at multiple programming abstractions, from Triton and CuTe DSL to low-level hardware agnostic languages, spanning the full hardware-software optimization stack. The kernel optimization process is described as graph-based search with selection policy, universal operator, fitness function, and termination rule, dynamically adapts to runtime execution context through retrieval-augmented prompt synthesis. We designed, implemented, and deployed KernelEvolve to optimize a wide variety of production recommendation models across generations of NVIDIA and AMD GPUs, as well as Meta's AI accelerators. We validate KernelEvolve on the publicly-available KernelBench suite, achieving 100% pass rate on all 250 problems across three difficulty levels, and 160 PyTorch ATen operators across three heterogeneous hardware platforms, demonstrating 100% correctness. KernelEvolve reduces development time from weeks to hours and achieves substantial performance improvements over PyTorch baselines across diverse production use cases and for heterogeneous AI systems at-scale. Beyond performance efficiency improvements, KernelEvolve significantly mitigates the programmability barrier for new AI hardware by enabling automated kernel generation for in-house developed AI hardware.
논문 링크
더 읽어보기
에이전틱 매우 긴 비디오 이해 / Agentic Very Long Video Understanding
논문 소개
항상 켜져 있는 개인 인공지능(AI) 어시스턴트의 발전은 스마트 안경과 같은 웨어러블 장치의 사용 증가와 함께 새로운 수준의 맥락적 이해를 요구하게 되었다. 이러한 변화는 단기적인 사건을 넘어 개인의 시점에서 촬영된 지속적이고 장기적인 비디오 이해를 필요로 하며, 이는 며칠 또는 몇 주에 걸쳐 시각적 및 음향 정보를 해석하고 기억하는 능력을 요구한다. 기존의 방법들은 대규모 언어 모델이나 검색-증강 생성과 같은 기술을 포함하고 있지만, 이들은 제한된 맥락 윈도우로 인해 긴 비디오 스트림에 대한 조합적이고 다단계 추론을 수행하는 데 어려움을 겪고 있다. 본 연구에서는 이러한 문제를 해결하기 위해 EGAgent라는 향상된 에이전틱 프레임워크를 제안한다. EGAgent는 시간에 따른 인물, 장소, 객체 및 그 관계를 나타내는 엔티티 씬 그래프를 중심으로 구성되어 있으며, 이를 통해 계획 에이전트가 구조화된 검색과 추론을 수행할 수 있도록 한다.
이 시스템은 혼합된 시각 및 음향 검색 기능을 갖추고 있어, 상세하고 크로스 모달, 시간적으로 일관된 추론을 가능하게 한다. EgoLifeQA 및 Video-MME (Long) 데이터셋을 활용한 실험 결과, EGAgent는 EgoLifeQA에서 57.5%의 최첨단 성능을 달성하였고, Video-MME (Long)에서는 74.1%의 경쟁력 있는 성능을 기록하였다. 이러한 결과는 EGAgent가 기존 방법론의 한계를 극복하고, 개인 AI 어시스턴트의 비디오 이해 능력을 혁신하는 데 기여할 수 있음을 보여준다. 이 연구는 비디오 이해 분야의 발전을 이끌고, 향후 AI 응용 프로그램 개발에 중요한 기초 자료로 활용될 수 있을 것이다.
초록(Abstract)
항상 켜져 있는 개인 AI 어시스턴트의 출현은 스마트 안경과 같은 하루 종일 착용 가능한 기기에 의해 가능해졌으며, 이는 짧고 독립적인 사건을 넘어 지속적이고 장기적인 자아 중심 비디오 스트림을 포괄하는 새로운 수준의 맥락 이해를 요구합니다. 이러한 비전을 실현하기 위해서는 수일 또는 수주에 걸친 시각 및 청각 정보를 해석하고 기억해야 하는 장기 비디오 이해에서의 발전이 필요합니다. 기존 방법, 즉 대규모 언어 모델 및 검색-증강 생성은 제한된 맥락 창에 의해 제약을 받으며, 매우 긴 비디오 스트림에서 구성적이고 다단계 추론을 수행할 수 있는 능력이 부족합니다. 본 연구에서는 사람, 장소, 물체 및 이들의 관계를 시간에 따라 표현하는 엔티티 장면 그래프를 중심으로 한 향상된 에이전틱 프레임워크인 EGAgent를 통해 이러한 문제를 해결합니다. 우리의 시스템은 구조화된 검색 및 이 그래프에 대한 추론을 위한 도구를 갖춘 계획 에이전트를 제공하며, 하이브리드 시각 및 청각 검색 기능을 통해 상세하고 교차 모달, 그리고 시간적으로 일관된 추론을 가능하게 합니다. EgoLifeQA 및 Video-MME (Long) 데이터셋에서의 실험 결과, 우리 방법은 EgoLifeQA에서 최첨단 성능(57.5%)을 달성하였고, 복잡한 장기 비디오 이해 작업에 대해 Video-MME (Long)에서 경쟁력 있는 성능(74.1%)을 보여주었습니다. 코드는 https://github.com/facebookresearch/egagent에서 확인할 수 있습니다.
The advent of always-on personal AI assistants, enabled by all-day wearable devices such as smart glasses, demands a new level of contextual understanding, one that goes beyond short, isolated events to encompass the continuous, longitudinal stream of egocentric video. Achieving this vision requires advances in long-horizon video understanding, where systems must interpret and recall visual and audio information spanning days or even weeks. Existing methods, including large language models and retrieval-augmented generation, are constrained by limited context windows and lack the ability to perform compositional, multi-hop reasoning over very long video streams. In this work, we address these challenges through EGAgent, an enhanced agentic framework centered on entity scene graphs, which represent people, places, objects, and their relationships over time. Our system equips a planning agent with tools for structured search and reasoning over these graphs, as well as hybrid visual and audio search capabilities, enabling detailed, cross-modal, and temporally coherent reasoning. Experiments on the EgoLifeQA and Video-MME (Long) datasets show that our method achieves state-of-the-art performance on EgoLifeQA (57.5%) and competitive performance on Video-MME (Long) (74.1%) for complex longitudinal video understanding tasks. Code is available at GitHub - facebookresearch/egagent: Code for "Agentic Very Long Video Understanding" (EGAgent) [ACL 2026 Main] · GitHub.
논문 링크
더 읽어보기
에이전트 상호운용성 프로토콜의 거버넌스 격차: MCP, A2A, ACP가 표현하지 못하는 것들 / Governance Gaps in Agent Interoperability Protocols: What MCP, A2A, and ACP Cannot Express
논문 소개
에이전트 상호 운용 프로토콜은 자율 에이전트 간의 신원 확인, 능력 발견, 도구 접근 및 메시지 교환을 가능하게 하기 위해 빠르게 발전해 왔으나, 이러한 프로토콜이 기업의 거버넌스 제약 하에서 집단 결정을 지원할 수 있는지에 대한 의문이 제기되고 있다. 본 연구는 조직 이론과 다중 에이전트 시스템 문헌, 그리고 기업 거버넌스 기준을 바탕으로 여섯 가지 차원으로 구성된 거버넌스 요구 사항 분류법을 제안하고, 이를 통해 다양한 에이전트 상호 운용 프로토콜을 체계적으로 분석하였다. 이 분석에서는 각 프로토콜이 지원하는 기능을 지원, 부분 지원, 부재로 분류하고, 그 결과를 기반으로 갭 행렬을 생성하여 프로토콜 간의 차이를 명확히 드러냈다.
연구 결과, 모든 프로토콜에서 투표와 반대 의견 보존 기능이 보편적으로 부재하며, 심의 기능 또한 부분적으로만 지원된다는 점이 발견되었다. 특히, 어떤 프로토콜도 거버넌스가 있는 에이전트 커뮤니티가 필요로 하는 전체 기본 요소를 인코딩하지 않고 있으며, 이는 현재의 프로토콜들이 작업 지향적인 조정만을 지원하고 있음을 시사한다. 연구진은 이러한 갭을 확장 가능한 갭과 구조적 갭으로 구분하고, 시간 민감성을 평가하여 프로토콜의 발전 속도에 따라 해결 가능성을 제시하였다.
결론적으로, 에이전트 커뮤니티 거버넌스는 현재의 상호 운용성 표준 위에 존재해야 할 누락된 아키텍처 레이어로 명확히 구분되며, 이는 향후 연구에서 해결해야 할 중요한 과제임을 강조하였다. 이러한 발견은 에이전트 시스템의 발전에 있어 거버넌스를 지원하는 새로운 아키텍처의 필요성을 부각시키며, 이론적 및 실용적 측면에서 많은 기여를 할 것으로 기대된다.
초록(Abstract)
에이전트 상호운용성 프로토콜(MCP, A2A, ACP, ANP, ERC-8004)은 자율 에이전트 간의 신원, 능력 발견, 도구 접근, 메시지 교환을 가능하게 하기 위해 빠르게 발전해 왔습니다. 그러나 기업들이 거버넌스 제약 하에 집단적 결정을 내려야 하는 이질적인 에이전트 집단을 배치함에 따라, 이러한 프로토콜이 관리된 에이전트 커뮤니티를 지원할 수 있는가, 아니면 오직 작업 지향적 조정만 지원할 수 있는가 하는 질문이 제기됩니다. 우리는 조직 이론, 다중 에이전트 시스템 문헌, 기업 거버넌스 표준에서 도출된 여섯 가지 차원 거버넌스 요구 사항 분류법(회원 자격, 심의, 투표, 반대 의견 보존, 인간 에스컬레이션, 감사/재생)에 기반하여 체계적인 갭 분석을 제시합니다. 우리는 각 프로토콜의 명세를 이 분류법에 따라 분석하고, 기능을 지원됨(Supported), 부분적(Partial), 또는 없음(Absent)으로 분류합니다. 결과적으로 생성된 갭 매트릭스는 투표와 반대 의견 보존이 모든 다섯 프로토콜에서 보편적으로 결여되어 있으며, 심의는 결여되거나 최대한 부분적임을 보여주고, 어떤 프로토콜도 관리된 에이전트 커뮤니티에 필요한 전체 기본 요소 집합을 인코딩하지 않음을 드러냅니다. 우리는 프로토콜 확장 메커니즘을 통해 해결 가능한 확장 가능한 갭과 새로운 아키텍처 레이어를 요구하는 구조적 갭을 구분하고, 관찰된 프로토콜 진화 속도에 기반하여 시간 민감도를 평가합니다. 이 분석은 에이전트 커뮤니티 거버넌스가 현재의 상호운용성 기준 위에 위치한 누락된 아키텍처 레이어를 구성하며, 그 안의 누락된 기능이 아님을 확립합니다.
Agent interoperability protocols (MCP, A2A, ACP, ANP, and ERC-8004) have rapidly matured to enable identity, capability discovery, tool access, and message exchange between autonomous agents. However, as enterprises deploy heterogeneous agent fleets that must make collective decisions under governance constraints, a question arises: can these protocols support governed agent communities, or only task-oriented coordination? We present a systematic gap analysis applying a six-dimension governance requirements taxonomy (membership, deliberation, voting, dissent preservation, human escalation, and audit/replay) derived from organizational theory, multi-agent systems literature, and enterprise governance standards. We analyze each protocol's specification against this taxonomy, classifying capabilities as Supported, Partial, or Absent. The resulting gap matrix reveals that voting and dissent preservation are universally absent across all five protocols, deliberation is absent or at most partial, and no protocol encodes the full set of primitives required for governed agent communities. We distinguish extensible gaps (addressable through protocol extension mechanisms) from structural gaps (requiring a new architectural layer) and assess time-sensitivity based on observed protocol evolution velocity. The analysis establishes that agent community governance constitutes a missing architectural layer above current interoperability standards, not a missing feature within them.
논문 링크
넥서스: 시계열 예측을 위한 에이전틱 프레임워크 / Nexus : An Agentic Framework for Time Series Forecasting
논문 소개
시계열 예측은 단순한 수치적 외삽을 넘어, 뉴스 및 사건과 같은 비구조적 맥락 데이터를 통한 추론을 필요로 하는 복잡한 작업입니다. 전문화된 시계열 파운데이션 모델(Time Series Foundation Models, TSFMs)은 수치 패턴에 기초한 예측에 뛰어난 성능을 보이지만, 실제 세계의 텍스트 신호를 인식하는 데에는 한계가 있습니다. 반면, 대규모 언어 모델(Large Language Models, LLMs)은 제로샷 예측 능력을 가지고 있지만, 도메인과 맥락에 따라 성능이 불균형하게 나타납니다. 이러한 격차를 해소하기 위해 제안된 Nexus는 다중 에이전트 예측 프레임워크로, 예측 작업을 거시적 및 미시적 시간 변동으로 분해하고, 가용한 맥락 정보를 통합하여 최종 예측을 생성합니다. 이 과정에서 Nexus는 외부 통계적 앵커나 단일 프롬프트에 의존하지 않고, 계절 신호에서 변동성이 큰 사건 기반 정보로의 적응을 가능하게 합니다.
Nexus의 접근 방식은 LLM이 본래 가지고 있던 내재적 예측 능력을 극대화하는 데 기여하며, 이는 수치적 및 맥락적 추론의 조직 방식에 크게 의존합니다. Nexus는 고수준의 거시적 추세와 특정 시계열 특성을 별도로 모델링한 후, 이 두 관점을 통합하는 과정을 통해 예측의 정확도를 높입니다. 이 프레임워크는 과거 예측 오류를 바탕으로 지속적으로 학습하며, 예측 전략을 개선하는 도메인 수준의 보정 루프를 특징으로 합니다. Nexus는 Zillow 부동산 메트릭과 변동성이 큰 주식 시장 데이터를 대상으로 평가되었으며, 기존의 TSFM 및 LLM 기준을 지속적으로 초과하거나 일치하는 성과를 나타냈습니다.
이 연구는 시계열 예측을 단순한 시퀀스 모델링을 넘어서는 에이전틱 추론 문제로 규명하며, 실제 세계의 복잡한 데이터를 효과적으로 처리할 수 있는 새로운 패러다임을 제시합니다. Nexus는 각 예측의 근본적인 동기를 명확히 보여주는 고품질의 추론 흔적을 생성함으로써, 예측의 신뢰성을 높이고 있습니다. 이로써 시계열 예측의 새로운 가능성을 열어주며, 다양한 고위험 도메인에서의 의사 결정을 지원하는 데 중요한 기여를 하고 있습니다.
초록(Abstract)
시계열 예측은 단순한 수치적 외삽이 아니라 뉴스나 사건과 같은 비구조적 맥락 데이터를 활용한 추론을 요구하는 경우가 많습니다. 전문화된 시계열 파운데이션 모델(Time Series Foundation Models, TSFMs)은 수치 패턴에 기반한 예측에서 뛰어난 성능을 보이지만, 실제 세계의 텍스트 신호에 대해서는 인식하지 못합니다. 반면, 대규모 언어 모델(LLMs)은 제로샷 예측자로 부상하고 있지만, 그 성능은 도메인 및 맥락적 접지에 따라 고르지 않습니다. 이러한 격차를 해소하기 위해, 우리는 예측을 전문화된 단계로 분해하는 다중 에이전트 예측 프레임워크인 Nexus를 소개합니다: 매크로 수준과 마이크로 수준의 시간적 변동을 분리하고, 가용한 경우 맥락 정보를 통합한 후 최종 예측을 종합합니다. 이러한 분해는 Nexus가 외부 통계적 기준이나 단일 프롬프트에 의존하지 않고 계절적 신호에서 변동성이 큰 사건 주도 정보로 적응할 수 있게 합니다. 우리는 현재 세대의 LLM이 수치적 및 맥락적 추론이 조직되는 방식에 따라 이전에 인식된 것보다 상당히 강력한 내재적 예측 능력을 가지고 있음을 보여줍니다. Zillow 부동산 지표 및 변동성이 큰 주식 시장 데이터와 같이 LLM 지식 컷오프 이후의 데이터에 대해 평가한 결과, Nexus는 기존의 최첨단 TSFM 및 강력한 LLM 기준을 일관되게 일치시키거나 초과 성과를 보입니다. 수치적 정확성을 넘어서, Nexus는 각 예측 뒤에 있는 근본적인 동인을 명확히 보여주는 고품질의 추론 추적을 생성합니다. 우리의 결과는 실제 세계의 예측이 단순한 시퀀스 모델링을 넘어서는 에이전트적 추론 문제임을 확립합니다.
Time series forecasting is not just numerical extrapolation, but often requires reasoning with unstructured contextual data such as news or events. While specialized Time Series Foundation Models (TSFMs) excel at forecasting based on numerical patterns, they remain unaware to real-world textual signals. Conversely, while LLMs are emerging as zero-shot forecasters, their performance remains uneven across domains and contextual grounding. To bridge this gap, we introduce Nexus, a multi-agent forecasting framework that decomposes prediction into specialized stages: isolating macro-level and micro-level temporal fluctuations, and integrating contextual information when available before synthesizing a final forecast. This decomposition enables Nexus to adapt from seasonal signals to volatile, event-driven information without relying on external statistical anchors or monolithic prompting. We show that current-generation LLMs possess substantially stronger intrinsic forecasting ability than previously recognized, depending critically on how numerical and contextual reasoning are organized. Evaluated on data strictly succeeding LLM knowledge cutoffs spanning Zillow real estate metrics and volatile stock market equities, Nexus consistently matches or outperforms state-of-the-art TSFMs and strong LLM baselines. Beyond numerical accuracy, Nexus produces high-quality reasoning traces that explicitly show the fundamental drivers behind each forecast. Our results establish that real-world forecasting is an agentic reasoning problem extending well beyond only sequence modeling.
논문 링크
메타인지 피드백을 통한 강화학습이 LLM의 신뢰할 수 있는 불확실성 표현의 유도하다 / Reinforcement Learning with Metacognitive Feedback Elicits Faithful Uncertainty Expression in LLMs
논문 소개
메타인지는 지능의 중요한 요소로, 개인이 자신의 인지 과정을 모니터링하고 조절하는 능력을 의미합니다. 하지만 대규모 언어 모델(LLM)은 높은 신뢰도로 환각을 일으키고, 지식의 경계를 인식하지 못하며, 내부 불확실성을 잘못 표현하는 등의 체계적인 결함을 갖고 있어 신뢰성과 신뢰성을 저해합니다. 이러한 문제를 해결하기 위해, 메타인지 피드백을 통한 강화학습(RLMF)과 메타인지 데이터 선택이라는 두 가지 혁신적인 메커니즘이 제안됩니다. RLMF는 모델의 성과에 대한 자기 판단의 질을 바탕으로 선호 최적화 과정에서 완성도 순위를 개선하는 접근 방식으로, 모델이 자신의 성과를 정확히 평가하고 이를 통해 학습을 개선할 수 있도록 돕습니다. 또한 메타인지 데이터 선택은 자기 판단을 통해 고가치 학습 예제를 선별하여 학습 효율성을 높이며, 이는 기존의 능동적 학습 기법보다 뛰어난 성능을 보입니다.
이 연구는 신뢰도 조정(Faithful Calibration, FC)이라는 메타인지적 과제를 다루며, 표현된 불확실성과 내재된 불확실성을 일치시키는 것을 목표로 합니다. 이 과정은 두 단계로 나뉘어 진행되며, 첫 번째 단계에서는 모델이 스스로 보고한 신뢰도 점수를 조정하고, 두 번째 단계에서는 이를 자연스럽고 문맥에 적합한 언어적 불확실성으로 매핑합니다. 연구 결과, RLMF는 다양한 작업에서 일반화 가능한 최첨단 신뢰도 조정을 달성하며, 정확성을 유지하면서도 표준 강화학습 방법보다 최대 63% 더 나은 성과를 보여줍니다. 이러한 성과는 모델이 자신의 능력 한계를 평가하고 표현하는 능력을 향상시키는 데 기여합니다.
결론적으로, RLMF는 LLM의 메타인지 능력을 향상시키고 모델의 능력 및 정렬성을 개선하는 데 기여할 수 있는 유망한 패러다임으로 자리 잡을 가능성을 제시하며, 메타인지 성과가 효과적인 강화학습 신호로 작용할 수 있음을 보여줍니다. 이러한 발견은 LLM의 신뢰성 및 활용성을 향상시키는 데 중요한 기초가 될 것입니다.
초록(Abstract)
메타인지(metacognition)는 자신의 인지 과정을 모니터링하고 조절하는 능력을 설명하는 지능의 중요한 구성 요소입니다. 그러나 대규모 언어 모델(LLM)은 주요 메타인지 능력에서 시스템적인 결함을 보입니다: 높은 확신을 가지고 환각을 일으키고, 지식의 경계를 인식하지 못하며, 내부 불확실성을 잘못 나타내어 신뢰성과 신뢰성을 저해합니다. 작업 성과를 모니터링하고 그에 따라 행동을 조정하는 것이 메타인지의 핵심이므로, 자신의 성과를 정확하게 판단할 수 있는 모델이 이를 개선할 수 있는 더 좋은 위치에 있다고 가정합니다. 우리는 이 아이디어를 두 가지 새로운 메커니즘을 통해 구현합니다: 메타인지 피드백을 통한 강화 학습(RLMF)은 모델의 성과에 대한 자기 판단의 질에 기반하여 선호 최적화 중에 완성 순위를 세분화하는 패러다임이며, 메타인지 데이터 선택은 유사한 자기 판단을 사용하여 높은 가치의 훈련 예제를 식별하여 단순한 능동 학습보다 우수한 성능을 발휘합니다. 이러한 혁신을 신뢰할 수 있는 보정(Faithful Calibration, FC) 문제에 적용하며, 이는 본질적으로 메타인지적인 작업입니다: 목표는 표현된 불확실성과 내재된 불확실성을 일치시키는 것으로, 최첨단 LLM에게도 어려운 일입니다. 우리는 이 방법들을 사용하여 모델의 자기 보고된 신뢰도 점수의 신뢰성을 보정한 다음, 목표 출력 편집을 통해 자연스럽고 문맥에 적응 가능한 언어적 불확실성에 매핑하는 두 단계의 분리된 접근 방식을 채택합니다. 광범위한 실험 결과, RLMF는 다양한 작업에서 일반화 가능한 최첨단 FC를 달성하면서 정확도를 유지합니다. 또한 RLMF는 표준 강화 학습보다 최대 63% 더 뛰어난 성과를 내며, 모델이 자신의 능력 한계를 평가하고 표현하는 능력을 강화합니다. 이는 RLMF를 LLM의 메타인지를 향상시켜 능력과 정렬을 개선할 수 있는 유망한 패러다임으로 자리매김하게 하며, 메타인지 성과가 이전의 내재적 피드백 방법의 한계를 극복하는 효과적인 강화 학습 신호로 작용할 수 있음을 시사합니다.
Metacognition is a critical component of intelligence that describes the ability to monitor and regulate one's own cognitive processes. Yet LLMs exhibit systemic deficiencies in key metacognitive faculties: they hallucinate with high confidence, fail to recognize knowledge boundaries, and misrepresent their internal uncertainty--undermining trustworthiness and reliability. Since monitoring task performance and adapting behavior accordingly are central to metacognition, we posit that models capable of accurately judging their own performance are better positioned to improve it. We operationalize this idea via two novel mechanisms: reinforcement learning with metacognitive feedback (RLMF), a paradigm to refine completion rankings during preference optimization based on the quality of a model's self-judgments of performance, and metacognitive data selection, which uses similar self-judgments to identify high-value training examples, outperforming naive active learning. We apply these innovations to the problem of faithful calibration (FC), a task that is itself fundamentally metacognitive: the goal is to align expressed with intrinsic uncertainty, difficult even for frontier LLMs. We adopt a two-stage, decoupled approach, first using these methods to calibrate the faithfulness of models' self-reported confidence scores, then mapping to natural, context-adaptable linguistic uncertainty via targeted output editing. Extensive experiments show RLMF achieves generalizable, state-of-the-art FC on diverse tasks while preserving accuracy. Further, RLMF surpasses standard RL by up to 63% while enhancing models' ability to assess and express their own capability limits. This positions RLMF as a promising paradigm to enhance LLM metacognition toward improved abilities and alignment, and suggests metacognitive performance as an effective RL signal to overcome limits of prior intrinsic feedback methods.
논문 링크
더 읽어보기
SAO: 단일 롤아웃 비동기 최적화를 통한 에이전틱 강화학습 / Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning
논문 소개
강화 학습(Reinforcement Learning, RL)은 대형 언어 모델(LLM)의 사후 훈련 과정에서 점점 더 중요한 역할을 차지하고 있다. 기존의 RL 파이프라인은 주로 동기화되었으며, 배치 간섭 방식으로 설계되어 있어 긴 수명의 에이전틱 작업에는 비효율적이다. 최근에는 비동기 RL이 등장하여 롤아웃이 도착함에 따라 모델을 업데이트함으로써 보다 효율적인 대안을 제시하고 있지만, 기존의 비동기 시스템은 처리량에 중점을 두고 안정성과 과업의 효과성을 충분히 탐구하지 못했다. 이러한 문제를 해결하기 위해, 단일 롤아웃 비동기 최적화(Single-rollout Asynchronous Optimization, SAO) 방법론이 제안되었다. SAO는 비동기 RL에서 발생하는 안정성 및 오정책 문
제를 해결하기 위해 그룹 샘플링 대신 단일 롤아웃 샘플링을 채택하여 각 프롬프트에 대해 하나의 롤아웃만을 사용하는 방식을 도입하였다.
SAO는 특히 비동기 환경에서 모델의 학습 안정성을 높이기 위해 엄격한 양면 토큰 수준 클리핑 전략을 도입하였다. 이 방법은 정책 업데이트의 안정성을 확보하는 동시에, 비동기 설정에서 학습 성능을 개선하는 데 기여한다. 또한, 비동기 RL의 오정책 문제를 해결하기 위한 실질적인 가치 모델 훈련 설계를 통해 성과를 극대화하였다. 가치 모델은 정책과의 상호 의존성으로 인해 발생하는 불안정성을 줄이기 위해, 각 정책 업데이트마다 빠른 가치 업데이트를 적용하고, 해당 모델의 어텐션 모듈 파라미터를 고정하는 훈련 전략을 채택했다. 이러한 접근 방식은 가치 추정의 신뢰성을 높이고, 정책 업데이트에 긍정적인 영향을 미친다.
에이전틱 작업의 토큰 수준 가치 추정의 독특한 도전을 극복하기 위해, SAO는 환경 피드백 토큰을 건너뛰고 현재 행동의 가치를 다음 행동의 가치에 직접 연결하는 "스킵 관찰" GAE(Generalized Advantage Estimation)를 도출하였다. 이로 인해 환경 피드백의 확률성을 제거하고 모델 출력 기반의 순수한 이점 추정이 가능해졌다. 마지막으로, 가치 모델 프리트레이닝에 사용되는 데이터의 규모를 확대하여 초기 단계에서의 단일 롤아웃 및 TTUR 메커니즘의 효과성을 높이는 강력한 출발점을 제공하며, SAO는 지속적으로 GRPO(Generalized Randomized Policy Optimization) 및 그 변형보다 더 나은 성능을 보이는 것으로 나타났다. 이러한 연구 결과는 비동기 RL의 발전에 기여하며, 에이전틱 코드 및 추론 벤치마크인 SWE-Bench Verified, BeyondAIME, IMOAnswerBench에서의 우수한 성과를 통해 그 유용성을 증명하였다.
초록(Abstract)
강화학습(RL)은 사후 학습 대규모 언어 모델(LLM)에 점점 더 중요해지고 있습니다. 이전의 LLM을 위한 RL 파이프라인은 대부분 동기화되어 있고 배치가 섞여 있어 긴 시간 지향적인 에이전트 작업에 비효율적이었습니다. 최근에는 비동기 RL이 롤아웃이 도착할 때 모델을 업데이트함으로써 보다 효율적인 대안으로 떠올랐습니다. 그러나 기존의 비동기 RL 시스템은 종종 처리량을 강조하는 반면, 훈련 안정성과 작업 효율성은 크게 탐구되지 않았습니다. 예를 들어, 널리 사용되는 GRPO 프레임워크에서 그룹 단위 샘플링은 비동기 에이전트 훈련에 자연스럽게 맞지 않는 주요 도전 과제가 있습니다. 본 논문에서는 비동기 RL에서의 안정성과 오프 정책 문제를 해결하기 위해 단일 롤아웃 비동기 최적화(SAO)를 제시합니다. 오프 정책 효과를 줄이고 일반화를 개선하기 위해, 우리는 그룹 단위 샘플링을 단일 롤아웃 샘플링으로 교체하며, 이는 프롬프트당 하나의 롤아웃을 사용하는 것입니다. 또한, 우리는 실용적인 가치 모델 훈련 설계로 이 단일 롤아웃 전략을 더욱 개선합니다. 최적화 안정성을 개선하기 위해, 우리는 엄격한 양측 토큰 수준 클리핑 전략을 도입합니다. SAO는 1,000단계 동안 안정적으로 훈련할 수 있으며, SWE-Bench Verified, BeyondAIME 및 IMOAnswerBench와 같은 에이전트 코딩 및 추론 벤치마크에서 GRPO 및 그 변형들을 지속적으로 능가합니다. 또한, 단일 롤아웃 RL은 모델이 변화하는 진화 환경에 적응해야 하는 시뮬레이션된 온라인 학습 설정에서 특히 효과적임을 보여줍니다. 이를 위해 SAO는 오픈 GLM-5.2 모델(750B-A40B) 훈련을 위한 에이전틱 RL 파이프라인에 성공적으로 배치됩니다.
Reinforcement learning (RL) is becoming increasingly important for post-training large language models (LLMs). Previous RL pipelines for LLMs were mostly synchronous and batch-interleaved, which is inefficient for long-horizon agentic tasks. Recently, asynchronous RL has emerged as a more efficient alternative by updating the model as rollouts arrive. However, existing asynchronous RL systems often emphasize throughput, while leaving training stability and task effectiveness largely underexplored. For example, a key challenge is that group-wise sampling in the widely-used GRPO framework does not naturally fit asynchronous agentic training. In this paper, we present Single-rollout Asynchronous Optimization (SAO) to address the stability and off-policy challenges in asynchronous RL. To reduce off-policy effects and improve generalization, we replace group-wise sampling with single-rollout sampling, that is, using one rollout per prompt. We further improve this single-rollout strategy with practical value-model training designs. To improve optimization stability, we introduce a strict double-side token-level clipping strategy. SAO is able to train stably for one thousand steps and consistently outperform GRPO and its variants on agentic coding and reasoning benchmarks, such as SWE-Bench Verified, BeyondAIME, and IMOAnswerBench. We also demonstrate that single-rollout RL is particularly effective in a simulated online learning setting, where the model must adapt to changing evolving environments. To this end, SAO is successfully deployed in the agentic RL pipeline for training the open GLM-5.2 model (750B-A40B).
논문 링크
OpenClaw-Skill: 에이전트 대규모 언어 모델을 위한 집합적 기술 트리 탐색 / OpenClaw-Skill: Collective Skill Tree Search for Agentic Large Language Models
논문 소개
대규모 언어 모델(LLM) 에이전트에 효과적인 기술을 장착하는 것은 복잡한 작업을 해결하는 데 필수적이며, 이를 통해 동적 환경에서의 상호작용과 도구 사용, 다단계 추론을 향상시킬 수 있다. 본 연구에서는 이러한 기술을 자동으로 구축하는 새로운 프레임워크인 Collective Skill Tree Search (CSTS)를 제안한다. CSTS는 집단 지능을 활용하여 기술을 공동으로 탐색하고 식별하는 과정을 두 개의 반복적 단계인 Collective Skill Node Generation (CSN-Gen)과 Collective Skill Node Assessment (CSN-Assess)로 나눈다. CSN-Gen 단계에서는 여러 모델의 집단 지식을 통해 각 하위 작업에 대한 다양한 후보 기술을 생성하며, 이는 기술 생성의 편향을 줄이고 더 폭넓은 계획 및 실행 패턴을 포함할 수 있도록 돕는다. 이후 CSN-Assess 단계에서는 후보 기술 노드를 여러 평가 모델이 독립적으로 검토하여 집단 기술 품질 점수와 집단 전이 가능성 점수를 결합하여 최종 후보 노드를 선택한다.
이 연구의 또 다른 중요한 기여는 Collective Skill Reinforcement Learning (CSRL)의 도입이다. CSRL은 여러 후보 기술의 상대적 효율성을 직접적으로 최적화하는 방법으로, 기술 조건화된 롤아웃 그룹의 행동 가능성을 높이는 동시에 비효율적인 행동을 억제하도록 설계되었다. 이러한 방식으로 CSTS는 구조화된 기술 경로를 제공하고, CSRL은 다양한 기술의 상대적 효율성을 극대화하여 모델이 복잡한 작업을 수행할 수 있도록 지원한다. 최종적으로, OpenClaw-Skill이라는 훈련된 모델은 장기 계획, 도구 사용 및 일반화 측면에서 뛰어난 에이전트 기능을 보여주며, 이는 복잡한 작업을 해결하기 위한 새로운 접근 방식을 제시한다. 본 연구는 LLM의 기술 활용을 더욱 발전시키고, 다양한 분야에서의 응용 가능성을 높이는 데 기여할 것으로 기대된다.
초록(Abstract)
대규모 언어 모델(LLM) 에이전트에 효과적인 기술을 갖추는 것은 OpenClaw와 같은 실제 시스템에서 복잡한 작업을 해결하는 데 중요합니다. 본 연구에서는 도구 사용, 다단계 추론 및 동적 환경 상호작용을 향상시키기 위해 이러한 재사용 가능한 기술을 자동으로 구축하는 프레임워크를 개발하는 것을 목표로 합니다. 이를 위해, 구조적이고 다양하며 일반화 가능한 기술 트리를 구성하는 새로운 트리 탐색 기반의 기술 구축 프레임워크인 집단 기술 트리 탐색(Collective Skill Tree Search, CSTS)를 제안합니다. CSTS의 핵심 아이디어는 집단 지능을 활용하여 두 개의 반복적인 단계인 집단 기술 노드 생성(Collective Skill Node Generation, CSN-Gen)과 집단 기술 노드 평가(Collective Skill Node Assessment, CSN-Assess)를 통해 효과적인 기술을 공동으로 탐색, 식별 및 구성하는 것입니다. CSN-Gen은 여러 모델의 집단 지식을 활용하여 각 하위 작업에 대한 다양한 후보 기술을 탐색하여 포괄적인 기술 탐색을 가능하게 합니다. CSN-Assess는 여러 모델을 심사자로 사용하여 두 가지 평가 메커니즘을 통해 기술 노드를 평가하고 선택합니다: (1) 독립적인 평가를 집계하여 기술의 효과성에 대한 강력한 추정치를 생성하는 집단 품질 평가, (2) 기술이 서로 다른 모델 간에 잘 일반화되는지를 명시적으로 검증하는 집단 전이 가능성 평가입니다. CSTS를 통해 우리는 포괄적인 기술 트리와 기술 증강 훈련 데이터를 구성하여 모델이 효과적으로 기술을 학습하고 활용할 수 있도록 합니다. 또한, 우리는 집단 기술 강화 학습(Collective Skill Reinforcement Learning)을 도입하여 트리에서 여러 관련 기술을 적극적으로 선택하여 솔루션 공간 탐색을 넓히고 단일 기술 및 그로 인해 발생하는 동질적이거나 비최적의 솔루션에 갇히지 않도록 합니다. 그 결과, 저희가 훈련한 모델인 OpenClaw-Skill은 긴 기간의 계획, 도구 사용 및 도전적인 벤치마크에 대한 일반화에서 뛰어난 에이전트 능력을 나타냅니다.
Equipping Large Language Model (LLM) agents with effective skills is crucial for solving complex tasks in real-world systems like OpenClaw. In this work, we aim to develop a framework that automatically constructs such reusable skills to enhance LLMs in tool use, multi-step reasoning, and dynamic environment interaction. To this end, we propose Collective Skill Tree Search (CSTS), a novel tree-search-based skill construction framework that constructs structured, diverse and generalizable tree of skills. The core idea of CSTS is to leverage collective intelligence to jointly search, identify and compose effective skills via two iterative phases: Collective Skill Node Generation (CSN-Gen) and Collective Skill Node Assessment (CSN-Assess). CSN-Gen exploits collective knowledge from multiple models to explore diverse candidate skills for each subtask, enabling comprehensive skill exploration. CSN-Assess employs multiple models as judges to evaluate and select skill nodes with two scoring mechanisms: (1) collective quality scoring that aggregates independent evaluations to produce a robust estimate of skill effectiveness, and (2) collective transferability scoring that explicitly verifies whether a skill generalizes well across different models. With CSTS, we construct a set of comprehensive tree of skills along with skill-augmented training data, enabling models to effectively learn and utilize skills. Besides, we introduce Collective Skill Reinforcement Learning, which actively selects multiple relevant skills from the tree to broaden solution-space exploration, avoid being trapped by a single skill and its resulting homogeneous or suboptimal solutions. As a result, our trained model, OpenClaw-Skill, exhibits outstanding agentic capabilities in long-horizon planning, tool use and generalization over challenging benchmarks.
논문 링크
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 