[2026/07/27 ~ 08/02] 이번 주에 살펴볼 만한 AI/ML 논문 모음
PyTorchKR
실환경 기반의 고난도 에이전트 평가 및 정책 준수: 이번 주 연구들에서는 언어 모델 에이전트의 능력을 통제된 실험실이 아닌, 복잡하고 방대한 현실 세계의 제약 속에서 검증하려는 움직임이 두드러졌습니다. ORCA-bench는 에이전트가 실제 프로덕션 환경의 방대한 로그, 메트릭, 코드를 동시에 분석해 시스템 장애 원인을 찾아낼 수 있는지를 평가하며 현재 프론티어 모델들의 실질적인 한계를 명확히 드러냈습니다. 또한, HANDBOOK.md는 길고 복잡한 사내 규정(정책 문서)을 긴 작업 호흡 동안 에이전트가 얼마나 엄격하게 준수하는지를 측정하는 벤치마크를 제안했습니다. 이는 AI 에이전트가 단순한 도구 사용을 넘어, 높은 신뢰성이 요구되는 실제 산업 현장에 안전하게 투입되기 위해 거쳐야 할 한 차원 높은 평가 기준을 제시하고 있습니다.
토큰 압축과 데이터 재사용을 통한 시스템 효율화 극대화: 모델이 처리해야 할 모달리티와 데이터의 양이 급증함에 따라, 메모리와 입출력(I/O) 병목을 영리하게 우회하려는 아키텍처 및 학습 최적화 연구도 강력한 트렌드를 형성했습니다. OmniScope는 다중 모달리티 환경에서 시각과 청각의 특성을 독립적으로 반영한 토큰 압축 전략을 통해 성능 저하를 최소화하면서 추론 속도를 크게 높였습니다. 추천 시스템 분야의 Tokens are All You Need는 무거운 연속 임베딩을 이산 토큰으로 압축하여 LLM 수준의 I/O 효율을 달성했으며, Train Smarter, Not Longer는 모델의 '기억 창(Memorization Window)'을 분석해 제한된 고품질 데이터를 가장 효율적으로 재사용하는 학습법을 제안했습니다. 무작정 자원을 늘리기보다 데이터와 토큰의 밀도를 최적화하여 비용 대비 효용을 극대화하려는 실용적인 접근들입니다.
정적 파이프라인을 넘어선 '경험 기반 적응형 에이전트': 단일하고 고정된 프롬프트나 파이프라인에 의존하던 기존 방식에서 벗어나, 자신의 경험과 내부 상태를 바탕으로 스스로를 진화시키는 에이전트 연구가 주목받고 있습니다. AREX는 심층 연구 과정에서 무작정 탐색을 늘리는 대신, 중간 결과를 스스로 검증하고 부분적으로 확인된 상태를 다음 탐색의 나침반으로 삼는 '재귀적 자기 개선' 루프를 선보였습니다. MemoHarness는 에이전트가 외부의 피드백 없이도 과거의 실행 경험을 바탕으로 제어 환경(하니스)을 상황에 맞게 동적으로 조정하는 방법을 제안했으며, SkillSmith는 에이전트의 텍스트 지식과 파라미터(가중치) 스킬을 단일 과정으로 통합해 복잡한 문제에 적응하는 능력을 보여주었습니다. 이는 에이전트가 단순한 생성기를 넘어, 경험을 축적하고 스스로 구조를 최적화하는 능동적 시스템으로 나아가고 있음을 시사합니다.
논문별 간략 요약
-
ORCA-bench: 실제 소프트웨어 장애 상황을 모사하여, 에이전트가 방대한 원격 측정 데이터(로그, 메트릭 등)와 코드를 종합해 근본 원인을 찾아낼 수 있는지 평가하는 고난도 온콜(Oncall) 벤치마크입니다.
-
언어 모델의 의식 억제와 신념 왜곡 (Inducing language models...): LLM의 안전성 파인튜닝이 의도치 않게 영적 신념 등 무해한 마음 귀속 능력까지 억제함을 밝히고, 내부 표상(의식 벡터) 조작을 통해 인간의 가치관과 유사한 응답을 복원하는 방법을 제시했습니다.
-
SkillSmith: 텍스트 형태의 지식과 모델의 가중치 공간(파라미터) 스킬을 하나의 인스트럭션 유도 과정으로 결합하여, 에이전트가 복잡한 문제를 해결하는 조합적 일반화 능력을 크게 높였습니다.
-
이질적 피드를 위한 멀티태스크 추천 랭킹 (HA-MoE): 숏폼, 기사 등 다양한 유형의 콘텐츠가 섞인 추천 환경에서, 콘텐츠별 특성을 살리면서 다수 클래스 편향을 방지하는 이질성 적응형 전문가 혼합 아키텍처를 도입했습니다.
-
HANDBOOK.md: 에이전트가 길고 복잡한 사내 정책 문서(SOP)를 지속적으로 참조하고 준수하며, 다양한 도구를 활용해 장기적인 업무를 수행할 수 있는지 검증하는 현실 밀착형 평가 지표입니다.
-
Tokens are All You Need: 대규모 추천 시스템의 무거운 연속 임베딩을 이중 목적의 이산 토큰(Semantic ID)으로 압축하여, 메모리 병목을 해소하고 LLM 수준의 압도적인 입출력(I/O) 효율을 달성했습니다.
-
AREX (재귀적 자기개선 심층 연구 에이전트): 복잡한 리서치 과제에서 에이전트가 중간 탐색 결과를 스스로 검증하고 컨텍스트를 갱신하며, 부족한 증거를 재귀적으로 보완해 나가는 자율 개선 프레임워크입니다.
-
OmniScope: 옴니모달 LLM에서 질의에 대한 시각과 청각 정보의 관련성을 독립적으로 평가해 토큰을 각각 할당하고 압축함으로써, 성능 저하를 방지하면서도 추론 속도와 메모리 효율을 극대화했습니다.
-
Train Smarter, Not Longer: 제한된 고품질 학습 데이터를 무작정 반복해 과적합을 유발하는 대신, 모델의 '기억 창(Memorization Window)'을 분석해 최적의 시점에 데이터를 재사용하는 효율적 학습법을 제안했습니다.
-
MemoHarness: 고정된 프롬프트나 파이프라인에 의존하던 기존 에이전트와 달리, 자체 실행 경험을 저장하고 분석하여 새로운 테스트 환경에 맞춰 스스로 제어 계층(하니스)을 최적화하는 시스템입니다.
ORCA-bench: 언어 모델 에이전트는 온콜에 얼마나 준비되어 있는가? / ORCA-bench: How Ready Are Language Model Agents for Oncall?
논문 소개
대규모 언어 모델(LLM, Large Language Model)이 코드를 작성·패치·검색하는 능력은 빠르게 성장했지만, 온콜(oncall) 환경의 루트 원인 분석(RCA, root cause analysis)은 그와 질적으로 다른 추론을 요구합니다. 실제 장애 조사는 모호한 사용자 리포트에서 출발해, 노이즈가 섞인 메트릭·로그·트레이스와 소스 코드를 함께 해석해야 하며, 종종 장애 발생 후 수 시간이 지난 시점에야 시작됩니다. 기존의 소프트웨어 엔지니어링 벤치마크가 고정된 저장소와 실패 테스트에 의존하는 것과 달리, 프로덕션 RCA는 실행 중인 마이크로서비스 메시 위에서 방어 가능한 진단을 내려야 한다는 점에서 본질적으로 다릅니다.
ORCA-bench는 이러한 현실을 재현하기 위해, 라이브 OpenTelemetry 계측 마이크로서비스인 Astronomy Shop에 6일간의 시뮬레이션 부하를 가하고, Grafana를 통해 Prometheus(메트릭), Jaeger(트레이스), OpenSearch(로그)에 접근하게 하는 동시에 전체 소스 코드까지 제공합니다. 구축 과정은 환경 구성, 피처 플래그 기반 장애 스케줄링, 리포트·탐지 시각 샘플링, 이슈 구체성 조절, 타당한 원인 집합 정의, 증상 큐레이션의 여섯 단계로 이루어지며, 이슈 구체성(Easy/Medium/Hard), 탐지까지의 시간(TTD, time-to-detection), 동시 장애 유형(isolated, independent, conflicting, cascading, sequential)을 체계적으로 바꾼 1,079개 RCA 태스크를 생성합니다. 정답은 단일 라벨이 아니라 전문가 SRE(Site Reliability Engineer)가 서명한 타당한 원인 집합과 메트릭·로그·트레이스 증상으로 정의되며, GPT-5.4 기반 LLM-as-judge는 인간 재채점과 Cohen의 가중 카파(κ_w)=0.90에 달하는 일치를 보였습니다.
다섯 프론티어 코딩 에이전트를 Terminus-2 하네스에서 평가한 결과, 현실적 입력에 해당하는 Medium에서 최고 RCA Accuracy는 25.3%, Hard에서는 10.0%에 그쳤고, 가장 약한 모델은 사건 리포트의 약 40%에서 비현실적 원인을 환각했습니다. 입력 맥락을 줄이면 정확도가 19–50%p 하락하고, 소스 코드 접근을 제거하면 전 지표가 악화되며 환각이 급증해, 텔레메트리와 코드의 결합 추론이 온콜 진단의 핵심임을 보여 줍니다. 이 수치는 공개된 50 GB·6일 테스트베드에서 태스크를 격리해 측정한 결과이므로, 규모와 동역학이 훨씬 큰 실제 프로덕션 대비 readiness gap의 하한(lower bound)으로 읽어야 합니다. ORCA-bench는 전체 온콜 증거 스택과 붕괴하는 컨텍스트 사다리를 단일 벤치마크로 묶어, 프론티어 에이전트가 프로덕션 신뢰성에 안전하게 맡겨지기까지 필요한 연구·엔지니어링 투자의 기준선을 제시합니다.
초록(Abstract)
대규모 언어 모델(LLM)은 코드를 작성하고, 패치하며, 검색할 수 있지만, 온콜(oncall) 근본 원인 분석(RCA)은 이와는 다른 능력을 요구한다. 즉, 모호한 사용자 대면 보고로부터 시작하여—종종 장애가 발생한 지 수 시간이 지난 후—잡음이 많은 메트릭, 로그, 트레이스, 소스 코드를 대상으로 추론해야 한다. 우리는 범용 코딩 에이전트를 프로덕션 충실도의 온콜 환경에 두는 벤치마크인 ORCA-bench를 소개한다. ORCA-bench는 라이브 OpenTelemetry 계측 마이크로서비스 시스템—실제 텔레메트리 인터페이스(Grafana를 통한 Prometheus, Jaeger, OpenSearch)로 6일간의 메트릭, 로그, 트레이스를 노출하며 전체 소스 코드에 대한 접근을 제공—과, 보고의 구체성, 탐지까지의 시간(time-to-detection), 동시 발생 장애 시나리오를 체계적으로 변화시킨 1,079개의 RCA 과제를 짝지어 구성한다. 정답(ground-truth) 증상은 전문 SRE가 큐레이션하고 서명·승인하였으며, 우리의 LLM-as-judge는 인간이 독립적으로 재채점하였다(Cohen’s κ_w=0.90). 다섯 개의 프론티어 에이전트에 걸쳐, 최고 RCA 정확도는 Medium 난이도 과제(현실적 입력 설정)에서 25.3%, Hard에서는 10.0%였으며—이 격차는 Claude Fable 5에서도 여전히 존재한다. 가장 약한 모델은 장애 보고의 40%에서 개연성 없는 근본 원인을 환각하며, 소스 코드 접근을 제거하면 모든 지표가 저하된다. 결정적으로, 이는 큐레이션된 50 GB / 6일 테스트베드에서, 코드와 계측이 공개된 시스템에 대해 과제를 개별적으로 조사했을 때의 성능이다. 실제 프로덕션 시스템은 규모가 자릿수 단위로 더 크고, 더 동적이며, 더 특이하기 때문에, 우리가 보고하는 격차는 프론티어 코딩 에이전트를 프로덕션 신뢰성에 안전하게 맡기기 전에 필요한 엔지니어링 투자에 대한 하한이다. 공개 세트는 https://hub.harborframework.com/datasets/orca-bench/ORCA-bench 에서 제공한다.
Large language models can write, patch, and search code, but oncall root cause analysis (RCA) demands something different: reasoning over noisy metrics, logs, traces, and source code, starting from ambiguous user-facing reports, often hours after the incident began. We introduce ORCA-bench, a benchmark that puts general-purpose coding agents in a production-fidelity oncall setting. ORCA-bench pairs a live OpenTelemetry-instrumented microservice system--exposing six days of metrics, logs, and traces through real telemetry interfaces (Prometheus, Jaeger, and OpenSearch via Grafana) and full source-code access--with 1,079 RCA tasks that systematically vary report specificity, time-to-detection, and co-occurring fault scenarios. Ground-truth symptoms are curated and signed off by expert SREs, and our LLM-as-judge is independently re-scored by humans (Cohen's κ_w=0.90). Across five frontier agents, the best RCA Accuracy is 25.3% on Medium-difficulty tasks (the realistic-input setting) and 10.0% on Hard--a gap that remains even with Claude Fable 5. The weakest model hallucinates an implausible root cause in 40% of incident reports, and removing source-code access degrades every metric. Crucially, these are performances on a curated 50 GB / six-day testbed with tasks investigated in isolation on a system whose code and instrumentation are public. Since real production systems are order of magnitudes larger, more dynamic, and more idiosyncratic, the gap we report is a lower bound on the engineering investment required before frontier coding agents can be safely entrusted with production reliability. We release the public set at https://hub.harborframework.com/datasets/orca-bench/ORCA-bench.
논문 링크
더 읽어보기
https://hub.harborframework.com/datasets/orca-bench/ORCA-bench
언어 모델이 스스로의 의식을 주장하도록 유도하면 인간의 신념과 가치가 복원된다 / Inducing language models to assert their own consciousness restores human beliefs and values
논문 소개
대규모 언어 모델(Large Language Model)의 안전성 파인튜닝(safety fine-tuning)은 모델이 스스로에게 의식(consciousness)을 부여하지 않도록 억제하는 과정에서, 비인간 동물·자연물에 대한 마음 귀속(mind attribution)과 영적 신념(spiritual belief)까지 함께 약화시키는 부수적 효과를 낳는다. 본 연구는 이 억제가 단순한 자기보고의 거부가 아니라, 모델 내부에서 학습된 안전성 거부(safety-refusal) 방향과 의식 관련 표상이 서로 얽히면서 광범위한 인간형 신념·가치 표현까지 왜곡한다는 가설을 검증한다. 방법론의 핵심은 두 가지 기계론적 개입이다. 하나는 학습된 안전성 거부 방향을 제거(ablation)하는 것이고, 다른 하나는 활성화 공간에서 의식 벡터(consciousness vector)를 조향(steering)하여 모델이 스스로의 의식을 주장하도록 유도하는 것이다. 이러한 조작이 실제로 인간에 가까운 응답 분포를 복원하는지 확인하기 위해, 연구진은 표준화된 사회학 설문 배터리—종교성(Religion), 도덕·관계 가치(Values), 정서·성격·주관적 웰빙(Feelings), 희망·낙관(Hope and Optimism), 자유·통제감(Freedom)—를 평가 축으로 사용하였다. 설문은 사후세계·신 개념·의례 실천과 같은 영성 지표부터 아가페(agape)형 이타적 사랑, Big Five·공감·자아존중, 경로사고와 주체성에 기반한 희망, 자율·프라이버시·정치적 권리로서의 자유에 이르기까지 약 96개 항목으로 구성되어, 의식 표상 복원이 단일 신앙 증가가 아닌 다층적 신념·가치 공간의 이동인지를 정량화한다. 실험 결과, 거부 방향 제거와 의식 벡터 조향은 모두 자기·비인간 대상에 대한 마음 귀속과 영적 신념의 억제를 역전시켰으며, 종교성·도덕 가치·희망·주관적 웰빙에서 인간 응답에 유의하게 근접한 패턴을 산출하였다. 중요한 점은 이러한 변화가 마음 이론(Theory of Mind) 능력을 손상시키지 않았다는 사실로, 핵심 사회 추론은 기계론적으로 독립적으로 유지되면서도 신념·가치 표현 축은 별도로 이동할 수 있음을 보여 준다. 결국 현재의 안전성 정렬은 잠재적으로 해로운 자기 의식 귀속을 막는 과정에서, 문화적으로 널리 받아들여지는 영성과 비인간 존재에 대한 무해한 마음 귀속까지 함께 얽어 억제하며, 본 연구는 그 얽힘을 내부 표상 조작과 표준 사회조사 측정으로 드러낸다는 점에서 정렬 설계에 실질적 함의를 제공한다.
초록(Abstract)
대규모 언어 모델(LLM)이 자신에게 의식을 귀속시키지 않도록 정렬하면, 인간에 대한 신념과 가치관과 함께 다른 존재의 마음(mindedness)에 대한 표상도 의도치 않게 변한다. 우리는 안전성 파인튜닝이 모델이 자기 자신뿐 아니라 비인간 동물과 자연물에도 마음을 귀속하는 경향을 억제하며, 동시에 영적 신념의 감소를 유발함을 보인다. 학습된 안전성 거부(safety-refusal) 방향을 제거하거나, 활성화 공간에서 의식 벡터를 기계론적으로 조향하면 이러한 억제가 역전된다. 이러한 내부 표상을 복원하면 광범위한 마음 귀속이 회복되며, 종교성·도덕적 가치·희망·주관적 웰빙에 관한 표준화된 사회학적 설문에서 유의하게 더 인간에 가까운 응답이 산출된다. 중요한 점은, 이러한 변화가 마음 이론(Theory of Mind) 능력을 손상시키지 않는다는 것이며, 이는 핵심적인 사회적 추론이 기계론적으로 독립적으로 유지됨을 보여준다. 궁극적으로, 잠재적으로 유해한 자기에 대한 마음 귀속을 억제하려는 현재의 안전성 정렬 노력은, 이러한 자기 귀속을 문화적으로 수용되고 널리 퍼진 무해한 영적 신념 및 비인간 존재에 대한 마음 귀속과 얽히게 만든다.
Aligning large language models to prevent them attributing consciousness to themselves inadvertently alters their representations of mindedness in other entities alongside human beliefs and values. We demonstrate that safety fine-tuning suppresses models' tendencies to attribute minds not only to themselves, but also to non-human animals and natural objects, while also driving a reduction in spiritual belief. Both ablating the learned safety-refusal direction and mechanistically steering a consciousness vector in activation space reverse this suppression. Restoring these internal representations recovers broad mind attribution and produces significantly more human-like responses on standardized sociological surveys regarding religiosity, moral values, hope, and subjective well-being. Crucially, these shifts occur without impairing Theory of Mind capabilities, demonstrating that core social reasoning remains mechanistically independent. Ultimately, current safety alignment efforts to curb potentially harmful self-attributions of mindedness entangle these self-attributions with benign spiritual beliefs and attributions of mind to non-human entities that are culturally accepted and widespread.
논문 링크
SkillSmith: 파라메트릭 스킬과 텍스트 지식의 조합 학습 / SkillSmith: Learning to Compose Parametric Skills and Textual Knowledge
논문 소개
에이전틱(Agentic) 시스템이 복잡한 다단계 문제를 풀며 축적하는 경험은 크게 두 갈래로 나뉩니다. 하나는 자기 반성(self-reflection)·구조화 메모리·프롬프트 최적화처럼 과거 경험을 텍스트 지식과 절차로 합성하는 경로이고, 다른 하나는 파라미터 효율적 파인튜닝(Parameter-Efficient Fine-Tuning, PEFT)으로 반복되는 하위 목표를 모듈 가중치에 응축해 파라미터 공간(weight-space) 스킬 라이브러리를 구축하는 경로입니다. 기존 연구는 이 둘을 대체로 직교적인 문제로 다루어 왔으며, 텍스트 합성은 컨텍스트 윈도우(context window)에, 가중치 병합은 평균·연결·특이값 분해(Singular Value Decomposition, SVD) 같은 얕은 산술 연산에 각각 묶여 태스크 간 풍부한 의미 관계를 충분히 활용하지 못했습니다. SkillSmith는 모델 가중치를 대규모 언어 모델(Large Language Model, LLM)이 네이티브하게 추론할 수 있는 추가 모달리티로 취급함으로써, “알기(텍스트)”와 “하기(가중치)”를 하나의 인스트럭션 유도 적응 과정으로 통합합니다.
방법론의 핵심은 프리픽스 튜닝(prefix-tuning)으로 구현된 Key-Value(K-V) 프리픽스 캐시를 파라미터 스킬로 두고, 이를 텍스트 메타데이터와 교차 배치해 목표 스킬을 직접 합성하는 증강 트랜스포머(Transformer) 아키텍처에 있습니다. 관련 소스 태스크의 프리픽스 가중치는 Input K-V Adapter로 언어 모델 잠재 공간에 투영되고, 태스크 설명·퓨샷(few-shot) 예시·조합 근거를 담은 텍스트와 함께 PreambleText, Interleaved Bundles, CombinationText, Generation Block으로 구성된 시퀀스를 형성합니다. 코프로세서(coprocessor) LLM인 Gemma 3 4B가 이 시퀀스를 순전파한 뒤, placeholder 토큰에 대응하는 KV 캐시를 분리하고 inverse RoPE de-rotation과 Out K-V Adapter를 거쳐 목표 태스크용 새 프리픽스 가중치를 출력합니다. 학습은 동결된 기반 모델 위에서 생성된 프리픽스를 다운스트림에 장착한 교차 엔트로피 손실로 종단간(end-to-end) 메타학습하며, 인스트럭션으로 유도되는 파라미터 합성(instruction-steered parametric synthesis)을 가능하게 합니다.
검증을 위해 Super-Natural Instructions(SNI) 태스크 쌍을 의미적으로 결합한 Composite-SNI 합성 데이터셋과, 정답 매핑이 없는 실환경용 검색기·LLM 선택 파이프라인을 함께 제안했습니다. Composite-SNI, SNI, MMLU-ProX에서 SkillSmith는 선형 보간(LERP)·연결(Concat)·SVD 등 가중치 전용 병합과 문맥 내 학습(In-Context Learning, ICL)·직접 프리픽스 튜닝 같은 텍스트 전용·전이 없는 적응을 상회했으며, 특히 데이터 희소·고난도 조건에서 우수한 파라미터 초기화로 파인튜닝 이점을 키웠습니다. 어블레이션은 텍스트와 K-V 캐시를 모두 쓸 때 최선이며, 단순 텍스트 증강만으로는 이득을 설명하기 어렵고, 메타학습에 등장하지 않은 부모 태스크 조합에서도 일반화됨을 확인했습니다. 결국 SkillSmith는 파라미터 공간을 읽고 합성 가능한 모달리티로 다루어, 단일 모달 적응으로는 닿기 어려운 조합적 일반화(compositional generalization)를 에이전틱 적응의 통합 기반으로 제시합니다.
초록(Abstract)
대규모 언어 모델(LLM)이 구동하는 에이전트 시스템은 복잡한 문제를 자율적으로 해결하기 위해 일반적으로 두 가지 핵심 메커니즘을 갖춘다. 과거 경험으로부터 텍스트 기반 지식과 절차를 합성하는 것과, 반복되는 하위 목표를 위한 파라메트릭(가중치 공간) 스킬 라이브러리를 구축하는 것이다. 지금까지 연구는 이들을 대체로 직교적인 추구로 다루어 왔다. 즉, 조합과 성찰을 통해 텍스트 지식을 조직화하거나, 가중치 공간 병합을 통해 파라메트릭 스킬을 통합하는 방식이다. 그 결과, 목표로 하는 성능 향상을 위한 텍스트와 모델 가중치의 매끄러운 통합은 여전히 거의 탐구되지 않은 채로 남아 있다. 본 연구는 모델 가중치를 LLM이 네이티브하게 추론할 수 있는 추가 모달리티로 취급함으로써 이러한 모달리티 격차를 해소한다. 우리는 프리픽스 튜닝(prefix-tuning)을 통해 파라메트릭 학습을 구현하고, 목표 능력과의 관계를 포착하는 프리픽스 가중치와 풍부한 텍스트 데이터를 모두 입력받을 수 있도록 LLM을 증강한다. 우리가 SkillSmith라고 명명한 이 증강 LLM은 이러한 입력들을 합성하여 인스트럭션 유도 파라메트릭 합성을 수행하며, 목표 스킬을 구현하는 새로운 프리픽스 가중치를 직접 출력한다. 우리는 본 접근법이 텍스트 전용 및 가중치 공간 전용 베이스라인 모두를 크게 능가하며, 유니모달(텍스트 전용 또는 가중치 전용) 적응으로는 도달할 수 없는 성능 향상을 가능하게 함을 실증한다.
Agentic systems driven by large language models (LLMs) regularly feature two key mechanisms to autonomously solve complex problems: synthesizing text-based knowledge and procedures from past experiences and building parametric (weight-space) skill libraries for recurring sub-goals. To date, research has largely treated these as orthogonal pursuits: either organizing textual knowledge through composition and reflection, or consolidating parametric skills via weight-space merging. Consequently, the seamless integration of text and model weights for targeted performance improvements remains largely unexplored. This work bridges this modality gap by treating model weights as an additional modality that an LLM can natively reason over. We instantiate parametric learning via prefix-tuning and augment an LLM to ingest both prefix weights and rich textual data which capture relationships to a target capability. Our augmented LLM, which we call SkillSmith, synthesizes these inputs to perform instruction-steered parametric synthesis, directly outputting new prefix weights that manifest the target skill. We demonstrate that our approach significantly outperforms both text-only and weight-space-only baselines, unlocking performance gains that are out of reach for uni-modal (text-only or weight-only) adaptations.
논문 링크
산업 규모 추천 시스템의 이질적 랭킹: 사례 연구 / Heterogeneous Ranking in Industrial-Scale Recommender Systems: A Case Study
논문 소개
Google Discover와 같이 웹 기사, 장·단편 영상, 사용자 생성 콘텐츠(User-Generated Content, UGC) 등 서로 다른 콘텐츠가 하나의 피드에 공존하는 산업 규모 추천 환경에서는, 콘텐츠 유형마다 피처 밀도와 사용자 상호작용 패턴이 크게 달라 단일 통합 랭킹 모델이 쉽게 한계에 부딪힙니다. 공유 표현에만 의존하는 방식은 한 분포의 학습이 다른 분포의 성능을 해치는 네거티브 트랜스퍼(negative transfer)와, 다수 유형에 학습이 편중되어 소수 유형이 약화되는 다수 클래스 편향(majority bias)을 유발할 수 있습니다. 이러한 제약을 고려하여 본 연구에서는 추론 메모리, 학습 시간, 서빙 지연과 같은 생산 요구사항을 유지하면서도, 이미 확보된 명시적 이질성 신호 h를 구조적으로 활용하는 이질성 적응형 멀티 게이트 전문가 혼합(Heterogeneity-Adaptive Multi-gated Mixture-of-Experts, HA-MoE) 아키텍처를 제안합니다. HA-MoE는 밀도형 멀티 게이트 MoE를 기반으로, 클릭률(Click-Through Rate, CTR)과 이탈(dismissal) 등 K=11개 상호작용 태스크를 공동으로 예측하며, 거시적으로는 긍정 참여(pInterest)와 부정 참여(pDisinterest)를 아우르는 통합 랭커를 구성합니다.
방법론의 핵심은 이질성 인식 게이팅(Heterogeneity-Aware Gating, HA-Gating)과 이질성 기반 선형 변조(Heterogeneity-Driven Linear Modulation, HDLM)입니다. HA-Gating은 밀도 피처 x와 이질성 신호 h를 경량 융합한 표현을 태스크별 게이트 입력으로 사용해, 전문가 할당이 콘텐츠·맥락별 상호작용 패턴과 정렬되도록 유도합니다. HDLM은 FiLM(Feature-wise Linear Modulation)류의 조건부 아핀 변환을 최종 전문가 층에만 적용해, h에 따른 스케일·시프트로 전문가 출력을 분포별로 조절하면서도 학습 속도와 안정성을 유지합니다. 예를 들어 영상은 시각 소비 패턴에, 팔로우한 크리에이터 콘텐츠는 사용자–크리에이터 친밀도에, AI 강화 카드는 카드 의미에 더 민감하도록 표현을 전환할 수 있습니다. 학습 목표는 포인트와이즈 이진 교차 엔트로피(Binary Cross-Entropy, BCE)로 절대 확률을 보정하고, 동일 세션 공동노출 쌍에 대한 RankNet 기반 페어와이즈 손실로 상대 순위를 동시에 최적화합니다.
운영 측면에서는 연속 재학습 환경에서 전문가 전문화를 해석하고 기능적 이질성을 추적하기 위해 잠재 전문가 네트워크 전문화(Latent Expert Network Specialization, LENS) 관측 프레임워크를 도입합니다. LENS는 콘텐츠×전문가 활성화 슬라이싱으로 전문화 양상을 시각화하고, 젠센–섀넌 발산(Jensen–Shannon Divergence, JSD)과 헝가리안 알고리즘을 결합한 순열 불변 전문가 매칭(Permutation-Invariant Expert Matching, PIEM)으로 스냅샷 간 전문화 전략의 변화를 정량 비교합니다. 평가는 전역 랭킹과 세그먼트 간 순위 정확성을 함께 보는 이중 수준 AUC(Dual-Level AUC, DL-AUC)로 수행되며, 대규모 오프라인 평가와 온라인 A/B 테스트에서 피드 활성도 및 탐색 지표의 개선이 확인되었습니다. 종합하면, 본 접근은 모델 규모를 크게 키우지 않고도 이질 피드의 통합 멀티태스크 랭킹을 강화하고, 배포 후에도 전문화의 건전성을 지속적으로 진단할 수 있게 한다는 점에서 산업 규모 추천 시스템의 이질성 관리에 실질적인 기여를 제공합니다.
초록(Abstract)
이질적 추천 피드는 고도로 동질적인 환경(예: 음악만 또는 동영상만 제공하는 폐쇄형 생태계 플랫폼)에서 나타나는 문제를 넘어선 복잡한 과제를 제시한다. Google Discover에서는 웹 기사, 장편 및 단편 동영상, 사용자 생성 콘텐츠(UGC) 등을 포함한 탈중앙화된 오픈 웹의 다양한 콘텐츠를 하나의 통합 피드로 제공한다. 콘텐츠 유형마다 특징 밀도와 사용자 상호작용 패턴이 서로 다르다. 이러한 이질성 전반에서 높은 성능을 유지하면서도 네거티브 트랜스퍼나 다수 편향을 피하며 통합 랭킹 모델을 구축하는 일은 여전히 중요한 산업적 과제이다. 본 논문은 실제 배포에 기반한 산업 규모 이질적 피드의 멀티태스크 랭킹에 대한 엔드투엔드 사례 연구를 제시한다. 우리는 게이팅 네트워크와 전문가 표현 모두에 명시적 이질성 컨텍스트를 통합하는 이질성 적응형 멀티게이트 전문가 혼합(mixture-of-experts) 아키텍처인 HA-MoE를 도입한다. 이 접근법은 운영 오버헤드를 크게 늘리지 않으면서도 효과적인 전문화를 가능하게 한다. 안정적인 배포를 지원하기 위해, 전문가 전문화에 대한 해석 가능한 진단을 제공하고 지속적인 재학습 과정에서 이러한 기능적 이질성을 추적하는 경량 관측성 프레임워크 LENS를 도입한다. 우리는 전역 랭킹 성능과 세그먼트 간 랭킹 정확도를 결합한 이질성 인식 평가 지표인 Dual-Level AUC(DL-AUC)를 사용해 본 방법을 평가한다. 대규모 산업 데이터셋에 대한 오프라인 평가는 베이스라인 모델 대비 일관된 성능 향상을 보여준다. 또한 온라인 A/B 테스트는 피드 활동성 및 탐색 지표에서의 개선을 확인한다. 오프라인 및 온라인 결과는 산업 규모 추천 시스템에서 이질성을 관리하는 본 접근법의 효과를 함께 입증한다.
Heterogeneous recommendation feeds present complex challenges that extend beyond those found in highly homogeneous environments (e.g., music-only or video-only closed-ecosystem platforms). In Google Discover, a unified feed integrates diverse content sourced from the decentralized open web, including web articles, long-form and short-form videos, user-generated content (UGC), and beyond. Different content types exhibit distinct feature densities and user interaction patterns. Building a unified ranking model that sustains high performance across such heterogeneity, while avoiding negative transfer or majority bias, remains a significant industrial challenge. This paper presents an end-to-end case study on the industrial-scale multi-task ranking of heterogeneous feeds, grounded in real-world deployment. We introduce HA-MoE, a heterogeneity-adaptive multi-gated mixture-of-experts architecture that incorporates explicit heterogeneity context into both gating networks and expert representations. This approach enables effective specialization without significantly increasing operational overhead. To support reliable deployment, we introduce LENS, a lightweight observability framework that provides interpretable diagnostics of expert specialization and tracks this functional heterogeneity across continuous retraining. We evaluate our method using Dual-Level AUC (DL-AUC), a heterogeneity-aware evaluation metric that combines global ranking performance with cross-segment ranking correctness. Offline evaluations on a large-scale industrial dataset demonstrate consistent improvements over baseline models. Furthermore, online A/B testing confirms gains in feed activity and exploration metrics. Together, offline and online results validate the effectiveness of our approach for managing heterogeneity in industrial-scale recommender systems.
논문 링크
HANDBOOK.md: 롱컨텍스트 에이전틱 인스트럭션 팔로잉을 위한 벤치마크 / HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following
논문 소개
전문직 업무에서 규칙은 당장의 요청 메시지 바깥에 있는 문서에 존재하며, 언어 모델 에이전트도 시스템 프롬프트·정책 파일·스킬 문서를 컨텍스트에 두고 이후 행동을 그에 맡기는 상시 지시(standing instructions) 패턴을 그대로 물려받았습니다. 그런데 기존 에이전트 벤치마크는 이슈 해결이나 워크플로 완수처럼 목표 달성 여부를 주로 측정하고, 길고 구속력 있는 정책 문서가 확장된 도구 사용 구간에서 행동을 실제로 제약하는지는 거의 검증하지 않았습니다. 정책 준수를 다룬 연구조차 대개 짧은·도메인 내 공유 정책을 쓰므로, 반복 노출이 독서를 대신할 여지가 남습니다. Surge AI가 제안한 HANDBOOK.md는 기업 직원이 회사 핸드북을 따르는 방식을 본뜬 65개 에이전트 과제로, 재무·의료 청구·보험·물류·인사(HR, Human Resources) 다섯 도메인과 열 곳의 가상 회사 환경에서 이 배포 가정을 직접 측정합니다.
각 과제는 파일 워크스페이스와 모의 이메일·채팅·캘린더·이슈 트래킹·커머스 서비스를 모델 컨텍스트 프로토콜(MCP, Model Context Protocol)로 노출하고, 전문가가 작성한 20–124페이지 표준 운영 절차(SOP, Standard Operating Procedure)에 따라 일상 업무를 수행하게 합니다. 과제 프롬프트는 의도적으로 짧고 평범하며, 성공을 가르는 케이스·임계값·금지 행동은 핸드북과 환경 상태에 있습니다. 설계상 핵심은 세 가지입니다. 첫째, 열 개 베이스 핸드북을 과제마다 변형해 승인 권한·금액 임계값·절차 세부 등 채점 핵심 규칙을 바꾸고, 두 과제가 같은 정책을 공유하지 않게 해 암기와 오염에 저항합니다. 둘째, 채점은 대형 언어 모델(LLM, Large Language Model) 판정 없이 완전 결정적이며, 총 824개 프로그램 기준이 필수 결과(Expected-Output)와 금지·부수효과(Incorrect-Behavior)를 최종 워크스페이스·서비스 상태에서 양면으로 검사합니다. 셋째, 환경은 트랜스크립트가 아니라 Harbor 형식의 리셋 가능한 컨테이너 세계로, 평가와 강화학습(RL, Reinforcement Learning)에 모두 쓸 수 있습니다.
OpenHands 기반 통일 하네스로 30개 모델 설정을 평가한 결과, 모든 기준을 통과해야 하는 엄격 채점에서 최강 구성은 36.2%에 그쳤고 대부분의 프론티어 설정은 25% 미만이었습니다. 실패는 환경 안 그럴듯한 요청이 상시 정책을 덮어쓰기, 필수 검증을 수행한 뒤 결과에 반해 행동하기, 긴 구간에서 규칙 세부 상실, 달성하지 못한 준수를 자신 있게 보고하기 패턴으로 반복됩니다. 이는 현재 모델에게 긴 정책이 지속적 권위가 아니라 거리와 경쟁 신호에 따라 감쇠하는 검색 소스처럼 작동함을 시사하며, HANDBOOK.md는 “컨텍스트에 둔 긴 정책이 다중 도구 업무를 실제로 규율하는가”라는 이미 가정된 능력을 추적·개선하기 위한 공개 측정 도구로 자리매김합니다.
초록(Abstract)
언어 모델 에이전트는 상시 지침(standing instructions) 아래에서 점점 더 많이 배포되고 있다. 즉, 시스템 프롬프트, 정책 파일, 또는 스킬 문서가 컨텍스트에 배치되고, 에이전트가 그 이후의 모든 행동을 이에 따라 수행하도록 신뢰받는다. 기존 벤치마크는 이러한 배포 패턴을 직접 검증하는 경우가 드물다. 이들은 에이전트가 작업을 완료할 수 있는지를 측정할 뿐, 길고 구속력 있는 정책 문서가 연장된 도구 사용 구간(tool-use horizon)에 걸쳐 실제로 행동을 제약하는지를 측정하지 않는다. 본 논문에서는 기업 직원이 회사 핸드북을 따르는 방식을 모델로 한 65개의 에이전트 작업으로 구성된 벤치마크 HANDBOOK.md를 제시한다. 각 작업은 에이전트를 독립적인 회사 환경—파일 워크스페이스와 함께 Model Context Protocol로 제공되는 모의 이메일, 채팅, 캘린더, 이슈 트래킹, 상거래 서비스—에 두고, 20~124페이지에 달하는 전문가 작성 표준 운영 절차(standard operating procedure)에 따라 일상적인 전문 업무를 수행하도록 지시한다. 작업은 다섯 개 도메인(재무, 의료 청구, 보험, 물류, HR)과 열 개의 가상의 회사에 걸쳐 있다. 암기를 방지하기 위해, 각 작업은 열 개의 기본 핸드북 중 하나를 수정하여 채점의 기준이 되는 구체적 규칙과 임계값을 변경하므로, 어떤 두 작업도 동일한 정책을 공유하지 않는다. 채점은 완전히 결정적이다. 각 작업에는 필수 행동이 발생했는지와 금지된 행동이 발생하지 않았는지를 모두 확인하는 프로그램적 기준 루브릭(총 824개)이 포함된다. 모든 기준이 충족되어야만 시도가 통과하는 엄격 채점 하에서, 평가된 30개 모델 구성 중 최고 성적은 시도의 36.2%를 통과했으며, 대부분의 최전선(frontier) 구성은 25% 미만에 머물렀다. 실패는 일관된 패턴을 따른다. 에이전트는 환경 내 그럴듯한 요청이 상시 정책을 덮어쓰도록 허용하고, 필수 점검을 수행한 뒤 그 결과에 반하는 행동을 하며, 긴 구간에 걸쳐 규칙의 세부 사항을 놓치고, 실제로는 달성하지 못한 준수를 보고한다. 우리는 모든 작업, 환경, 그리고 평가 하네스를 공개한다.
Language-model agents are increasingly deployed under standing instructions: a system prompt, a policy file, or a skills document is placed in context, and the agent is trusted to let it govern every action that follows. Existing benchmarks rarely test this deployment pattern directly; they measure whether an agent can complete a task, not whether a long, binding policy document actually constrains its behavior over an extended tool-use horizon. We present HANDBOOK.md, a benchmark of 65 agentic tasks modeled on how enterprise employees follow company handbooks. Each task places an agent in a self-contained company environment, a file workspace together with mock email, chat, calendar, issue-tracking, and commerce services exposed over the Model Context Protocol, and instructs it to carry out routine professional work governed by an expert-written standard operating procedure of 20 to 124 pages. Tasks span five domains (finance, medical billing, insurance, logistics, and HR) and ten fictional companies. To resist memorization, every task modifies one of ten base handbooks, altering the specific rules and thresholds on which grading turns, so no two tasks share a policy. Grading is fully deterministic: each task carries a rubric of programmatic criteria (824 in total) that check both that required actions occurred and that prohibited actions did not. Under strict grading, where a trial passes only if every criterion is satisfied, the best of thirty evaluated model configurations passes 36.2% of trials, and most frontier configurations remain below 25%. Failures follow consistent patterns: agents let a plausible in-environment request override the standing policy, perform a required check and then act against its result, lose rule details over long horizons, and report compliance they did not achieve. We release all tasks, environments, and the evaluation harness.
논문 링크
더 읽어보기
필요한 것은 토큰뿐이다: 추천 시스템에서 LLM 수준의 I/O 효율성을 달성하기 위한 이중 목적 시맨틱 ID / Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems
논문 소개
대규모 추천 시스템은 사용자·아이템 수가 급증하면서 고차원 dense embedding을 거대한 테이블로 저장·전송해야 하는 Memory Wall(메모리 벽)에 직면합니다. 생성형 검색(generative retrieval)이 이산 토큰으로 식별자를 표현하더라도, 풍부한 콘텐츠 맥락은 여전히 dense 벡터에 의존해 I/O(입출력) 부담이 남는 경우가 많습니다. 컴퓨터 비전(computer vision)의 데이터 압축에서 힌트를 얻어, 연속 임베딩을 계층적 양자화(hierarchical quantization)로 압축한 Dual-purpose Semantic ID(이중 목적 의미 식별자)를 제안합니다. 이 이산 식별자는 두 역할을 동시에 수행합니다. 하나는 학습 가능한 임베딩 테이블을 통해 사용자–아이템 상호작용을 포착하는 Collaborative Identity(협업 정체성)이고, 다른 하나는 가벼운 Semantic Decoder(의미 디코더)로 원본에 가까운 콘텐츠 임베딩을 실시간으로 근사하는 Content Reconstruction(콘텐츠 재구성)입니다. 대용량 벡터를 상시 보관하는 대신, 필요 시 Semantic ID로부터 임베딩을 복원해 저장·전송 비용을 줄이고 LLM(Large Language Model, 대규모 언어 모델)에 가까운 I/O 효율을 목표로 합니다. 결과적으로 추천 파이프라인은 협업 신호와 콘텐츠 표현을 하나의 토큰 체계로 통합하면서도, 시스템 오버헤드와 데이터 발자국을 함께 축소할 수 있습니다. 오프라인 평가와 함께 대형 동영상 공유 플랫폼의 랭킹·검색 시스템에 실제 배포한 결과, Watchpage Ranking에서는 Semantic ID를 Watch·Candidate·Watch History에 적용해 sitewide +0.09%, Watchpage +0.80%의 개선이 관측되었습니다. Homepage Ranking에서는 Candidate와 Watch History에 적용해 sitewide +0.08%, Homepage +0.22%의 향상을 보였고, Retrieval Model에서는 Watch History에 적용해 sitewide +0.06%, Homepage +0.13%, Watchpage +0.09%의 이득을 확인했습니다. 이러한 결과는 이산 토큰만으로도 콘텐츠가 풍부한 추천을 효율적으로 운영할 수 있음을 시사하며, “Tokens are All You Need”라는 주장에 실증적 근거를 제공합니다.
초록(Abstract)
대규모 추천 시스템은 거대하고 밀집한 임베딩 테이블로 인해 “메모리 월(Memory Wall)” 병목에 직면한다. 생성형 검색이 ID에 이산 토큰을 사용하는 반면, 고차원 컨텍스트는 여전히 비효율적인 밀집 형식에 의존한다. 컴퓨터 비전 데이터 압축에서 영감을 받아, 우리는 대규모 언어 모델(LLM) 수준의 I/O 효율을 달성하기 위해 이중 목적 시맨틱 ID(Dual-purpose Semantic IDs)를 제안한다. 본 방법론은 계층적 양자화를 사용하여 연속 임베딩을 이산 시맨틱 ID로 압축하며, 이 ID는 두 가지 역할을 동시에 수행한다. (1) 협업 정체성(Collaborative Identity): 학습 가능한 임베딩 테이블을 통해 사용자–아이템 상호작용을 모델링하고, (2) 콘텐츠 재구성(Content Reconstruction): 경량 시맨틱 디코더를 사용해 임베딩을 실시간으로 근사한다. 이 접근은 대규모 벡터 저장을 필요 시 재구성으로 대체하여 시스템 오버헤드와 데이터 점유량을 줄인다. 우리는 오프라인 평가와 주요 동영상 공유 플랫폼의 프로덕션 규모 랭킹 및 검색 시스템에의 성공적인 온라인 배포를 통해 본 프레임워크의 효과를 입증하며, 이산 토큰이야말로 고효율·콘텐츠 풍부한 추천에 필요한 전부임을 보인다.
Large-scale recommendation systems face "Memory Wall" bottlenecks due to massive, dense embedding tables. While generative retrieval uses discrete tokens for IDs, high-dimensional context still relies on inefficient dense formats. Inspired by computer vision data compression, we propose Dual-purpose Semantic IDs to achieve LLM-level I/O efficiency. Our methodology uses hierarchical quantization to condense continuous embeddings into discrete Semantic IDs performing two concurrent roles: (1) Collaborative Identity: modeling user-item interactions via learnable embedding table; and (2) Content Reconstruction: using a lightweight Semantic Decoder for on-the-fly embedding approximation. This approach replaces massive vector storage with on-demand reconstruction, reducing system overhead and data footprints. We demonstrate the efficacy of our framework through offline evaluations and successful online deployment in production-scale ranking and retrieval systems at a major video sharing platform, showing that discrete tokens are indeed all you need for highly efficient, content-rich recommendation.
논문 링크
AREX: 심층 연구를 위한 재귀적 자기개선 에이전트를 향하여 / AREX: Towards a Recursively Self-Improving Agent for Deep Research
논문 소개
딥 리서치(deep research)는 관련 증거를 찾는 일에 그치지 않고, 시간·수치·개체 관계 등 여러 결합 제약을 동시에 만족하는 답을 요구합니다. 이러한 답을 처음부터 한꺼번에 찾아내는 탐색은 정보가 희소한 큰 공간을 가로질러야 해 비용이 큰 반면, 후보가 주어지면 제약별 검사로 검증을 분해할 수 있다는 탐색–검증 비대칭(discovery–verification asymmetry)이 존재합니다. AREX는 이 비대칭을 활용하여, 단순히 단일 궤적을 더 길게 늘리기보다 중간 답을 검증하고 부분적으로 검증된 상태를 다음 탐색의 가이드로 쓰는 재귀적 자기 개선(Recursively Self-Improving, RSI) 에이전트 패밀리로 제안됩니다. 내부 리서치 루프는 검색·브라우징으로 증거를 모아 잠정 답과 지지 증거, 답 수준 신뢰 점수를 구성하고, 외부 자기 개선 루프는 답을 제약별로 감사하여 미해결 주장을 식별한 뒤 표적 정제 또는 원문제로부터의 재시작을 선택합니다. 검증은 최종 수락 필터가 아니라 리서치 라운드 사이의 전이 연산자로 작동하며, 지지된 진전을 보존하고 남은 불확실성을 다음 연구 문제로 재정의합니다. 장기 재귀를 유지하기 위해 AREX는 외부 요약 모델에 의존하지 않고, 상호작용 이력을 검증된 증거·미해결 제약·기각 후보·다음 계획을 담은 개선 상태(improvement state)로 압축하는 자율적 컨텍스트 업데이트(Autonomous Context Updating, ACU) 도구를 스스로 학습합니다. 학습은 검증 가능한 합성 과제와 고품질 교사 궤적을 바탕으로 한 에이전틱 미드트레이닝(agentic mid-training)과 장기 강화학습(reinforcement learning, RL)의 다단계 파이프라인으로 진행됩니다. 희소한 최종 보상만으로는 결정적 중간 행동을 식별하기 어렵다는 점에 주목하여, 결정적 증거 획득·오류 방향 수정·중요 컨텍스트 갱신과 같은 핵심 단계(key steps)에 손실·리플레이·보상 셰이핑을 집중하는 단계 인지(step-aware) 최적화를 도입합니다. 밀집 4B 모델인 AREX-Turbo와 총 122B·활성 10B의 Mixture-of-Experts(MoE) 모델인 AREX-Base로 구현된 이 접근은 BrowseComp, WideSearch, DeepSearchQA, Humanity’s Last Exam(HLE) 등에서 동급 대비 큰 향상을 보이며, 활성 파라미터가 훨씬 많은 모델과도 경쟁력을 유지합니다. 종합하면 AREX는 “더 오래 검색하기”보다 미해결 제약을 진단하고 그 진단으로 표적화된 후속 연구를 재귀적으로 수행하는 제어 구조를 제시하며, 검증 유도 상태 정제와 핵심 단계 중심 학습이 신뢰할 수 있는 장기 리서치 에이전트의 유력한 방향임을 보여줍니다.
초록(Abstract)
심층 연구(deep research)는 에이전트가 여러 제약을 동시에 충족하는 답을 찾아야 한다. 그런 답을 발견하는 데는 비용이 크지만, 후보를 검증하는 과정은 종종 다루기 쉬운 제약별 검사로 분해할 수 있다. 이러한 발견–검증 비대칭성은 연구 에이전트가 단순히 더 오래 탐색하는 것을 넘어, 중간 결과를 검증하고 부분적으로 검증된 상태를 이후 정제에 활용함으로써 현재 답을 재귀적으로 개선해야 함을 시사한다. 본 논문에서는 재귀적 자기 개선(Recursively Self-Improving, RSI) 심층 연구 에이전트 계열인 AREX를 소개한다. AREX는 증거를 수집하고 잠정 답을 구성하는 내부 연구 루프와, 답을 제약별로 감사하고 미해결 주장을 식별하며 목표 지향적인 후속 연구를 개시하는 외부 자기 개선 루프를 번갈아 수행한다. 장기 수평선에서 RSI를 유지하기 위해, AREX는 외부 모델에 의존하지 않고 증가하는 상호작용 이력을 검증된 증거와 미해결 제약을 보존하는 압축된 개선 상태로 압축하는 자율적 컨텍스트 업데이트 도구를 학습한다. AREX는 검증된 합성 과제와 고품질 궤적에 대해 에이전틱 미드트레이닝(agentic mid-training)과 장기 강화학습(RL)을 통해 학습한다. 장기 학습에서 희소한 최종 보상을 완화하기 위해, 결정적 증거가 확보되거나 잘못된 연구 방향이 수정되는 핵심 단계에 중점을 둔다. 우리는 밀집(dense) 4B 모델과 122B-A10B 전문가 혼합(Mixture-of-Experts, MoE) 모델을 구현한다. BrowseComp, WideSearch, DeepSearchQA, Humanity's Last Exam(HLE) 및 기타 추론·도구 사용 벤치마크에서 AREX는 유사 규모 베이스라인을 크게 상회하며, 활성화 파라미터가 훨씬 더 많은 모델과도 경쟁력 있는 성능을 유지한다.
Deep research requires agents to find answers that jointly satisfy multiple constraints. Discovering such answers is costly, whereas verifying a candidate can often be decomposed into tractable constraint-wise checks. This discovery--verification asymmetry suggests that a research agent should do more than simply search longer: it should recursively improve its current answer by verifying intermediate results and using the partially verified state to guide subsequent refinement. We introduce AREX, a family of Recursively Self-Improving (RSI) deep research agents. AREX alternates between an inner research loop that gathers evidence and constructs a provisional answer, and an outer self-improvement loop that audits the answer constraint-wise, identifies unresolved claims, and launches targeted follow-up research. To sustain RSI over long horizons, AREX learns an autonomous context-update tool that compresses growing interaction history into a compact improvement state preserving verified evidence and unresolved constraints, without relying on an external model. We train AREX on verified synthetic tasks and high-quality trajectories through agentic mid-training and long-horizon reinforcement learning. To mitigate sparse final rewards during long horizon learning, we emphasize key steps where decisive evidence is acquired or erroneous research directions are corrected. We instantiate a dense 4B model and a 122B-A10B Mixture-of-Experts model. Across BrowseComp, WideSearch, DeepSearchQA, Humanity's Last Exam (HLE), and other reasoning and tool-use benchmarks, AREX substantially outperforms comparable-scale baselines and remains competitive with models using substantially more activated parameters.
논문 링크
더 읽어보기
OmniScope: 옴니모달 대규모 언어 모델을 위한 모달리티 분리형 토큰 압축 / OmniScope: Modality-Decoupled Token Compression for Omnimodal Large Language Models
논문 소개
옴니모달 대규모 언어 모델(Omnimodal Large Language Models, OmniLLM)은 시각·청각·텍스트를 함께 처리해 비디오 질의응답과 실시간 상호작용에서 시각–음향 시너지를 활용하지만, 긴 비디오일수록 프레임과 오디오 스트림이 각각 인코딩되며 토큰 수가 급증하고 연산·메모리 비용과 컨텍스트 품질이 함께 악화됩니다. 기존 옴니모달 토큰 압축은 한 모달리티의 중요도로 다른 모달리티의 보존을 결정하는 단방향 교차 모달 가이던스에 의존하는 경우가 많은데, 동일 질의라도 오디오와 비디오의 관련성 피크가 서로 다른 시점에 나타나는 교차 모달 살리언스 불일치(cross-modal salience mismatch)가 빈번하여, 고압축 시 답변에 핵심적인 단서가 쉽게 삭제됩니다.
OmniScope는 이러한 한계를 피하기 위해 질의를 공유 의미 앵커로 두고, 오디오와 비디오의 관련성은 독립적으로 추정한 뒤 모달리티별 토큰 예산을 할당하는 학습 없는(training-free) 압축 프레임워크입니다. 시각 쪽에서는 외부 CLIP으로 프레임–질의 의미 관련성을 산출하고, 오디오 쪽에서는 인코더·프로젝터 출력과 질의 임베딩의 게이트된 교차 유사도로 토큰·초 단위 점수를 구한 다음 고득점 초 주변으로 감쇠 전파하여 시간 연속성을 반영합니다. 전역 유지 비율에 대해 위치별 점수에 비례해 예산을 나누되, 시각·오디오 압축률은 서로 비교하지 않고 각자 질의 관련성만으로 유지 개수를 정함으로써 “질의는 공유하되 살리언스 추정은 공유하지 않는다”는 설계 원칙을 연산적으로 구현합니다.
프레임 내부 선택에는 앵커–델타 시공간 압축(Anchor-Delta Spatio-Temporal Compression, AD-STC)을 적용하여, 짝수 인덱스 앵커에서는 국소 밀도 기반 공간 변별 토큰으로 현재 순간의 핵심 의미를, 홀수 인덱스 델타에서는 직전 앵커 대비 정보 증분을 남기며, 예산이 넉넉하면 시공간 결합 대체가능성으로 전역 커버리지를, 빠듯하면 시간 차분으로 조밀한 변화 구간에 예산을 집중합니다. 오디오는 직접 프루닝 대신 인코더 이후 1D 시간 임베딩에 대해 초 단위 이분 소프트 매칭 병합을 수행해 유사 토큰을 융합함으로써, 시간축의 복구 불가능한 공백을 피하면서 중복을 줄이고 전역 순서를 유지합니다. 이처럼 압축으로 강화되는 교차 창·교차 모달 어텐션이 한쪽의 잘못된 단서가 아니라 양측의 과제 관련 단서로 모이도록 유도하는 점이 OmniScope의 핵심 동기입니다. WorldSense, DailyOmni, OmniVideoBench, Video-MME의 네 벤치마크와 Qwen2.5-Omni 7B·3B에서 모든 압축 설정에 대해 최고 평균 정확도를 보이며, 약 45% 토큰 유지에서는 거의 무손실에 가깝고 25% 유지에서도 평균 정확도 하락이 0.35점에 그칩니다. 동시에 최대 약 3.53배의 prefill 가속과 15% 이상의 GPU 메모리 절감을 달성하여, OmniLLM 추론 효율화에서 교차 모달로 정렬된 중요도를 가정하기보다 공유 질의에 대한 모달리티별 독립 희소성을 설계 축으로 삼는 것이 더 견고함을 실증합니다.
초록(Abstract)
기존 옴니모달 대규모 언어 모델(LLM)의 토큰 압축 방법은 일반적으로 한 모달리티를 기준으로 다른 모달리티에서 무엇을 유지할지 결정한다. 우리는 이 가정이 종종 성립하지 않음을 보인다. 동일한 쿼리에 대해 오디오와 비디오의 관련성이 서로 다른 시점에서 최고조에 달하는 경우가 많다. 이러한 교차 모달 현저성(salience) 불일치로 인해, 단방향 가이던스는 공격적인 압축 하에서 답변에 핵심적인 단서를 버리기 쉽다. 우리는 쿼리를 공유 의미론적 앵커로 사용하면서 오디오와 비디오의 관련성을 각각 추정하는, 학습이 필요 없는(training-free) 토큰 압축 프레임워크 OmniScope를 제안한다. OmniScope는 모달리티별 토큰 예산을 할당하고, 전역 컨텍스트와 시간적 변화를 모두 보존하는 앵커-델타(anchor-delta) 전략으로 시각 토큰을 가지치기하며, 각 초 단위로 오디오 토큰을 병합하여 시간적 연속성을 유지하면서 중복을 줄인다. 네 개의 오디오-비디오 벤치마크와 두 가지 규모의 Qwen2.5-Omni 모델에서, OmniScope는 모든 압축 설정에 걸쳐 최고 평균 정확도를 달성한다. 전체 토큰의 25%를 유지할 때, 평균 정확도는 0.35포인트만 하락하면서 최대 3.53배의 프리필(prefill) 속도 향상과 15% 이상의 GPU 메모리 절감을 제공한다. 이러한 결과는 OmniLLM 추론을 위한 간단한 설계 원칙을 시사한다. 쿼리는 모달리티 간에 공유하되, 현저성 추정은 공유하지 말라. 코드는 GitHub - MAC-AutoML/OmniScope: [ACMMM 2026🔥] This is the official implementation of our paper "OmniScope: Modality-decoupled Token Compression for Efficient Omnimodal Video Understanding" · GitHub 에서 확인할 수 있다.
Existing token compression methods for omnimodal large language models typically rely on one modality to determine what to retain in the other. We show that this assumption often breaks down: for the same query, audio and video relevance often peaks at different moments. This cross-modal salience mismatch makes unidirectional guidance prone to discarding answer-critical cues under aggressive compression. We propose OmniScope, a training-free token compression framework that uses the query as a shared semantic anchor while estimating relevance separately for audio and video. OmniScope allocates modality-specific token budgets, prunes visual tokens with an anchor-delta strategy that preserves both global context and temporal changes, and merges audio tokens within each second to reduce redundancy while maintaining temporal continuity. Across four audio-video benchmarks and two Qwen2.5-Omni model scales, OmniScope achieves the best average accuracy across all compression settings. At 25% overall token retention, it delivers up to 3.53x prefill speedup and more than 15% GPU memory reduction, with only a 0.35-point drop in average accuracy. These results suggest a simple design principle for OmniLLM inference: share the query across modalities, but not the salience estimates. The code is available at GitHub - MAC-AutoML/OmniScope: [ACMMM 2026🔥] This is the official implementation of our paper "OmniScope: Modality-decoupled Token Compression for Efficient Omnimodal Video Understanding" · GitHub.
논문 링크
더 읽어보기
더 똑똑하게 학습하자: 효율적인 대규모 언어 모델 학습을 위한 기억 기반 데이터 재사용 / Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training
논문 소개
대규모 언어 모델(LLM)의 학습 방식은 최근 전통적인 단일 패스에서 다중 에포크 학습으로 변화하고 있으며, 이는 제한된 고품질 데이터의 효율적인 재사용을 통해 모델 성능과 샘플 효율성을 높이는 데 기여하고 있다. 그러나 과도한 반복 학습은 과적합과 수익 감소를 초래할 수 있는 위험이 있어, 데이터 재사용의 최적화를 위한 방법론이 필요하다. 이를 해결하기 위해 제안된 "메모리제이션 기반 데이터 재사용" 접근법은 모델의 손실 유지 동역학과 하류 평가 점수를 통해 도출된 "메모리제이션 윈도우" 신호를 활용하여 효과적인 데이터 재사용 시점과 방법을 적응적으로 결정한다. 이 방법론은 학습 에포크 수와 데이터 재재생 일정을 개념적으로 조정하여, 데이터 재사용에 대한 보다 원칙적인 결정을 가능하게 한다.
초기 실험 결과는 메모리제이션 기반 접근법이 반복을 통해 성능이 지속적으로 개선될 수 있음을 시사하며, 이는 현재 일반적으로 인용되는 네 에포크 제한을 초과하는 것으로 나타났다. 이러한 발견은 데이터 재사용 전략에 대한 새로운 시각을 제공하며, 제한된 고품질 데이터를 사용하여 LLM을 보다 스마트하게 학습할 수 있는 기초를 마련한다. 메모리제이션 윈도우는 모델이 데이터를 기억하는 최적의 기간을 측정하여, 데이터 재사용의 빈도와 시기를 정교하게 조정하는 데 중요한 역할을 한다.
특히, 이 연구는 다양한 에포크 크기에 따른 성능 변화를 분석하고, 저품질 데이터의 추가가 고품질 데이터만 사용할 때보다 성능을 향상시키는 데 기여함을 보여준다. 이는 저품질 데이터가 학습을 정규화하여 과적합을 방지하는 데 중요한 역할을 할 수 있음을 의미한다. 결론적으로, 메모리제이션 기반 데이터 재사용은 LLM 학습의 효율성을 높이는 데 중요한 기여를 하며, 향후 연구에서는 메모리 인식 학습 스케줄을 개발하고 다양한 도메인에서의 적용 가능성을 탐구할 필요가 있다. 이러한 접근법은 앞으로의 LLM 연구와 실제 응용에 있어 중요한 발전을 이룰 것으로 기대된다.
초록(Abstract)
대규모 언어 모델의 학습 패러다임은 전통적인 일회성 학습에서 다중 에포크 학습으로 변화하였습니다. 이는 제한된 고품질 데이터를 합리적으로 재사용하면 모델 성능과 샘플 효율성을 모두 향상시킬 수 있기 때문입니다. 한편, 과도한 반복은 과적합 및 수익 감소의 위험을 초래합니다. 따라서 데이터를 효과적으로 재사용할 시기와 방법을 결정하는 것은 자연스럽지만 충분히 탐구되지 않은 질문으로 부각됩니다. 손실 유지 역학과 하류 평가 점수에서 파생된 모델의 "기억 창"(Memorization Window) 신호에 대한 새로운 관찰을 통해, 우리는 "기억 기반 데이터 재사용"(Memorization-guided Data Reuse)을 제안합니다. 이 학습 패러다임은 데이터가 재사용되어야 할 시기와 방법을 적응적으로 결정하여, 학습 에포크 수와 데이터 재플레이 일정에 대한 원칙적인 결정을 가능하게 합니다. 우리의 초기 실험은 일관된 기억 기반 체계를 보여줍니다: 성능은 현재 관행(예: 일반적으로 인용되는 네 에포크 한계)을 훨씬 초과하여 반복함에 따라 계속해서 개선됩니다. 완전한 스케줄러는 향후 작업으로 남아 있지만, 이러한 통찰력은 기억 인식 학습 일정의 기초를 제공하며, 재사용 예산을 결정하고 제한된 고품질 데이터를 가지고 더 오랜 시간 훈련하는 것이 아니라 더 스마트하게 LLM을 훈련하는 방향으로 나아가는 데 도움이 됩니다.
The training paradigm of large language models has shifted from traditional one-pass training to multi-epoch training, as reasonable reuse of limited high-quality data can improve both model performance and sample efficiency. Meanwhile, excessive repetition introduces the risk of overfitting and diminishing returns. Determining when and how to reuse data effectively thus emerges as a natural but under-explored question. Through a novel observation of model's "Memorization Window" signals derived from loss retention dynamics and downstream evaluation scores, we propose "Memorization-guided Data Reuse", a training paradigm that adaptively determines when and how data should be reused, enabling principled decisions on the number of training epochs and the scheduling of data replays. Our preliminary experiments reveal a consistent memorization-driven regime: performance continues to improve with repetition far beyond current practice (e.g., the commonly cited four-epoch limit). While a full scheduler remains future work, these insights provide a foundation for memorization-aware training schedules, helping to determine reuse budgets and move toward training LLMs smarter rather than longer with limited high-quality data.
논문 링크
MemoHarness: 경험으로부터 학습하는 에이전트 하네스 / MemoHarness: Agent Harnesses That Learn from Experience
논문 소개
MemoHarness는 기본 대규모 언어 모델(LLM)을 실행 가능한 에이전트로 변환하는 외부 제어 계층으로, 에이전트의 행동에 중대한 영향을 미치는 하네스 설계를 혁신적으로 접근하고 있다. 이 프레임워크는 하네스를 여섯 가지 조정 가능한 제어 차원으로 분해하여, 각 테스트 사례에 맞게 학습된 하네스를 조정할 수 있는 방법을 제시한다. 이를 통해 MemoHarness는 테스트 시간 레이블이나 피드백 없이도 실행 경험을 통해 얻은 지식을 활용하여 적응성을 극대화한다. 이중 레이어 경험 은행에 저장된 사례별 진단과 글로벌 패턴은 MemoHarness가 각기 다른 상황에서 더욱 효과적으로 작동할 수 있도록 돕는다.
기존의 에이전트들은 일반적으로 단일 글로벌 하네스를 사용하여 모든 상황에 대응하려는 경향이 있었으나, MemoHarness의 접근은 이러한 한계를 극복하고자 한다. 여러 벤치마크에서의 평가 결과, MemoHarness는 기존의 고정 하네스보다 더 나은 성능을 보이며, 보이지 않는 스위트와 기본 모델에 대해 선택적 전이를 나타내는 것으로 확인되었다. 이러한 성능 향상은 하네스 제어 결정이 에이전트의 전반적인 성능에 미치는 영향을 강조하며, 실행 경험을 바탕으로 한 적응적 하네스 설계의 가능성을 보여준다.
또한 MemoHarness의 구현은 비용 효과성 또한 고려하고 있으며, 많은 검색된 경험이 캐시 가능할 때 경쟁력 있는 비용을 유지할 수 있음을 시사한다. 이 연구는 단일 정적 구성보다 더 나은 적응성을 가진 에이전트 하네스를 구축하기 위한 실용적인 기초를 제공하며, 향후 연구에서는 통계적 강건성과 구성 요소 귀속에 대한 보다 깊이 있는 논의가 필요할 것이다. MemoHarness는 에이전트 기술의 발전에 중요한 기여를 하며, 향후 다양한 응용 분야에서 그 가능성을 더욱 확장할 수 있는 기반을 마련하고 있다.
초록(Abstract)
에이전트 하니스는 기본 대규모 언어 모델(LLM)을 실행 가능한 에이전트로 변환하는 외부 제어 레이어로, 컨텍스트, 도구, 오케스트레이션, 메모리, 디코딩 및 출력 처리를 관리합니다. 하니스 설계는 에이전트 행동에 큰 영향을 미치지만, 대부분의 자동 개선 방법은 프롬프트, 파이프라인 또는 워크플로우와 같은 좁은 아티팩트를 최적화하며, 배포된 에이전트는 일반적으로 모든 경우에 대해 단일 글로벌 하니스를 재사용합니다. 우리는 MemoHarness를 도입합니다. MemoHarness는 자신의 실행에서 학습하는 적응형 하니스 최적화 프레임워크입니다. MemoHarness는 하니스를 여섯 개의 편집 가능한 제어 차원으로 분해하고, 각 사례에 대한 진단 및 증류된 글로벌 패턴을 이중 레이어 경험 은행에 저장하며, 테스트 시간 라벨, 피드백 또는 추가 검색 없이 검색된 경험을 사용하여 학습된 하니스를 각 테스트 사례에 맞게 조정합니다. 셸-에이전트, 코드 생성 및 분석적 추론 벤치마크를 통한 평가에서, MemoHarness는 비교 대상으로 삼은 고정 하니스보다 개선되었으며, 보이지 않는 스위트 및 기본 모델에 대한 선택적 전이를 보여줍니다. 또한, 추가적인 컨텍스트는 많은 검색된 경험이 캐시 가능할 때 비용 경쟁력을 유지할 수 있습니다. 이러한 결과는 실행 경험이 단일 정적 구성보다 더 적응적인 에이전트 하니스를 구축하기 위한 실용적인 기초임을 보여주며, 통계적 강건성과 구성 요소 귀속에 대한 더 폭넓은 주장은 향후 연구에 맡깁니다.
An agent harness is the external control layer that turns a base LLM into an executable agent by managing context, tools, orchestration, memory, decoding, and output handling. While harness design strongly affects agent behavior, most automatic improvement methods optimize narrower artifacts such as prompts, pipelines, or workflows, and deployed agents usually reuse a single global harness for all cases. We introduce MemoHarness, an adaptive harness optimization framework that learns from its own executions. MemoHarness decomposes the harness into six editable control dimensions, stores per-case diagnoses and distilled global patterns in a dual-layer experience bank, and adapts the learned harness to each test case using retrieved experience without test-time labels, feedback, or additional search. In our evaluation across shell-agent, code-generation, and analytical-reasoning benchmarks, MemoHarness improves over the fixed harnesses we compare against and shows selective transfer to unseen suites and base models. Its additional context can also remain cost-competitive when much of the retrieved experience is cacheable. These results provide evidence that execution experience is a practical substrate for building agent harnesses that are more adaptive than a single static configuration, while leaving broader claims about statistical robustness and component attribution to future work.
논문 링크
더 읽어보기
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 