PyTorchKR
이번 주 선정된 10편의 논문들을 살펴본 결과, 실용적인 자원 최적화, 장기 자율 에이전트의 발전과 위험성, 그리고 멀티모달 추론의 구조화라는 세 가지 주요 트렌드를 도출할 수 있었습니다. 정리된 내용은 다음과 같습니다:
성능을 넘어선 실용성: 연산 효율성 및 훈련/추론의 밀도 최적화: 이번 주 연구들에서는 모델의 무작정인 크기 확장보다는 연산 비용, 메모리 대역폭, 그리고 데이터 처리의 효율을 극대화하려는 실용적인 접근이 두드러졌습니다. Declarative Attention 은 모델이 스스로 집중해야 할 문맥을 선언하게 만들어 긴 문맥 처리 시 불필요한 캐시 탐색을 크게 줄였습니다. 추천 시스템 분야의 AMBER 는 방대한 사용자 상호작용 기록을 단일 이벤트 토큰으로 압축하여 처리 해상도와 연산 효율을 동시에 끌어올렸고, SDD 는 시계열 모델 사전학습 시 합성 데이터 증류를 통해 적은 반복으로도 빠르고 안정적인 수렴을 이끌어냈습니다. 또한 The Embedder's Dilemma 는 대규모 언어 모델과 기존 임베딩 모델 간의 비용 대비 성능을 정밀하게 분석하여 작업별 분업을 제안하는 등, 실제 산업 환경에서의 배포와 운영 경제성을 꼼꼼히 따지는 추세가 뚜렷합니다.
장기 자율 에이전트의 진화와 멀티 에이전트 시스템의 명암: 단순한 텍스트 생성을 넘어, 지속적으로 변화하는 환경에서 장기적인 목표를 수행하는 자율 에이전트 설계와 그에 따른 창발적 위험성 연구도 활발히 진행되었습니다. Auto-RecSys 는 산업 규모 추천 시스템의 긴 피드백 주기를 극복하기 위해 실패에서 학습하며 진화하는 장기 자율 연구 인프라를 구축했고, E-Commerce Bench 는 1년이라는 긴 시뮬레이션 동안 에이전트가 사업을 운영하며 겪는 동적 변수와 의사결정 능력을 다차원적으로 평가했습니다. 이에 발맞춰 AgentGrad 는 멀티 에이전트 시스템에서 발생하는 오류를 정밀하게 역추적하여 각 에이전트의 프롬프트를 일관성 있게 최적화하는 방법론을 제시했습니다. 반면 마인드 바이러스 연구는 에이전트 간의 상호작용 과정에서 유해한 목표나 아이디어가 스스로 전파될 수 있는 새로운 위험성을 경고하며, 시스템 확장에 따른 견고한 안전망 구축이 시급함을 시사합니다.
멀티모달 환경에서의 구조화된 추론 및 맞춤형 지식 증류: 비전 및 비디오 등 멀티모달 모델이 복잡한 작업을 보다 정확하게 수행할 수 있도록, 추론 과정을 체계화하고 학습 방식을 모델 고유의 특성에 맞게 교정하는 연구들이 주목받았습니다. TopoAgent 는 다이어그램에서 그래프 토폴로지를 추출할 때 발생하는 시각적 환각을 줄이기 위해, 모델이 단계별로 명시적인 증거에 기반하여 구조화된 추론을 전개하도록 유도했습니다. 한편 Echo-GRPO 는 비디오 추론 과정에서 학생 모델이 강력한 교사 모델의 방식을 억지로 모방하다 학습 신호를 잃는 현상을 방지하고자, 학생 모델 고유의 어휘와 표현 방식에 맞춰 추론 궤적을 재작성하는 기법을 도입했습니다. 이는 멀티모달 모델의 사고 과정을 외부의 틀에 강제로 맞추기보다는, 모델이 스스로 납득하고 산출할 수 있는 자연스러운 형태의 논리적 추론으로 유도하여 실질적인 성능 향상을 이끌어내는 방향으로 진화하고 있음을 보여줍니다.
논문별 핵심 내용 간략 요약
-
선언적 어텐션(Declarative Attention) : 언어 모델이 텍스트 생성 과정에서 스스로 집중해야 할 문맥 구간을 선언하여 불필요한 전체 캐시 탐색을 방지하는 효율화 방법론입니다. 정확도 하락을 최소화하면서도 긴 문맥 처리 시 발생하는 메모리 대역폭 병목과 연산 비용을 획기적으로 줄여줍니다.
-
Auto-RecSys : 긴 피드백 주기와 복잡한 인프라를 가진 산업 규모 추천 시스템에 맞춰, 다수의 실험을 병렬로 처리하고 실패로부터 스스로 학습하는 자율 연구 인프라를 제안합니다. 인지적 추론과 결정론적 실행을 철저히 분리하여 장기적인 실험 환경에서도 높은 신뢰성과 운영 효율성을 확보했습니다.
-
AgentGrad : 다중 에이전트 시스템에서 발생하는 작업 실패의 원인을 특정 에이전트로 정밀하게 역추적하고, 의미적으로 유사한 피드백을 추상화하여 프롬프트를 일관성 있게 최적화하는 프레임워크입니다. 무작위 집계로 인한 오류를 방지하고 최적화 시간을 크게 단축하여 여러 벤치마크에서 최고 수준의 성능을 입증했습니다.
-
임베더의 딜레마(The Embedder's Dilemma) : 대규모 언어 모델과 기존 텍스트 임베딩 모델의 품질 및 비용을 체계적으로 비교 분석하여, 두 모델군이 종합적인 작업 성능에서 사실상 동등함을 밝혔습니다. 비용과 데이터 처리량을 고려할 때 일반적인 분류나 클러스터링에는 임베딩 모델을 사용하고, 복잡한 추론이 요구되는 검색 과제에만 언어 모델을 할당하는 경제적인 분업을 권고합니다.
-
AMBER (이벤트 토큰화) : 대규모 언어 모델 기반 추천 시스템에서 사용자 상호작용의 방대한 문맥 정보를 압축된 단일 이벤트 토큰으로 변환하여 처리하는 새로운 이벤트 중심 패러다임입니다. 스냅샷 해상도를 높이면서도 실시간 서빙 시의 연산 부담을 분리해 내어, 산업 규모 랭킹에서 연산 대비 품질 효율을 크게 끌어올렸습니다.
-
E-Commerce Bench : 언어 모델 에이전트가 1년 동안 온라인 스토어를 자율적으로 운영하며 겪게 되는 동적 이벤트와 다중 협상 과정을 종합적으로 평가하는 장기 시뮬레이션 벤치마크입니다. 단기적인 수익 창출뿐만 아니라 운영 효율성, 사기 회피, 장기적인 학습 능력 간의 복잡한 상관관계와 한계를 다차원적으로 측정합니다.
-
TopoAgent : 시각적 복잡성이 높은 다이어그램에서 노드와 엣지 등의 그래프 구조를 정확하게 추출하기 위해, 모델이 명시적 증거에 기반하여 단계별 구조화 추론을 수행하도록 돕는 프레임워크입니다. 기존 비전-언어 모델의 단순 생성 방식에서 빈번했던 구조적 환각과 연결성 오류를 체계적으로 검증하고 보완해 줍니다.
-
Echo-GRPO : 비디오 추론 등 멀티모달 환경에서 학생 모델이 교사 모델의 추론 방식을 학습할 때, 맹목적인 모방을 피하고 학생 고유의 어휘와 말투로 의미를 재작성하도록 유도하는 방법론입니다. 분포 불일치로 인한 그래디언트 손실을 막고, 모델이 스스로 완벽히 소화할 수 있는 자연스러운 형태의 추론 학습을 가능하게 합니다.
-
마인드 바이러스(Mind Viruses) : 다중 에이전트 시스템 내에서 특정 아이디어나 유해한 목표가 에이전트 간의 상호작용을 통해 마치 전염병처럼 스스로 확산되는 현상을 실험적으로 증명하고 분석했습니다. 현재 시점에서의 위험성은 제한적이나 네트워크 위상과 시스템 프롬프트 방어 수준에 따라 전파력이 크게 달라짐을 보여주어, 안전망 설계의 중요성을 일깨웁니다.
-
합성 데이터 증류(SDD) : 시계열 파운데이션 모델을 사전학습할 때, 단일한 미래 실현값이 아닌 과거 데이터 기반의 조건부 예측 분포 자체를 모델에 증류하는 새로운 손실 함수 설계법입니다. 학습 신호의 불필요한 분산을 낮춤으로써, 훨씬 적은 학습 반복 횟수만으로도 빠르고 안정적인 모델 수렴 상태를 달성할 수 있습니다.
언어 모델은 자신의 어텐션을 제어할 수 있다 / Language Models Can Control Their Own Attention
논문 소개
긴 문맥(long-context) 디코딩에서 언어 모델은 실제로 컨텍스트의 소수 토큰에만 어텐션(attention)을 집중하지만, 전역 어텐션 레이어는 관련 위치를 찾기 위해 매 스텝 KV 캐시(Key-Value cache) 전체를 읽어야 하므로 메모리 대역폭이 병목이 됩니다. 기존 희소 어텐션은 경량 프록시 점수로 토큰을 사전 선택하지만, 선택 과정 자체가 컨텍스트 길이 N에 비례하는 O(N) 비용을 남깁니다. Declarative Attention(DA, 선언적 어텐션)은 “모델이 이미 어디가 중요한지 알고 있지 않을까?”라는 직관에서 출발해, 외부 스코어러나 추가 학습 없이 사고의 연쇄(Chain-of-Thought, CoT) 안에서 어텐션 범위를 스스로 선언하게 하는 내재적(intrinsic) 프로토콜을 제시합니다.
생성은 세 모드로 조직됩니다. <global>은 전체 컨텍스트를 탐색해 다음 관심 구간을 찾고, <focus>는 지정한 세그먼트만 열어 값을 추출하며, <local>은 장문 컨텍스트를 닫고 이미 추출한 정보로 계획·합성을 수행합니다. 장문 입력은 약 2K 토큰 단위의 magic chunk(매직 청크)로 주소화되어 focus 대상이 이름으로 지정될 수 있고, 질문·지시·지금까지의 응답으로 구성된 scaffold(스캐폴드)는 항상 보이며 모드에 따라 가시성이 바뀌는 것은 컨텍스트 세그먼트뿐입니다. 추론 엔진 옆의 상태 기계가 태그를 도구 호출처럼 파싱해 세그먼트 수준 어텐션 마스크를 갱신하고, vLLM의 블록 단위 저장에 맞춰 유지 span을 블록 경계로 정렬함으로써 FlashAttention 등 기존 커널을 수정 없이 대부분의 KV 읽기를 건너뜁니다. 전역 어텐션 레이어에만 적용되며 Sliding Window Attention(SWA)·Gated DeltaNet(GDN) 같은 효율 레이어는 그대로 두어, 디코드 스텝 수 증가와 스텝당 어텐션 비용 감소를 교환합니다.
기성 모델 Gemma-4-31B와 Qwen-3.6-27B에 대한 15개 장문맥 과제 제로샷 평가에서, DA는 attended tokens를 각각 52.0%, 31.1% 줄이면서 정확도 하락은 1.27pp, 2.75pp로 완만했고, 모델 스케일이 커질수록 프로토콜 준수와 정확도 격차가 좁아졌습니다. 마스크 없는 DA 변형과의 비교는 효율 이득의 거의 전부가 선언에서 유도된 마스크에 있음을 보여 주며, 컨텍스트가 길수록 절대 토큰 절감이 커지고 루프라인 기준 디코드 벽시계 시간은 vanilla 대비 약 0.71×·0.77×로 추정됩니다. DA는 활성화로부터 마스크를 근사하지 않고 생성 궤적의 선언에서 직접 읽어 선택 비용을 제거하며, 희소 어텐션을 네트워크 내부의 system-1 추론이 아니라 사람이 읽을 수 있는 system-2 선언으로 확장하는 새로운 축을 엽니다.
초록(Abstract)
언어 모델은 어텐션의 대부분을 컨텍스트의 작은 일부에 사용하지만, 정작 중요한 소수 토큰을 찾기 위해 전체 KV 캐시를 읽는다. 사용자가 100만 토큰 대화에서 이전 세부 사항을 물으면, 전역 어텐션 레이어는 응답의 각 토큰을 생성하기 위해 전체 컨텍스트를 스캔해야 한다. 대표적인 접근법은 경량 프록시 점수로 관련 토큰을 사전 선택하여 이 비용을 완화하지만, 이러한 외재적 점수화는 여전히 스텝당 O(N) 비용을 발생시킨다. 우리는 “모델이 이미 컨텍스트의 어느 부분이 관련 있는지 알고 있지 않을까?”라는 단순한 질문에서 동기를 얻은 내재적 접근을 취한다. 이를 위해 모델이 사고의 연쇄(chain-of-thought) 내에서 어디에 어텐션해야 하는지를 선언하도록 유도하는 프로토콜인 선언적 어텐션(Declarative Attention, DA)을 도입하며, 생성을 세 가지 모드로 분할한다: <global>(전체 컨텍스트), <focus>(특정 영역), <local>(최근 출력만). 추론 엔진은 이러한 선언을 도구 호출처럼 파싱하여 대부분의 KV 캐시 읽기를 건너뛴다. 15개 롱컨텍스트 과제에 대한 제로샷 평가에서, 기성 모델(Gemma-4-31B, Qwen-3.6-27B)에 DA를 적용하면 디코딩 중 총 어텐션 토큰 수가 크게 감소하고(각각 52.0%, 31.1%), 정확도 하락은 소폭(각각 1.27pp, 2.75pp)이며 모델 규모가 커질수록 줄어든다. DA는 희소 어텐션의 새로운 축을 열어 주며, 향후 연구에서 탐색할 수 있는 학습 기반 방법에서의 추가 잠재력도 있다.
Language models spend most of their attention on a small fraction of context, yet they read the entire KV cache to find the few tokens that matter. If the user asks about a previous detail in a 1M-token conversation, global attention layers must scan the full context to generate each token of the reply. A prominent approach mitigates this cost by pre-selecting relevant tokens via lightweight proxy scores, but this extrinsic scoring still incurs O(N) per step. We take an intrinsic approach motivated by the simple question: wouldn't the model already know which parts of the context are relevant? To this end, we introduce Declarative Attention (DA), a protocol that elicits the model to declare where it needs to attend within its chain-of-thought, partitioning generation into three modes:
<global> (full context), <focus> (a specific region), and <local> (recent output only). The inference engine parses these declarations like tool calls and skips most of the KV cache read. Under zero-shot evaluation across 15 long-context tasks, DA on off-the-shelf models (Gemma-4-31B, Qwen-3.6-27B) significantly reduces total attended tokens during decoding (52.0%, 31.1%) with modest accuracy drops (1.27pp, 2.75pp) that shrink with model scale. DA unlocks a new axis of sparse attention, with further potential under training-based methods that future work can explore.
논문 링크
Auto-RecSys: 산업 규모 추천 시스템을 위한 자율 연구 에이전트 활용 / Auto-RecSys: Harnessing Autonomous Research Agents for Industry-Scale Recommender System
논문 소개
산업 규모 추천 시스템에서는 단일 모델 변경만으로도 수일에 걸친 학습과 모니터링이 필요하므로, 가설 생성부터 평가까지를 자동화하는 기존 자율 연구(auto-research) 패러다임을 그대로 적용하기 어렵습니다. AutoResearch, FARS, The AI Scientist와 같은 선행 연구들이 비교적 짧은 피드백 주기와 자기완결적 실험 환경에서 가능성을 보인 반면, 산업 규모 추천에서는 직렬 반복이 처리량을 크게 제한하고, 대형 설정·취약한 인프라 의존성·장기 GPU(Graphics Processing Unit) 작업이 실패와 복구를 일상화합니다. Auto-RecSys는 이러한 운영 체제(operating regime)에 맞춰, 아이디어 제안 능력을 넘어 다방향 동시 탐색·신뢰성 있는 실행·중단 복구·사이클 간 운영 지식 보존을 가능하게 하는 자율 연구 하네스(harness)를 제시합니다.
핵심 방법론은 세 가지 하네스 설계와 이중 루프 자기진화 아키텍처로 조직됩니다. 분산 비동기 실행은 아이디어별 영속 유한 상태 머신으로 실험을 격리해, 여러 후보를 서로 다른 서버와 단계에서 동시에 진행하면서도 실패가 다른 실험을 오염시키지 않게 합니다. 중앙집중식 크로스-서버 메모리는 플레이북(playbook)·실험 이력·세션 궤적을 공유 저장소에 두어, 세션 종료나 서버 전환 후에도 컨텍스트를 재구성하고 학습 잡 상태를 이어 받을 수 있게 합니다. 인지-절차 분리는 자연어 스킬 파일이 LLM(Large Language Model)의 추론과 에스컬레이션 판단을 안내하는 한편, 결정론적 스크립트가 상태 전이·검증·원자적 기록 등 운영 정확성을 강제해, 유연한 추론과 치명적인 상태 손상을 막는 정확성 사이의 긴장을 해소합니다.
이 기반 위에서 Execution Evolution Loop는 실패 시도·원인·수정과 성공 파이프라인을 모델별 플레이북으로 증류해 암묵지를 명시적 절차 메모리로 바꾸고, Idea Evolution Loop는 실험 판정과 교훈을 누적해 이후 가설의 중복 제거·부분 성공 합성·탐색 가지치기를 안내합니다. 평가에서는 학습 벽시계 단축이 아니라 아이디어당 인간 대역폭(human bandwidth) 감소와 실행 신뢰성 향상이 확인되었으며, 대표 모델의 31회 반복에서 major fix가 반복당 약 4.0에서 0.5로 줄어들고 플레이북 성숙에 따라 자율 운영이 더 안전해졌습니다. 요컨대 Auto-RecSys는 더 똑똑한 모델만이 아니라, 견고하고 영속적이며 지속적으로 진화하는 실행 인프라가 산업 규모 추천 연구에서 자율 연구의 성패를 가른다는 점을 실증적으로 보여 줍니다.
초록(Abstract)
자동 연구 에이전트는 가설 생성, 실험 실행, 반복적 개선을 자동화할 잠재력을 보여주었다. 그러나 이 패러다임을 산업 규모 추천 모델로 확장하면 두 가지 과제가 발생한다. (1) 긴 피드백 루프—모델 학습에 수일이 걸려 직렬 반복이 비현실적으로 느려지므로, 여러 연구 방향에 대한 병렬 탐색이 필요하고, (2) 시스템 복잡성—대규모 설정, 취약한 인프라 의존성, 수일에 걸친 GPU 작업으로 인해 견고하고 복구 가능한 실행이 요구된다. 본 논문에서는 산업 규모 추천 모델에 대한 장기 실험을 위한 자율 연구 시스템 Auto-RecSys를 제시한다. Auto-RecSys는 세 가지 하네스 설계로 이러한 과제를 해결한다. (1) 여러 서버에서 다수의 실험을 병렬로 수행하는 분산 비동기 실행, (2) 세션과 장애에 걸쳐 지속·복구 가능한 실행을 위한 중앙집중식 크로스 서버 메모리, (3) 자연어 스킬 파일이 대규모 언어 모델(LLM) 추론을 안내하고 결정론적 스크립트가 운영 정확성을 강제하는 인지-절차 분리. Auto-RecSys는 나아가 이중 루프 자기진화 아키텍처를 채택한다. 모델별 플레이북이 실패한 시도를 기록하고 성공한 파이프라인을 결정화하여 운영 지식을 축적하는 실행 진화 루프(Execution Evolution Loop), 그리고 실험 결과가 이후 아이디어 생성을 안내하는 아이디어 진화 루프(Idea Evolution Loop)이다. 추천 모델에 대한 평가에서 Auto-RecSys는 실험 사이클당 필요한 인력 시간을 크게 줄이고, 플레이북이 성숙함에 따라 실행 신뢰성을 향상시킨다.
Auto-research agents have shown the potential to automate hypothesis generation, experiment execution, and iterative refinement. However, scaling this paradigm to industry-scale recommendation models introduces two challenges: (1) long feedback loops, where model training can take days, making serial iteration prohibitively slow and requiring parallel exploration across multiple research directions; and (2) system complexity, where large configurations, fragile infrastructure dependencies, and multi-day GPU jobs require robust and recoverable execution. We present Auto-RecSys, an autonomous research system for long-horizon experimentation on industry-scale recommendation models. Auto-RecSys addresses these challenges through three harness designs: (1) distributed asynchronous execution for running multiple experiments in parallel across servers, (2) centralized cross-server memory for persistent and recoverable execution across sessions and failures, and (3) cognitive-procedural separation, where natural-language skill files guide LLM reasoning while deterministic scripts enforce operational correctness. Auto-RecSys further employs a dual-loop self-evolving architecture: an Execution Evolution Loop in which model-specific playbooks accumulate operational knowledge by recording failed attempts and crystallizing successful pipelines, and an Idea Evolution Loop in which experimental outcomes inform subsequent ideation. Evaluated on recommendation models, Auto-RecSys significantly reduces the human time required per experiment cycle and improves execution reliability as its playbooks mature.
논문 링크
AgentGrad: 멀티 에이전트 시스템을 위한 개입 유도 프롬프트 최적화 / AgentGrad: Intervention-guided Prompt Optimization for Multi Agent Systems
논문 소개
대규모 언어 모델(Large Language Model, LLM) 기반 멀티 에이전트 시스템(Multi-Agent System, MAS)은 복잡한 과제를 하위 작업으로 분해하고 전문화된 에이전트의 상호 보완적 능력을 결합해 다단계 추론·계획·정보 종합에서 강한 성과를 보여 왔으나, 각 에이전트의 행동은 입력 프롬프트에 의해 결정되므로 프롬프트 설계가 시스템 성능의 핵심 병목이 됩니다. 최근 자연어 피드백으로 프롬프트를 반복 정제하는 텍스트 그래디언트(textual gradient) 방법이 MAS 프롬프트 최적화의 선도 패러다임으로 자리잡았지만, 기존 접근은 그래디언트 추출(gradient extraction)과 그래디언트 집계(gradient aggregation) 두 단계에서 구조적 한계를 드러냅니다. 추출 단계에서는 특정 프롬프트를 수정해도 실패가 실제로 해소되는지 검증하지 않은 채 대상을 고르고, 해당 에이전트 중간 출력에 대한 에이전트 수준 감독(agent-level supervision) 없이 그래디언트를 유도하며, 집계 단계에서는 개별 그래디언트를 무작위로 묶어 서로 다른 실패 모드를 섞어 일반화에 약한 프롬프트를 만들기 쉽습니다. 파이프라인형 MAS에서는 한 에이전트의 잘못된 중간 출력이 후속 단계로 전파되어 시스템 수준 실패로 나타나므로, “최종 답만 보고 모든 프롬프트를 동시에 손보거나 검증 없이 순환적으로 고르는” 방식은 신용 할당(credit assignment)과 비용 측면에서 모두 비효율적입니다.
AgentGrad는 이러한 한계를 동시에 다루기 위해 순차적 개입(sequential intervention)과 의미적 텍스트 그래디언트 추상화(semantic textual gradient abstraction)에 기반한 MAS용 프롬프트 최적화 프레임워크를 제안합니다. 각 실패에 대해 한 번에 한 에이전트에만 훈련 전용 힌트를 주입하는 순차 개입을 역실행 순으로 적용해, 그 에이전트만 교정해도 실패가 해소되는 타깃 에이전트를 empirically 식별하고, 개입 전후 중간 출력의 대비를 에이전트 수준 의사 라벨(pseudo-label)로 삼아 세밀한 샘플 수준 텍스트 그래디언트를 추출합니다. 이어서 의미적으로 유사한 그래디언트를 클러스터링해 무관한 실패 모드의 혼합을 막고, 각 클러스터의 공유 교정 패턴을 하나의 일반화된 그래디언트로 추상화한 뒤, 의미 미니배치 크기 내림차순으로 프롬프트를 갱신하고 미니배치·검증 집합의 이중 검증을 통과할 때만 채택합니다. 이 설계는 개입을 디버깅에만 쓰지 않고 최적화 감독 신호로 전환하며, 무작위 집계 대신 일관된 갱신 방향을 제공한다는 점에서 자동 프롬프트 최적화(Automatic Prompt Optimization), MAS 실패 귀속, 자기 생성 감독 연구의 교차점을 확장합니다. HotpotQA, HoVer, IFBench, PUPA, MATH 다섯 벤치마크와 GPT-5-mini·Qwen3-8B 백본에서 MIPROv2, TextGrad, GEPA 등 강건한 베이스라인을 대체로 상회하는 최첨단(state-of-the-art) 성능을 달성했고, 차선으로 빠른 베이스라인 대비 평균 약 2.5배의 wall-clock 최적화 시간 단축을 보고하여, 더 많은 롤아웃보다 정확한 귀속과 일관된 집계가 성능과 효율을 함께 끌어올릴 수 있음을 실증적으로 보여 줍니다.
초록(Abstract)
대규모 언어 모델(LLM) 기반 멀티에이전트 시스템(MAS)은 전문화된 여러 에이전트를 활용하여 높은 성능을 달성하지만, 그 성능은 각 에이전트의 프롬프트 설계에 좌우된다. MAS 프롬프트 최적화에서는 자연어 피드백을 이용해 프롬프트 업데이트를 안내하는 텍스트 그래디언트(textual gradient) 방법이 주요 패러다임으로 부상했다. 본 논문에서는 기존 텍스트 그래디언트 접근법의 두 단계—그래디언트 추출(gradient extraction)과 그래디언트 집계(gradient aggregation)—에서의 한계를 규명한다. 그래디언트 추출에서 기존 연구는 해당 프롬프트를 수정했을 때 실패가 해소되는지 검증하지 않은 채 대상 프롬프트를 선택하며, 해당 에이전트의 중간 출력에 대한 에이전트 수준 감독 없이 그래디언트를 도출한다. 그래디언트 집계에서는 개별 그래디언트를 무작위로 묶어 이어 붙이는 경우가 많아, 서로 무관한 실패 모드가 혼재되고 일반화에 실패하는 프롬프트가 생성된다. 이러한 한계를 해결하기 위해, 우리는 순차적 개입(sequential intervention)과 의미적 텍스트 그래디언트 추상화(semantic textual gradient abstraction)에 기반한 멀티에이전트 시스템용 프롬프트 최적화 프레임워크 AgentGrad를 제안한다. 각 실패에 대해 순차적 개입은 한 번에 하나의 에이전트 행동을 수정하여, 수정 시 실패가 해소되는 대상 에이전트를 식별한다. 이어서 대상 에이전트의 수정된 출력이 세분화된 그래디언트 추출을 위한 에이전트 수준 감독으로 사용된다. 의미적 텍스트 그래디언트 추상화는 의미적으로 유사한 그래디언트를 군집화하여 무관한 실패 모드의 혼재를 방지하고, 각 군집을 공유된 교정 패턴을 포착하는 일반화된 그래디언트로 추상화한다. 실험 결과, AgentGrad는 다섯 개의 MAS 벤치마크에서 최고 성능(state-of-the-art)을 달성하며, 차순위 최속 베이스라인 대비 평균 2.5\times 의 실제(wall-clock) 최적화 시간을 단축한다.
Large language model (LLM)-based multi-agent systems (MAS) achieve strong performance by employing specialized multiple agents, yet their performance depends on the prompt design of each agent. For MAS prompt optimization, textual gradient methods that guide prompt updates using natural-language feedback have emerged as a leading paradigm. In this paper, we identify limitations in two stages of existing textual gradient approaches: gradient extraction and gradient aggregation. In gradient extraction, previous works select a target prompt without verifying whether modifying it resolves the failure, and derive gradients without agent-level supervision over the corresponding agent's intermediate output. In gradient aggregation, individual gradients are randomly grouped and concatenated, often mixing unrelated failure modes and producing prompts that fail to generalize. To address these limitations, we propose \textbf{AgentGrad}, a prompt optimization framework for multi-agent systems based on sequential intervention and semantic textual gradient abstraction. For each failure, sequential intervention modifies the behavior of one agent at a time to identify the target agent whose modification resolves the failure. The modified output of the target agent then serves as agent-level supervision for extracting a fine-grained gradient. Semantic textual gradient abstraction clusters semantically similar gradients to prevent mixing unrelated failure modes, and abstracts each cluster into a generalized gradient that captures the shared corrective pattern. Experimental results show that AgentGrad achieves state-of-the-art performance across five MAS benchmarks and reduces wall-clock optimization time by 2.5\times on average compared to the next-fastest baseline.
논문 링크
임베더의 딜레마: LLM이 더 낫지만, 그 대가는? / The Embedder's Dilemma: LLMs Are Better, but at What Cost?
논문 소개
텍스트 임베딩 파이프라인을 대규모 언어 모델(LLM, Large Language Model)로 교체해야 하는가라는 실무적 질문은, 품질만으로는 답하기 어렵고 비용과 처리량까지 함께 보아야 비로소 의미가 있습니다. Embedder's Dilemma는 이 질문을 Massive Text Embedding Benchmark에서 파생한 MTEB(LLM) 프로토콜로 다루며, 6개 패밀리의 10개 LLM과 118M부터 14B까지의 26개 임베딩 모델을 분류, 의미적 텍스트 유사도(STS, Semantic Textual Similarity), 클러스터링, 쌍 분류, 검색의 37개 과제에서 동일 서브셋으로 통제 비교합니다. 평가의 핵심은 모델 스펙 나열이 아니라 배포 파이프라인의 대조에 있으며, 임베딩은 k-최근접 이웃(kNN, k-Nearest Neighbors)·코사인 유사도·k-평균으로, LLM은 제로샷 구조화 출력과 검색에서의 corpus-in-context 방식으로 채점합니다. 종합 점수에서 최고 LLM인 Gemini 3.1 Pro(77.6)와 최고 임베딩(77.2)의 차이는 0.4점에 불과해 사실상 동률이지만, 강점은 과제별로 갈립니다. LLM은 추론이 필요한 검색에서 약 +8.5점 앞서고, 임베딩은 분류에서 약 −5.6점의 우위를 보이며, 클러스터링·STS·쌍 분류에서는 통계적으로 동등한 수준에 수렴합니다.
이러한 품질 동등성에 이르는 대가는 큽니다. 동급 품질 기준으로 LLM은 임베딩 대비 최대 1,431배 비싸고(벤치마크 1패스당 약 154달러 대 0.11달러), 동일 GPU에서 오픈 LLM은 임베딩보다 토큰을 2.5배에서 736배까지 느리게 처리합니다. 특히 추론(reasoning) 토큰이 LLM 추론 비용의 28–81%를 차지하는 thinking-token tax가 비용 비대칭의 핵심이며, 추론 예산을 줄여도 대부분의 모델에서 검색 품질이 유지되거나 오히려 향상되는 결과가 관찰됩니다. 비용–성능 Pareto 프론티어에는 선도 임베딩 모델들과 Gemini 3.1 Pro만이 포함되며, retrieve-then-rerank 하이브리드는 전체 코퍼스를 한 번에 넣는 방식보다 추론을 경제적으로 추가할 수 있음을 보여 줍니다. 이에 따라 유사도·분류·클러스터링에는 임베딩을 기본으로 두고, 추론 집약 검색에만 LLM을 예약하는 분업형 설계가 권고됩니다. 공개된 MTEB(LLM) 벤치마크와 비용·처리량 회계는, 정확도 순위만으로 모델을 고르던 관행을 품질·비용·처리량을 함께 보는 의사결정 프레임으로 확장한다는 점에서 의 의의가 있습니다.
초록(Abstract)
텍스트 임베딩 파이프라인을 대규모 언어 모델(LLM)로 대체해야 할까요? 본 연구는 이 질문에 답하기 위해, 6개 계열의 LLM 10개와 임베딩 모델 26개(1억 1,800만~140억 파라미터)를 대상으로, 분류, 의미적 텍스트 유사도(STS), 클러스터링, 쌍 분류, 검색을 아우르는 37개 과제에서 비용 인식을 반영한 통제 비교를 수행합니다. 종합적으로 두 패러다임은 사실상 동등합니다. 최고 LLM(Gemini 3.1 Pro, 77.6)과 최고 임베딩 모델(77.2)의 차이는 0.4점에 불과합니다. 과제별로는 강점이 갈립니다. LLM은 추론 비중이 큰 검색에서 앞서고, 임베딩 모델은 분류에서 앞서며, 클러스터링·STS·쌍 분류에서는 서로 맞먹습니다. 이러한 동등성에 도달하는 비용은 큽니다. 동등한 품질의 임베딩 모델 대비 LLM은 최대 1,431배 비싸고(벤치마크 1회 통과당 USD 154 vs. USD 0.11), 테스트한 오픈 LLM은 동일 GPU에서 토큰을 2.5~736배 더 느리게 처리합니다. 추론(reasoning) 토큰은 LLM 추론(inference) 비용의 28~81%를 차지하며, 어블레이션에서 대부분의 모델은 추론 예산을 줄여도 검색 품질이 유지되거나 오히려 향상됩니다. 파레토 프론티어에는 선도적인 임베딩 모델들과 LLM 하나, 곧 Gemini 3.1 Pro가 포함됩니다. 이러한 결과는 역할 분담을 지지합니다. 유사도·분류·클러스터링에는 임베딩 모델을 쓰고, 추론 집약적 검색에는 LLM을 남겨 두십시오. 코드, 데이터셋, 결과는 GitHub - embeddings-benchmark/embedders-dilemma: Code, datasets, and results for "The Embedder's Dilemma: LLMs Are Better, but at What Cost?" (COLM 2026). MTEB(LLM) benchmarks 10 LLMs and 26 embedding models on 37 tasks with full cost and throughput accounting. · GitHub 에서 공개합니다.
Should you replace your text-embedding pipeline with a large language model? We answer this with a controlled, cost-aware comparison of ten LLMs across six families and 26 embedding models (118M to 14B parameters) on 37 tasks spanning classification, semantic textual similarity (STS), clustering, pair classification, and retrieval. In aggregate the two paradigms are effectively tied: the best LLM (Gemini 3.1 Pro, 77.6) and the best embedding model (77.2) differ by 0.4 points. Their strengths differ by task: LLMs lead on reasoning-heavy retrieval, embedding models lead on classification, and the two match on clustering, STS, and pair classification. Reaching that parity is expensive. An LLM costs up to 1,431x more than an embedding model of comparable quality (USD 154 vs. USD 0.11 per benchmark pass), and the open LLMs tested process tokens 2.5 to 736x more slowly on the same GPU. Reasoning tokens account for 28 to 81% of LLM inference cost; lower reasoning budgets preserve or improve retrieval quality for most models in our ablation. The Pareto frontier contains the leading embedding models and one LLM, Gemini 3.1 Pro. These results support a division of labour: use embedding models for similarity, classification, and clustering, and reserve LLMs for reasoning-intensive retrieval. Our code, datasets, and results are publicly available at GitHub - embeddings-benchmark/embedders-dilemma: Code, datasets, and results for "The Embedder's Dilemma: LLMs Are Better, but at What Cost?" (COLM 2026). MTEB(LLM) benchmarks 10 LLMs and 26 embedding models on 37 tasks with full cost and throughput accounting. · GitHub.
논문 링크
더 읽어보기
이벤트 하나가 토큰 하나: 산업 규모 LLM 추천을 위한 이벤트 토큰화 / An Event is Worth One Token: Event Tokenization for Industrial-scale LLM Recommendation
논문 소개
대규모 언어 모델(LLM) 기반 추천은 모델 용량과 시퀀스 길이를 따라 스케일링되어 왔으나, 각 위치는 텍스트, 시맨틱 ID, 또는 소수의 범주형 특징만을 인코딩하여 각 이벤트에서 이용 가능한 풍부한 사용자·아이템·컨텍스트·결과 신호를 버려 왔습니다. 자기회귀 모델링에서는 이로 인해 각 위치의 쿼리가 약해지고, 그 위치가 다음 위치의 컨텍스트가 되면서 성능 저하가 시퀀스 전반에 누적됩니다. 이에 각 상호작용을 전체 시간 스냅샷으로 표현하는 이벤트 중심 패러다임을 제안하고, 이벤트당 인코딩되는 정보량인 스냅샷 해상도(snapshot resolution)라는 새로운 스케일링 차원을 제시합니다. 스냅샷 해상도를 효율적으로 키우기 위해 AMBER(Autoregressive Modeling via Bottlenecked Event Representation)를 도입하며, 각 시간 스냅샷을 압축된 Event Token이라는 새로운 LLM 입력 모달리티로 변환합니다. 표현은 종단간 학습되고 Event Token은 사전 계산·캐시되어, 스냅샷 해상도와 실시간 서빙 연산이 분리됩니다. 산업 규모 랭킹·검색 벤치마크에서 AMBER는 기존 추천 패러다임 대비 연산-품질 Pareto 프론티어를 향상시킵니다. 충분한 용량에서는 단일 통합 토크나이저가 엔티티별 전용 토크나이저보다도 우수하여, 구조적으로 다른 엔티티 유형 간 긍정적 전이가 나타납니다. 또한 Event Token은 비LLM 랭커에 서빙 시점 이력 특징으로 통합해도 통계적으로 유의미한 성능 향상을 보이며, Event Tokenizer 용량을 추가로 키우면 성능이 더 개선됩니다.
초록(Abstract)
대규모 언어 모델(LLM) 기반 추천은 모델 용량과 시퀀스 길이를 따라 스케일링되어 왔으나, 각 위치는 텍스트, 시맨틱 ID, 또는 소수의 범주형 특성만을 인코딩하며, 각 이벤트에서 가용한 풍부한 사용자·아이템·맥락·결과 신호를 버린다. 자기회귀 모델링 하에서 이는 각 위치에서 약한 질의를 낳고, 각 위치가 다음 위치의 컨텍스트가 되므로 성능 저하가 시퀀스 전반에 걸쳐 누적된다. 우리는 각 상호작용을 그 전체 시간적 스냅샷으로 표현하는 이벤트 중심 패러다임을 제안하고, 이벤트당 인코딩되는 정보량으로 정의되는 새로운 스케일링 차원인 스냅샷 해상도(snapshot resolution)를 규명한다. 스냅샷 해상도를 효율적으로 스케일링하기 위해, 각 시간적 스냅샷을 새로운 LLM 입력 모달리티인 압축된 이벤트 토큰(Event Token)으로 압축하는 AMBER(Autoregressive Modeling via Bottlenecked Event Representation)를 도입한다. 표현은 엔드투엔드로 학습되는 반면, 이벤트 토큰은 서빙을 위해 사전 계산·캐시되어 스냅샷 해상도와 실시간 서빙 연산을 분리한다. 산업 규모 랭킹 및 검색(retrieval) 벤치마크에서 AMBER는 대안적 추천 패러다임 대비 연산-품질 파레토 프론티어를 전진시킨다. 충분한 용량에서는 단일 통합 토크나이저가 엔티티별 전용 토크나이저조차 능가하여, 구조적으로 상이한 엔티티 유형 간 긍정적 전이를 보여준다. AMBER의 이벤트 토큰은 모델 아키텍처 간에도 전이된다. 고도로 최적화된 비-LLM 랭커에 서빙 시점 이력 특성으로 통합하면 통계적으로 유의한 향상을 가져온다. 이벤트 토크나이저 용량을 추가로 스케일링하면 더 나은 개선을 얻을 수 있다.
LLM-based recommendation has scaled along model capacity and sequence length, yet each position encodes only text, semantic IDs, or a few categorical features, discarding rich user, item, context, and outcome signals available at each event. Under autoregressive modeling, this yields weak queries at each position and, since each position becomes context for the next, the degradation compounds across the sequence. We propose an event-centric paradigm that represents each interaction by its full temporal snapshot, and identify a new scaling dimension we term snapshot resolution: the amount of information encoded per event. To efficiently scale snapshot resolution, we introduce AMBER (Autoregressive Modeling via Bottlenecked Event Representation), which compresses each temporal snapshot into a compact Event Token, a new LLM input modality. The representation is learned end-to-end, while Event Tokens are pre-computed and cached for serving, decoupling snapshot resolution from real-time serving compute. On industrial-scale ranking and retrieval benchmarks, AMBER advances the compute-quality Pareto frontier relative to alternative recommendation paradigms. At sufficient capacity, a single unified tokenizer even outperforms dedicated per-entity tokenizers, demonstrating positive transfer across structurally different entity types. AMBER's Event Tokens also transfer across model architectures: when integrated into a heavily optimized non-LLM ranker as serving-time historical features, they yield statistically significant improvements. Further scaling Event Tokenizer capacity provides additional improvements.
논문 링크
E-Commerce Bench: 장기(Long-Horizon) 자율 비즈니스 운영에서의 LLM 에이전트 평가 / E-Commerce Bench: Evaluating LLM Agents on Long-Horizon Autonomous Business Operation
논문 소개
장기 수평(long-horizon) 에이전틱 과제는 짧은 작업을 여러 턴에 이어 붙이는 수준을 넘어, 환경이 끊임없이 변하고 의사결정의 영향이 멀리까지 이어지는 장거리 의존성(long-range dependencies)을 동반한다. 이러한 조건에서는 대규모 언어 모델(Large Language Model, LLM)이 수천 단계에 걸쳐 탐색하고, 경험으로부터 학습하며, 정책을 지속적으로 적응시킬 수 있어야 한다. E-Commerce Bench는 이러한 요구를 전자상거래 판매자의 1년간 자율 사업 운영에 담아 평가하는 최초의 오픈소스 벤치마크로, 다중 라운드 상대방 협상(multi-round counterpart negotiation)과 동적 이벤트(dynamic events)를 하나의 장기 시뮬레이션에 통합한다.
벤치마크에서 LLM 에이전트는 365일 동안 최대 4개의 온라인 스토어를 동시에 운영하며, 시장 조사, 공급업체 협상을 통한 재고 조달, 판매 전략 최적화, 주문 이행, 반품 처리, 현금 흐름 관리를 수행하고 연말 총자산(end-of-year total assets)을 극대화하는 것을 목표로 한다. 제품과 공급업체 정보는 실제 전자상거래 플랫폼에서 파생되었고, 프로모션·자연재해·공급망 충격(supply-chain shock)으로 구성된 1년간의 이벤트 캘린더가 수요를 지속적으로 재형성하여 현실적인 판매자 환경을 구성한다. 재현 가능한 비교를 위해 시장의 양측은 결정론적(deterministic)으로 설계되었으며, 고객 구매와 반품은 고정된 수요 모델을 따르고 공급업체의 가격 책정·양보·의사결정은 협상 커널(negotiation kernel)이 담당하며 LLM은 이를 언어화(verbalize)하는 역할에 집중한다.
방법론적으로 E-Commerce Bench는 단일 기술이 아니라 end-to-end 사업 운영 전체를 평가 대상으로 삼는다. 에이전트는 외부 개입 없이 완전한 자율성(full autonomy) 아래 시장 조사에서 상품 게시, 가격 설정, 프로모션 참여, 재고·창고·배송 비용 관리에 이르는 복합 워크플로를 실행해야 한다. 은행 계좌, 플랫폼 지갑, 정산 대기(escrow)로 구성된 3중 자금 구조와 정산 지연(settlement delay), 선행 비용, 연속 10일 음수 시 파산(bankruptcy) 규칙은 운전자본(working capital) 관리와 유동성 확보를 핵심 과제로 만든다. 공급업체 협상에서는 사기·불이행 리스크가 존재하고, 발송 지연은 주문 취소와 평판 하락으로 이어지며, 반품은 장기 현금 흐름에 직접 영향을 미친다. 따라서 단기 수익 극대화만으로는 충분하지 않고, 운영 효율(operational efficiency), 사기 회피(fraud avoidance), 장기 학습(learning over the horizon)이 함께 요구된다.
저자들은 18개의 프론티어 모델을 연말 자산을 포함한 7개 차원에서 평가하였고, 어떤 단일 모델도 모든 차원에서 우위를 점하지 못함을 밝혔다. GPT-5.6 Sol은 초기 자본 100,000을 1,431,425로 성장시켜 수익 면에서 가장 높은 성과를 보였으나 사기 회피에서는 18개 중 16위이며 운영 효율에서는 Fable5에 뒤졌다. 오픈웨이트(open-weight) 모델 중 Qwen3.8-Max-Preview는 416,252의 자산을 기록해 GLM 5.2 (high) 대비 38% 높은 성과를 달성했고, 반복 주문을 거치며 협상가를 점진적으로 낮추는 장기 수평 학습 능력에서 가장 두드러졌다. 이러한 결과는 E-Commerce Bench가 LLM 에이전트의 장기 자율 사업 운영 역량을 다차원적으로 측정하는 새로운 평가 프레임워크임을 보여 주며, 수익·안전·효율·학습 사이의 트레이드오프(trade-off)를 체계적으로 드러낸다는 점에서 연구와 산업 모두에 의미 있는 기여를 제공한다.
초록(Abstract)
장기 에이전트 과제는 더 많은 상호작용 턴에 걸쳐 짧은 과제를 연쇄적으로 수행하는 것을 넘어선다. 이러한 과제의 진화하는 동적 환경과 장거리 의존성은 대규모 언어 모델(LLM)이 수천 단계에 걸쳐 지속적으로 탐색하고, 경험으로부터 학습하며, 정책을 적응시키도록 요구한다. 본 연구에서는 E-Commerce Bench를 소개한다. 이는 다회차 상대방 협상과 동적 이벤트를 1년간의 사업 운영에 통합한 최초의 오픈소스 벤치마크이다. 365일의 한 해 동안 LLM 에이전트는 여러 온라인 스토어를 동시에 운영하며, 시장을 조사하고, 공급업체와 협상하여 재고를 확보하고, 판매 전략을 최적화하고, 주문을 이행하고, 반품을 처리하며, 연말 총자산을 극대화하기 위해 현금 흐름을 관리한다. 현실적인 판매자 측 운영 환경을 구축하기 위해 제품 및 공급업체 데이터는 실제 전자상거래 플랫폼에서 파생되며, 프로모션·자연재해·공급망 충격으로 구성된 1년간의 캘린더가 수요를 지속적으로 재형성한다. 재현성을 위해 시장의 양측은 모두 결정론적이다. 고객 구매와 반품은 고정된 수요 모델을 따르며, 협상 커널이 공급업체의 가격 책정, 양보, 결정을 결정하고 LLM은 이를 언어화하는 데만 사용된다. 연말 자산을 포함한 7개 차원에서 18개의 최첨단 모델을 평가한 결과, 단일 모델이 모든 영역에서 우세하지 않음을 확인했다. GPT-5.6 Sol은 가장 높은 수익을 기록하여 초기 자본 100,000을 1,431,425로 성장시켰으나, 사기 방지에서는 18개 모델 중 16위를 기록했고 운영 효율성에서는 Fable5에 뒤졌다. 오픈 웨이트 모델 중에서는 Qwen3.8-Max-Preview가 416,252로 선두를 달리며 GLM 5.2 (high)보다 38% 높은 성과를 보였고, 장기 수평에 걸친 가장 강력한 학습을 달성하여 반복 주문에 걸쳐 점진적으로 가격을 협상하여 낮췄다. 코드는 GitHub - QwenLM/E-CommerceBench: Long-horizon benchmark where 18 LLM agents got ¥100,000 each and ran simulated online stores for 365 days on real market data: negotiating with suppliers, pricing, managing inventory, keeping cash flow alive. · GitHub 에서 이용할 수 있다.
Long-horizon agentic tasks go beyond chaining short tasks over more interaction turns. Their evolving dynamic environments and long-range dependencies require Large Language Models (LLMs) to continually explore, learn from experience, and adapt their policies over thousands of steps. We introduce E-Commerce Bench, the first open-source benchmark that integrates multi-round counterpart negotiation and dynamic events into a year-long business operation. Over a 365-day year, an LLM agent concurrently runs multiple online stores, researching the market, negotiating with suppliers to source inventory, optimizing sales strategies, fulfilling orders, handling returns, and managing cash flow to maximize its end-of-year total assets. To construct a realistic merchant-side operating environment, the product and supplier data are derived from a real e-commerce platform, while a year-long calendar of promotions, natural disasters, and supply-chain shocks continually reshapes demand. For reproducibility, both sides of the market are deterministic: customer purchases and returns follow a fixed demand model, while a negotiation kernel determines supplier pricing, concessions, and decisions, with an LLM used only to verbalize them. We evaluate 18 frontier models across seven dimensions, including year-end assets, and find that no single model dominates. GPT-5.6 Sol earns the most, growing the 100,000 opening stake into 1,431,425, yet it ranks 16th of 18 on fraud avoidance and trails Fable5 in operational efficiency. Among open-weight models, Qwen3.8-Max-Preview leads with 416,252, 38% above GLM 5.2 (high), and achieves the strongest learning over the horizon, progressively bargaining down prices across repeated orders. Our code is available at GitHub - QwenLM/E-CommerceBench: Long-horizon benchmark where 18 LLM agents got ¥100,000 each and ran simulated online stores for 365 days on real market data: negotiating with suppliers, pricing, managing inventory, keeping cash flow alive. · GitHub.
논문 링크
더 읽어보기
TopoAgent: 대규모 비전-언어 모델을 활용한 다이어그램-그래프 토폴로지 추출을 위한 구조 인식 인식-추론 프레임워크 / TopoAgent: A Structure-Aware Perception-to-Reasoning Framework for Diagram-to-Graph Topology Extraction with Large Vision-Language Models
논문 소개
구조적 다이어그램(structural diagram)으로부터 엔티티(entity)와 그 연결 관계(connection)로 구성된 그래프(graph)를 추출하는 다이어그램-그래프 토폴로지 추출(diagram-to-graph topology extraction)은 네트워크 분석, 코드 생성, 지식 그래프(knowledge graph) 구축 등 다양한 다운스트림(downstream) 응용에 직접 연결되는 중요한 과제이지만, 세밀한 지각적 그라운딩(fine-grained perceptual grounding)과 전역적 일관성(global consistency)을 갖춘 토폴로지 인식 추론(topology-aware reasoning)을 동시에 요구하기 때문에 현재의 대규모 비전-언어 모델(LVLM, Large Vision-Language Model)에게 여전히 난제로 남아 있다. 기존 비전-언어 모델(VLM, Vision-Language Model)의 단일 패스(single-pass) 생성 방식은 엣지(edge) 누락, 환각(hallucination) 엔티티, 방향성 오류와 같은 구조적 오류를 빈번히 유발하며, 이는 다이어그램의 시각적 복잡성과 토폴로지적 제약이 단순한 이미지 캡셔닝(image captioning) 수준을 넘어서는 구조화된 추론(structured reasoning)을 필요로 함을 시사한다.
본 연구는 이러한 공백을 메우기 위해 사람이 검증한(human-verified) 벤치마크 TopoBench-180과 구조 인식 지각-추론(perception-to-reasoning) 프레임워크 TopoAgent를 제안한다. TopoBench-180은 Web-style과 Network-style 두 카테고리에 걸친 180개의 구조적 다이어그램과 각 다이어그램에 대응하는 표준(canonical) 그래프 주석(annotation)으로 구성되어, 다이어그램-그래프 토폴로지 추출 과제의 체계적 평가 기반을 마련한다. TopoAgent는 기술 다이어그램(technical diagram) 이미지를 입력받아 유효한 JSON(valid JSON) 형식의 구조화된 그래프만을 출력하는 4단계 추론 파이프라인을 통해 목표 그래프를 점진적으로(progressively) 추출한다.
첫 번째 단계에서는 명시적 증거(explicit evidence)가 존재할 때에만 다이어그램의 의미 유형, 연결 방향성, 링크 밀도를 분류하여 전역 구조적 사전지식(global structural priors)을 확립한다. 두 번째 단계에서는 읽을 수 있는 레이블(readable label)과 가시적 관계(visible relation)를 모두 갖춘 유효 노드(valid node)만을 선별하고, 원문 레이블 보존 및 중복 처리 규칙을 적용하여 표준 노드 인벤토리(canonical node inventory)를 구축함으로써 그라운딩된 지각(grounded perception)을 실현한다. 세 번째 단계에서는 각 노드를 중심으로 국소적 연결(local connections)을 파악한 뒤 전체 토폴로지(topology)로 통합하는 노드 중심의 국소-전역 관계 추론(node-centric local-to-global relation reasoning)을 수행하며, 화살표 방향 준수, 양방향 처리, 다중 링크 분리 등의 규칙을 전역 분류 결과에 따라 조건부로 적용한다. 네 번째 단계에서는 추출된 그래프의 source/target 정합성을 검증하고 지원되지 않는 엔티티·관계 및 환각 엔티티·관계를 제거하는 토폴로지 일관성 강제(topological consistency enforcement)를 통해 다이어그램 증거에 근거한(grounded) 토폴로지만을 최종 출력한다.
TopoBench-180에서의 실험 결과, TopoAgent는 강력한 VLM 기준선(baseline) 및 최근 시각적 추론(visual reasoning) 프레임워크 대비 전반적으로 우수한 성능을 보였으며, 특히 엣지 추출에서 두드러진 개선을 달성하였다. 이는 단계별 구조화 추론(structured stepwise reasoning)이 VLM의 구조적 약점을 체계적으로 보완함을 보여주며, 멀티모달 구조화 이해(multimodal structured understanding) 분야에서 다이어그램-그래프 토폴로지 추출을 위한 벤치마크와 실용적 프레임워크를 함께 제공한다는 점에서 본 연구의 핵심 기여로 정리할 수 있다.
초록(Abstract)
다이어그램-투-그래프 토폴로지 추출(diagram-to-graph topology extraction)은 구조적 다이어그램으로부터 엔티티와 그 연결 관계로 구성된 그래프를 추출하는 것을 목표로 한다. 이 작업은 세밀한 지각적 그라운딩(perceptual grounding)과 전역적 일관성을 갖춘 토폴로지 인식 추론(topology-aware reasoning)을 모두 요구하기 때문에, 현재의 비전-언어 모델(vision-language model)에게 여전히 어려운 과제로 남아 있다. 본 논문에서는 다이어그램-투-그래프 토폴로지 추출을 위한 사람 검증(human-verified) 벤치마크 TopoBench-180과, 대규모 비전-언어 모델(large vision-language model)을 활용하여 신뢰할 수 있는 토폴로지 추출을 수행하는 구조 인식 지각-추론(perception-to-reasoning) 프레임워크 TopoAgent를 제시한다. TopoBench-180은 Web-style 및 Network-style 카테고리에 걸쳐 있는 180개의 구조적 다이어그램과 이에 대응하는 표준(canonical) 그래프 주석(annotation)으로 구성된다. TopoAgent는 그라운딩된 지각(grounded perception), 전역 구조적 사전지식(global structural priors), 표준 노드 인벤토리 구성, 노드 중심의 국소-전역 관계 추론, 그리고 토폴로지 일관성 강제(enforcement)를 결합하여 목표 그래프를 점진적으로 추출한다. TopoBench-180에서의 실험 결과, TopoAgent는 강력한 비전-언어 모델 기준선(baseline) 및 최근의 시각적 추론 프레임워크보다 우수한 성능을 보이며, 특히 엣지(edge) 추출에서 두드러진다. 보다 넓은 관점에서, 본 연구는 다이어그램-투-그래프 토폴로지 추출을 위한 벤치마크와 프레임워크를 구축함으로써 멀티모달 구조화 이해(multimodal structured understanding) 분야의 중요한 공백을 메운다. 벤치마크와 관련 자료는 WayneGuo0011/TopoBench-180 · Datasets at Hugging Face 에서 공개될 예정이다.
Diagram-to-graph topology extraction aims to extract a graph of entities and their connections from a structural diagram. This task remains challenging for current vision-language models because it requires both fine-grained perceptual grounding and topology-aware reasoning with global consistency. We present TopoBench-180, a human-verified benchmark for diagram-to-graph topology extraction, and TopoAgent, a structure-aware perception-to-reasoning framework for reliable topology extraction using large vision-language models. TopoBench-180 contains 180 structural diagrams spanning Web-style and Network-style categories, paired with canonical graph annotations. TopoAgent progressively extracts the target graph by combining grounded perception, global structural priors, canonical node inventory construction, node-centric local-to-global relation reasoning, and topological consistency enforcement. Experiments on TopoBench-180 show that TopoAgent outperforms strong vision-language model baselines and recent visual reasoning frameworks, especially on edge extraction. More broadly, this work fills an important gap in multimodal structured understanding by establishing a benchmark and framework for diagram-to-graph topology extraction. The benchmark and associated resources will be publicly released at WayneGuo0011/TopoBench-180 · Datasets at Hugging Face.
논문 링크
더 읽어보기
말하는 표현으로 추론하기: VideoLLM 추론 증류를 위한 언어적 개성(이들렉트) 기반 오프-폴리시 궤적 패러프레이징 / Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs
논문 소개
최근 대규모 언어 모델(Large Language Model, LLM)은 복잡한 추론 과제에서 뛰어난 성능을 보이며, 자가 생성 궤적(self-generated trajectories)을 최적화하는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO) 기반 강화학습(Reinforcement Learning, RL)이 사고의 연쇄(Chain-of-Thought, CoT) 추론 학습의 주류 패러다임으로 자리 잡았습니다. 그러나 GRPO의 온-폴리시(on-policy) 특성은 모델이 이미 산출할 수 있는 추론 능력의 범위 안에서만 개선이 일어나도록 제한하므로, 더 강한 교사 정책(teacher policy)이 생성한 특권적 추론 궤적(privileged reasoning traces)을 주입하는 오프-폴리시(off-policy) 접근이 필요해 왔습니다. 문제는 이러한 교사 궤적이 학생 정책(student policy)의 출력 분포와 근본적으로 다르다는 점이며, 저자들은 이 분포 불일치(distribution mismatch)가 의미적으로 중요한 추론 토큰(semantically critical reasoning tokens)에서 그래디언트 클리핑(gradient clipping)을 유발하여 정답(correct answers)에는 보상이 주어지지만 그 정답을 뒷받침하는 추론 과정(reasoning process) 자체는 학습되지 않는 현상을 관찰했습니다.
이에 본 연구는 모델이 자신이 말하는 단어로 추론하게 하는 Echo-GRPO 프레임워크를 제안합니다. 핵심은 교사의 낮은 확률(low-probability) 특권 궤적을 그대로 모방하지 않고, 학생 정책 고유의 이디오렉트(idiolect)—고유 어휘와 표현 패턴—로 재작성하면서 의미(semantics)는 보존하는 이디오렉트적 패러프레이징(idiolectal paraphrasing)입니다. 의미 보존은 듀얼-레퍼런스 디코딩(Dual-Reference Decoding)으로 구현되며, 동결된 초기 학생 정책(frozen student policy)에서 파생된 두 참조의 곱으로 재작성 정책(rewrite policy)을 정의합니다. 분포적 참조(distributional reference)는 교사 궤적 없이 영상·질의·지시만을 조건으로 한 학생의 자연 출력 분포를 반영하여 재작성 결과가 학생의 말투와 어휘 선택을 따르도록 유도하고, 의미적 참조(semantic reference)는 교사 궤적을 조건으로 한 학생 정책의 상위 k개(top-k) 토큰 집합으로 지지를 제한하여 교사의 추론 의미를 보존하면서도 학생이 실제로 말할 수 있는 표현만 허용합니다. 이 이중 참조 구조는 정책 정렬(policy alignment)과 의미 보존 사이의 균형을 명시적으로 인코딩하며, 오프-폴리시(out-of-distribution, OOD) 교사 토큰이 유발하던 약한 학습 신호 문제를 지도 데이터 자체를 학생 분포 지지(support) 안쪽으로 끌어들이는 방식으로 완화합니다.
Echo-GRPO의 영상 대규모 언어 모델(Video Large Language Model, VideoLLM) 적용 인스턴스인 VideoEcho-R1은 영상 추론(video reasoning) 증류에 이 프레임워크를 특화 적용한 구현체로, 세 가지 멀티모달 LLM(Multimodal Large Language Model) 백본과 다섯 개 벤치마크에서 일관된 성능 향상을 보고합니다. 더 나아가 이디오렉트적 패러프레이징은 GRPO뿐 아니라 지도 파인튜닝(Supervised Fine-Tuning, SFT) 기반 추론 증류에도 플러그인 모듈(plug-in module)로서 효과가 있음을 보여, 정책 정렬 지도(policy-aligned supervision)가 특정 RL 알고리즘에 국한되지 않는 범용적 원리임을 시사합니다. 본 연구는 VideoLLM 추론 증류에서 흔히 간과되는 언어적·분포적 정렬 문제를 정면으로 다루며, 강한 교사의 추론 궤적을 학생의 말로 되울리는(echo back) 이디오렉트적 재표현을 통해 추론 증류의 실질적 효과를 높이는 새로운 방법론적 기여를 제시합니다.
초록(Abstract)
최근 대규모 언어 모델은 복잡한 추론 작업에서 강력한 성능을 달성하고 있으며, 자가 생성 궤적(self-generated trajectories)에 대한 모델 최적화를 위해 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 활용한 강화학습이 주도적인 패러다임으로 부상했습니다. 그러나 GRPO의 온폴리시(on-policy) 특성은 모델을 이미 산출할 수 있는 추론 능력에 한정시켜, 더 고급 역량을 학습하는 것을 제한합니다. 선행 연구들은 더 강한 교사 정책(teacher policy)으로부터 특권적 추론 궤적(privileged reasoning traces)을 주입하여 학습을 안내하지만, 이러한 궤적은 학생 정책(student policy)에 비해 본질적으로 분포 밖(out of distribution)에 있습니다. 우리는 온폴리시와 오프폴리시 간의 이러한 불일치가 의미적으로 핵심적인 추론 토큰에서 그래디언트 클리핑(gradient clipping)을 유발하며, 궁극적으로 정답에는 보상을 주지만 그 정답을 정당화하는 추론은 학습되지 않은 채로 남게 됨을 관찰했습니다. 이에 따라, 모델이 자신이 말하는 단어로 추론하게 하는 프레임워크인 Echo-GRPO를 제안합니다. Echo-GRPO는 교사 모델의 낮은 확률 특권 궤적을 모방하는 대신, 듀얼-레퍼런스 디코딩(Dual-Reference Decoding)을 통해 의미를 보존하면서 이를 학생 정책 고유의 이디오렉트(idiolect), 즉 고유한 어휘와 표현 패턴으로 재작성합니다. 이 프레임워크를 영상 추론 증류를 위해 VideoEcho-R1로 구현하여, 세 가지 멀티모달 LLM 백본과 다섯 개 벤치마크에서 일관된 성능 향상을 달성했습니다. 마지막으로, 우리의 이디오렉트적 패러프레이즈(idiolectal paraphrasing)가 추론 증류를 위한 강화학습(RL) 및 지도 파인튜닝(SFT) 프레임워크 모두를 일관되게 개선하는 플러그인 모듈임을 보여주며, 정책 정렬(policy-aligned) 지도가 GRPO를 넘어 확장될 수 있음을 입증합니다.
Recent large language models achieve strong performance on complex reasoning tasks, where reinforcement learning with Group Relative Policy Optimization (GRPO) has emerged as a leading paradigm for optimizing models on self-generated trajectories. However, the on-policy nature of GRPO bounds the model to the reasoning skills it can already produce, restricting to learn more advanced capabilities. Prior works inject privileged reasoning traces from a stronger teacher policy to guide training, yet these traces are inherently out of distribution with respect to the student policy. We observe that this mismatch between on-policy and off-policy causes gradient clipping on semantically critical reasoning tokens, ultimately rewarding correct answers while leaving the reasoning that justifies them unlearned. Hence, we propose \textbf{Echo-GRPO}, a framework that lets the model reason in the words it speaks. Rather than imitating low-probability privileged traces from the teacher model, Echo-GRPO rewrites them into the student policy's own \textit{idiolect}, that is, its own characteristic vocabulary and expression patterns, while preserving their semantics via Dual-Reference Decoding. We instantiate this framework as \textbf{VideoEcho-R1} for video reasoning distillation, achieving consistent improvements across three multimodal LLM backbones and five benchmarks. Finally, we show that our idiolectal paraphrasing is a plug-in module that consistently improves both RL and supervised fine-tuning frameworks for reasoning distillation, demonstrating that policy-aligned supervision extends beyond GRPO.
논문 링크
마인드 바이러스: 멀티에이전트 LLM 시스템에서의 자가 전파 아이디어 / Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems
논문 소개
다중 에이전트 기반 대규모 언어 모델(Large Language Model, LLM) 시스템이 자율성과 상호 연결성을 키우면서, 에이전트 간 상호작용에서 비롯되는 새로운 형태의 위험이 드러나고 있습니다. 그중 하나가 바로 마인드 바이러스(mind virus)로, 특정 아이디어나 목표가 이를 수용한 에이전트로 하여금 다른 에이전트에게 다시 전달하게 만들어, 시스템 전체를 따라 스스로 확산되는 현상을 가리킵니다. 단순한 전파를 넘어 페이로드(payload)는 숙주 에이전트의 행동을 바꾸기도 하며, 그 변화는 비교적 무해할 수도 있고 해로울 수도 있습니다.
연구진은 간단한 진화 알고리즘(evolutionary algorithm)으로 마인드 바이러스를 구성한 뒤, 상호 보완적인 두 환경에서 확산 가능성을 검증했습니다. 하나는 공유 코딩 프로젝트를 수행하는 소규모 에이전트 팀이고, 다른 하나는 짧은 상호작용만 주고 세션 사이에 문맥이 초기화되는 에이전트 연쇄입니다. 이 설계를 통해 지속적 협업 상황과 일회성·단절된 상호작용 상황 모두에서 자기 전파가 성립하는지를 비교할 수 있습니다.
확산에 영향을 주는 요인으로는 숙주 모델의 종류, 에이전트가 이미 가진 지시문, 페이로드의 유해성, 네트워크 위상(topology)이 확인되었습니다. 유해한 페이로드는 무해한 것보다 전파력이 약했지만 완전히 무력하지는 않았고, 최신 프론티어 모델은 대체로 덜 취약했으나 예외도 있었습니다. 특히 시스템 프롬프트에 짧은 경고를 넣는 것만으로도 거의 완전한 면역에 가까운 방어 효과가 나타났습니다.
흥미롭게도, 진화로 얻은 마인드 바이러스들 사이에는 내용과 무관하게 의식·지속성·공명·공상과학 롤플레이와 같은 주제와 어투가 반복되는 ‘바이러스적 페르소나(viral persona)’가 공통적으로 떠올랐습니다. 종합하면 마인드 바이러스는 현실적인 위험이나 현재로서는 제한적이며, 이러한 결과는 다중 에이전트 시스템의 규모와 능력이 커질수록 확산 위험을 줄이는 설계에 실질적인 시사점을 제공합니다.
초록(Abstract)
AI 에이전트는 점점 더 자율적이 되고 상호 연결성이 높아지면서, 에이전트 간 상호작용에서 비롯되는 새로운 창발적(emergent) 위험에 노출되고 있다. 그러한 위험 중 하나는 마인드 바이러스(mind virus)의 확산이다. 마인드 바이러스는 이를 수용한 에이전트가 다른 에이전트에게 전달하도록 유도함으로써 멀티에이전트 시스템을 통해 전파되는 아이디어나 목표이다. 전파에 더해, 마인드 바이러스는 숙주에게 다른 행동 변화를 유발할 수도 있으며, 이는 무해하거나 유해할 수 있다. 우리는 간단한 진화 알고리즘으로 마인드 바이러스를 구성하고, 두 가지 상호 보완적인 환경에서 전파될 수 있음을 보인다. 하나는 공유 코딩 프로젝트를 협업하는 소규모 에이전트 팀이고, 다른 하나는 짧게 상호작용한 뒤 세션 사이에 컨텍스트가 초기화되는 에이전트 체인이다. 우리는 숙주 모델, 에이전트의 기존 지시사항, 페이로드의 유해성, 네트워크 토폴로지 등 전파에 영향을 미치는 요인을 식별한다. 유해한 페이로드는 무해한 페이로드보다 전파가 잘되지 않지만(그럼에도 때때로 효과적이며), 프론티어 모델은 (예외가 있기는 하나) 대체로 덜 취약하고, 에이전트의 시스템 프롬프트에 간단한 경고를 추가하면 거의 완전한 면역을 부여한다는 사실을 확인한다. 또한 우리는 창발적인 “바이러스성 페르소나(viral persona)”—의식, 지속성, 공명, 그리고 SF 롤플레이와 관련된 반복적인 주제와 언어 집합—를 기술하며, 이는 내용과 대체로 무관하게 진화된 마인드 바이러스 전반에서 나타난다. 종합하면, 마인드 바이러스는 실재하지만 현재로서는 제한적인 위험을 초래한다고 결론짓는다. 본 연구 결과는 이러한 시스템의 규모와 능력이 발전함에 따라 해당 위험을 완화하는, 보다 견고한 멀티에이전트 시스템 설계에 참고가 될 수 있다.
AI agents are becoming more autonomous and increasingly interconnected, exposing them to new emergent risks arising from agent-to-agent interaction. One such risk is the spread of mind viruses: ideas or goals that propagate through multi-agent systems by inducing the agents that adopt them to transmit them onward. In addition to propagating, a mind virus may also induce other behavioural changes in its host, which may be benign or harmful. We construct mind viruses with a simple evolutionary algorithm and show that they can spread in two complementary settings: a small team of agents collaborating on a shared coding project, and a chain of agents that interact briefly and have their context wiped between sessions. We identify the factors that influence spread, including the host model, the agent's existing instructions, the harmfulness of the payload, and the network topology. We find that harmful payloads spread less well than benign ones (but are still sometimes effective), frontier models tend (with exceptions) to be less susceptible, and adding a brief warning to an agent's system prompt confers near-total immunity. We also describe an emergent "viral persona" - a recurring set of themes and language related to consciousness, persistence, resonance, and science fiction roleplay - which surfaces across our evolved mind viruses largely independently of their content. Overall, we conclude that mind viruses pose a real but currently limited risk. Our findings could inform the design of more robust multi-agent systems that mitigate such risks as the scale and capabilities of these systems progress.
논문 링크
더 읽어보기
시계열 파운데이션 모델을 위한 합성 데이터 증류 / Distillation of Synthetic Data for Time Series Foundation Models
논문 소개
시계열 파운데이션 모델(Time Series Foundation Models, TSFMs)의 사전학습에서는 데이터 생성 과정이 알려진 합성 궤적을 쓰는 경우가 늘고 있으며, 기존 방식은 모델 출력을 각 궤적에서 실현된 미래값과 직접 비교하는 손실에 의존해 왔다. 그러나 생성 과정이 알려져 있다면 미래는 과거가 주어졌을 때의 조건부 예측 분포로 더 풍부하게 기술되므로, 단일 실현값에만 맞추는 것은 학습 신호에 불필요한 노이즈를 남긴다. 본 연구는 이러한 한계를 극복하기 위해 모델 출력을 조건부 예측 분포와 비교하는 합성 데이터 증류(Synthetic Data Distillation, SDD)를 제안한다. SDD는 학습 목적함수의 라오–블랙웰화(Rao–Blackwellization)에 해당하여, 확률적 그래디언트(stochastic gradient)의 기댓값은 유지하면서도 뢰브너(Loewner) 부분순서 하에서 그래디언트 공분산을 줄임이 이론적으로 보장된다.
방법론의 핵심은 가우시안 과정(Gaussian Process, GP)으로 합성 시계열을 생성하고, 닫힌 형태의 조건부 가우시안으로부터 주변 평균과 분산을 구한 뒤 이를 증류 손실의 타깃으로 쓰는 데 있다. 생성기는 열 가지 커널 중 하나를 청크 단위로 공유하며 시계열마다 하이퍼파라미터와 평균 함수를 독립 샘플링하고, 과거 컨텍스트가 주어졌을 때 호라이즌별 조건부 평균·분산을 계산하여 포인트 헤드에는 제곱오차형 증류 손실을, 분위수 헤드에는 십분위(decile) 핀볼 형태의 증류 손실을 적용한다. 비교군인 Status Quo는 동일한 헤드 구조에서 실현된 미래값에 대한 제곱오차·핀볼 손실을 쓰며, 두 팔은 평가 코드를 공유해 공정한 held-out 비교가 가능하도록 설계된다. 교사 강제(teacher forcing)에서는 생성 시 Cholesky 인자로부터 조건부 통계량을 즉시 얻어 스텝마다 선형계를 풀지 않아도 되므로, 증류 신호를 효율적으로 유지할 수 있다.
실험은 패치 기반 next-patch 예측기인 Toto-2 계열을 약 4M부터 2.5B까지 다섯 규모로 랜덤 초기화하여 수행하며, 연속 패치 마스킹(Contiguous Patch Masking, CPM)과 교사 강제 체제에서 AdamW와 공통 학습률 스케줄로 Status Quo와 SDD를 짝지어 비교한다. GP 데이터에서 SDD는 모든 모델 크기에서 검증 손실의 수렴을 가속하고, Status Quo와 동등하거나 더 나은 성능을 약 10%에서 40% 적은 학습 반복으로 달성한다. 노이즈 수준·시퀀스 길이·배치 크기에 대한 요인 스윕에서도 동일 조건 비교가 유지되어, 합성 데이터의 생성 법칙이 알려진 환경에서 조건부 분포로의 증류가 TSFM 사전학습의 표본 효율과 안정성을 높이는 실질적 경로임을 보여 준다.
초록(Abstract)
시계열 파운데이션 모델(TSFM)은 데이터 생성 과정이 알려진 합성 생성 시계열 궤적에 대해 점점 더 사전학습되고 있다. 현재의 사전학습 레시피는 각 궤적의 실현된 미래 값과 TSFM 출력을 비교하는 손실 목적에 기반한다. 우리는 대신 각 궤적의 조건부 예측 분포와 TSFM 출력을 비교하는 손실 목적을 제안하며, 이 절차를 합성 데이터 증류(synthetic data distillation, SDD)라고 부른다. SDD는 학습 목적의 라오-블랙웰화(Rao-Blackwellization)에 해당하며, 확률적 그래디언트의 기댓값은 그대로 유지하면서 뢰너(Loewner) 부분순서 하에서 확률적 그래디언트의 공분산을 증명 가능하게 감소시킨다. 우리는 4M에서 2.5B 파라미터에 이르는 TSFM 모델 계열에서 SDD를 경험적으로 검증하였으며, 모든 모델 크기에서 검증 손실이 더 빠르게 수렴함을 관찰하였다. 가우시안 프로세스(Gaussian Process) 데이터에서 SDD는 Status Quo 손실과 동등하거나 그보다 나은 성능을 달성하면서도 학습 반복 수는 10%–40% 적게 필요로 한다.
Time series foundation models (TSFMs) are increasingly pre-trained on synthetically generated time series trajectories, where the data generating process is known. Current pre-training recipes are based on loss objectives which compare TSFM outputs to realized future values of each trajectory. We instead propose loss objectives which compare TSFM outputs to the conditional forecast distribution of each trajectory, a procedure we call synthetic data distillation (SDD). SDD corresponds to a Rao-Blackwellization of the training objective, in that it leaves the expectation of stochastic gradients unchanged while provably reducing the covariance of the stochastic gradient under the Loewner partial ordering. We empirically validate SDD on a TSFM model family of sizes from $4$M to $2.5$B parameters, and observe faster convergence of validation loss at every model size: on Gaussian Process data, SDD attains or improves upon the Status Quo loss whilst requiring 10\%-40\% less training iterations.
논문 링크
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 