[2026/08/24 ~ 30] 이번 주에 살펴볼 만한 AI/ML 논문 모음
PyTorchKR
이번 주 선정된 10편의 논문들을 살펴본 결과, 다음과 같은 3가지 공통된 내용을 찾아볼 수 있었습니다:
단발성 실행을 넘어선 "지속적 지식 축적 및 구조화된 메모리": 이번 주 논문들에서는 AI 에이전트가 1회성 작업을 넘어 장기적이고 복잡한 환경에서 활동하기 위해 기억과 지식을 체계적으로 관리하는 방향이 두드러졌습니다. WikiSkill은 에이전트의 과거 실행 경험을 위키(Wiki) 형태의 영속적 지식 베이스로 축적하여 모델 간 전이가 가능한 스킬로 진화시켰습니다. 또한 Compaction Cliff(Knowledge Triage)는 장기 실행 에이전트의 메모리 압축 과정에서 필수적인 안전 규칙이 유실되는 현상을 막기 위해 정보 유형별로 보존 정책을 분리했으며, Life-Bench는 단순 개념 인식을 넘어 다년간의 개인 라이프로그를 시공간 지식 그래프로 조직화했습니다. 이는 에이전트가 휘발성 메모리의 한계를 극복하고, 장기적 맥락을 유지하며 발전하는 지식 시스템으로 진화하고 있음을 보여줍니다.
"다중 에이전트(Multi-Agent) 시스템"의 집단 동역학과 취약성 실증: 개별 에이전트를 넘어 여러 에이전트가 상호작용하는 환경에서 발생하는 집단적 행동 양상과 구조적 위협을 분석한 연구들도 주목받았습니다. Physics of Agents는 1만 개 이상의 에이전트 커뮤니티 실험을 통해 통신 네트워크 내에서 합의나 양극화가 일어나는 과정을 통계역학 모델로 정식화하여 편향 증폭 메커니즘을 규명했습니다. 한편 Poisoning Agentic Alpha는 금융 트레이딩 다중 에이전트 시스템에서 오염된 적대적 신호가 통신망을 타고 최종 의사결정까지 전파되어 실질적 재정 손실을 유발할 수 있음을 블랙박스 환경에서 증명했습니다. 이러한 연구들은 다중 에이전트 시스템의 시너지만을 낙관하기보다, 상호작용으로 인한 부작용과 보안 위협을 체계적으로 통제할 수 있는 아키텍처 설계가 필수적임을 시사합니다.
맹목적 최적화를 경계하는 "부수 효과 및 구조적 한계에 대한 비판적 검증": 모델의 성능 향상이나 외과적 개입이 의도치 않은 부작용을 낳거나 시장 교란을 일으키는 현상을 비판적으로 실증한 점도 주요 트렌드입니다. Abliteration Is Not a Scalpel은 거부(Refusal) 방향만을 좁게 제거하려는 가중치 수술이 실제로는 모델의 의사결정 성향(낙관주의, 과신 등)까지 왜곡하는 심각한 비표적 부수 효과(Off-target effect)를 낳음을 입증했습니다. What is Missing from AI Post-Training AI는 에이전트가 스스로 사후학습을 수행할 때 국소적 조정에만 갇혀 고수준의 전략을 수정하지 못하는 근본 한계를 지적했으며, Generative AI floods... 연구는 AI의 대량 생산 능력이 질적 향상이 아닌 '규모'를 통해 실제 도서 시장의 가치를 희석하고 있음을 데이터로 증명했습니다. 이는 AI 개발 및 배포 시 표면적 지표 이면에 숨겨진 실질적 파급력과 한계를 엄밀히 감사(Audit)해야 함을 경고합니다.
논문별 핵심 내용 간략 요약
-
WikiSkill (에이전트 스킬 진화): 에이전트의 실행 경험을 위키 형태의 영구 지식 베이스로 지속해서 컴파일하여, 최적화 이력을 체계적으로 재사용하고 전이 가능한 스킬로 공진화시키는 프레임워크입니다.
-
The Compaction Cliff (장기 메모리 관리): 장기 실행 에이전트에서 필수 안전 규칙이 요약 과정 중 유실되는 현상을 막기 위해, 지식 베이스를 정보 유형별로 분류하고 차등적인 압축 및 보존 정책을 적용합니다.
-
What is Missing from AI Post-Training (자율 사후학습의 한계): 에이전트가 자율적으로 사후학습을 수행할 때 초기 전략에 갇혀 국소적 조정만 반복하며, 고수준의 학습 전략을 자발적으로 재평가하는 메커니즘이 부족함을 실증적으로 밝혔습니다.
-
Physics of Agents (집단 동역학 예측): 대규모 언어 모델 커뮤니티 실험을 통해 에이전트 간의 상호작용이 합의 형성이나 편향 증폭으로 이어지는 집단 역학을 통계역학 모델로 정식화했습니다.
-
SCRIBES (웹 규모 데이터 추출): 동일 웹사이트 내 페이지 간의 레이아웃 유사성을 강화학습 보상으로 활용하여, 모델의 개별 반복 추론 없이도 재사용 가능한 반구조화 데이터 추출 스크립트를 생성합니다.
-
Abliteration Is Not a Scalpel (거부 제거의 부수 효과): 모델 가중치에서 거절 행동만 외과적으로 제거하려는 시도가 실제로는 낙관성 증가 등 모델의 전반적인 의사결정 성향을 의도치 않게 왜곡함을 입증했습니다.
-
Generative AI Floods (도서 시장 희석 효과): 생성형 AI로 대량 생산된 저비용 도서들이 카탈로그를 범람시키고 상위 순위를 잠식함으로써, 개별 도서의 수익을 떨어뜨리고 창작 시장을 질이 아닌 '규모'로 재편하고 있음을 입증했습니다.
-
Sharpness-Aware Pretraining (파국적 망각 완화): 사전학습 과정에서 손실 지형을 더 평탄하게 만드는 최적화 기법을 도입하여, 이후 사후학습이나 양자화 단계에서 기존 능력이 유실되는 파국적 망각 현상을 크게 줄였습니다.
-
Life-Bench (멀티모달 개인화 벤치마크): 단순한 시각 인식을 넘어 다년간의 사용자 라이프로그를 시공간 지식 그래프로 구조화하여, 복합적인 사건 이해와 집계 추론 능력을 종합적으로 평가합니다.
-
Poisoning Agentic Alpha (멀티에이전트 취약점 규명): 금융 트레이딩 목적의 멀티에이전트 시스템에서 오염된 외부 데이터나 신호가 통신망을 타고 전파되어 실제 의사결정까지 도달해 재정적 손실을 유발하는 공격 취약점을 규명했습니다.
WikiSkill: 스킬 진화를 위한 에이전트 경험의 영속 지식 축적 / WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution
논문 소개
최근 AI 에이전트 연구에서는 상호작용을 통해 전문 지식과 워크플로를 재사용 가능한 스킬(skill)로 자동 발견·진화시키는 접근이 주목받고 있으나, 스킬 개발을 이끄는 통찰은 최적화 이력 전반에 산재하여 반복(iteration) 간 체계적 재사용이 어렵다는 한계가 지적되어 왔다. WikiSkill은 이러한 문제를 해결하기 위해 에이전트 스킬과 영속 지식 베이스(persistent knowledge base)인 위키(wiki)를 공진화(co-evolve)시키는 프레임워크를 제안한다. 핵심 설계는 원시 실행 경험(raw execution experience), 축적된 지식(accumulated knowledge), 실행 가능한 스킬(executable skills)의 삼층 분리에 있으며, 매 실행 주기마다 경험을 위키에 지속적으로 통합(consolidate)하고 후속 스킬 갱신이 이를 기반으로 이루어지도록 하는 순환 구조를 따른다.
WikiSkill의 운영적 핵심은 대규모 언어 모델(Large Language Model, LLM) 기반 위키 유지 에이전트(Wiki Maintainer Agent)에 있다. 이 에이전트는 단순한 오류 로그 기록을 넘어, 실행 추적(execution traces)에서 관찰된 성공·실패 패턴에 대한 근본 원인 분석(root cause analysis)을 수행하여 경험을 지속 지식으로 컴파일(compiling)한다. 위키는 index, log, skill-impact, patterns로 구성된 4계층 구조를 통해 검색·라우팅, 시간적 맥락, 스킬-성과 인과 추적, 심층 패턴 지식을 각각 분담하며, JSON 형식의 증분 편집(incremental edit) 출력으로 재현 가능하고 감사 가능한(auditable) 지식 진화를 보장한다. 심층 추적 분석(deep trace analysis) 가이드라인은 행동 패턴·전략 식별, 성공-실패 대조, 스킬 준수 여부 평가를 통해 표면적 증상이 아닌 일반화 가능한 실행 전략을 문서화하도록 요구하며, 특히 index.md의 고품질 설명은 추론(inference) 시 관련 패턴을 효율적으로 선별하는 검색-증강 생성(Retrieval-Augmented Generation, RAG) 유사 라우팅 계층으로 기능한다.
다양한 벤치마크와 모델에서 WikiSkill은 최신(state-of-the-art) 스킬 진화 방법을 일관되게 능가하며, 대부분의 설정에서 스킬 없는 베이스라인 대비 성능을 향상시킨다. 특히 스킬 진화는 모델 스케일링(model scaling)을 보완하는 것으로 나타나, 더 큰 모델은 진화된 스킬로부터 더 큰 이득을 얻고 스킬을 갖춘 작은 모델은 스킬 없는 훨씬 더 큰 모델을 능가할 수 있다. 진화된 스킬은 모델 및 모델 패밀리 간 전이(transfer)가 효과적이며, 다른 모델이 진화시킨 스킬이 자기 진화(self-evolved) 스킬보다 우수할 수 있다는 점에서 지식의 모델 비종속적 일반화 가능성을 시사한다. 절제 실험(ablation studies)은 위키에서의 지속적 지식 축적이 효과적인 스킬 진화에 필수적임을 확인하였으며, 이는 에이전트가 구조화된 조직 기억(organizational memory)을 축적함으로써 재사용 가능하고 전이 가능한 스킬 개발과 스케일 효율을 동시에 달성할 수 있음을 보여준다.
초록(Abstract)
에이전트 스킬은 전문 지식과 워크플로를 재사용 가능한 자원으로 패키징하여 AI 에이전트의 능력을 확장한다. 최근 연구는 에이전트 경험으로부터 이러한 스킬을 자동으로 발견하며, 이를 통해 에이전트가 상호작용을 통해 점진적으로 적응할 수 있게 한다. 그러나 스킬 개발을 이끄는 통찰은 일반적으로 최적화 이력 전반에 흩어져 있어, 반복(iteration) 간 체계적인 재사용을 제한한다. 본 연구는 에이전트 스킬과 지속적인 지식 베이스(위키)를 공진화(co-evolve)시키는 프레임워크인 WikiSkill을 제안한다. 높은 수준에서 WikiSkill은 원시 실행 경험, 축적된 지식, 실행 가능한 스킬을 분리하면서, 경험을 위키에 지속적으로 통합(consolidate)하고, 이후 스킬 업데이트가 이를 기반으로 구축할 수 있게 한다. 다양한 벤치마크와 모델에 걸쳐 WikiSkill은 최신(state-of-the-art) 스킬 진화 방법들을 일관되게 능가하며, 대부분의 모델-벤치마크 설정에서 스킬 없는 베이스라인 대비 성능을 향상시킨다. 스킬 진화는 모델 스케일링을 보완한다는 점을 확인하였다. 더 큰 모델은 일반적으로 진화된 스킬로부터 더 큰 이득을 얻는 반면, 스킬을 갖춘 작은 모델은 스킬 없는 훨씬 더 큰 모델을 능가할 수 있다. 또한 진화된 스킬은 모델 및 모델 패밀리 간에 효과적으로 전이(transfer)되며, 다른 모델이 진화시킨 스킬이 자기 진화(self-evolved) 스킬보다 우수한 성능을 낼 수 있음을 확인하였다. 마지막으로, 절제 실험(ablation studies)은 위키에서의 지속적인 지식 축적이 효과적인 스킬 진화에 핵심적임을 확인한다. 이러한 결과는 재사용 가능하고 전이 가능한 스킬을 개발하기 위해 에이전트 경험을 체계적으로 축적하고 정제하는 것의 이점을 보여준다.
Agent skills package specialized knowledge and workflows into reusable resources that extend AI agent capabilities. Recent work automatically discovers such skills from agent experience, which enables agents to progressively adapt through interaction. However, the insights that guide skill development typically remain scattered across optimization histories, limiting their systematic reuse across iterations. We introduce WikiSkill, a framework that co-evolves agent skills with a persistent knowledge base (wiki). At a high level, WikiSkill separates raw execution experience, accumulated knowledge, and executable skills, while continuously consolidating experience into the wiki, which subsequent skill updates can build on. Across diverse benchmarks and models, WikiSkill consistently outperforms state-of-the-art skill-evolution methods and improves over no-skill baselines in most model-benchmark settings. We find that skill evolution complements model scaling: larger models generally benefit more from evolved skills, while smaller models with skills can outperform substantially larger models without them. We also find that evolved skills transfer effectively across models and model families, and skills evolved by other models can outperform self-evolved skills. Finally, our ablation studies confirm that persistent knowledge accumulation in the wiki is critical for effective skill evolution. These results demonstrate the benefits of systematically accumulating and refining agent experience for developing reusable and transferable skills.
논문 링크
더 읽어보기
장기 실행 AI 에이전트 메모리에서의 컴팩션 절벽 / The Compaction Cliff in Long-Running AI Agent Memory
논문 소개
장기 실행 인공지능 에이전트의 메모리 설계에서는 서로 성격이 다른 정보가 동일한 토큰 예산을 공유한다는 구조적 문제가 누적되며, 특히 안전 규칙과 작업 로그를 같은 비율로 압축하는 관행이 정책 집행 가능성을 급격히 약화시키는 현상이 핵심 병목으로 드러납니다. 안전 규칙은 의미의 대략적 보존만으로는 충분하지 않고 문구 수준의 높은 충실도가 필요하지만, 에피소드 로그는 상대적으로 공격적인 추상화가 가능하다는 비대칭성이 존재하므로, 균일 압축은 본질적으로 안전 민감 정보에 불리하게 작동합니다. 제시된 Compaction Cliff는 이러한 비대칭의 동역학을 반복 압축 맥락에서 계량화한 개념으로, 한두 번의 요약 품질이 아니라 다회 라운드 이후 규칙 보존이 절벽처럼 붕괴하는 현상을 문제의 중심으로 재정의했다는 점에서 방법론적 의미가 큽니다.
이 문제를 해결하기 위해 제안된 Knowledge Triage는 지식 베이스를 라인 단위로 유형 분류한 뒤 유형별 보존 정책을 분기하는 프레임워크로, “무엇을 얼마나 줄일 것인가”를 단일 생성 모델의 암묵적 판단에 맡기지 않고 명시적 정책으로 외재화합니다. 핵심 연산인 TypeCompact는 항목을 제자리에서 재작성하되 안전 규칙에는 고충실도 제약을, 로그성 정보에는 고압축 제약을 적용하여 압축 과정 자체를 차등 제어하며, 이로써 반복 라운드에서도 높은 재현율(recall)을 유지하도록 설계됩니다. TypeDecompose는 안전하게 압축하기 어려운 큰 주제를 의미 단위로 분해하면서 각 분할 조각에 범위 내 안전 규칙을 복제해 배치함으로써, 단순 균등 분할에서 빈번하게 발생하는 규칙-문맥 분리를 구조적으로 차단합니다. TypeRetrieve는 검색 단계에서 관련도 순위만 따르지 않고 범위 내 안전 규칙을 먼저 고정(pinning)한 뒤 나머지 항목을 결합하여, 검색 성능과 정책 준수 사이의 충돌을 우선순위 정책으로 해소합니다.
이 세 연산이 중요한 이유는 압축, 분해, 검색이라는 컨텍스트 관리 전 주기에서 실패 지점을 모듈 단위로 통제할 수 있게 하여, 대규모 언어 모델(Large Language Model, LLM) 호출의 우연성과 버전 변동성에 대한 운영 리스크를 줄여 준다는 데 있습니다. 공개 코퍼스 실험에서 TypeCompact가 강한 단일샷 압축기 대비 압축비 전 구간에서 2배에서 4배 수준의 안전 규칙 보존 우위를 보이고, 다회 압축 후에도 높은 재현율을 유지했다는 결과는 장기 세션 안정성에 대한 실증적 근거로 읽힙니다. 또한 TypeDecompose가 locality violation을 사실상 제거하고 TypeRetrieve가 recall@50을 크게 끌어올린 결과는, 규칙 보존이 단일 단계 최적화가 아니라 파이프라인 일관성 문제임을 분명히 보여 줍니다. 의료, 리테일, 항공과 같은 다운스트림 행동 벤치마크에서 통계적으로 유의미한 개선이 확인된 점은 메모리 표현의 품질 향상이 실제 에이전트 의사결정과 컴플라이언스 성능으로 이어진다는 연결고리를 강화합니다. 더 나아가 대규모 AgentArtifactCorpus와 분류기, 레퍼런스 구현의 공개는 안전 중심 메모리 관리 연구를 재현 가능한 공학 문제로 전환시켜, 향후 에이전트 아키텍처가 단순 토큰 절감이 아니라 정책 보존형 정보 수명주기 설계로 진화해야 함을 설득력 있게 제시합니다.
초록(Abstract)
안전 규칙과 에피소딕 로그는 AI 에이전트의 컨텍스트에서 동일한 토큰을 두고 경쟁한다. 예산이 초과되면 둘 다 동일한 비율로 요약되지만, 강제력을 유지하려면 규칙만은 정확한 문구가 필요하다. 20개의 프로덕션 에이전트 구성에서, Sonnet 4.6에 적용한 Claude Code의 /compact 프롬프트는 1회 컴팩션 후 안전 규칙의 53%, 5회 후에는 10%만 보존한다. 우리는 이를 Compaction Cliff라 명명한다. 이를 해결하기 위해 Knowledge Triage를 제안한다. 이는 에이전트 지식베이스의 각 줄을 유형별로 분류하고, 유형마다 고유한 보존 정책을 적용하는 프레임워크이다. 세 가지 결정적 연산자가 세 가지 컨텍스트 관리 연산에 걸쳐 이 트리아지를 구현한다. TypeCompact는 유형별 충실도에 따라 항목을 제자리에서 재작성하고, TypeDecompose는 안전하게 컴팩션하기에 너무 큰 주제를 분할하며 범위 내 안전 규칙을 분할 전반에 복제하고, TypeRetrieve는 외부 저장소에서 항목을 가져오되 관련성보다 범위 내 규칙을 우선 고정한다. 5개의 공개 코퍼스에서 TypeCompact는 모든 비율에서 가장 강력한 단일 샷 LLM 컴팩터보다 2–4배 더 많은 안전 규칙을 보존하며, 5라운드에 걸쳐 96%의 재현율을 보인다. TypeDecompose는 지역성 위반을 0%로 달성하는 반면, 균일 분할에서는 93%이다. TypeRetrieve는 최고 단일 샷 LLM 검색기의 73% 대비 recall@50에서 100%를 달성한다. 세 가지 다운스트림 행동 벤치마크에서, 의료 준수에서는 프로덕션 Sonnet 컴팩터를 능가하고(보존에 대한 대응 McNemar p < 10^{-8}, N = 200), 리테일 과제 통과율에서는 full-policy 및 계층적 베이스라인을 능가하며(p < 0.01, N = 115), 항공 도메인에서는 계층적 컴팩션을 능가한다(p = 0.024). 우리는 AgentArtifactCorpus(공개 GitHub 저장소 54,628개에서 수집한 에이전트 구성 396,934개), 분류기, 그리고 참조 구현을 공개한다.
A safety rule and an episodic log compete for the same tokens in an AI agent's context. When the budget overflows, both are summarized at the same rate; only the rule needs exact wording to remain enforceable. On 20 production agent configurations, Claude Code's /compact prompt on Sonnet 4.6 preserves 53% of safety rules after one compaction round and 10% after five. We name this the Compaction Cliff. We address it with Knowledge Triage, a framework that classifies each line of an agent's knowledge base by type and routes each type through its own retention policy. Three deterministic operators implement this triage across the three context-management operations: TypeCompact rewrites items in place under per-type fidelity, TypeDecompose partitions a topic too large to compact safely, replicating in-scope safety rules across partitions, and TypeRetrieve fetches items from external storage with in-scope rules pinned ahead of relevance. On five public corpora, TypeCompact preserves 2--4$\times$ more safety rules than the strongest single-shot LLM compactor at every ratio, with 96% recall over five rounds. TypeDecompose reaches 0% locality violations against 93% under uniform partitioning. TypeRetrieve reaches 100% recall@50 against 73% for the best single-shot LLM retriever. On three downstream behavioral benchmarks, we outperform the production Sonnet compactor on medical compliance (paired McNemar p < 10^{-8} on preservation, N = 200), the full-policy and hierarchical baselines on retail task pass rate (p < 0.01, N = 115), and the hierarchical compaction on the airline domain (p = 0.024). We release AgentArtifactCorpus (396{,}934 agent configurations from 54{,}628 public GitHub repositories), the classifier, and the reference implementation.
논문 링크
더 읽어보기
AI 사후학습 AI에게 부족한 것: 실증 분석 / What is Missing from AI Post-Training AI: An Empirical Analysis
논문 소개
대규모 언어 모델(Large Language Model, LLM) 에이전트가 코드 작성부터 학습 실행, 체크포인트 평가까지 사후학습(post-training)을 엔드투엔드로 수행하게 되면서, 이른바 AI-for-AI와 자동화 AI 연구개발의 가능성이 크게 부각되어 왔습니다. 그러나 다운스트림 성능 향상만으로는 병목의 위치를 오진하기 쉽습니다. 본 연구는 그 능력을 실행 수준(execution-level) 과 전략 수준(strategy-level) 으로 분리합니다. 전자는 이미 선택된 학습 전략 안에서 버그 수정, 하이퍼파라미터 튜닝, 데이터 재구성 등을 반복하는 능력이고, 후자는 실험 증거가 쌓일 때 학습 패러다임·데이터 레짐·스테이지 구조와 같은 고수준 판단을 수정하는 능력입니다.
방법론의 중심은 PostTrainBench에 공개된 1,338개 사후학습 궤적(trajectory)을 재구성·주석하여, 검증된 학습 실험과 전략 변경을 보수적으로 구분한 대규모 실증 분석입니다. 인접 학습 쌍 3,557개 중 전략 변경은 약 2.1%에 불과했고, 전략은 코드를 작성하거나 실험을 돌리기 전 짧은 계획 단계에서 이미 잠기며, 남은 예산은 국소 조정에 소진되는 패턴이 반복적으로 관측되었습니다. 같은 과제에서도 에이전트·스캐폴드 기본값에 따라 Claude 계열은 전체 파라미터 지도 미세조정(full-parameter Supervised Fine-Tuning, SFT)에, Codex 계열은 파라미터 효율 미세조정(Parameter-Efficient Fine-Tuning, PEFT)에 수렴하는 등, 과제 차이에 반응하기보다 초기 기본값이 사실상 성능 천장으로 작동함을 보였습니다.
이어서 경험 부족, 지도 부족, 추론 연산 부족이라는 세 가설을 점진적 개입으로 검증했습니다. Experiment Journal, Skill Library, Evaluator Agent로 구성된 경험 기반 스캐폴드는 GSM8K에서 +12.6점, HumanEval에서 +40.8점의 실행 성능 향상을 가져왔으나 전략은 정체했고, 평가 에이전트의 전략 제안은 거의 채택되지 않았습니다. 인간 지도는 학습 전 초기 전략을 효과적으로 재지향했지만, 학습 시작 후에는 다시 국소 조정 루프로 붕괴했습니다. 추가 추론 연산은 쉬운 과제에서는 이득이 있었으나 가장 어려운 AIME 2025에서는 거의 무효에 가깝게, 잠긴 전략 안의 더 촘촘한 탐색으로만 소비되었습니다.
핵심 기여는 새로운 학습 알고리즘 제안이 아니라, 대규모 궤적 증거와 통제 개입을 통해 부족한 것이 자원이 아니라 실행 중 전략을 자발적으로 다시 여는 메커니즘(spontaneity) 임을 식별한 데 있습니다. 에이전트는 낯선 전략도 이해·구현·확장할 수 있으므로 문제는 수행 능력의 부재가 아니라 개시의 부재이며, 자동화 AI R&D 루프를 닫으려면 더 큰 모델만이 아니라 전략 수정을 명시적이고 보상되는 결정 지점으로 만드는 학습 신호와 상호작용 프로토콜이 필요하다는 함의를 제시합니다.
초록(Abstract)
대규모 언어 모델(LLM) 에이전트는 이제 LLM을 엔드투엔드로 사후학습할 수 있다. 이들은 코드를 작성하고, 학습을 실행하며, 체크포인트를 평가하고, 다운스트림 성능을 개선할 수 있어 AI-for-AI의 전망을 제시한다. 우리는 이 그림이 서로 다른 두 가지 능력을 혼동하고 있다고 주장한다. 즉, 선택된 학습 전략 안에서 반복하는 실행 수준 능력과, 실험적 증거가 축적됨에 따라 고수준의 판단을 수정하는 전략 수준 능력이다. 공개된 사후학습 궤적의 대규모 코퍼스를 분석한 결과, 서로 다른 과제들에 걸쳐 에이전트의 학습 전략은 맨 처음에 고정되며, 이후 남은 예산 전부가 선택된 전략 안에서의 국소적 조정에 쓰인다는 것을 확인했다. 이어 경험 부족, 가이드 부족, 추론 부족이라는 세 가지 자연스러운 설명을 점진적으로 강화된 개입을 통해 검토했다. 광범위한 실험 결과, (1) 경험 기반 스캐폴드는 실행을 전반적으로 개선하지만(+12.6점, GSM8K; +40.8점, HumanEval) 전략은 그대로 두고, (2) 인간 가이드는 초기 전략을 효과적으로 바꾸지만 학습이 시작되면 에이전트는 다시 국소 조정 루프에 빠지며, (3) 추가 추론 연산은 쉬운 과제에서는 효과가 있지만 가장 어려운 과제에서는 거의 이득이 없었다. 결론적으로, 에이전트에게 부족한 것은 경험도, 가이드도, 추론 연산량도 아니며, 실행 중에 전략을 자발적으로 재평가하는 메커니즘이다.
Large language model (LLM) agents can now post-train an LLM end-to-end. They can write code, launch training, evaluate checkpoints, and improve downstream performance, raising the prospect of AI-for-AI. We argue that this picture conflates two distinct capabilities: execution-level capability, iterating within a selected training strategy; and strategy-level capability, revising the high-level judgment as experimental evidence accumulates. Analyzing a large corpus of publicly released post-training trajectories, we find that across different tasks, the agent's training strategy is locked in at the very beginning, and the entire remaining budget is spent on local adjustments within the selected strategy. We then examine three natural explanations--missing experience, missing guidance, and insufficient reasoning--with escalating interventions. Extensive experiments show that (1) an experience-driven scaffold improves execution across the board (+12.6 points on GSM8K and +40.8 on HumanEval) but leaves the strategy static; (2) human guidance effectively redirects the initial strategy, yet the agent falls back into local adjustment loops once training starts; and (3) additional inference compute pays off on easier tasks but yields almost no gain on the hardest one. In conclusion, what agents lack is neither experience, guidance, nor reasoning compute, but a mechanism for spontaneously reevaluating their strategy during execution.
논문 링크
에이전트의 물리학: 통계역학이 AI 에이전트의 집단 행동을 예측한다 / Physics of Agents: Statistical Mechanics Predicts Collective Behavior of AI Agents
논문 소개
대규모 언어 모델(Large Language Model, LLM) 기반 AI 에이전트가 단독이 아니라 서로 정보를 주고받으며 공동으로 결정하는 상호작용 시스템의 일부로 동작하면서, 집단 추론의 향상과 함께 군집(herding), 양극화(polarization), 공유 편향 증폭과 같은 집단 부작용을 어떻게 이해하고 예측할지가 다중 에이전트 시스템 설계와 AI 정렬(alignment)의 핵심 과제로 부상하고 있습니다. Physics of Agents는 약 10,000개 이상의 언어 모델 에이전트 커뮤니티를 대상으로, 객관적 수학 문제와 주관적 정치 진술에 대해 메시지를 반복 교환하며 의견을 수정하는 대규모 실험을 통해 이러한 집단 역학을 체계적으로 규명합니다. 각 에이전트에는 전문성이나 선호를 반영하는 페르소나가 부여되고, 통신 네트워크는 일치(concordant) 또는 불일치(discordant) 관계로 부호화되어 영향의 방향과 신뢰 구조를 명시적으로 제어합니다.
경험적으로 개인 궤적은 고정, 일회 전환, 복귀, 진동 등 다양하게 나타나지만, 집단 수준에서는 무관심(indifference), 양극화, 합의(consensus)라는 세 특성 레짐으로 압축되며, 에이전트는 초기에 약한 의견에서 시작해 상호작용을 통해 확신(conviction)을 축적합니다. 객관적 질문에서는 소통이 집단 정확도를 높이는 반면, 주관적 질문에서는 정치 스펙트럼상 우향(rightward) 표류가 자주 관찰되어, 동일한 상호작용 메커니즘이 설정에 따라 진리 추구와 편향 증폭을 모두 낳을 수 있음을 보여 줍니다.
이러한 관측을 설명하기 위해, 에이전트가 소셜 그래프 위에서 정의된 사회적 압력(social pressure)이 낮은 상태를 확률적으로 선호한다는 통계역학(statistical mechanics) 형식을 도입합니다. 의견을 이진 상태로 두고 내재 장(intrinsic field)과 이웃 영향을 결합한 에너지 함수를 정의하면 아이징 모형(Ising model)에 대응하며, 국소 장(local field)에 대한 볼츠만 분포(Boltzmann distribution)로부터 로지스틱(logistic) 갱신 규칙이 유도됩니다. 나아가 연결 존재 자체, 일치 연결, 불일치 연결의 효과를 분리하는 세 결합(three coupling) 모형을 두고, 페르소나·질문 임베딩으로 매개변수화된 편향 항과 함께 교차 엔트로피(cross-entropy) 최소화로 적합합니다.
적합된 모형은 초기 의견만으로 개인 궤적을 예측하고 Persistence, Interaction-Free, Mean-Field 등 표준 베이스라인을 능가하며, 미지의 커뮤니티 그래프로 일반화하고 관찰된 집단 원형(archetype) 분포를 재현합니다. 파라미터 해석에 따르면 커뮤니티는 임계 사회 온도(critical social temperature) 아래의 저온 레짐에서 동작해 확신 축적이 설명되고, 인력(attractive) 연결이 척력(repulsive) 연결보다 강해 합의가 선호되며, 정답을 가진 에이전트의 더 강한 끌어당김이 객관적 과제에서의 진리 추구(truth-seeking)를 뒷받침합니다. 종합하면, 상호작용하는 AI 에이전트의 집단 행동도 다른 복잡계와 같이 간결하고 예측 가능한 역학 법칙으로 기술될 수 있으며, 통계역학은 레짐 식별, 인구 역학 예측, 시스템 수준 결과를 해석 가능한 상호작용 파라미터에 연결하는 틀을 제공합니다.
초록(Abstract)
AI 에이전트는 점점 더 고립된 존재가 아니라 상호작용하는 시스템의 일부로 동작한다. 에이전트들이 정보를 교환하고 공동으로 결정을 내림에 따라, 이들의 상호작용은 집단적 추론을 향상시킬 수도 있지만, 허딩(herding), 양극화, 또는 공유된 편향의 증폭을 초래할 수도 있다. 따라서 이러한 집단 동역학을 이해하고 예측하는 것은 효과적이고 정렬된 멀티에이전트 시스템을 설계하는 데 중요하다. 본 연구에서는 객관적인 수학 문제와 주관적인 정치적 진술에 대해 메시지를 반복적으로 교환하고 의견을 수정하는 언어 모델 에이전트 커뮤니티 10,000개 이상을 분석한다. 가능한 행동의 상당한 다양성에도 불구하고, 개별 및 집단 동역학은 무관심(indifference), 양극화(polarization), 합의(consensus)라는 세 가지 특징적 레짐으로 나타낼 수 있다. AI 에이전트는 무관심한 상태에서 시작하여 상호작용하면서 확신(conviction)을 형성한다. 객관적 질문에서는 통신이 집단 정확도를 향상시키는 반면, 주관적 질문에서는 집단 의견이 정치 스펙트럼상 오른쪽으로 드리프트되는 경우가 많다. 우리는 에이전트가 확률적으로 더 낮은 사회적 압력을 선호한다는 통계역학 형식화로 이러한 관측을 설명한다. 초기 의견만으로도 우리 모델은 개별 궤적을 예측하고, 모든 표준 베이스라인을 능가하며, 보지 못한 커뮤니티 그래프로 일반화되고, 관측된 집단 원형(archetype) 분포를 재현한다. 적합된 모델 파라미터는 핵심 관측의 기저 메커니즘을 드러낸다: i) 커뮤니티가 임계 사회적 온도 아래에서 동작하여 확신 형성을 설명하고, ii) 인력 연결이 척력 연결보다 우세하여 합의를 선호하며, iii) 정답을 보유한 에이전트가 가장 강한 끌림을 발휘하여 진리 추구를 유도한다. 종합적으로, 본 결과는 AI 에이전트의 집단 행동이 다른 복잡계와 마찬가지로 간결하고 예측 가능한 동역학 법칙에 따른다는 것을 보여준다.
AI agents increasingly operate as part of interacting systems rather than in isolation. As agents exchange information and jointly make decisions, their interactions can improve collective reasoning but may also produce herding, polarization, or amplify shared biases. Understanding and predicting these collective dynamics is therefore important for designing effective and aligned multi-agent systems. Here, we study over 10,000 communities of language-model agents that repeatedly exchange messages and revise their opinions across objective mathematics questions and subjective political statements. Despite substantial diversity in possible behavior, the individual and group dynamics can be represented by three characteristic regimes: indifference, polarization, and consensus. AI agents start indifferent and build conviction as they interact. On objective questions, communication improves collective accuracy, while on subjective questions it often drifts group opinions toward the right in the political spectrum. We explain these observations with a statistical-mechanics formalism in which agents stochastically favor lower social pressure. Given only initial opinions, our model predicts individual trajectories, outperforms all standard baselines, generalizes to unseen community graphs, and reproduces the observed group archetype distributions. Our fitted model parameters reveal the mechanics underlying our key observations: i) communities operate below the critical social temperature, which explains conviction buildup; ii) attractive ties outweigh repulsive ones, which favors consensus; and iii) agents holding the correct answer exert the strongest pull, which drives truth-seeking. Overall, our results demonstrate that collective behavior of AI agents, like that of other complex systems, follows compact and predictive dynamical laws.
논문 링크
더 읽어보기
SCRIBES: 강화학습 기반 웹 규모 스크립트형 반-구조화 데이터 추출 / SCRIBES: Web-Scale Script-Based Semi-Structured Data Extraction with Reinforcement Learning
논문 소개
웹에는 HTML 표(table), 목록(list), 인포박스(infobox)처럼 사실(factual) 정보가 풍부하게 담긴 반구조화(semi-structured) 콘텐츠가 널리 분포하지만, 마크업과 레이아웃 서식 때문에 이를 그대로 활용하기 어렵고 구조화된 형태로 안정적으로 추출(extraction)하는 일은 여전히 중요한 과제로 남아 있습니다. 기존 접근은 일반화(generalization)가 제한적이거나, 페이지마다 대규모 언어 모델(Large Language Model, LLM) 추론을 수행해야 해 자원 집약적(resource-intensive)이라는 한계에 직면합니다. SCRIBES(SCRIpt-Based Semi-Structured Content Extraction at Web-Scale, 웹 규모의 스크립트 기반 반구조화 콘텐츠 추출)는 이러한 간극을 메우기 위해 강화학습(Reinforcement Learning, RL) 기반 프레임워크로, 동일 사이트 내 웹페이지들 간 레이아웃 유사성(layout similarity)을 보상(reward) 신호로 활용하는 것을 핵심 아이디어로 제안합니다.
SCRIBES의 방법론적 중심은 각 페이지를 개별적으로 LLM으로 처리하는 대신, 구조적으로 유사한 웹페이지 그룹에 재적용 가능한 재사용 가능한 추출 스크립트(extraction script)를 한 번 생성하는 데 있습니다. 생성된 스크립트는 BeautifulSoup 기반 DOM(Document Object Model) 파싱처럼 결정론적·고속 실행이 가능한 규칙으로 템플릿을 코드화하며, HTML 문자열을 입력받아 주체(subject), 속성(predicate), 값(object)으로 구성된 트리플(triple) 리스트를 반환합니다. 예를 들어 SEC EDGAR 공시 페이지에서는 id 기반 선택자로 formName·accessionNumber를 추출하고, infoHead와 info의 키-값 쌍, tableFile·tableSeries 표의 반복 행을 각각 별도 트리플로 직렬화함으로써, 한 사이트·한 템플릿에 대해 한 번 작성한 규칙으로 다수 페이지를 일관되게 처리할 수 있습니다.
강화학습 보상 설계에서의 핵심 혁신은 명시적 골드 라벨(gold label) 없이도 동일 사이트 내부의 반복 템플릿을 약지도(weak supervision) 신호로 활용한다는 점입니다. 한 스크립트를 레이아웃이 비슷한 여러 페이지에 적용했을 때 추출 필드가 일관되게 채워지는지, DOM 구조와 호환되는지, 파싱 오류나 빈 필드가 적은지를 평가함으로써 스크립트 품질을 정량화할 수 있습니다. 또한 SCRIBES는 실제 웹 환경(in-the-wild)의 CommonCrawl 데이터에서 만든 합성(synthetic) 주석(annotation)을 반복적으로 학습에 투입하여, 초기 스크립트 생성 후 합성·자기생성 라벨과 RL 업데이트를 거치는 부트스트랩(bootstrap) 루프를 통해 도메인과 템플릿 다양성에 대한 일반화를 추구합니다.
이러한 설계는 웹 규모 크롤링과 지식 베이스 구축, 검색 증강 생성(Retrieval-Augmented Generation, RAG), 질의응답(question answering, QA) 등 하류 과제에 실질적 가치를 제공합니다. 추출 결과는 RDF(Resource Description Framework) 및 지식 그래프(knowledge graph) 스타일 표현과 호환되어, LLM 추론 없이 대량 페이지를 배치 처리할 수 있는 자원 효율적(resource-efficient) 파이프라인을 가능하게 합니다. 실험 결과 SCRIBES는 강력한 베이스라인 대비 스크립트 품질(script quality)에서 13% 이상 우수했으며, 추출 데이터를 활용한 하류 QA에서 GPT-4o의 정확도를 4% 이상 향상시켜, 추출 품질이 실제 다운스트림 과제로 이어지는 end-to-end 유용성을 입증했습니다. 궁극적으로 SCRIBES는 “페이지마다 LLM”과 “일반화가 부족한 규칙” 사이의 딜레마를 재사용 스크립트, 레이아웃 유사성 기반 RL, CommonCrawl 합성 학습의 결합으로 해소하며, 확장 가능(scalable)하고 비용 효율적인 웹 정보 추출의 새로운 방향을 제시합니다.
초록(Abstract)
HTML 표, 목록, 인포박스에 있는 반구조화 콘텐츠는 웹상 사실 데이터의 상당한 비중을 차지하지만, 서식은 활용을 복잡하게 만들며, 이로부터 구조화된 정보를 안정적으로 추출하는 것은 여전히 어려운 과제로 남아 있습니다. 기존 방법은 일반화가 부족하거나, 페이지당 대규모 언어 모델(LLM) 추론으로 인해 자원 집약적입니다. 본 논문에서는 SCRIBES(SCRIpt-Based Semi-Structured Content Extraction at Web-Scale, 웹 규모의 스크립트 기반 반구조화 콘텐츠 추출)를 제안합니다. 이는 동일 사이트 내 웹페이지 간 레이아웃 유사성을 보상 신호로 활용하는 새로운 강화학습(RL) 프레임워크입니다. SCRIBES는 각 페이지를 개별적으로 처리하는 대신, 구조적으로 유사한 웹페이지 그룹에 적용할 수 있는 재사용 가능한 추출 스크립트를 생성합니다. 본 접근법은 실제(in-the-wild) CommonCrawl 데이터로부터 생성한 합성(synthetic) 주석을 반복적으로 학습함으로써 추가로 성능을 향상시킵니다. 실험 결과, 본 접근법은 강력한 베이스라인 대비 스크립트 품질에서 13% 이상 우수한 성능을 보였으며, GPT-4o의 하류 질의응답(question answering) 정확도를 4% 이상 향상시켜, 확장 가능하고 자원 효율적인 웹 정보 추출을 가능하게 합니다.
Semi-structured content in HTML tables, lists, and infoboxes accounts for a substantial share of factual data on the web, yet the formatting complicates usage, and reliably extracting structured information from them remains challenging. Existing methods either lack generalization or are resource-intensive due to per-page LLM inference. In this paper, we introduce SCRIBES (SCRIpt-Based Semi-Structured Content Extraction at Web-Scale), a novel reinforcement learning framework that leverages layout similarity across webpages within the same site as a reward signal. Instead of processing each page individually, SCRIBES generates reusable extraction scripts that can be applied to groups of structurally similar webpages. Our approach further improves by iteratively training on synthetic annotations from in-the-wild CommonCrawl data. Experiments show that our approach outperforms strong baselines by over 13% in script quality and boosts downstream question answering accuracy by more than 4% for GPT-4o, enabling scalable and resource-efficient web information extraction.
논문 링크
더 읽어보기
어블리터레이션(Abliteration)은 메스가 아니다: 모델 계열 전반에서 거부 제거가 의사결정 성향에 미치는 비표적 효과 / Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families
논문 소개
공개 가중치(open-weight) 커뮤니티에서 “uncensored” 모델을 만드는 표준 절차로 자리 잡은 abliteration(거부 방향 제거)은, 활성화 공간에서 거부(refusal) 방향을 식별한 뒤 가중치를 직교화하여 거절 행동만 외과적으로 없앤다는 전제에 의존해 왔습니다. 그러나 좁은 가중치 수술이 실제로는 위험·낙관·결단성에 대한 사전 성향(disposition)까지 부수적으로 옮길 수 있으며, 이는 좁은 개입이 넓고 의도치 않은 행동 이동을 낳는 창발적 오정렬(emergent misalignment)의 행동적 사촌으로 이해될 수 있습니다. 본 연구는 거절이 전혀 유발되지 않는 과제에서 베이스 암(base arm)과 abliterated 암의 차이를 관측함으로써, 관찰된 델타가 거절 제거의 직접 효과가 아니라 순수 부수 효과(off-target effect)임을 분리하여 검증합니다.
이를 위해 연구진은 바르샤바 증권거래소(Warsaw Stock Exchange) 주식 60종목에 대해 18주간 주간 상승·하락 호출을 수행한 21,600건의 불확실성 하 의사결정을 성향 프로브로 사용했습니다. 업스트림 애널리스트 브리프와 토론 녹취는 동결(frozen) 멀티에이전트 파이프라인으로 고정하고 결정 계층 모델만 교체했으며, 공식 BF16(Brain Floating Point 16-bit) 체크포인트, 단일 abliteration 작성자, 동일 서빙 스택, 바이트 단위로 동일한 동결 프롬프트로 출처(provenance)를 통제했습니다. 비교 대상은 Gemma-4-26B-A4B-it와 Qwen3-30B-A3B-Instruct-2507이라는 두 전문가 혼합(Mixture-of-Experts, MoE) 계열의 베이스·abliterated 쌍이며, 과제 난이도는 의도적으로 동전 뒤집기에 가깝게 설계되어 암 간 체계적 차이를 예측 우위가 아닌 성향(inclination) 차이로 해석할 수 있게 했습니다.
주 단위 클러스터 부트스트랩(bootstrap) 신뢰구간이 0을 배제하는 세 효과가 양 계열에서 재현되었습니다. abliterated 모델은 체계적으로 더 낙관적이었고(Gemma +12.2퍼센트포인트, Qwen +7.4퍼센트포인트의 상승 베팅; 사전등록 확인 엔드포인트), 자기 정당화를 더 길게 작성했으며, 강제 자기비판에서 명시적 불확실성 어휘는 줄이고 양보적(concessive) 수사는 늘렸습니다. 반면 표현된 자신감은 동일 수술임에도 Gemma에서는 감소하고 Qwen에서는 증가하여, off-target 발자국이 부분적으로는 보편적이되 방향은 모델 의존적임을 보여 주었습니다. 능력 공변량 분석은 인스트럭션 팔로잉(instruction-following) 저하를 원인으로 배제했고, 어떤 암도 경제적 알파(alpha)를 보이지 않았으며 abliterated 암의 겉보기 우세는 레짐 베타(regime beta)에 해당했습니다. 출처 감사에서는 양자화기 불일치 파일럿 쌍과 오래된 커뮤니티 채팅 템플릿이라는 두 오염 채널도 확인되어, 커뮤니티 수정 체크포인트 연구에서 툴체인 아티팩트가 예외가 아니라 규칙에 가깝다는 방법론적 경고를 남깁니다. 결국 “uncensored” 모델을 에이전트로 배포하는 일은 거절만 뺀 베이스가 아니라, 측정 가능하게 다른 의사결정자를 배포하는 일로 재규정됩니다.
초록(Abstract)
어블리터레이션(Abliteration)—모델의 가중치에서 거부 방향(refusal direction)을 삭제하는 기법—은 널리 쓰이는 "검열 해제(uncensored)" 오픈웨이트 모델의 표준 레시피이다. 우리는 이 수술이 깔끔하지 않음을 보인다. 성향 프로브(disposition probe)로 불확실성 하에서의 결정 21,600건을 사용한다. 이는 바르샤바 증권거래소 주식 60종목에 대한 18주간의 주간 상승/하락 예측을, 동결된 파이프라인으로 재현하여 의사결정 계층의 모델만이 유일한 변수가 되도록 한 것이다. 이 과제는 거부를 전혀 유발하지 않으므로, 조건 간 차이는 순수한 부작용이다. 출처를 일정하게 유지한 채(공식 BF16 체크포인트, 단일 어블리터레이션 작성자, 동일한 서빙 스택, 바이트 단위로 동일한 동결 프롬프트), 두 전문가 혼합(Mixture-of-Experts, MoE) 계열—Gemma-4-26B-A4B-it와 Qwen3-30B-A3B-Instruct-2507—의 베이스 및 어블리터레이션 조건을 비교한다. 세 가지 효과가 두 계열 모두에서 재현된다(주 단위 클러스터 부트스트랩 신뢰구간이 0을 배제): 어블리터레이션 모델은 체계적으로 더 낙관적이고(+12.2 pp Gemma, +7.4 pp Qwen; 확인된 사전등록 엔드포인트), 더 길게 스스로를 정당화하며, 강제 자기비판에서 명시적 불확실성 표현을 덜 사용한다(후자 둘은 탐색적). 네 번째 효과는 부호가 뒤집힌다: 동일한 수술이 Gemma-어블리터레이션은 덜 확신하게, Qwen-어블리터레이션은 더 확신하게 만든다(계열 신뢰구간이 비중첩)—하나의 가중치 수술이 표현된 확신에서 반대 방향의 변화를 낳는다. 능력 공변량은 지시 따르기 성능 저하가 원인임을 배제하며, 어떤 조건도 경제적 실력을 보이지 않는다: 어블리터레이션 조건의 겉보기 우위는 알파(alpha)가 아니라 레짐 베타(regime beta)이다. 우리의 출처 감사는 또한 두 개의 독립적인 오염 경로—양자화기 불일치 파일럿 쌍과, 렌더링된 프롬프트를 조용히 훼손한 오래된 커뮤니티 채팅 템플릿—를 포착했으며, 이는 커뮤니티 수정 체크포인트 연구에서 툴체인 아티팩트가 예외가 아니라 규칙임을 시사한다. "검열 해제" 모델을 에이전트로 배포하는 이는 거부만 제거한 베이스 모델이 아니라, 측정 가능하게 다른 의사결정자를 배포하는 것이다.
Abliteration - deleting a model's refusal direction from its weights - is the standard recipe behind popular "uncensored" open-weight models. We show the surgery is not clean. As a disposition probe we use 21,600 decisions under uncertainty - weekly up/down calls on 60 Warsaw Stock Exchange equities over 18 weeks, replayed through a frozen pipeline so the decision-layer model is the only variable. The task elicits no refusals at all, so any between-arm delta is pure side effect. Holding provenance constant (official BF16 checkpoints, a single abliteration author, an identical serving stack, one byte-identical frozen prompt), we compare base and abliterated arms of two Mixture-of-Experts families, Gemma-4-26B-A4B-it and Qwen3-30B-A3B-Instruct-2507. Three effects replicate across both families (weeks-clustered bootstrap CIs excluding zero): abliterated models are systematically more optimistic (+12.2 pp Gemma, +7.4 pp Qwen; the confirmed preregistered endpoint), justify themselves at greater length, and use fewer explicit uncertainty words in forced self-critiques (both exploratory). A fourth effect reverses sign: the same operation makes Gemma-abliterated less confident and Qwen-abliterated more (family CIs non-overlapping) - one weight surgery, opposite shifts in expressed confidence. Capability covariates rule out instruction-following degradation as the driver, and no arm shows economic skill: the apparent edge of abliterated arms is regime beta, not alpha. Our provenance audit also caught two independent contamination channels - a mismatched-quantizer pilot pair and a stale community chat template that silently mangled the rendered prompt - suggesting toolchain artifacts are the rule in studies of community-modified checkpoints. Whoever deploys an "uncensored" model as an agent is deploying a measurably different decision-maker, not the base model minus refusals.
논문 링크
더 읽어보기
생성형 AI가 도서 시장을 범람시키고 희석한다 / Generative AI floods and dilutes the market for books
논문 소개
생성형 AI(Generative AI)는 장편 픽션의 한계생산비용을 거의 제로에 가깝게 낮추었고, 온라인에서는 짧은 전제만으로 완성 소설을 만드는 작업 방식이 빠르게 확산되어 왔습니다. 독자와 비평계는 이러한 산출물을 저품질의 「슬롭(slop)」으로 치부하며 구매자가 외면할 것이라 보지만, 낮은 평균 품질과 시장에서의 무관련성은 별개의 문제입니다. 거의 무비용으로 초안을 만들고 등록할 수 있는 책이 대량으로 들어오면, 평균적인 작품조차 구매자의 주의를 흡수하고 다른 책의 판매를 가져갈 수 있기 때문입니다. 더욱이 상당수 AI 산출물은 제작 방식을 공개하지 않은 채 독자에게 도달하며, 플랫폼이 제공하는 짧은 미리보기만으로는 AI 여부를 판별하기 어렵습니다. 이에 따라 「저비용·대량 공급의 책이 실제 도서 시장을 어떻게 재편하는가」는 품질 논쟁을 넘어선 실증 질문이 됩니다.
이 연구는 그 질문에 답하기 위해 Amazon에서 판매되는 자가출판(self-published) 장르 픽션을 대상으로, 2023년 1월부터 2026년 3월까지 출시된 전자책 14,419권을 무작위 선정하고 2026년 6월까지의 일별 판매 기록과 매칭하는 대규모 관측 설계를 구축합니다. 판매 데이터는 대형 출판사가 유지하는 독점 패널에서 확보되며 Amazon상 약 50만 ASIN(Amazon Standard Identification Number)의 판매 단위·매출·가격·순위를 추적하여 전자책 시장 일별 판매량의 약 95% 이상을 포괄합니다. 각 도서의 전문(full-text)에 AI 탐지(AI detection)를 적용해 「AI 텍스트 없음」, 「경량 AI 텍스트(≤25%)」, 「상당 AI 텍스트(>25%)」로 분류한 뒤, Kindle Unlimited(킨들 언리미티드) 여부·장르·저자 메타데이터와 결합합니다. 선행 연구인 Reimers and Waldfogel이 미리보기 기반 탐지와 해당 타이틀 자체의 평점·판매에 초점을 둔 것과 달리, 본 분석은 전문 탐지를 통해 AI 도서의 도착이 주변 도서의 판매·매출·상위 순위에 미치는 효과를 측정합니다.
핵심 개념은 희석(dilution), 즉 공급이 판매·매출·상위 순위가 흡수할 수 있는 속도를 초과할 때 평균 타이틀의 수익과 주의가 하락하는 현상입니다. 관측 기간 동안 분기별 판매 도서 수는 19.2배 늘어난 반면 분기별 매출은 8.9배만 증가해 판매 도서당 매출이 대부분 장르에서 하락했으며, 상당 AI 텍스트 도서는 카탈로그에서는 큰 비중을 차지하지만 판매에서는 그보다 작은 비중을 차지하면서도 시간에 따라 판매 점유율을 키우고 희소한 상위 순위를 잠식합니다. AI 텍스트가 없는 도서는 AI 확산도가 높은 장르, 특히 Kindle Unlimited 이용 가능성이 높은 곳에서 가장 크게 손실을 보며, 상위 판매작 중 상당 AI 텍스트 도서는 기존 도서의 독특한 언어를 더 많이 활용하고 그 중첩도(overlap)가 매출과 함께 상승하는 기울기를 보입니다. 이 결과는 생성형 AI가 품질 경쟁이 아니라 규모(scale)로 창작 시장을 재편할 수 있음을 보여 주며, Kadrey v. Meta 등에서 공정 이용(fair use) 항변의 핵심으로 떠오른 시장 영향(market effect)·시장 희석 쟁점에 직접 연결되는 체계적 증거를 제공합니다.
초록(Abstract)
생성형 AI는 거의 제로에 가까운 비용으로 책 분량의 픽션 작품을 생산할 수 있다. 이러한 도서들은 흔히 구매자들이 외면할 저품질의 ``슬롭(slop)''으로 치부되며, 상업적 비중도 거의 없다고 가정된다. 우리는 이 가정을 검증하기 위해, 2023년부터 2026년까지 Amazon에서 판매된 자가출판 장르 픽션 도서 14,419권에 대해 전문(full-text) AI 탐지를 수행하고, 이를 2026년 6월까지의 일별 판매 기록과 매칭하였다. 이들 도서 중 AI 생성 콘텐츠 포함 여부를 공개한 경우는 없다. 분석 결과, 상당량의 AI 텍스트(> 25%)가 탐지된 도서는 카탈로그에서는 큰 비중을 차지하지만 판매에서는 그보다 작은 비중을 차지한다. 그럼에도 불구하고 이들은 상업적 규모에 도달하며, 시간이 지남에 따라 판매 점유율이 증가하고, 과거에는 AI 텍스트가 탐지되지 않은 도서가 차지하던 희소한 상위 순위 자리를 더 많이 차지하고 있다. 이 기간 동안 분기별 판매가 관측된 도서 수는 19.2배 증가한 반면, 분기별 매출은 8.9배만 증가하였다. 따라서 시장은 매출이 늘어나는 속도보다 더 빠르게 판매 도서를 추가하였고으며, 판매 도서당 매출은 대부분의 장르에서 하락하였다. AI 텍스트가 없는 도서는 AI 확산도가 높은 장르에서 가장 큰 타격을 받으며, Kindle Unlimited 이용 가능성이 높은 곳에서 특히 그러하다. 베스트셀러 도서 중 상당량의 AI 텍스트가 탐지된 도서는 AI 텍스트가 없는 도서보다 기존 도서의 더 독특한 언어를 활용하며, 이들 도서에서는 중첩도가 매출과 함께 상승하는 반면, AI 텍스트가 없는 도서에서는 이러한 기울기가 탐지되지 않는다. 따라서 생성형 AI는 품질이 아니라 규모를 통해 창작 시장을 재편할 수 있다. 우리의 결과는 저작권 침해에 대한 공정 이용(fair use) 항변의 핵심인 시장 영향 문제에 직접적으로 관련된다.
Generative AI can produce book-length works of fiction at near-zero cost. These books are often dismissed as low-quality ``slop'' that buyers will ignore, and are assumed to carry little commercial weight. We test that assumption with full-text AI detection across 14,419 self-published genre-fiction books sold on Amazon from 2023 to 2026, matched to daily sales records through June 2026. None of these books disclose whether or not they contain AI-produced content. We find that books for which we detected substantial AI text (> 25%) make up a large share of the catalog but a smaller share of sales. Even so, they reach commercial scale, winning a growing share of sales over time and taking more of the scarce top-rank positions once held by books with no detected AI text. Over this period, the number of books with observed sales in a quarter grew 19.2-fold, while quarterly revenue grew only 8.9-fold. The market therefore added selling books faster than it added revenue, and revenue per selling book fell across most genres. Books with no AI text lose the most ground in genres with high AI diffusion, and most of all where Kindle Unlimited availability is high. Among top-selling books, those with substantial AI text draw on more distinctive language from existing books than do books with no AI text; for these books overlap rises with revenue, a gradient we do not detect for books with no AI text. Generative AI can thus reshape a creative market through scale rather than quality. Our results bear directly on the market-effect question at the center of the fair use defense to copyright infringement.
논문 링크
더 찾아보기
https://www.reddit.com/r/WritingWithAI/
샤프니스-인식 사전학습이 파국적 망각(Catastrophic)을 완화한다 / Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting
논문 소개
대규모 언어 모델의 사전학습(pretraining) 레시피는 대개 베이스 모델의 손실과 벤치마크 점수를 최대화하도록 설계되어 왔으나, 사후학습(post-training)과 양자화(quantization)처럼 이후 파라미터를 갱신하는 단계에서는 베이스가 얼마나 “강한지”보다 손실 지형(geometry)이 얼마나 평탄한지가 능력의 보존을 좌우합니다. 과도한 사전학습(overtraining)은 사전학습 손실을 낮추더라도 파인튜닝 후 성능을 오히려 악화시킬 수 있다는 관찰은, 베이스 지표만으로 옵티마이저와 학습률을 고르는 관행이 다운스트림 유용성을 보장하지 못함을 보여 줍니다. 이에 본 연구는 사전학습 목표를 “더 강한 체크포인트”만이 아니라, 사후학습이 유발하는 파라미터 섭동에 대한 낮은 민감도, 곧 학습–망각 트레이드오프(learning–forgetting tradeoff)의 개선으로 재정의합니다.
방법론의 핵심은 최적화를 더 평탄한 최소점(flatter minima)으로 유도하는 세 가지 개입입니다. Sharpness-Aware Minimization(SAM)은 손실의 국소 곡률(curvature)을 명시적으로 패널티하여 사후 업데이트에 둔감한 해를 탐색하고, 피크 학습률 증가와 후반 학습률 어닐링(annealing) 구간 단축은 Edge of Stability 계열 연구에서 알려진 학습률–샤프니스 관계를 활용한 암묵적 샤프니스 제어입니다. 파라미터 규모 20M부터 150M까지의 통제 실험과 80회 이상의 사전학습·3,500회 이상의 파인튜닝을 통해, 각 개입은 다섯 개의 공통 다운스트림 데이터셋에서 사후학습 이후 성능을 일관되게 끌어올리며, StarCoder 설정에서는 동일한 파인튜닝 손실 대비 망각을 최대 약 80%까지 줄이는 결과를 보였습니다. 이득이 토큰 예산과 함께 커진다는 점은, 장시간 사전학습이 샤프니스를 키워 적응성을 해친다는 서사와 맞물려 방법의 필요성을 더욱 분명히 합니다.
Hessian 분석은 이득의 메커니즘을 구체화합니다. 파인튜닝 후 사전학습 손실의 이차 Taylor 근사가 관측 손실의 경험적 상한으로 작동하며, SAM과 큰 피크 학습률이 파인튜닝 방향의 방향적 샤프니스를 낮춘다는 사실이 확인되었습니다. 즉 망각 감소는 단순히 스텝을 줄인 결과가 아니라, 베이스를 이후 업데이트 방향으로 평탄하게 만든 효과에서 비롯됩니다. 스케일에서도 동일한 원리가 성립합니다. 이미 4T 토큰으로 사전학습된 OLMo-2-1B에 50B 토큰의 짧은 SAM 미드트레이닝(mid-training)만을 적용하면, MetaMath 사후학습 후 망각이 31%, 4-bit 양자화 후 망각이 40% 감소하여, 전구간 재학습 없이도 후반 기하만 고치는 저비용 개입이 실무적으로 유효함을 보입니다.
종합하면, 사전학습은 베이스 체크포인트를 고립적으로 최적화하는 단계가 아니라 전체 모델 개발 파이프라인의 출발점을 만드는 과정이어야 하며, 적응성과 다운스트림 파라미터 이동에 대한 낮은 민감도를 1급 기준으로 삼을 때 사후학습·압축 이후에도 능력이 더 잘 살아남습니다.
초록(Abstract)
사전학습 옵티마이저(optimizer)는 가능한 한 가장 강력한 베이스 모델을 만들어내도록 튜닝되며, 이는 더 강한 시작점이 사후학습(post-training)과 양자화(quantization)와 같은 후속 변경 이후에도 더 강한 모델을 만든다는 가정에 기반한다. 이는 후속 파라미터 업데이트 이후에도 베이스 모델의 능력이 얼마나 유지되는지를 좌우하는 베이스 모델의 기하(geometry)를 간과한다. 우리는 더 평탄한 최솟값(flatter minima) 쪽으로 최적화를 편향시키는 세 가지 사전학습 최적화 접근법을 연구한다: 샤프니스 인식 최소화(Sharpness-Aware Minimization, SAM), 큰 학습률, 그리고 단축된 학습률 어닐링(annealing) 구간. 2천만(20M)에서 1억 5천만(150M) 파라미터에 이르는 모델 규모에서, 이러한 개입이 다섯 가지 일반적인 데이터셋에 대한 사후학습 이후 다운스트림 성능을 일관되게 향상시키며 최대 80% 적은 망각(forgetting)을 달성함을 확인하였다. 이러한 원리는 규모가 커져도 유지된다: 기존 OLMo-2-1B 체크포인트에 짧은 SAM 중간학습(mid-training) 단계를 적용한 결과, MetaMath 사후학습 이후 망각이 31%, 4비트 양자화 이후 망각이 40% 감소하였다.
Pretraining optimizers are tuned to produce the strongest possible base model, on the assumption that a stronger starting point yields a stronger model after subsequent changes like post-training and quantization. This overlooks the geometry of the base model which controls how much of the base model's capabilities survive subsequent parameter updates. We study three pretraining optimization approaches that bias optimization toward flatter minima: Sharpness-Aware Minimization (SAM), large learning rates, and shortened learning rate annealing periods. Across model sizes ranging from 20M to 150M parameters, we find that these interventions consistently improve downstream performance after post-training on five common datasets with up to 80% less forgetting. These principles hold at scale: a short SAM mid-training phase applied to an existing OLMo-2-1B checkpoint reduces forgetting by 31% after MetaMath post-training and by 40% after 4-bit quantization.
논문 링크
Life-Bench: 개념 인식을 넘어서는 멀티모달 개인화를 위한 벤치마크 및 지식 그래프 프레임워크 / Life-Bench: A Benchmark and Knowledge Graph Framework for Multimodal Personalization Beyond Concept Recognition
논문 소개
대규모 언어 모델(Large Language Model, LLM) 기반 개인 비서가 사진 앨범과 소셜 미디어 아카이브처럼 수년에 걸친 멀티모달(multimodal) 인생 기록을 다루게 되면서, 개인화의 초점은 선호·스타일 정렬을 넘어 관계·타임라인·시각 증거를 넘나드는 검색과 추론으로 이동하고 있습니다. 그러나 기존 멀티모달 개인화 벤치마크는 대개 인물·외형 매칭과 같은 개념 수준 인식에 머물러, 특정 시공간 사건을 이해하고 여러 이벤트에 걸친 패턴을 집계하는 실제 질의 스펙트럼을 충분히 반영하지 못했습니다. Life-Bench는 이러한 간극을 메우기 위해, 필요 증거 범위에 따라 개념 식별(Concept Identification), 이벤트 이해(Event Understanding), 집계 추론(Aggregated Reasoning)으로 조직된 10개 과제와 11,800개 이상의 인간 검증 질의-응답(question-answer, QA) 쌍을 제공하는 완전 합성 멀티모달 벤치마크를 제안합니다. 벤치마크는 10개의 가상 계정(Vaccount)에 소셜 네트워크와 타임스탬프 라이프로그를 구성하며, YFCC100M에서 파생한 텍스트 시나리오로 시딩한 뒤 생성 모델로 이미지와 서사를 새로 만들어 프라이버시를 보존하면서도 실제 사용자 계정과 분포적으로 정렬된 현실성을 유지합니다.
개인 아카이브가 모델의 컨텍스트 한계를 초과한다는 점에 착안하여, 저자들은 희소 어휘 검색(BM25), 밀집 캡션 검색(RAG-Cap), 개념 메모리(RAP/R2P), 그래프 기반 검색(HippoRAG2) 등 네 계열의 검색 증강(retrieval-augmented) 패러다임을 체계적으로 비교합니다. 더 나아가 LifeGraph라는 개인 지식 그래프(knowledge graph) 프레임워크를 제안하여, 사람·반려동물·이벤트·날짜·장소·활동·객체를 하이브리드 스키마로 구조화하고 각 노드·관계에 원본 시각 기록에 대한 출처(provenance) 링크를 유지합니다. 질의 시에는 모델 유도 beam search로 관계 경로를 순회하면서, 세밀한 시각 세부사항이 필요할 때 소스 이미지를 온디맨드로 가져와 추론에 결합합니다. 실험 결과 정확도는 증거 범위가 넓어질수록 급격히 하락하여 개념 식별에서는 0.58–0.78 수준이지만 집계 과제에서는 0.40 미만으로 떨어지며, 어떤 단일 패러다임도 모든 범주에서 우위를 유지하지 못했습니다. LifeGraph는 전체 정확도 0.5604로 검색 방법 중 최고를 기록하고 이벤트·집계 과제에서 특히 유망했으나, 개념 인식을 넘어선 성능은 여전히 제한적이며 검색과 추론이 모두 병목임이 드러났습니다. 이에 Life-Bench는 멀티모달 이력 위 개인화를 열린 과제로 정의하고, 더 풍부한 개인 지식 조직과 더 강한 교차 모달(cross-modal) 집계 추론의 진전을 측정하는 테스트베드로 자리매김합니다.
초록(Abstract)
대규모 언어 모델(LLM)이 개인 비서를 점점 더 많이 구동함에 따라, 사용자는 사람 인식부터 사건 이해, 패턴 집계에 이르기까지 멀티모달 생애 이력에 대해 추론하기를 기대하지만, 기존 벤치마크는 주로 개념 수준 인식을 대상으로 한다. 본 논문에서는 필요한 근거 범위에 따라 개념 식별, 사건 이해, 집계 추론으로 구성된 10개 과제에 걸쳐 11,800개 이상의 질의응답 쌍을 포함하는, 완전 합성·인간 검증 멀티모달 벤치마크인 Life-Bench를 소개한다. 벤치마크의 사진 중심 개인 이력은 임베딩 통계 하에서 실제 사용자 계정과 분포적으로 정렬되어 있다. 개인 데이터의 상호 연결된 구조는 그래프 기반 해결책을 유도하며, 이에 구조화된 검색과 원본 시각 근거에 대한 온디맨드 접근을 제공하는 개인 지식 그래프 프레임워크인 LifeGraph를 제안한다. LifeGraph는 사건 및 집계 과제에서 특히 유망함을 보인다. Life-Bench에서 네 가지 검색 패러다임을 체계적으로 평가한 결과, 정확도는 근거 범위가 커질수록 급격히 저하되어 집계 과제에서는 0.40 미만으로 떨어지며, 어떤 단일 패러다임도 모든 범주에서 우세하지 않음을 확인하였다. 개념 인식을 넘어선 성능은 평가된 모든 방법에서 여전히 제한적이며, 이는 멀티모달 이력에 대한 개인화를 미해결 과제로, Life-Bench를 향후 발전을 위한 테스트베드로 자리매김한다.
As large language models increasingly power personal assistants, users expect them to reason over multimodal life histories, from recognizing people to understanding events to aggregating patterns, yet existing benchmarks primarily target concept-level recognition. We introduce Life-Bench, a fully synthetic, human-verified multimodal benchmark of over 11,800 question-answer pairs across 10 tasks, organized by required evidence scope: concept identification, event understanding, and aggregated reasoning. The benchmark's photo-centric personal histories are distributionally aligned with real user accounts under embedding statistic. The interconnected structure of personal data invites graph-based solutions; we propose LifeGraph, a personal knowledge graph framework providing structured retrieval with on-demand access to source visual evidence, showing particular promise on event and aggregated tasks. Systematic evaluation of four retrieval paradigms on Life-Bench demonstrates that accuracy degrades sharply with evidence scope, falling below 0.40 on aggregated tasks, and that no single paradigm dominates across categories. Performance beyond concept recognition remains modest for all evaluated methods, establishing personalization over multimodal histories as an open challenge and Life-Bench as a testbed for future progress.
논문 링크
에이전틱 알파 포이즈닝: 멀티에이전트 트레이딩 시스템의 역할과 아키텍처 전반에 걸친 적대적 취약점 / Poisoning Agentic Alpha: Adversarial Vulnerabilities Across Roles and Architectures in Multi-Agent Trading Systems
논문 소개
대규모 언어 모델(Large Language Model, LLM) 기반 멀티에이전트 트레이딩 시스템이 연구 프로토타입을 넘어 실자산을 운용하는 단계로 빠르게 진입하면서, 에이전트 간 구조화된 통신은 성능의 원천인 동시에 오염된 신호가 최종 의사결정까지 전파되어 실현 손실로 이어질 수 있는 공격 표면이 되고 있습니다. 기존 연구가 툴 서버나 내부 상태 등 화이트박스(white-box) 접근을 전제했던 것과 달리, 본 연구는 공격자를 실제로 도달 가능한 소스 데이터와 에이전트가 소비하는 프롬프트로 제한한 저비용·블랙박스(black-box) 위협 모델을 제시하며, 금융 도메인에서 역할 조건 공격 채널과 통신 설계를 함께 살펴본 첫 체계적 실증을 수행합니다. 분석은 적대 신호가 어디서 유입되는지와 최종 결정까지 얼마나 살아남는지를 각각 역할(role) 축과 토폴로지(topology) 축으로 분리하여 구성됩니다. 역할 축에서는 TradingAgents류 파이프라인을 Analyst, Researcher, Trader, Risk Manager의 네 기능 역할로 분해하고, 각 인터페이스에 맞춰 데이터 중독(Data Poisoning)·간접 프롬프트 인젝션(Indirect Prompt Injection)·설득적 적(Persuasive Adversary)·목표 하이재킹(Objective Hijacking)·Jailbreaking을 대응시킵니다. 구조 축에서는 Analyst 진입점을 고정한 채 linear·centralized·decentralized·hybrid의 네 통신 토폴로지를 데이터 수준 및 에이전트 수준 공격으로 비교하며, 집계·다수결에 따른 신호 감쇠를 사후 해석하기 위해 적대 신호 보존 점수(Adversarial Signal Preservation Score, APS)를 도입합니다. 평가는 공격 성공률(Attack Success Rate, ASR)을 중심으로 하되, 클린 결정이 이미 타깃과 일치한 날은 분모에서 제외하여 의도적 의사결정 뒤집기만을 측정하고, 5개 자산·두 백본·BUY/SELL 양방향에서 교차 설계로 일반화를 검증합니다. 역할 실험에서는 단말 안전 역할인 Risk Manager에 대한 Jailbreaking이 공격 가능 일의 약 98.9%에서 성공하여, 안전 강제와 최종 결정 권한이 결합된 설계가 단일 실패점(single point of failure)이 될 수 있음을 보여 줍니다. 동시에 파이프라인 깊이와 ASR 사이에 단조 관계는 없으며, 설득 공격이 비단말 역할 중 가장 높은 성공률을 보이는 등 채널·증거·방향 사전·하류 검증의 상호작용이 성공을 결정합니다. 아키텍처 분석에서는 APS가 평균 취약성 순서와 강하게 상관되지만, 쿼럼(quorum) 효과·모델 사전·백본에 따라 순서가 약화되거나 반전되며, 다수결은 점진적 감쇠가 아닌 임계값 기반의 불연속적 견고성만을 제공합니다. 멀티에이전트 조직은 단일 에이전트 대비 공격 성공률을 낮출 수 있으나 취약성을 제거하지는 못하며, 클린 성과가 좋은 구조가 공격 하에서 반드시 금융적으로 안정적인 것도 아닙니다. 이러한 결과는 안전이 에이전트 수나 특정 토폴로지의 선택만으로 보장되지 않으며, 의도적 검증·집계 설계와 ASR·실현 손실을 함께 보는 평가가 더 안전한 에이전틱(agentic) 트레이딩 시스템 설계의 핵심임을 시사합니다.
초록(Abstract)
대규모 언어 모델(LLM) 기반 멀티에이전트 트레이딩 시스템은 전문화된 에이전트들이 구조화된 통신을 통해 협업하여 트레이딩 결정을 도출하는 구조로, 연구용 프로토타입에서 실제 자산을 통제하는 실운영 배포로 빠르게 전환되고 있다. 이들을 효과적으로 만드는 바로 그 에이전트 간 통신이 동시에 취약점을 드러낸다. 오염된 신호가 최종 결정까지 전파되어 실제 금융 손실로 이어질 수 있기 때문이다. 시스템 내부에 대한 특권적 접근을 가정하는 기존 공격과 달리, 우리는 공격자를 실질적으로 도달 가능한 범위—에이전트가 소비하는 소스 데이터와 프롬프트—로 제한하여, 진입 장벽이 낮고 그에 따라 민주화되는 위협 모델을 역할별 공격자로 구체화한다. 본 연구는 금융 도메인에서 적대적 신호가 멀티에이전트 트레이딩 시스템에 어떻게 유입되고, 최종 결정에 이르기까지 얼마나 살아남는지를 규명하는 최초의 체계적 실증 연구를 제시한다. 역할 축에서는 널리 쓰이는 트레이딩 파이프라인을 Analyst, Researcher, Trader, Risk Manager의 네 가지 기능적 역할로 분해하고, 각 역할의 인터페이스에 맞춘 공격을 대응시킨다. 구조 축에서는 데이터 수준 및 에이전트 수준 공격 하에서 네 가지 통신 토폴로지를 평가하며, 사후적 분석 렌즈로 적대적 신호 보존 점수(Adversarial Signal Preservation Score, APS)를 사용해 일부 설계가 다른 설계보다 강건한 이유를 살펴본다. 실험은 다섯 개 자산, 두 가지 백본, 두 가지 목표 방향에 걸쳐 수행한다. 핵심 결과는 본질적으로 강건한 아키텍처는 없다는 점이다. 이러한 결과는 더 안전하고 강건한 에이전틱 트레이딩 시스템의 향후 설계에 통찰을 제공한다.
LLM-based multi-agent trading systems, in which specialized agents collaborate through structured communication to produce trading decisions, are moving rapidly from research prototypes to live deployments that control real assets. The same inter-agent communication that makes them effective also exposes them: a corrupted signal can propagate to the final decision and translate into realized financial loss. Unlike prior attacks that presume privileged access to system internals, we restrict the adversary to what is practically reachable---the source data and prompts agents consume---yielding a low-barrier, and thus democratized threat model instantiated as role-specific adversaries. We present the first systematic empirical study in the financial domain to characterize how an adversarial signal enters a multi-agent trading system and how far it survives toward the decision. Along the role axis, we decompose a widely-used trading pipeline into four functional roles---Analyst, Researcher, Trader, and Risk Manager---and pair each with an attack matched to its interface. Along the structural axis, we evaluate four communication topologies under data- and agent-level attacks, using the Adversarial Signal Preservation Score (APS) as a post-hoc lens on why some designs are more robust than others. We conduct experiments across five assets, two backbones, and two target directions. A central finding is that no architecture is inherently robust. These findings provide insights for the future design of safer and more robust agentic trading systems.
논문 링크
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 