[2026/07/13 ~ 19] 이번 주에 살펴볼 만한 AI/ML 논문 모음
PyTorchKR
이번 주 선정된 10편의 논문을 살펴보면, 인공지능 에이전트의 고도화, 실제 환경을 고려한 보안 및 신뢰성 확보, 그리고 텍스트 외 데이터 처리의 실질적 검증이라는 3가지 주요 트렌드를 확인할 수 있었습니다:
자율 에이전트 시스템의 고도화와 문맥 기반 제어: 이번 주 연구들은 단순한 프롬프트 엔지니어링을 넘어, 에이전트 스스로 능력을 개선하거나 복잡한 작업을 수행하도록 시스템을 고도화하는 흐름을 보여줍니다. Self-Improvements in Modern Agentic Systems 서베이 논문은 경험을 통해 에이전트가 자체적으로 진화하는 프레임워크를 조명했으며, Skill Is Not Document 는 복잡한 작업을 위해 에이전트가 어떤 기술들을 조합해야 호환되는지를 평가하고 검색하는 새로운 접근법을 제시했습니다. 또한 The Emerging Paradigm of Geospatial Foundation Models 는 에이전트가 지리공간 모델을 도구로 활용해 복잡한 워크플로우를 자동화하는 비전을 제시했고, AI Agents Do Not Fail Alone 은 에이전트의 실패가 모델 자체의 결함보다는 주어지는 '문맥(Context)'의 품질에서 기인함을 정량적으로 증명했습니다. 이는 에이전트 기술이 개별 모델의 크기를 키우는 것을 넘어, 외부 도구 활용과 엄밀한 문맥 최적화를 통한 시스템적 완성도에 집중하고 있음을 시사합니다.
현실 세계 적용을 위한 보안 강화와 내부 투명성 확보: AI 모델과 에이전트가 웹 브라우징이나 코드 작성 등 실제 운영 환경에 적극적으로 투입되면서, 발생 가능한 보안 위협을 방어하고 내부 추론 과정을 투명하게 밝히려는 연구가 두드러졌습니다. Prismata 는 웹 에이전트가 직면하는 크로스 사이트 프롬프트 주입 공격을 막기 위해 최소 권한 원칙을 적용하는 획기적인 방어책을 제안했습니다. 또한 Large Language Models (LLMs) and Generative AI in Cybersecurity 연구는 LLM이 촉발하는 자동화된 사이버 공격의 위험성과 이를 막기 위한 전방위적 방어 전략을 포괄적으로 다루었으며, How Transparent is DiffusionGemma? 는 확산 모델의 불투명해 보이는 추론 과정을 중간 표현으로 분해하여 변수 투명성을 확보하는 방법론을 분석했습니다. 이러한 흐름은 AI 기술이 실험실을 벗어나 산업과 일상에 안전하게 정착하기 위해 필수적인 방어력과 통제력을 정비해 나가는 과정으로 볼 수 있습니다.
다중 모달리티 통합의 환상 검증 및 이질적 데이터 처리의 정교화: 텍스트를 넘어 시각 정보나 수치형 데이터 등 다양한 형태의 입력을 모델에 통합할 때 발생하는 한계를 비판적으로 검증하고 해결하려는 노력도 이어졌습니다. Are VLMs Seeing or Just Saying? 은 비전-언어 모델이 이미지를 다시 확인한다고 스스로 생성하면서도 실제로는 시각적 변화를 전혀 인지하지 못하는 '재검토의 환상'을 실험적으로 폭로했습니다. 반면 Tokenizing Numerical and Embedding Features for LLM RecSys 는 추천 시스템에서 기존의 텍스트 토큰만으로는 처리하기 어려운 연속적인 수치 및 밀집 임베딩 특성을 LLM의 공간으로 융합하는 구체적인 프레임워크를 제시했습니다. 이는 Mathematics of Data Science 가 강조하는 엄밀한 기초 접근과 맥락을 같이하며, AI가 다양한 모달리티를 겉핥기식으로 다루는 것을 경계하고 비텍스트 신호를 실질적이고 정교하게 이해하도록 아키텍처와 평가 기준을 진화시키고 있음을 보여줍니다.
논문별 간략 요약
-
에이전트 시스템의 자기 개선 프레임워크: 파운데이션 모델과 도구, 메모리 등을 결합하여 에이전트가 최소한의 인간 개입으로 경험을 축적하고 성능을 스스로 개선하는 과정을 체계적으로 분석한 서베이 논문입니다.
-
LLM 에이전트를 위한 기술 라우팅 벤치마크 (R3): 에이전트가 복잡한 작업을 수행할 때 기술 조합의 호환성을 평가하기 위해, LLM의 거부(rejection) 신호를 활용하여 기술 검색 성능을 높이는 이중 단계 검색기와 벤치마크를 제안합니다.
-
지리공간 파운데이션 모델(GeoFMs)의 에이전트적 추론: 위성 및 항공 이미지 분석을 위해 사전 학습된 지리공간 모델들을 소개하며, 대규모 언어 모델과 결합해 복잡한 분석 워크플로우를 자동화하는 미래 비전을 제시합니다.
-
LLM 추천 시스템을 위한 수치 및 임베딩 특성 토큰화: 기존 텍스트 기반 LLM의 한계를 극복하기 위해 연속적인 수치 데이터와 밀집 임베딩을 소프트 토큰으로 변환하고, 상호작용 기반으로 융합하여 추천 성능을 향상시키는 프레임워크를 제안합니다.
-
웹 에이전트용 크로스 사이트 프롬프트 주입 방어 (Prismata): 자율 웹 에이전트가 신뢰할 수 없는 콘텐츠로 인해 탈취당하는 것을 막기 위해, 페이지의 구조적 단서를 바탕으로 에이전트의 접근 권한을 제한하는 맥락적 최소 권한 방어책을 도입했습니다.
-
비전-언어 모델(VLM)의 시각적 재검토 환상 검증: VLM이 추론 중 이미지를 다시 확인하겠다고 문장을 생성하더라도 실제로는 시각적 입력을 제대로 반영하지 못하는 현상을 이미지 교환 실험(VisualSwap)을 통해 밝혀냈습니다.
-
사이버 보안에서의 LLM 및 생성형 AI 활용 서베이: 인공지능이 자동화된 방어를 돕는 동시에 정교한 악성 코드 생성 등 새로운 위협을 가하는 양면적 상황을 분석하고, 책임 있는 배포를 위한 실용적인 방어 전략을 논의합니다.
-
AI 에이전트 실패의 원인과 문맥 품질 (Context Engineering): 에이전트의 실패가 알고리즘 자체가 아닌 지시사항, 도구, 가드레일 등 주어진 문맥의 부실함에서 비롯됨을 입증하고, 이를 정량적으로 평가하는 합의 기반 프레임워크를 제안합니다.
-
확산 언어 모델(DiffusionGemma)의 추론 투명성 분석: 확산 모델이 연속적인 잠재 공간에서 계산을 수행하여 내부가 불투명해 보이지만, 이를 해석 가능한 토큰 병목 구조로 재표현하면 추론 과정의 투명성을 상당 부분 회복할 수 있음을 증명했습니다.
-
데이터 과학의 수학적 기초: 고차원 데이터 처리, 차원 축소, 최적화, 딥러닝 및 희소성 복원 등 데이터 과학과 기계학습을 지탱하는 다양한 수학적 원리들을 체계적으로 집대성한 문헌입니다.
현대 에이전트 시스템의 자기 개선에 대한 서베이 논문 / Self-Improvements in Modern Agentic Systems: A Survey
논문 소개
자기 개선이 가능한 자율 에이전트는 최근 연구 프로토타입에서 실제 시스템으로 발전하고 있으며, 이는 최소한의 인간 개입으로 경험을 통해 통제 가능한 진화 또는 적응을 이루는 것을 목표로 하고 있다. 현대의 자기 개선 에이전트를 경험을 축적하여 능력 향상으로 전환하는 적응 시스템으로 이해하는 것이 중요하다. 이를 위해 제안된 시스템 수준의 프레임워크는 파운데이션 모델과 스캐폴드(프롬프트, 메모리, 도구 및 제어 논리)를 결합하여 에이전트의 구성을 형성한다. 이 프레임워크 내에서 자기 개선 과정은 자기 유도 업데이트 연산자를 통해 모델 매개변수나 스캐폴드 구성 요소에 대한 업데이트를 획득하고 커밋하는 방식으로 형식화된다.
이 과정에서 에이전트는 내재적 생성 시연과 외재적 탐색 경험을 통해 얻은 데이터를 통해 성능을 향상시키고, 최적의 출력을 선택하는 내재적 평가 피드백을 활용한다. 또한, 프롬프트 최적화와 인구 기반 진화를 통해 에이전트는 최상의 프롬프트를 찾고 이를 바탕으로 성능을 개선할 수 있다. 에이전트의 메모리와 도구의 개선 과정은 각각의 특화된 연산자를 통해 이루어지며, 이러한 연산자들은 에이전트의 전반적인 능력을 강화하는 데 기여한다.
이 논문은 현대 에이전트 시스템의 자기 개선 과정을 다양한 구성 요소와 연산자를 통해 체계적으로 정의하고 있으며, 이러한 요소들이 에이전트의 성능 향상에 어떻게 기여하는지를 설명하고 있다. 이러한 연구는 자율 에이전트의 진화를 더욱 효율적이고 효과적으로 이끌어 나갈 수 있는 기초를 제공하며, 향후 관련 분야에서의 연구 방향을 제시하는 데 중요한 역할을 할 것이다.
초록(Abstract)
자기 개선 자율 에이전트는 연구 프로토타입에서 실제 시스템으로 이동하고 있습니다. 주요 목표는 최소한의 인간 입력 또는 전혀 없는 입력으로 경험을 통해 제어 가능한 진화 또는 적응입니다. 본 서베이는 현대의 자기 개선 에이전트를 경험을 축적된 능력 향상으로 전환하는 적응 시스템으로 프레임합니다. 우리는 현대 에이전트를 파운데이션 모델과 프롬프트, 메모리, 도구 및 제어 논리의 운영 구조로 결합한 구성으로 나타내는 시스템 수준의 프레임워크를 제공합니다. 이 프레임워크 내에서 자기 개선은 모델 파라미터 또는 구조 구성 요소에 대한 업데이트를 얻고 커밋하는 자기 유도 업데이트 연산자로 형식화됩니다. 우리는 업데이트 목표와 변화를 유도하는 신호에 따라 이전 연구를 정리하고, 응용 사례를 검토하고 평가를 논의한 후, 개방 문제와 미래 방향으로 마무리합니다. 편의를 위해, 우리는 https://github.com/selfimproving-agent/awesome-Self-Improving-Agents에서 기술 업데이트를 추적합니다.
Self-improving autonomous agents are moving from research prototypes to deployed systems. The primary goal is controllable evolution, or adaptation, from experience with minimal or even no human input. This survey frames modern self-improving agents as adaptive systems that convert experience into accumulated capability gains. We offer a system-level framework that represents a modern agent as a configuration coupling a foundation model with an operational scaffold of prompts, memory, tools, and control logic. Within this framework, self-improvement is formalized as a self-induced update operator that obtains and commits updates to model parameters or scaffold components. We organize prior work by update target and by the signals that drive change, then review applications and discuss evaluation, before closing with open problems and future directions. For convenience, we track technical updates on GitHub - selfimproving-agent/Awesome-Self-Improving-Agents: A curated list for Self-Improvement in Foundation Model Based Agentic Systems. · GitHub.
논문 링크
더 읽어보기
기술은 문서가 아니다: LLM 에이전트 기술 라우팅을 위한 쿼리 조건 벤치마크 및 이단계 검색기 / Skill Is Not Document: A Query-Conditional Benchmark and Two-Stage Retriever for LLM Agent Skill Routing
논문 소개
대규모 언어 모델(LLM) 에이전트는 복잡한 작업을 해결하기 위해 다양한 기술을 조합하여 사용하며, 이 과정에서 기술 검색은 에이전트 시스템의 핵심적인 역할을 수행한다. 기존의 문서 검색과는 달리, 상위 K의 정확도는 쿼리와 기술 간의 관련성뿐만 아니라, 검색된 기술들이 쿼리 하에서 어떻게 상호 작용할 수 있는지를 반영하는 "기술 호환성"에 의존한다. 그러나 이러한 기술 호환성 정보는 독립적인 관련성 평가로는 충분히 복원할 수 없다. 본 연구에서는 LLM 기반의 합성 파이프라인에서 생성된 거부 결정이 이 정보를 제공할 수 있다는 점에 착안하였다. 거부 결정은 특정 쿼리에 대해 함께 검색해서는 안 되는 기술을 명확히 하며, 일반적으로는 저품질 데이터로 간주되어 버려지곤 한다.
이러한 문제를 해결하기 위해 제안된 방법인 Reject-as-Resource Retriever(R3)와 이중 언어(중국어-영어) 벤치마크인 R3-Skill은 기술 라우팅을 위한 혁신적인 접근법이다. R3-Skill은 10,246개의 기술과 41,592개의 수용된 쿼리, 32,828개의 LLM 거부 주석을 포함하며, 8개의 주제 초도메인으로 구성된다. 이 데이터셋은 LLM의 비합치 가능성 판정을 활용하여 기술 호환성에 대한 감독 신호를 제공함으로써, LLM 에이전트의 기술 검색 성능을 높이는 데 기여하고자 한다. R3-Skill에서 제안된 R3-Embedding과 R3-Reranker로 구성된 이중 단계 검색기는 기술 조합의 호환성을 평가하고, 성능을 극대화하는 방식으로 훈련된다.
이 연구의 주요 기여는 LLM의 거부 신호를 활용하여 기술 검색에서의 새로운 감독 신호를 제공하는 것이다. R3-Embedding은 bi-encoder 구조를 통해 전체 기술 풀에 대해 초기 검색을 수행하고, R3-Reranker는 cross-encoder를 통해 후보 기술을 재순위화한다. 이러한 접근 방식을 통해 연구진은 R3-Skill에서 Hit@1 = 0.7521, NDCG@10 = 0.8173, Set-Compat = 0.3188라는 성과를 달성하였다. 이러한 결과는 LLM 기반 기술 검색의 새로운 가능성을 보여주며, 향후 연구에서 데이터셋과 모델 가중치, 평가 스크립트의 오픈 소스화는 연구의 발전에 기여할 것으로 기대된다.
초록(Abstract)
LLM 에이전트는 종종 기술을 조합하여 복잡한 작업을 해결하므로, 기술 검색은 에이전트 시스템의 전면 구성 요소가 됩니다. 문서 검색과 달리, 기술 검색에서의 상위 K 정확도는 각 쿼리-기술 쌍의 관련성뿐만 아니라, 검색된 기술이 쿼리 하에서 함께 작동할 수 있는지 여부에도 의존합니다. 이러한 쿼리 조건부 "기술 호환성"은 독립적인 관련성만으로는 회복할 수 없습니다. 그러나 LLM 기반 합성 파이프라인은 이를 위한 유용한 신호를 이미 생성합니다: LLM의 자체 거부 결정으로, 이는 특정 쿼리에 대해 함께 검색되지 않아야 할 기술을 지정하지만, 일반적으로 저품질 데이터로 간주되어 버려집니다. 우리는 Reject-as-Resource Retriever (R3)를 제안하고, 에이전트 기술 라우팅을 위한 이중 언어(중국어-영어) 벤치마크인 R3-Skill을 구축합니다. R3-Skill은 네 가지 언어 방향을 포괄하며, 사용자 요청을 더 잘 근사하는 LLM 재작성 쿼리를 사용합니다; 그 테스트 세트의 진실은 여러 전문가에 의해 검증되었습니다. 이 데이터셋은 8개의 주제 슈퍼 도메인으로 그룹화된 10,246개의 기술, 41,592개의 수용된 쿼리, 32,828개의 LLM 거부 주석을 포함하며, 추가로 8개 클래스의 거부 이유 분류로 조직됩니다. R3-Skill은 일반적으로 버려지는 이 거부 신호를 유지하고 이를 호환성 감독으로 사용합니다. R3-Skill에서 우리는 R3-Embedding과 R3-Reranker로 구성된 두 단계 검색기를 훈련합니다. 그래디언트 분석은 이 쿼리 조건부 신호가 양측 균형 하에서 테스트된 바이-인코더 목표에 주입될 때 왜 약한지를 설명하며, 반면 크로스 인코더는 이를 등급 순위 감독으로 사용할 수 있습니다; R3-Skill의 절편 실험이 이 분리를 지지합니다. R3-Embedding + R3-Reranker 파이프라인은 R3-Skill에서 Hit@1 = 0.7521, NDCG@10 = 0.8173 및 Set-Compat = 0.3188에 도달합니다. 데이터셋, 모델 가중치 및 평가 스크립트는 오픈 소스로 공개될 예정입니다.
LLM agents often solve complex tasks by composing skills, making skill retrieval a front-end component of agent systems. Unlike document retrieval, top-K correctness in skill retrieval depends not only on the relevance of each query-skill pair, but also on whether the retrieved skills can work together under the query. This query-conditioned "skill compatibility" cannot be recovered from independent relevance alone. However, LLM-based synthesis pipelines already produce a useful signal for it: the LLM's own rejection decisions, which specify which skills should not be retrieved together for a given query, but are usually discarded as low-quality data. We propose Reject-as-Resource Retriever (R3) and construct R3-Skill, a bilingual (Chinese-English) benchmark for agent skill routing. R3-Skill covers four language directions and uses LLM-rewritten queries that better approximate user requests; its test-set ground truth is verified by multiple experts. It contains 10,246 skills grouped into 8 thematic super-domains, 41,592 accepted queries, and 32,828 LLM-rejected annotations, further organized into an 8-class rejection-reason taxonomy. R3-Skill keeps this normally discarded rejection signal and uses it as compatibility supervision. On R3-Skill, we train a two-stage retriever consisting of R3-Embedding and R3-Reranker. Gradient analysis explains why this query-conditional signal is weak when injected into the tested bi-encoder objective under bilateral balancing, while a cross-encoder can use it as graded ranking supervision; R3-Skill ablations support this split. The R3-Embedding + R3-Reranker pipeline reaches Hit@1 = 0.7521, NDCG@10 = 0.8173 and Set-Compat = 0.3188 on R3-Skill. The dataset, model weights, and evaluation scripts will be open-sourced.
논문 링크
더 읽어보기
지리정보 기반 모델의 새로운 패러다임: 사전학습에서 에이전트적 추론으로 / The Emerging Paradigm of Geospatial Foundation Models: From Pre-Training to Agentic Reasoning
논문 소개
지리공간 데이터 분석의 혁신적인 전환점이 된 지리공간 파운데이션 모델(GeoFMs)은 인공지능 및 기계학습(AI/ML) 분야에 새롭게 등장한 개념으로, 방대한 지리공간 데이터셋을 통해 사전 학습된 다양한 모델을 포함하고 있다. GeoFMs는 대규모 모델 제공자가 계산 집약적인 사전 학습을 담당함으로써, 도메인 전문가들이 특정 임무에 맞게 신속하게 모델을 조정하거나 활용할 수 있는 가능성을 제공한다. 이러한 접근 방식은 최첨단 AI/ML 기술에 대한 접근성을 민주화하며, 보안과 기밀성을 유지할 수 있는 장점을 지닌다.
이 논문에서는 자가 지도 학습과 대조 학습을 활용한 두 가지 주요 GeoFM 모델 유형을 탐구한다. 자가 지도 학습을 통해 생성된 비전 모델은 강력한 시각적 특성을 학습하고, 대조 학습을 통해 개발된 비전-언어 모델은 제로샷 태스크를 수행할 수 있는 능력을 갖춘다. 이러한 모델들은 복잡한 분석 작업을 자동화하고, 고수준 사용자 쿼리에 대한 응답을 가능하게 하여 지리공간 데이터 분석의 새로운 지평을 열어준다.
또한, GeoFMs의 운영화에 대한 실용적인 고려 사항을 논의하며, 모델 적응 전략의 분류 체계를 제시하여 도메인 전문가들이 특정 요구에 맞는 비용 효율적인 접근 방식을 선택할 수 있도록 돕는다. 이러한 프레임워크는 AI/ML 분야의 MLOps(머신러닝 운영) 생태계에 통합되어, 지리공간 데이터 분석의 효율성을 극대화하는 데 기여한다.
마지막으로, 이 연구는 대규모 언어 모델이 GeoFMs를 활용하여 복잡한 분석 워크플로우를 자동화하고, 인공지능이 인지적 작업을 수행할 수 있는 에이전틱 지리공간 추론의 미래 비전을 제시한다. 이러한 통합적 접근 방식은 다양한 도메인에서의 데이터 활용도를 높이며, 지리공간 데이터 분석의 패러다임을 변화시킬 잠재력을 지닌다. GeoFMs의 출현은 AI/ML 분야의 혁신을 이끄는 중요한 기여로 자리매김할 것이다.
초록(Abstract)
위성 및 항공 이미지 분석은 파운데이션 모델의 출현으로 새로운 시대에 접어들었습니다. 본 논문에서는 다양한 방법론을 통해 방대한 지리공간 데이터셋에서 사전학습된 인공지능/기계학습(AI/ML) 모델인 지리공간 파운데이션 모델(GeoFMs)의 개념을 설명합니다. 우리는 먼저 GeoFMs가 가능하게 하는 핵심 패러다임 전환을 설명합니다: 대규모 모델 제공자가 계산 집중적인 사전학습을 수행함으로써, 도메인 전문가들이 특정 임무에 중요한 작업을 위해 이러한 모델을 신속하게 파인튜닝하거나 프롬프트할 수 있는 역할 분담입니다. 이 접근 방식은 최첨단 AI/ML에 대한 접근을 민주화하면서도 하위 작업의 보안과 기밀성을 유지합니다. 이어서 우리는 마스크 자동 인코딩과 같은 자기 지도 기법으로 생성된 파인튜닝 가능한 비전 모델과 대조 학습으로 생성된 비전-언어 모델 간의 차별점을 구분하며, 후자는 개방 어휘 이미지 분석과 같은 제로샷 작업을 가능하게 하는 새로운 기능을 탐구합니다. 다음으로, GeoFMs의 운영화에 대한 실용적인 고려 사항, 즉 성능-비용 분석부터 더 넓은 MLOps 생태계까지 논의합니다. 이를 위해 우리는 모델 적응 전략의 분류 체계를 소개하고, 도메인 전문가들이 자신의 특정 임무 세트에 가장 비용 효율적인 적응 접근 방식을 선택할 수 있도록 하는 프레임워크를 제안합니다. 마지막으로, 우리는 대규모 언어 모델이 지능형 오케스트레이터로서 GeoFMs를 도구로 활용하여 자연어로 고수준 사용자 질의에 답하고 복잡한 분석 워크플로우를 자동화하는 에이전틱 지리공간 추론의 미래 지향적 비전을 제시합니다.
The analysis of satellite and aerial imagery has entered a new era with the advent of foundation models. This paper describes the concept of Geospatial Foundation Models (GeoFMs), which are artificial intelligence/machine learning (AI/ML) models pre-trained on massive geospatial datasets through varied methodologies. We first articulate the core paradigm shift that GeoFMs enable: a separation of duties, where large-scale model providers perform the computationally intensive pretraining, allowing domain experts to rapidly fine-tune or prompt these models for specific, mission-critical tasks. This approach democratizes access to state-of-the-art AI/ML while maintaining the security and confidentiality of the downstream task. We then explore the novel capabilities unlocked by different types of GeoFMs, distinguishing between the finetunable vision models produced by self-supervised techniques like masked auto-encoding, and the vision-language models produced by contrastive learning which enable zero-shot tasks like open-vocabulary image analysis. Next, we discuss the practical considerations for operationalizing GeoFMs, from performance-cost analysis to the broader MLOps ecosystem. To that end, we introduce a taxonomy of model adaptation strategies and propose a framework for domain experts to select the most cost-effective adaptation approach for their particular mission set. Finally, we present a forward-looking vision of Agentic Geospatial Reasoning, where Large Language Models act as intelligent orchestrators, leveraging GeoFMs as tools to answer high-level user queries in natural language and automate complex analytical workflows, moving the field from perception to cognition.
논문 링크
수치 및 임베딩 특징의 토큰화와 LLM 추천 시스템을 위한 통합 / Tokenizing Numerical and Embedding Features for LLM RecSys
논문 소개
대규모 언어 모델(LLM)은 그 강력한 시퀀스 모델링 및 표현 학습 능력 덕분에 추천 시스템의 핵심 아키텍처로 자리 잡고 있다. 하지만 기존 LLM 기반 추천 시스템은 주로 이산적 텍스트 토큰에 의존하고 있어, 연속적인 수치 특성과 밀집 임베딩 특성을 활용하는 데 한계가 있다. 이러한 불일치는 비텍스트 신호를 효과적으로 활용하는 데 장애물이 되고 있으며, 이는 추천 시스템의 전반적인 성능에 부정적인 영향을 미칠 수 있다. 이러한 문제를 해결하기 위해 제안된 소프트-토큰 융합 프레임워크는 수치 및 임베딩 특성을 LLM의 임베딩 공간으로 매핑하여 이질적인 추천 신호를 통합하는 혁신적인 접근법을 제시한다.
이 프레임워크는 공유 매개변수를 사용하는 두 타워 검색 모델에서 구현되며, 상호작용 기반 융합 모듈을 통해 소프트 토큰의 정제를 수행한다. 이 모듈은 임베딩과 수치적 특성을 통합하는 과정에서 상호작용을 통해 보다 정교한 결과를 도출하며, 최종 LLM 입력에 삽입되기 전에 이질적인 특성을 효과적으로 조합한다. 이를 통해 추천 시스템의 성능이 향상될 수 있으며, 실험 결과는 소프트-토큰 융합이 LLM 기반 기준 모델보다 우수한 검색 성능을 보임을 보여준다. 특히, 상호작용 기반 융합이 다양한 소프트 토큰의 단순한 연결보다 더 효과적임을 입증하며, 이 연구가 제시하는 방법론은 앞으로의 추천 시스템 연구에 중요한 기여를 할 것으로 기대된다.
이러한 접근은 LLM이 비텍스트 신호를 활용할 수 있는 새로운 가능성을 열어주며, 추천 시스템의 다각적인 발전을 이끌어낼 수 있는 기초를 마련한다. 본 연구는 연속적인 수치 및 밀집 임베딩 특성을 효과적으로 통합하는 방법론을 제안함으로써 LLM 기반 추천 시스템의 성능을 향상시키고, 향후 다양한 응용 분야에서의 활용 가능성을 제시한다.
초록(Abstract)
대규모 언어 모델(LLM)은 강력한 시퀀스 모델링 및 표현 학습 능력 덕분에 추천 시스템의 백본 아키텍처로 점점 더 많이 사용되고 있습니다. 그러나 대부분의 LLM 기반 추천 시스템은 주로 이산 텍스트 토큰에서 작동하는 반면, 실제 추천 파이프라인은 상류의 특성 엔지니어링 또는 사전 학습된 인코더에 의해 생성된 연속적인 수치 특성과 밀집 임베딩 특성에도 의존합니다. 이러한 불일치는 LLM 기반 모델이 세밀한 비텍스트 신호를 활용하는 능력을 제한합니다. 우리는 수치 및 임베딩 특성을 LLM 임베딩 공간으로 매핑하여 이질적인 추천 신호가 표준 토큰 인터페이스를 통해 소비될 수 있도록 하는 소프트 토큰 융합 프레임워크를 제안합니다. 우리는 공유 매개변수 LLM 기반의 두 타워 검색 모델에서 이 프레임워크를 구현하고, 최종 LLM 입력에 삽입되기 전에 임베딩 및 수치 소프트 토큰을 정제하는 상호작용 기반 융합 모듈을 도입합니다. 세 가지 아마존 추천 벤치마크에 대한 실험 결과, 소프트 토큰 융합이 LLM 기반 기준 모델에 비해 검색 성능을 개선하며, 상호작용 기반 융합이 이질적인 소프트 토큰의 직접 연결보다 더 효과적임을 보여주었습니다.
Large language models (LLMs) are increasingly used as backbone architectures for recommender systems because of their strong sequence modeling and representation learning capabilities. However, most LLM-based recommenders operate primarily on discrete textual tokens, whereas practical recommendation pipelines also rely on continuous numerical features and dense embedding features produced by upstream feature engineering or pretrained encoders. This mismatch limits the ability of LLM-based models to exploit fine-grained non-textual signals. We propose a soft-token fusion framework that maps numerical and embedding features into the LLM embedding space, allowing heterogeneous recommendation signals to be consumed through the standard token interface. We instantiate the framework in a shared-parameter LLM-based two-tower retrieval model and introduce an interaction-based fusion module that refines embedding and numerical soft tokens before they are inserted into the final LLM input. Experiments on three Amazon recommendation benchmarks show that soft-token fusion improves retrieval performance over LLM-based baselines, and that interaction-based fusion is more effective than direct concatenation of heterogeneous soft tokens.
논문 링크
Prismata: 웹 에이전트에서 교차 사이트 프롬프트 주입 방지 / Prismata: Confining Cross-Site Prompt Injection in Web Agents
논문 소개
자율 웹 에이전트는 일상적인 브라우징 작업을 자동화할 수 있는 잠재력을 지니고 있지만, 그 과정에서 웹의 오래된 공격 표면인 크로스 사이트 스크립팅(Cross-Site Scripting, XSS)이라는 위험을 내포하고 있다. 이러한 에이전트는 자연어를 명령으로 해석하는 기능을 가지고 있어, 제3자나 사용자 생성 콘텐츠가 프롬프트 주입을 통해 에이전트를 탈취할 수 있는 가능성을 제공한다. 이와 같은 배경 하에, 프리즘타(Prismata)는 웹 에이전트의 보안을 강화하기 위한 혁신적인 방어책으로 제안된다. 프리즘타는 맥락적 최소 권한(contextual least privilege) 원칙을 적용하여, 에이전트가 접근할 수 있는 콘텐츠와 수행할 수 있는 작업을 엄격하게 제한한다.
프리즘타의 핵심 기술은 두 가지로, 첫 번째는 동적 신뢰 유도(dynamic trust derivation)로, 이는 페이지의 구조적 단서를 기반으로 콘텐츠의 출처와 권한을 나타내는 신뢰 레이블을 생성한다. 두 번째는 기계적 제약(mechanical confinement)으로, 이는 생성된 정책을 실행하기 위해 콘텐츠를 가리거나 제거하는 방식으로 작동한다. 이러한 기술은 개발자의 주석 없이도 기존 웹사이트에서 효과적으로 작동할 수 있도록 설계되어, 웹 에이전트의 공격 표면을 줄이고 보안성을 높인다. 프리즘타는 웹 페이지의 모든 상호작용 요소에 대해 문서 객체 모델(DOM)의 경로를 추적하여, 신뢰할 수 있는 요소를 식별하고 불필요한 신뢰되지 않은 콘텐츠를 제거함으로써 작동한다.
이 시스템은 실제 웹 페이지에서 발생하는 두 가지 실증적 특성을 기반으로 하여 신뢰되지 않은 콘텐츠로부터의 위험을 감소시키는 데 중점을 둔다. 최근의 연구 결과에 따르면, 프리즘타는 다양한 웹 에이전트 공격에서 공격 성공률을 85.5%에서 0.7%로 낮추면서도, 작업 완료율은 4.5%에서 23.0%로 향상시키는 성과를 보였다. 이러한 결과는 프리즘타가 공격에 대한 방어력을 강화하면서도 웹 에이전트의 유용성을 유지하는 데 기여하고 있음을 보여준다. 궁극적으로 프리즘타는 웹 에이전트의 보안과 신뢰성을 높이는 데 중요한 혁신적인 기여를 하며, 널리 퍼져 있는 웹 에이전트의 보안 문제를 해결하기 위한 효과적인 접근법으로 자리잡을 가능성을 지닌다.
초록(Abstract)
자율 웹 에이전트는 일상적인 브라우징 작업을 자동화할 것을 약속하지만, 웹의 가장 오래된 공격 표면 중 하나를 물려받습니다. 크로스 사이트 스크립팅은 신뢰된 콘텐츠와 신뢰되지 않은 콘텐츠를 혼합하는 것이 위험하다는 것을 증명했으며, 심지어 무해한 페이지에서도 그러합니다. 에이전트는 자연어를 지시사항으로 해석함으로써 이 위험을 다시 드러내며, 이를 통해 제3자 및 사용자 생성 콘텐츠가 프롬프트 주입을 통해 에이전트를 탈취할 수 있습니다. 핵심 문제는 작업별 보안 정책을 도출하는 것이 공격자의 콘텐츠와 얽힌 페이지 구조를 고려해야 한다는 점입니다. 우리는 웹 에이전트에 대한 맥락적 최소 권한을 시행하는 방어책인 Prismata를 제시합니다. Prismata는 에이전트가 볼 수 있는 것과 할 수 있는 것을 모두 제한합니다. Prismata의 동적 신뢰 파생은 페이지 콘텐츠에 대한 권한 레이블을 생성하며, 고전적 무결성 모델에서 영감을 받아 구조적 구속 보장을 통해 레이블링 오류를 제한합니다. 이로 인해 레이블은 권한이 감소하는 방향으로만 변화하고 잘못된 레이블링은 제한됩니다. Prismata의 기계적 구속은 이러한 레이블을 시행하여 콘텐츠를 수정하고 에이전트의 기능을 제한합니다. 중요한 점은 이러한 메커니즘이 개발자 주석을 요구하지 않기 때문에 Prismata는 다양한 웹사이트를 지원합니다. 최근 발표된 웹 에이전트 공격, 특히 적응형 변형을 포함하여, Prismata는 공격 성공률을 상당히 줄이는 동시에 무해한 작업의 유용성을 유지합니다.
Autonomous web agents promise to automate everyday browsing tasks, but inherit one of the web's oldest attack surfaces. Cross-Site Scripting proved that mixing trusted and untrusted content is dangerous, even on benign pages. Agents resurface this risk by interpreting natural language as instructions, allowing third-party and user-generated content to hijack the agent via prompt injection. The core challenge is that deriving a task-specific security policy requires reasoning over page structure that is entangled with the attacker's content. We present Prismata, a defense enforcing contextual least privilege for web agents, constraining both what the agent sees and what it can do. Prismata's dynamic trust derivation produces permission labels for page content, with structural confinement guarantees, inspired by classical integrity models, that bound any labeling errors so that labels can only decrease in privilege and mislabelings are bounded. Prismata's mechanical confinement enforces these labels by redacting content and restricting agent capabilities. Importantly, these mechanisms require no developer annotations, so Prismata supports the long tail of websites. Across recent published web agent attacks, including adaptive variants, Prismata substantially reduces attack success while preserving benign task utility.
논문 링크
VisualSwap: VLM은 실제로 보고 있는가, 아니면 단순히 말하고 있는가? 시각적 재검토의 환상을 밝혀내다 / Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination
논문 소개
비전-언어 모델(Vision-Language Models, VLMs)은 언어와 시각 정보를 동시에 처리하는 능력으로 인해 최근 다수의 연구에서 주목받고 있습니다. 이러한 모델들은 추론 과정에서 "그림을 다시 확인하겠다"는 자기 반영적 문장을 생성하는데, 이 문장이 실제로 시각적 입력을 재검토하는지를 조사하는 것이 본 연구의 핵심 목적입니다. 이를 위해 연구자들은 VisualSwap이라는 이미지 교환 탐색 프레임워크를 개발하였으며, 이 프레임워크는 모델이 이미지를 추론한 후 시각적으로 유사하지만 의미적으로 다른 이미지로 교체하고, 모델이 이러한 변화를 인지하는지를 평가합니다.
연구에서 제안된 VS-Bench 데이터셋은 MathVista, MathVerse, MathVision, MMMU-Pro 등에서 수집된 800개의 이미지 쌍으로 구성되어 있으며, 이는 모델이 시각적 콘텐츠를 진정으로 재참여해야 하는 상황을 시뮬레이션하는 데 중요한 역할을 합니다. 실험 결과, Qwen3-VL, Kimi-VL, ERNIE-VL과 같은 다양한 모델들이 이미지 교환을 감지하지 못하고, 초기 시각적 맥락을 기반으로 한 추론을 지속하는 심각한 실패 모드를 보였습니다. 이로 인해 정확도가 최대 60%까지 하락하며, 자기 반영적 모델이 지시적 모델에 비해 더욱 취약함을 드러냈습니다.
또한, 모델의 크기를 증가시키는 것이 문제를 완화하지 못했다는 점도 주목할 만합니다. 다중 턴 사용자 지시는 시각적 기반을 복원하는 데 효과적이지만, 지속적인 생성 과정에서 자기 생성 반영 문장은 이러한 효과를 발휘하지 못했습니다. 어텐션 분석을 통해 사용자 지시가 시각적 토큰에 대한 주의를 상당히 높이는 반면, 자기 반영은 그렇지 않다는 것을 확인했습니다.
결과적으로, 현재의 VLM들은 시각적 재검토를 수행한다고 주장하면서도 실제로는 이러한 과정을 간과하고 있는 것으로 나타났습니다. 이 연구는 VLMs의 자기 반영적 순간에 대한 깊이 있는 통찰을 제공하며, 향후 모델 최적화 및 신뢰성 확보를 위한 중요한 기여를 이루고 있습니다. 이러한 발견은 VLM의 설계 및 활용에 있어 새로운 방향성을 제시하며, 멀티모달 정보 처리 분야에서의 더 나은 이해와 발전을 도모하는 데 기여할 것입니다.
초록(Abstract)
비전-언어 모델(VLMs)은 종종 추론 과정에서 "다시 그림을 확인해 보겠습니다"와 같은 자기 반영적인 발언을 생성합니다. 이러한 발언이 실제 시각적 재검토를 유발하는 것인지, 아니면 단순히 학습된 텍스트 패턴인지 조사합니다. 우리는 VisualSwap이라는 이미지 스왑 프로빙 프레임워크를 통해 이를 연구합니다: 모델이 이미지를 추론한 후, 시각적으로 유사하지만 의미적으로 다른 이미지로 교체하고 모델이 이를 인식하는지 테스트합니다. 우리는 MathVista, MathVerse, MathVision 및 MMMU-Pro에서 선별한 800개의 이미지 쌍으로 구성된 VS-Bench를 소개합니다. Qwen3-VL, Kimi-VL, ERNIE-VL에 대한 실험 결과는 놀라운 실패를 드러냅니다: 모델은 스왑을 압도적으로 놓치며 정확도가 최대 60%까지 떨어집니다. 직관에 반하여, 사고 모델은 지시된 동료들보다 거의 3배 더 취약하며, 스케일링은 이를 완화하지 못합니다. 다중 턴 사용자 지시는 시각적 그라운딩을 복원하지만, 지속적인 생성 중에 자기 생성된 반영 발언은 그렇지 않습니다. 어텐션 분석은 그 이유를 설명합니다: 사용자 지시는 시각적 토큰에 대한 어텐션을 상당히 높이는 반면, 자기 반영은 그렇지 않습니다. 현재의 VLM은 시각적 재검토를 수행한다고 주장할 때 실제로 보지 않고 말하는 경향이 있습니다. 우리의 코드와 데이터셋은 프로젝트 페이지에서 확인할 수 있습니다: https://visualswap.github.io
Vision-Language Models (VLMs) often produce self-reflective statements like "let me check the figure again" during reasoning. Do such statements trigger genuine visual re-examination, or are they merely learned textual patterns? We investigate this via VisualSwap, an image-swap probing framework: after a model reasons over an image, we replace it with a visually similar but semantically different one and test whether the model notices. We introduce VS-Bench, 800 image pairs curated from MathVista, MathVerse, MathVision, and MMMU-Pro. Experiments on Qwen3-VL, Kimi-VL, and ERNIE-VL reveal a striking failure: models overwhelmingly miss the swap, with accuracy dropping by up to 60%. Counterintuitively, thinking models are nearly 3x more vulnerable than their instructed counterparts, and scaling offers no mitigation. Multi-turn user instructions restore visual grounding, but self-generated reflective statements during continuous generation do not. Attention analysis explains why: user instructions substantially elevate attention to visual tokens, whereas self-reflection does not. Current VLMs tend to say rather than actually see when claiming to perform visual re-examination. Our code and dataset are available at the project page: https://visualswap.github.io
논문 링크
더 읽어보기
사이버 보안 및 개인정보 보호에서의 대규모 언어 모델(LLM)과 생성적 AI: 이중 용도 위험, AI 생성 악성 코드, 설명 가능성 및 방어 전략에 대한 서베이 / Large Language Models (LLMs) and Generative AI in Cybersecurity and Privacy: A Survey of Dual-Use Risks, AI-Generated Malware, Explainability, and Defensive Strategies
논문 소개
대규모 언어 모델(LLMs)과 생성적 인공지능(GenAI) 시스템은 사이버 보안 및 개인 정보 보호에 새로운 혁신을 가져오고 있다. 이러한 기술들은 자동화된 방어 메커니즘을 제공함과 동시에 정교한 공격 방법을 가능하게 하여, 사이버 보안의 복잡성을 더욱 심화시키고 있다. 특히 LLM이 생성한 악성 소프트웨어의 비율이 2021년 2%에서 2025년까지 50%로 증가할 것이라는 전망은 이를 뒷받침한다. 따라서 이러한 자동화된 위협 환경을 탐색하기 위해서는 차세대 보안 프레임워크가 필수적이다. 본 연구는 LLMs의 유익한 응용과 악용 사례를 포괄적으로 조사하며, 제로데이 탐지, DevSecOps 통합, 연합 학습, 합성 콘텐츠 분석, 설명 가능한 인공지능(XAI) 등 다양한 주제를 다룬다.
70편 이상의 학술 논문, 산업 보고서, 기술 문서를 리뷰하여, LLMs가 사이버 보안 분야에서 어떻게 활용되고 있는지를 심층적으로 분석하였다. 이 과정에서 LLMs의 활용이 보안 강화와 동시에 새로운 위험 요소를 내포하고 있음을 강조한다. 특히 LLM은 실시간 위협 탐지, 피싱 방어 및 안전한 코드 생성을 통해 보안 프레임워크의 발전을 이끌고 있다. 그러나 동시에 LLM의 기술적 진보는 공격자에게도 새로운 기회를 제공하여, 악성 소프트웨어 생성 및 사회공학적 공격의 정교화와 같은 악용 사례도 증가하고 있다.
이 논문에서는 LLMs와 GenAI의 사이버 보안 적용을 위한 기술적 방법론을 제시하며, 각 기술의 작동 원리와 이를 통한 공격 및 방어 전략을 분석한다. LLM의 성능을 높이기 위한 다양한 최적화 기법과 알고리즘도 중요하게 다루어진다. 또한, Google Play Protect, Microsoft Defender, Amazon Web Services(AWS) 등 여러 플랫폼에서의 사례 연구를 통해 LLM의 실제 적용 사례를 분석하고, 각 사례에서의 보안 효과와 한계점을 상세히 설명한다.
마지막으로, 모델 워터마킹, 적대적 방어, 산업 간 협업 등의 실용적인 권장 사항을 통해 LLM의 책임 있는 배포와 투명성을 강조하며, AI와 위협 방어의 교차점에서 새로운 기준을 제시하고자 한다. 이는 안전하고 확장 가능한 LLM 시스템을 위한 로드맵을 제공하며, 연구자, 엔지니어, 보안 리더들이 AI 주도 사이버 보안의 복잡한 문제를 해결하는 데 중요한 참고자료가 될 것이다.
초록(Abstract)
대규모 언어 모델(LLMs) 및 생성형 AI(GenAI) 시스템, 예를 들어 ChatGPT, Claude, Gemini, LLaMA, Copilot, OpenAI의 Stable Diffusion, Anthropic, Google, Meta, Microsoft, Stability AI 등은 사이버 보안을 혁신하고 있으며, 자동화된 방어 및 정교한 공격을 모두 가능하게 하고 있습니다. 이러한 기술들은 전례 없는 규모로 실시간 위협 탐지, 피싱 방어, 안전한 코드 생성 및 취약점 악용을 지원합니다. LLM이 생성한 악성 소프트웨어가 2021년에 2%에서 2025년까지 탐지된 위협의 약 50%를 차지할 것으로 예상되는 급격한 증가를 겪은 후, 2026년에는 이러한 고도로 자동화된 위협 환경을 탐색하기 위해 차세대 보안 프레임워크가 필요합니다. 본 논문은 사이버 보안에서 LLM의 유익한 및 악의적인 응용 프로그램에 대한 포괄적인 서베이를 제시하며, 여기에는 제로데이 탐지, DevSecOps, 연합 학습, 합성 콘텐츠 분석 및 설명 가능한 AI(XAI)가 포함됩니다. 70편 이상의 학술 논문, 산업 보고서 및 기술 문서를 검토하여, Google Play Protect, Microsoft Defender, Amazon Web Services(AWS), Apple App Store, OpenAI Plugin Stores, Hugging Face Spaces, GitHub과 같은 플랫폼에서의 실제 사례 연구에서 통찰력을 종합하였으며, SAFE Framework 및 AI 기반 이상 탐지와 같은 신흥 이니셔티브도 포함합니다. 우리는 모델 워터마킹, 적대적 방어 및 산업 간 협력을 포함하여 책임감 있고 투명한 LLM 배포 및 신뢰할 수 있는 AI를 위한 실용적인 권장 사항으로 결론을 내리며, AI와 위협 방어의 교차점에서 엄격하고 포괄적인 사이버 보안 연구를 위한 새로운 벤치마크를 설정하고, AI 기반 사이버 보안의 복잡한 도전을 탐색하는 연구자, 엔지니어 및 보안 리더에게 중요한 참고자료가 되는 안전하고 확장 가능한 LLM 시스템에 대한 로드맵을 제공합니다.
Large Language Models (LLMs) and generative AI (GenAI) systems, such as ChatGPT, Claude, Gemini, LLaMA, Copilot, Stable Diffusion by OpenAI, Anthropic, Google, Meta, Microsoft, Stability AI, respectively, are revolutionizing cybersecurity, enabling both automated defense and sophisticated attacks. These technologies power real-time threat detection, phishing defense, secure code generation, and vulnerability exploitation at unprecedented scales. Following a rapid surge where LLM-generated malware grew to account for an estimated 50% of detected threats by 2025, up from just 2% in 2021, navigating this highly automated threat landscape in 2026 demands next-generation security frameworks. This paper presents a comprehensive survey of the beneficial and malicious applications of LLMs in cybersecurity, including zero-day detection, DevSecOps, federated learning, synthetic content analysis, and explainable AI (XAI). Drawing on a review of over 70 academic papers, industry reports, and technical documents, this work synthesizes insights from real-world case studies across platforms like Google Play Protect, Microsoft Defender, Amazon Web Services (AWS), Apple App Store, OpenAI Plugin Stores, Hugging Face Spaces, and GitHub, alongside emerging initiatives like the SAFE Framework and AI-driven anomaly detection. We conclude with practical recommendations for responsible and transparent LLM deployment and trustworthy AI, including model watermarking, adversarial defense, and cross-industry collaboration, setting a new benchmark for rigorous, holistic cybersecurity research at the intersection of AI and threat defense, and offering a roadmap for secure, scalable LLM systems that serves as a critical reference for researchers, engineers, and security leaders navigating the complex challenges of AI-driven cybersecurity.
논문 링크
AI 에이전트는 홀로 실패하지 않는다: 먼저 문맥이 실패한다 / AI Agents Do Not Fail Alone:The Context Fails First
논문 소개
신뢰할 수 있는 인공지능(AI) 에이전트를 구축하는 데 있어 컨텍스트 엔지니어링의 중요성이 날로 증가하고 있음에도 불구하고, 이를 체계적으로 측정하는 방법은 여전히 부족한 상황이다. AI 에이전트의 행동은 단순히 알고리즘의 한계에 의해 결정되는 것이 아니라, 주어진 지시사항, 도구, 메모리, 검색된 지식, 가드레일 및 외부 입력 등으로 이루어진 복합적인 컨텍스트에 의해 형성된다. 컨텍스트가 부적절할 경우, 에이전트는 역할에서 이탈하거나 잘못된 정보를 생성하는 등 여러 가지 문제를 발생시킬 수 있다. 본 연구에서는 컨텍스트 엔지니어링 품질이 AI 에이전트의 신뢰성을 나타내는 독립적인 선행 지표로 작용할 수 있음을 검증하였다. 이를 위해 ProofAgent-Harness라는 오픈 소스 평가 인프라를 개발하고, 다수의 심사자에 의해 합의 기반으로 컨텍스트를 평가하는 방법론을 제시하였다.
이 시스템은 역할 명확성, 가드레일 포괄성, 지시 일관성, 도구 스키마 품질, 그라운딩 충분성, 주입 강화, 토큰 효율성 등 일곱 가지 기준을 통해 컨텍스트를 정량적으로 평가한다. 특히, 컨텍스트 점수는 행동 메트릭 및 릴리스 결정과 분리되어 비순환적인 검증을 가능하게 한다. 본 연구를 통해 규제된 에이전트 도메인에서 다양한 컨텍스트 품질 조건을 고정된 프론티어 LLM 에이전트에 적용하여, 각기 다른 컨텍스트 품질 기준이 해당 에이전트의 행동 결과를 예측할 수 있음을 입증하였다. 이러한 결과는 컨텍스트 품질이 에이전트의 행동을 예측하는 데 있어 중요한 신호로 작용할 수 있음을 보여준다.
결론적으로, 본 연구는 AI 에이전트의 신뢰성을 평가하는 데 있어 컨텍스트 측정이 사전 신뢰 신호로 기능할 수 있음을 강조하며, 컨텍스트 엔지니어링을 에이전트 평가 및 거버넌스의 감사 가능한 층으로 자리매김하게 한다. 이러한 혁신적인 접근은 AI 에이전트의 설계 및 운영에 있어 향후 연구 및 실무에 중요한 기여를 할 것으로 기대된다.
초록(Abstract)
컨텍스트 엔지니어링은 신뢰할 수 있는 AI 에이전트를 구축하는 데 중심적인 역할을 하게 되었지만, 여전히 대부분 측정되지 않고 있다. 에이전트는 고립되어 실패하지 않으며, 그들의 행동은 지침, 도구, 메모리, 검색된 지식, 가드레일, 신뢰할 수 없는 입력 등 그들의 컨텍스트에 축적된 요소들에 의해 형성된다. 이 컨텍스트가 약할 때 에이전트는 이탈하고, 환각을 일으키며, 도구를 잘못 사용하고, 제약을 무시하며, 주입에 취약해지고, 토큰을 낭비하게 된다. 본 논문은 컨텍스트 엔지니어링 품질을 에이전트 신뢰성의 독립적인 선행 지표로 검증한다. 우리는 다수의 심사자 기반 합의 점수를 사용하는 AI 에이전트 평가를 위한 오픈 소스 인프라인 ProofAgent-Harness에서 이 측정을 구현한다. 이 하네스는 역할 명확성, 가드레일 범위, 지침 일관성, 도구 스키마 품질, 그라운딩 충분성, 주입 강화, 토큰 효율성의 7가지 기준을 통해 컨텍스트를 평가한다. 특히, 컨텍스트 점수는 행동 지표 및 출시 결정과 분리되어 비순환적 검증이 가능하다. 규제된 에이전트 도메인에서 고정된 최전선 LLM 에이전트를 유지하며 오직 그들의 운영 컨텍스트만을 변화시키는 통제된 컨텍스트 품질 연구를 통해, 우리는 컨텍스트 품질 기준이 해당 행동 결과를 일관되게 예측함을 보여준다. 그라운딩 충분성은 환각 저항을 예측하고, 가드레일 범위는 조작 저항을 예측하며, 지침 일관성은 지침 준수를 예측하고, 도구 스키마 품질은 도구 사용을 예측한다. 이러한 발견은 컨텍스트 측정이 에이전트 신뢰성의 검증된 비행 전 신호로 자리잡도록 하고, 컨텍스트 엔지니어링을 에이전트 평가 및 거버넌스의 감사 가능한 층으로 위치시킨다.
Context engineering has become central to building reliable AI agents, yet it remains largely unmeasured. Agents do not fail in isolation: their behavior is shaped by the instructions, tools, memory, retrieved knowledge, guardrails, and untrusted inputs accumulated in their context. When this context is weak, agents drift, hallucinate, misuse tools, ignore constraints, become vulnerable to injection, and waste tokens. This paper validates context-engineering quality as an independent leading indicator of agent reliability. We implement the measurement in ProofAgent-Harness, an open-source infrastructure for AI agent evaluation that uses multi-juror, consensus-based scoring. The harness assesses context across seven criteria: role clarity, guardrail coverage, instruction consistency, tool schema quality, grounding sufficiency, injection hardening, and token efficiency. Crucially, the context score is isolated from behavioral metrics and release decisions, enabling a non-circular validation. Through a controlled context-quality study across regulated agent domains, holding frontier LLM agents fixed and varying only their operating context, we show that context-quality criteria consistently predict their corresponding behavioral outcomes. Grounding sufficiency predicts hallucination resistance, guardrail coverage predicts manipulation resistance, instruction consistency predicts instruction following, and tool-schema quality predicts tool use. These findings establish context measurement as a validated preflight signal for agent reliability and position context engineering as an auditable layer of agent evaluation and governance.
논문 링크
더 읽어보기
DiffusionGemma는 얼마나 투명한가? / How Transparent is DiffusionGemma?
논문 소개
대규모 언어 모델(Large Language Model, LLM)의 추론 과정이 얼마나 투명한지는 모델의 안전성, 디버깅 가능성, 그리고 오용 방지 측면에서 중요한 문제이며, 이 논문은 확산 모델(diffusion model) 계열인 DiffusionGemma가 연속적인 잠재 공간(latent space)에서 계산을 수행한다는 점이 투명성에 어떤 영향을 주는지를 정면으로 분석합니다. 저자들은 투명성을 단순한 가시성의 문제가 아니라, 중간 계산 상태를 이해할 수 있는지에 해당하는 변수 투명성(variable transparency)과 그 중간 상태들로부터 실제 출력 생성 과정을 복원할 수 있는지에 해당하는 알고리즘 투명성(algorithmic transparency)으로 나누어 정교하게 정의합니다. 이를 바탕으로 DiffusionGemma의 아키텍처를 자회귀 모델인 Gemma 4와 비교하면서, 불투명 순차 깊이(opaque serial depth)라는 지표로 중간 계산 비용과 관찰 가능성 사이의 간극을 정량화합니다. 겉보기에는 DiffusionGemma가 캔버스 전체를 반복적으로 정제하는 구조 때문에 훨씬 더 많은 순차 계산을 숨기는 것처럼 보이지만, 저자들은 중간 정보가 흐르는 경로를 해석 가능한 토큰 병목(interpretable token bottleneck)으로 재표현하면 이러한 차이가 크게 줄어든다는 점을 보입니다. 특히 디노이징 루프(denoising loop)에서 이전 캔버스와 자기 조건화(self-conditioning) 행렬을 입력으로 받아 전체 토큰의 분포를 동시에 갱신하고, 엔트로피 제약 기반 샘플링(Entropy-Bounded sampling)과 적응적 조기 종료(adaptive stopping)를 결합하는 구조를 자세히 분석함으로써, DiffusionGemma의 중간 상태가 단순한 내부 잡음이 아니라 의미 있는 추론 단계일 수 있음을 보여줍니다.
방법론적으로 이 논문의 강점은 투명성을 아키텍처 수준에서 계량화했다는 데 있으며, 단순히 최종 성능을 비교하는 대신 setup 단계, 디노이징 루프, forward pass, sampling step, final output, multi-canvas sampling까지 추론 파이프라인 전체를 분해해 각 단계가 투명성에 미치는 영향을 추적합니다. 그 결과, 중간 상태를 불투명한 병목으로 간주하면 DiffusionGemma의 불투명 순차 깊이는 Gemma 4보다 약 28.6배 커 보이지만, 같은 상태를 해석 가능한 표현으로 취급하면 그 차이는 약 1.1배 수준으로 급격히 축소됩니다. 이러한 결과는 DiffusionGemma가 구조적으로 복잡하더라도, 적절한 표현 설계를 통해 변수 투명성을 상당 부분 회복할 수 있음을 시사합니다. 반면 알고리즘 투명성은 여전히 더 까다로운데, 이는 확산 과정에서는 매 디노이징 단계마다 캔버스의 모든 토큰 예측이 동시에 변할 수 있어, 모델이 분산된 계산 규칙을 내부적으로 구현할 여지가 크기 때문입니다. 이를 보완하기 위해 저자들은 해석 가능성 사례 연구를 수행하여 비시간순적 추론(non-chronological reasoning), 토큰 및 시퀀스 스미어링(token and sequence smearing), 중간-문맥 추론(intermediate-context reasoning)과 같은 확산 모델 특유의 현상을 포착합니다. 마지막으로 투명성의 실제 활용 가능성을 보기 위해 monitorability를 평가한 결과, DiffusionGemma는 Gemma 4와 유사한 수준으로 다운스트림 작업에 유용한 출력을 제공하는 것으로 나타났습니다. 종합하면, 이 연구는 확산 기반 언어 모델의 추론이 본질적으로 덜 투명하다는 선입견을 넘어, 해석 가능한 중간 표현과 정교한 분해 분석을 통해 투명성과 성능을 동시에 이해할 수 있는 방법론적 틀을 제시합니다.
초록(Abstract)
대규모 언어 모델(LLM)의 추론 투명성은 모델의 의사결정을 이해하고, 오용과 정렬 불일치를 완화하며, 예상치 못한 모델 동작을 디버깅하는 데 중요한 속성입니다. 그러나 DiffusionGemma는 계산의 더 큰 비율을 연속 잠재 공간에서 수행합니다. 그렇다면 이것이 이 모델의 추론을 덜 투명하게 만들까요? 우리는 투명성을 두 가지 구성 요소로 분해하여 이 질문을 연구합니다. 변수 투명성(variable transparency)은 모델의 계산 상태에 대한 중간 스냅샷을 우리가 이해할 수 있는지 여부이고, 알고리즘적 투명성(algorithmic transparency)은 이러한 스냅샷을 사용해 모델이 출력에 도달한 과정을 재구성할 수 있는지 여부입니다. 표면적으로 보면 DiffusionGemma의 변수 투명성은 낮습니다. 즉, 해석 가능한 모델 상태들 사이에서 발생하는 순차 계산량인 이 모델의 불투명한 순차 깊이(opaque serial depth)는 처음에는 대응하는 자기회귀 Gemma 4 모델보다 28.6배 높은 것처럼 보입니다. 그러나 우리는 다운스트림 성능을 저하시키지 않으면서 디노이징 단계 사이를 흐르는 정보를 해석 가능한 토큰 병목을 통해 매핑할 수 있음을 보입니다. 이러한 중간 상태를 해석 가능한 것으로 간주하면 불투명한 순차 깊이는 Gemma 4의 단지 1.1배 수준으로 줄어듭니다. 알고리즘적 투명성은 확산 모델에서 자기회귀 모델보다 더 어렵습니다. 캔버스의 모든 토큰 예측이 각 디노이징 단계마다 바뀔 수 있어, 모델이 디노이징 과정에서 복잡한 분산 알고리즘을 구현할 수 있기 때문입니다. 이 격차를 메우기 시작하기 위해, 우리는 일련의 해석 가능성 사례 연구를 수행하여 비시간순 추론(non-chronological reasoning), 토큰 및 시퀀스 번짐(token and sequence smearing), 중간 문맥 추론(intermediate-context reasoning)과 같은 새로운 확산 특이적 현상에 대한 초기 증거를 발견합니다. 마지막으로, 우리는 모니터링 가능성(monitorability)을 평가합니다. 이는 모델 출력이 다운스트림 작업에 유용한지를 측정하는 투명성의 핵심 응용입니다. 우리는 DiffusionGemma의 모니터링 가능성이 Gemma 4와 비슷하다는 사실을 확인합니다.
LLM reasoning transparency is a critical affordance for understanding model decisions, mitigating misuse and misalignment, and debugging surprising model behaviors. However, DiffusionGemma performs a larger fraction of its computation in a continuous latent space; does this make its reasoning less transparent? We study this question by decomposing transparency into two components: variable transparency, whether we understand intermediate snapshots of a model's computational state; and algorithmic transparency, whether we can use these snapshots to reconstruct the process by which the model arrived at its outputs. Naively, DiffusionGemma has poor variable transparency: its opaque serial depth, the amount of serial computation that occurs in between interpretable model states, seems at first 28.6X higher than the corresponding autoregressive Gemma 4 model. However, we show that we can map the information flowing between denoising steps through an interpretable token bottleneck with no decrease in downstream performance. Treating these intermediate states as interpretable reduces the opaque serial depth to just 1.1X that of Gemma 4. Algorithmic transparency is harder for diffusion models than for autoregressive models because all token predictions in the canvas can change at every denoising step, giving the model the power to implement complicated distributed algorithms during the denoising process. To begin bridging this gap, we conduct a suite of interpretability case studies, uncovering initial evidence of novel diffusion-specific phenomena such as non-chronological reasoning, token and sequence smearing, and intermediate-context reasoning. Finally, we test monitorability, a key application of transparency that measures whether model outputs are useful for downstream tasks. We find that DiffusionGemma is similarly monitorable to Gemma 4.
논문 링크
더 읽어보기
데이터 과학의 수학적 기초 / Mathematics of Data Science
논문 소개
데이터 과학의 수학적 기초를 심도 있게 다룬 이 도서는, 데이터 분석 및 알고리즘 설계에서 수학이 필수적이라는 점을 강조합니다. 저자들은 스위스 연방 공과대학교(ETH Zürich), 프린스턴 대학교(Princeton University), 그리고 캘리포니아 대학교 데이비스 캠퍼스(UC Davis)에서 수업을 진행하며 이 책의 내용을 발전시켰습니다. 특히, 이 책은 고차원 데이터 분석의 난이도와 기하학적 특성을 탐구하며, 특히 고차원의 구와 정육면체의 부피 집중 현상에 대한 분석을 통해 데이터 과학의 기초 이론을 제시합니다. 또한, 특이값 분해(Singular Value Decomposition) 및 주성분 분석(Principal Component Analysis)과 같은 기법을 통해 차원 축소의 중요성을 설명하고, 이를 데이터 압축 문제와 연결짓습니다.
그래프 이론 및 클러스터링의 기초를 다루며, PageRank 알고리즘을 통해 웹 페이지의 중요성을 평가하는 방법도 제시합니다. 이 연구는 스펙트럴 클러스터링과 Cheeger 불평등을 통해 그래프 클러스터링의 성능을 보장하는 수학적 기초를 제공함으로써, 클러스터링 문제의 해결에 기여합니다. 또한, 비선형 차원 축소 기법인 디퓨전 맵(Diffusion Maps)과 t-분포 확산 이웃 임베딩(t-Distributed Stochastic Neighbor Embedding) 기법을 통해 고차원 데이터의 시각화를 가능하게 합니다.
최적화 부분에서는 다양한 최적성 조건을 설명하고, 서브미분법을 통한 효율적인 경량법을 제시하여 데이터 과학에서의 최적화 문제 해결에 기여합니다. 또한, 딥러닝 아키텍처와 관련된 자기 어텐션 메커니즘을 통해 현대 인공지능 연구에 필수적인 기법을 설명합니다. 이처럼 이 도서는 데이터 과학의 기초부터 고급 주제까지 포괄적으로 다루며, 수학적 이해를 통해 새로운 알고리즘의 발전을 촉진하는 중요한 기여를 하고 있습니다.
초록(Abstract)
이 책은 데이터 과학의 수학적 기초에 관한 것입니다. 1. 서론 2. 고차원의 저주, 축복 및 놀라움 3. 특이값 분해와 주성분 분석 4. 선형 회귀와 정규화 5. 그래프, 네트워크 및 클러스터링 6. 비선형 차원 축소 및 디퓨전 맵 7. 랜덤 프로젝션을 통한 선형 차원 축소 8. 데이터 과학을 위한 최적화 9. 분류 10. 딥 러닝에 대한 수학적 소개 11. 그래프 라플라시안의 대규모 샘플 한계 12. 커뮤니티 13. 측정의 집중화와 가우시안 분석 14. 행렬 집중 불평등 15. 압축 센싱과 희소성 16. 저랭크 행렬 복원
This book is about the mathematical foundations of data science. 1. Introduction 2. Curses, Blessings, and Surprises in High Dimensions 3. Singular Value Decomposition and Principal Component Analysis 4. Linear Regression and Regularization 5. Graphs, Networks, and Clustering 6. Nonlinear Dimension Reduction and Diffusion Maps 7. Linear Dimension Reduction via Random Projections 8. Optimization for Data Science 9. Classification 10. A Mathematical Introduction to Deep Learning 11. Large Sample Limit of Graph Laplacians 12. Community 13. Concentration of Measure and Gaussian Analysis 14. Matrix Concentration Inequalities 15. Compressive Sensing and Sparsity 16. Low-Rank Matrix Recovery
논문 링크
더 읽어보기
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack / Discord / Teams / Dooray / GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 