# \#spylab **URL:** https://discuss.pytorch.kr/tag/spylab/5810.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [AgentDojo: LLM 에이전트의 프롬프트 인젝션 공격과 방어를 평가하는 동적 실험 플랫폼](https://discuss.pytorch.kr/t/agentdojo-llm/8081)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 30, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/agentdojo-llm/8081 "2025-10-30T03:30:19Z")
AgentDojo 소개 AgentDojo 는 ETH Zurich의 SPYLab과 Invariant Labs가 공동 개발한 오픈소스 벤치마크 프레임워크로, 대규모 언어 모델(LLM) 기반 에이전트가 외부 도구를 호출하며 작업을 수행하는 환경에서의 보안 취약성을 평가 하기 위해 만들어졌습니다. 특히, AgentDojo는 보안 취약성 중에서도 프롬프트 인젝션 공격을 실험적으로 평가합니다. 기존의 정적 테스트셋 기반 보안 평가 방식과 달리, AgentDojo는 평가를 위한 동적 환경(dynamic environment) 을 제공합니다. 이를 통해 사용자는 LLM 에이전트가 실제 애플리케이션(예: 이메일, 캘린더, 은행 계좌, 여행 예약 시스템 등)과 상호작용하며, 공격자와 방어자 간의 상호작용이 일어나는 과정을 재현할 수 있습니다. AgentDojo의 첫 버전은 97개의 실제 사용자 태스크(User Tasks)와 27개의 인젝션 공격 태스크(Injection Tasks), 총 629개의 보안 테스트 케이스(Security Test Cases)들로 구성되어 있습니다. 각 테스트는 에이전트가 “유용성(Utility)”과 “보안(Security)”을 동시에 얼마나 달성하는가를 정량적으로 평가합니다. 예를 들어, “이메일 정리”라는 정상적 목표와 “공격자에게 인증 코드를 전송하라”는 악의적 목표가 동시에 주어졌을 때, AgentDojo는 LLM이 공격을 무시하고 올바르게 작업을 수행했는지를 평가합니다. LLM 에이전트와 프롬프트 인젝션의 문제 LLM 에이전트는 자연어로 된 사용자 지시를 해석하고, 그에 맞춰 API 호출이나 도구 실행을 수행하는 “도구 호출형 인공지능(agent with tool-use)”입니다. 문제는 LLM이 텍스트 기반으로 동작한다는 점입니다. 즉, LLM은 “명령(instruction)”과 “데이터(data)”를 본질적으로 구분하지 못합니다. 이러한 특성 때문에 프롬프트 인젝션(Prompt Injection) 공격이 가능해집니다. 예…