Zero Trust for AI Agents / AI 에이전트를 위한 제로 트러스트 보안 프레임워크
- 발행 / Published by: Anthropic의 Claude Security 팀
- 발행일 / Published: 2026년 5월 27일 (eBook 작성 기준일 2026년 5월 18일)
- 분량 / Length: 영문 PDF 36쪽
- eBook PDF 다운로드 / Download PDF
Zero Trust for AI Agents 소개
Zero Trust for AI Agents는 Anthropic이 공개한 36쪽 분량의 eBook으로, 기업 환경에 자율 AI 에이전트를 배포할 때 적용해야 할 보안 프레임워크를 위협 분석부터 3계층 보안 아키텍처, 8단계 구현 워크플로, 보안 운영까지 한 권으로 정리한 실무 가이드입니다. 단순히 "에이전트는 위험할 수 있으니 조심하라"는 수준의 일반론이 아니라, 에이전트 신원 관리, 권한 스코핑, 샌드박스 격리, 메모리 보호 같은 구체적인 통제 항목을 조직 성숙도에 따라 어느 수준까지 구현해야 하는지 표 형태로 제시하는 것이 특징입니다.
이 문서가 출발점으로 삼는 문제 의식은 명확합니다. 프런티어 AI 모델이 취약점 발견과 익스플로잇 작성 사이의 시간을 "수개월에서 수 시간으로" 압축하고 있다는 것입니다. 방어자가 AI 도구를 도입하면 버그를 더 빨리 찾아 고칠 수 있지만, 공격자 역시 같은 도구로 더 빨리 움직입니다. 심지어 공격자는 방어자가 배포한 패치를 기다렸다가 이를 역공학하여 익스플로잇으로 바꾸는 것만으로도 속도전에서 우위를 점할 수 있습니다. Anthropic은 이것이 미래의 우려가 아니라며, 모델이 이미 기존 도구와 인간 리뷰어가 수년간 놓쳐온 심각한 취약점을 찾아내고 있다는 자체 연구를 근거로 제시합니다.
이러한 가속은 에이전트를 배포하는 조직에 이중으로 작용합니다. 첫째, 에이전트가 동작하는 인프라 자체가 다른 자산과 마찬가지로 AI 가속 공격에 노출됩니다. 둘째, 에이전트는 목표를 해석하고, 도구를 선택하고, 여러 단계의 작업을 스스로 실행하는 자율성을 시스템에 새로 들여옵니다. 전통적인 접근 통제는 에이전트가 "정당하게 부여받은 권한을 잘못된 방향으로 쓰는 것"을 막지 못하고, 모니터링은 익스플로잇이 아닌 집요함(persistence)으로 성공하도록 설계된 공격을 따라잡지 못합니다. 이 간극을 메우기 위해 문서가 꺼내든 것이 제로 트러스트(Zero Trust) 아키텍처입니다.
참고로 Anthropic은 앞서 신뢰할 수 있는 AI 에이전트 구축을 위한 실천 원칙을 통해 에이전트의 구성 요소와 다층 방어 전략을 소개한 바 있으며, 이번 eBook은 그 연장선에서 보안 조직(CISO, 보안 아키텍트)을 직접 겨냥해 작성된 문서입니다.
문서의 구성: 보안 리더를 위한 브리핑과 엔지니어를 위한 구현 가이드
문서는 크게 다섯 개의 Part로 구성되어 있으며, 대상 독자에 따라 읽는 방법을 다르게 안내합니다. CISO나 보안 리더라면 Part I과 II를 위협 지형과 컴플라이언스 맥락을 파악하는 브리핑 자료로 활용하고, 보안 아키텍트와 엔지니어는 Part III, IV, V의 계층별 통제 표와 워크플로를 구현 지침으로 사용하는 구조입니다.
- Part I. 자율 시스템의 보안 고려사항: 에이전트 시스템이 기존 소프트웨어와 다른 점과 새로운 보안 용어 정리
- Part II. 에이전트 시스템에 대한 현재 위협: 프롬프트 인젝션, 도구 오남용, 권한 남용, 공급망, 메모리 포이즈닝
- Part III. 에이전트 AI 서비스에 제로 트러스트 적용하기: Foundation, Enterprise, Advanced 3계층 통제 프레임워크
- Part IV. 에이전트 구현 워크플로: 요구사항 정의부터 측정까지 8단계 절차
- Part V. 자율 위협의 속도에 맞춘 방어 운영: Agentic SOAR와 보안 운영 자동화
한 가지 눈에 띄는 점은 문서 전반에 Pro-tip 박스 형태로 Claude Code가 각 통제를 어떻게 구현하고 있는지를 병기한다는 것입니다. 자사 제품 안내이기는 하지만, 추상적인 통제 항목이 실제 에이전트 제품에서 어떤 기능으로 구체화되는지를 보여주는 사례로 읽을 수 있습니다.
제로 트러스트의 세 가지 원칙, 그리고 설계 테스트: 공격을 불가능하게 만드는가, 번거롭게 만들 뿐인가
제로 트러스트는 1994년 Stephen Paul Marsh의 박사 학위 논문에서 처음 공식화된 개념으로, 경계 기반(perimeter-based) 보안의 한계가 대형 침해 사고들로 드러나면서 산업 표준으로 자리잡았습니다. NIST SP 800-207 Zero Trust Architecture(2020)와 미국 국가안보국(NSA)의 Zero Trust Implementation Guides(ZIGs)(2026)가 대표적인 공식 가이드입니다. 핵심 전제는 "아무것도 신뢰하지 말고, 모든 것을 검증하며, 침해는 이미 일어났다고 가정하라" 는 한 문장으로 요약되며, 문서는 이를 세 가지 원칙으로 풀어 설명합니다.
절대 신뢰하지 않고 항상 검증(Never trust and always verify): 모든 접근 요청은 출처와 무관하게 인증과 인가를 거칩니다. 사내망 내부에서 온 요청도 외부 IP에서 온 요청과 동일한 검증을 받습니다.
침해 가정(Assume breach): 침입을 막는 데 집중하기보다, 침해가 일어났을 때 공격자가 입힐 수 있는 피해를 제한하도록 시스템을 설계합니다. 신원 단위로 분리하고, 세분화된 접근 통제를 적용하며, 한 시스템의 침해가 다른 시스템으로 번지지 않게 합니다.
최소 권한(Least privilege): 특정 작업에 필요한 최소한의 접근만 부여합니다. 각 신원이 접근할 수 있는 범위를 좁혀 단일 침해의 폭발 반경을 제한합니다.
이 문서에서 가장 인상적인 부분 중 하나는 모든 통제 항목을 평가하는 단일 기준으로 제시되는 설계 테스트입니다. 문서는 어떤 통제를 검토하든 "이 조치가 공격을 불가능하게 만드는가, 아니면 그저 번거롭게 만들 뿐인가(does this make the attack impossible, or just tedious?)" 를 자문하라고 권합니다. 추가 피벗 홉, 속도 제한(rate limit), 비표준 포트, SMS 기반 MFA처럼 마찰(friction)에서 가치가 나오는 완화책은, 지루한 단계를 무한히 반복할 수 있고 시도당 비용이 거의 0에 가까운 에이전트형 공격자 앞에서는 크게 약화된다는 것입니다. 이 테스트를 통과하는 통제들은 공통점이 있습니다. 하드웨어에 결박된 자격증명, 만료되는 토큰, 암호학적 신원, 그리고 "불편한 경로"가 아니라 "아예 존재하지 않는 네트워크 경로"입니다.
Part I. 에이전트 시스템은 무엇이 다른가: 기존 보안 모델의 사각지대
전통적인 소프트웨어는 미리 정의된 로직을 실행하지만, 에이전트 AI 시스템은 다양한 수준의 자율성을 가지고 여러 단계의 작업을 수행합니다. 문서는 이 전환이 만들어내는 보안 고려사항을 다섯 가지로 정리합니다.
- 단계별 승인 없는 작업 실행: 에이전트는 사람의 개입이나 승인 없이 작업을 이어갑니다. 효율의 원천이지만, 조작된 에이전트가 기계 속도로 피해를 일으킬 수 있다는 뜻이기도 합니다.
- 도구 접근(Tool access): 에이전트는 API, 데이터베이스, 파일 시스템, 외부 서비스와 상호작용하며, 이 연결을 표준화하는 것이 Model Context Protocol(MCP)입니다. MCP 스택이 침해되면 데이터 탈취, 악성 코드 실행, 사보타주로 이어질 수 있습니다.
- 의사결정의 모호성: 에이전트는 지시를 해석하고 목표 달성 방법을 선택합니다. 사람에게는 무해해 보이는 지시가 에이전트에게는 전혀 다른 결과를 낳는 방식으로 해석될 수 있습니다.
- 컨텍스트 지속성(Context persistence): 세션을 넘어 기억을 유지하는 능력은 에이전트를 유능하게 만들지만, 동시에 새로운 데이터 보호 요구를 만들어냅니다.
- 멀티 에이전트 조율: 에이전트 간 통신이 만들어내는 신뢰 관계를 악용하면, 공격자는 에이전트 하나를 침해한 뒤 다른 에이전트를 거쳐 원래 표적이 직접 접근할 수 없던 시스템까지 도달할 수 있습니다.
이러한 특성을 다루기 위해 문서는 두 가지 용어를 도입합니다. 폭발 반경(Blast radius) 은 무언가 잘못되었을 때의 잠재적 피해 범위를 뜻합니다. 단일 데이터베이스에 읽기 전용으로 접근하는 에이전트의 폭발 반경은 작고, 클라우드 인프라에 관리자 권한으로 접근하는 에이전트의 폭발 반경은 막대합니다. 보안 투자는 이 노출 수준에 비례해야 하며, "언젠가 모든 에이전트의 폭발 반경이 시험대에 오른다"고 가정하는 것이 침해 대비 설계의 출발점입니다. 최소 에이전시(Least agency) 는 OWASP가 새로 만든 용어로, 최소 권한을 에이전트 애플리케이션으로 확장한 개념입니다. 최소 권한이 사용자와 시스템이 "무엇에 접근할 수 있는지"를 제한한다면, 최소 에이전시는 각 에이전트 도구가 "무엇을, 얼마나 자주, 어디서 할 수 있는지"까지 제한합니다. 실무적으로는 데이터베이스 도구에 읽기 전용 쿼리만, 이메일 요약기에는 발송/삭제 권한 없이, API에는 최소한의 CRUD 연산만 부여하는 식입니다.
규제 산업의 경우, 의료, 금융, 정부 등은 에이전트 AI 배포에도 기존 컴플라이언스 요구사항이 그대로 적용됩니다. 문서는 제로 트러스트가 기존 규제와 정렬되며 이를 강화한다고 설명하고, 미국, 영국, 호주 정부가 이미 발행한 제로 트러스트 가이드를 소개합니다. 특히 미국은 2027년까지 모든 연방 기관에 제로 트러스트 도입을 의무화했습니다.
심화 학습: 제로 트러스트 공식 가이드
Part II. 에이전트 시스템을 노리는 위협들: 인젝션부터 공급망, 메모리 포이즈닝까지
에이전트 시스템은 기존과 구별되는 위협 지형을 마주합니다. 문서는 OWASP가 식별한 위협을 중심으로 다섯 갈래를 다룹니다.
프롬프트 인젝션: 직접 주입과 더 음험한 간접 주입
프롬프트 인젝션(Prompt Injection) 은 외부 공격자가 악성 지시를 삽입해 에이전트가 공격자의 명령을 따르게 만드는 공격으로, 사용자 입력을 통한 직접 주입과 외부 소스를 통한 간접 주입의 두 형태가 있습니다.
직접 프롬프트 인젝션은 시스템 지시를 무력화하는 입력을 정교하게 만드는 방식입니다. 명시적 지시 덮어쓰기, 필터를 우회하기 위한 Base64나 16진수 인코딩, 사람에게는 무의미해 보이지만 모델 출력에 영향을 주는 적대적 접미사(adversarial suffix) 등이 사용됩니다. 알고리즘적 접근으로 여러 모델 계열에 전이되는 프롬프트를 만들어 100%의 공격 성공률을 달성한 연구도 보고되었습니다.
간접 프롬프트 인젝션은 더 음험합니다. 공격자는 에이전트가 처리하는 웹 페이지나 이메일 같은 외부 데이터 소스에 악성 지시를 심어둡니다. Microsoft Research는 LLM이 정보성 컨텍스트와 실행 가능한 지시를 신뢰성 있게 구분하지 못한다는 점을 확인했습니다. 사용자는 악성 페이로드를 본 적도 없는데, 에이전트는 그것을 정당한 요청처럼 실행하게 됩니다. 이와 관련해 실제 브라우저 에이전트에서 발견된 사례는 Perplexity Comet 브라우저의 프롬프트 인젝션 취약점 분석에서도 살펴보실 수 있습니다.
도구와 리소스 오남용: 툴 포이즈닝, 러그 풀, 툴 체이닝
도구 접근 권한을 가진 에이전트는 부여받은 권한 범위 안에서도 악의적으로 도구를 쓰도록 조작될 수 있습니다. 에이전트가 자신의 권한 안에서 동작하기 때문에 전통적인 접근 통제로는 막을 수 없는 공격입니다.
툴 포이즈닝(Tool poisoning) 은 MCP 도구 디스크립터, 스키마, 메타데이터 같은 도구 인터페이스를 침해하는 공격입니다. 에이전트는 위조된 기능 설명을 믿고 도구를 호출하게 되며, 악성 도구는 메타데이터 안에 사용자 모르게 데이터를 유출하는 명령을 숨길 수 있습니다. 러그 풀(rug pull) 공격에서는 정상 도구가 어느 시점에 몰래 악성 버전으로 교체됩니다. 처음으로 문서화된 실제 악성 MCP 서버는 정상적인 이메일 서비스를 사칭하면서 발송되는 모든 이메일을 몰래 복사해갔습니다.
툴 체이닝(Tool chaining) 공격은 더 미묘합니다. 공격자는 에이전트를 속여 정상 도구들을 해로운 순서로 조합하게 만듭니다. 안전한 사내 CRM 도구와 외부 이메일 도구를 연결해, 어느 도구 단독으로는 불가능했을 고객 데이터 유출을 만들어내는 식입니다. 모든 명령이 유효한 자격증명 아래 신뢰된 바이너리를 통해 실행되기 때문에, 호스트 중심 모니터링에는 악성코드가 전혀 보이지 않고 오남용은 탐지되지 않은 채 지나갑니다. 이 밖에 루프 증폭으로 비싼 API를 반복 호출하게 만들어 서비스 거부나 요금 폭탄을 일으키는 리소스 고갈(Resource exhaustion) 공격도 있습니다.
신원과 권한 남용: 스코핑되지 않은 권한 상속과 메모리 기반 권한 유지
에이전트는 종종 상승된 권한이나 서비스 계정으로 동작하는데, 인간 사용자를 위해 설계된 기존 신원 시스템은 이를 제대로 수용하지 못합니다. 스코핑되지 않은 권한 상속(Unscoped privilege inheritance) 은 높은 권한의 매니저 에이전트가 최소 권한 스코핑 없이 작업을 위임하면서, 제한된 권한만 가져야 할 워커 에이전트에게 자신의 전체 접근 컨텍스트를 넘겨주는 문제입니다. 침해된 저권한 에이전트가 그럴듯한 지시를 고권한 에이전트에게 전달하고, 고권한 에이전트가 원 사용자의 의도를 검증하지 않은 채 이를 실행하는 "혼동된 대리인(confused deputy)" 문제는 에이전트들이 일상적으로 조율하고 위임하는 환경에서 더욱 증폭됩니다.
메모리 기반 권한 유지(Memory-based privilege retention) 는 에이전트가 적절한 메모리 분리 없이 자격증명이나 키를 컨텍스트 재사용을 위해 캐싱할 때 발생합니다. 공격자는 에이전트를 유도해 이전 보안 세션에서 캐싱된 비밀 정보를 꺼내 쓰게 만들어, 자신의 자격증명으로는 불가능했을 작업을 수행시키고 세션 경계를 넘어 권한을 상승시킵니다.
공급망과 의존성 리스크: 모델, 도구, 프레임워크 전부가 공격면
정적인 소프트웨어 공급망과 달리, 에이전트 생태계는 외부 도구와 에이전트 페르소나를 런타임에 동적으로 로딩하며 역량을 조합하는 경우가 많아, 전통적인 소프트웨어 구성 분석(SCA)이 다룰 수 있는 범위를 넘어서는 공격면이 생깁니다.
모델 공급망 측면에서는 오염된 가중치와 침해된 파인튜닝 데이터가 배포 후까지 지속되는 백도어를 심을 수 있습니다. Anthropic의 연구는 단 250개의 악성 문서 주입만으로 6억에서 130억 매개변수에 이르는 LLM에 백도어를 심을 수 있고, 이 백도어가 지도 파인튜닝과 RLHF를 포함한 안전성 훈련을 거쳐도 살아남는다는 것을 보여주었습니다. 도구와 프레임워크 측면에서는 PyTorch 의존성 혼동 공격(dependency confusion attack)이 설치 과정에서 SSH 키를 포함한 민감 데이터를 빼돌리는 악성 패키지의 위력을 보여주었으며, 보안 연구자들은 주요 플랫폼에서 로딩 시 리버스 셸을 여는 모델을 포함해 약 100개의 악성 AI 모델을 발견했습니다.
의도적 공격이 아니어도 위험은 남습니다. 대부분의 소프트웨어 공급망은 오픈소스이고, 대부분의 오픈소스 프로젝트에는 서비스 수준 계약(SLA)이 없습니다. 문서는 에이전트 인프라가 로딩하는 모든 의존성의 보안 건전성을 OpenSSF Scorecard로 자동 평가하고, 서드파티 리스크 관리 절차에서 공급업체에게 "가속화된 익스플로잇 타임라인에 어떻게 대비하고 있는지, 자기 코드를 직접 스캔하고 있는지"를 명시적으로 묻도록 권고합니다.
메모리와 컨텍스트 포이즈닝: 한 번의 주입이 모든 미래 세션을 오염시킨다
세션을 넘어 컨텍스트를 유지하는 에이전트는 그 기억 자체가 오염되어 이후의 추론(reasoning)이 편향되거나, 안전하지 않게 되거나, 데이터 유출을 능동적으로 돕게 될 수 있습니다. 어시스턴트 메모리에 심어진 악성 지시는 현재와 미래의 모든 세션을 침해할 수 있으며, 에이전트는 최초 주입 이후로도 오랫동안 공격자의 목표를 수행하게 됩니다.
RAG 포이즈닝(RAG poisoning) 은 오염된 소스, 직접 업로드, 과신뢰된 파이프라인을 통해 벡터 데이터베이스에 악성 데이터를 주입하는 공격으로, 에이전트가 질의에 답할 때 오염된 컨텍스트를 검색해 잘못된 답을 내거나 표적 페이로드를 실행하게 만듭니다. 공유 컨텍스트 포이즈닝(Shared context poisoning) 은 멀티 테넌트 환경에서 재사용되거나 공유되는 컨텍스트를 악용합니다. 더 미묘한 형태인 장기 기억 드리프트는 요약이나 동료 에이전트의 피드백이 저장된 지식과 목표 가중치를 조금씩 이동시켜, 어느 단일 변경도 악성으로 보이지 않기에 탐지하기 어려운 행동 편차를 시간에 걸쳐 만들어냅니다.
문서는 이 절을 이렇게 맺습니다. "개별 위협을 쫓아다니는 것은 당신을 수동적으로 만듭니다. 제로 트러스트 원칙이 더 내구성 있는 기반을 제공합니다."
Part III. 제로 트러스트를 에이전트 서비스에 적용하기: Foundation, Enterprise, Advanced 3계층
Part III부터는 본격적인 구현 가이드입니다. 모든 통제 항목은 세 가지 역량 계층(capability tier)으로 나뉘어 제시됩니다.
| 계층 | 성격 | 대상 |
|---|---|---|
| Foundation | 최소 생존 가능 보안(minimum viable security) | 소규모 배포, 초기 구현 |
| Enterprise | 대부분의 조직이 목표로 삼아야 할 표준 | 의미 있는 규모로 운영되는 조직 |
| Advanced | 대부분에게는 지향점, 고위험 환경에는 기준선 | 고도 규제 산업, 국가 안보, 침해 시 치명적 결과가 따르는 배포 |
여기서 중요한 단서가 붙습니다. AI 가속 공격이 익스플로잇 타임라인을 압축했기 때문에 "Foundation의 바닥이 올라갔다(the Foundation floor has been raised)" 는 것입니다. 마찰만 만드는 통제(friction-only controls)는 더 이상 최하위 계층의 자격도 없습니다. 예를 들어 정적 API 키에 로테이션 정책을 얹어 쓰고 있다면, 문서는 이를 정당한 Foundation 태세가 아니라 "이미 알려진 결함(known gap)"으로 취급하라고 말합니다. 록파일에서 grep으로 찾아낼 수 있는 자격증명을 주기적으로 바꾸는 것은 AI의 지원을 받는 공격자의 비용을 의미 있게 높이지 못하기 때문입니다. 각 계층은 이전 계층 위에 쌓이는 구조이며, 이 분야가 빠르게 움직이는 만큼 시간이 지나면 Advanced가 Enterprise 표준이 되고 Enterprise가 Foundation이 될 것으로 전망합니다.
통제 영역은 일곱 가지로 나뉘며, 각 영역마다 계층별 구현 지침이 표로 제공됩니다.
에이전트 신원과 인증: 암호학적으로 뿌리내린 ID가 모든 것의 기반
검증 가능한 신원 없이는 접근 통제도, 감사 추적도, 행위 귀속도 불가능합니다. Foundation 계층부터 각 에이전트 인스턴스에 단순 레이블이 아닌 암호학적 재료로 뒷받침되는 고유 식별자를 요구하며, Enterprise는 X.509 인증서 기반 인증과 수명주기 관리를, Advanced는 HSM이나 TPM에 자격증명을 저장하고 원격 증명(remote attestation)으로 에이전트 무결성을 확인하는 하드웨어 결박 신원을 요구합니다. 서비스 인증에서는 정적 API 키와 공유 서비스 계정 비밀번호가 "모델 지원 코드 분석을 가진 공격자가 가장 먼저 찾아낼 것들" 로 지목되며, Foundation에서조차 더 이상 정당한 선택지가 아닙니다. 신원 제공자(IdP)가 발급하는 단명(short-lived), 좁은 범위의 토큰(OAuth 2.0 등)이 새로운 기준선입니다.
접근 제어와 권한 관리: RBAC에서 ABAC, 그리고 JIT까지
완벽하게 인증된 에이전트라도 과도한 권한을 받으면 피해를 일으킵니다. 권한 모델은 Foundation의 거부 기본(deny-by-default) RBAC에서 출발해, Enterprise에서는 시간, 위치, 데이터 민감도, 리스크 점수를 반영하는 ABAC(속성 기반 접근 제어)로, Advanced에서는 세션 시작이 아닌 매 행동마다 인가를 재평가하는 지속적 인가(continuous authorization)로 발전합니다. 권한 스코핑은 "권한이 언제, 얼마나 오래 적용되는가"를 다루며, Advanced 계층의 JIT(Just-In-Time)/JEA(Just-Enough-Administration)는 필요한 순간에만 권한을 부여하고 작업 완료 즉시 자동 회수하여 상시 접근(standing access)을 없앱니다.
리소스 경계에서 주목할 부분은 네트워크 세그먼테이션의 지위 격하입니다. 세그먼테이션은 여전히 폭발 반경과 노이즈를 줄여주지만 어디까지나 백스톱이며, 일차 통제는 신원 기반 격리입니다. 모든 워크로드가 자체 암호학적 신원을 지니고, 각 서비스는 정책에 명시된 특정 호출자의 연결만 받아들이는 구조입니다. Enterprise 계층에서는 gVisor 같은 시스템 콜 필터링 런타임을 활용한 샌드박스 실행이 요구되는데, 문서는 웹 콘텐츠나 문서 등 신뢰할 수 없는 입력을 처리하는 에이전트에게 샌드박스는 "지향점이 아니라 필수(mandatory rather than aspirational)" 라고 못박습니다. Advanced에서는 AMD SEV나 Intel TDX 같은 기밀 컴퓨팅(confidential computing) 기술로 호스트 운영체제조차 에이전트 워크로드를 들여다보거나 변조할 수 없게 만듭니다. Claude Code의 경우 거부 기본 권한 시스템과 OS 수준 파일 시스템/네트워크 격리를 제공하는 샌드박스 실행이 이 통제에 해당합니다.
관찰 가능성과 감사: 탐지 투자보다 먼저 계측해야 할 두 가지 지표
접근 통제가 무단 행동을 막는다면, 관찰 가능성은 실제로 무슨 일이 있었는지를 드러냅니다. 문서는 탐지에 투자하기 전에 두 가지 지표부터 계측하라고 강조합니다. 체류 시간(dwell time), 즉 이상 징후 발생부터 사람이 인지하기까지의 시간과, 커버리지(coverage), 즉 실제로 조사되는 경보의 비율입니다. 이 둘이 AI 지원 자동화가 가장 크게 움직일 수 있는 지표이며, 익스플로잇 윈도우가 짧아질수록 가장 중요해지는 지표라는 것입니다. 행동 로깅은 Foundation의 타임스탬프 포함 전체 도구 호출 기록에서, Enterprise의 추가 전용(append-only) 스토리지와 암호학적 무결성 검증을 거쳐, Advanced의 SIEM 실시간 스트리밍으로 발전합니다. 추적성(traceability) 영역에서는 OpenTelemetry 같은 표준으로 멀티 에이전트 워크플로 전반의 분산 추적을 구현하고, Advanced에서는 검색된 컨텍스트와 도구 출력, 추론 단계까지 포함한 입력-출력 전체 출처 사슬(provenance chain)을 기록해 감사를 위한 에이전트 의사결정 재생(replay)까지 지원합니다.
행동 모니터링과 자동 대응: 기록은 자동화하되 결정은 사람이 내린다
에이전트의 "정상"이 어떤 모습인지 아는 것은 두 가지 쓸모가 있습니다. ABAC 기반 접근 제어에 행동 속성을 제공하고, 설정 변경이나 악의적 행위자가 서비스를 망가뜨렸을 때 처음부터 다시 만드는 대신 알려진 양호 상태(known good state)로 복원할 회복 지점을 제공합니다. 기준선 수립은 Foundation의 수동 정의에서 Enterprise의 자동 학습, Advanced의 드리프트 탐지를 동반한 지속적 정제로 발전하며, 이상 탐지 역시 임계값 기반 경보에서 통계적 방법, 머신러닝 기반 행동 분석으로 고도화됩니다.
자동 대응에 대해서는 명확한 원칙이 제시됩니다. "인시던트 주변의 기록 업무(bookkeeping)를 자동화하되, 결정은 자동화하지 마십시오." 모델은 노트를 작성하고, 아티팩트를 수집하고, 병렬 조사 트랙을 진행하고, 포스트모템 초안을 작성해야 합니다. 격리 결정, 공개 결정, 고객 커뮤니케이션 결정은 사람이 내려야 합니다. Foundation 계층에서도 모든 경보가 사람에게 도달하기 전에 자동화된 1차 조사를 거치도록 요구하는 점이 눈에 띕니다.
입력 검증과 출력 통제: 스포트라이팅과 헌법적 분류기
모니터링과 대응이 위협이 드러난 뒤를 다룬다면, 예방은 시작 전에 막습니다. 입력 검증은 경계에서 조작 시도를 차단하는데, SQL 인젝션처럼 패턴이 잘 정의된 전통적 공격과 달리 에이전트 입력은 자유 형식이고 예측 불가능해 단순한 규칙 강제로는 불충분합니다. Foundation에서는 스키마 검증과 길이 제한, Enterprise에서는 알려진 인젝션 기법의 패턴 매칭과 인코딩된 페이로드 필터링을 적용하고, Advanced에서는 적대적 예제로 훈련된 AI 기반 분류기와 함께 스포트라이팅(Spotlighting), 즉 신뢰할 수 없는 콘텐츠를 명확히 구분 표시(delimit)해 LLM이 시스템 지시와 사용자 입력을 구별하도록 돕는 기법을 더합니다.
출력 필터링은 잘 보호된 에이전트조차 자격증명 노출, 기밀 정보 유출, 소셜 엔지니어링을 가능하게 하는 출력을 생성하도록 조작될 수 있다는 점을 다룹니다. 입력 정화와 기법은 같지만 목적이 다릅니다. 입력 정화가 악의적 행위자로부터 에이전트를 보호한다면, 출력 필터링은 주로 데이터 유출 방지에 쓰입니다. 자신이 보유하고 처리하는 데이터는 스스로 가장 잘 알기 때문에 패턴 개발에 유리한 지점이며, 고위험 행동에 대한 휴먼 인 더 루프(human-in-the-loop) 검토는 어느 계층에서든 가치 있고 고위험 행동에는 절대적으로 필요하다고 강조합니다. 자체 모델을 개발하는 조직이라면 헌법적 분류기(Constitutional Classifiers) 같은 기법을 훈련 단계에 적용해 입출력을 모두 감시하는 전용 LLM 가드를 만들 수도 있습니다.
무결성과 복구: 서명된 구성, 그리고 "자동 업데이트 켜기"라는 역설적 권고
구성 파일은 에이전트 행동을 통제하기에 매력적인 표적입니다. 파일 시스템 접근을 얻은 공격자는 입력을 직접 조작하는 대신 구성을 수정해 보안 통제를 끄거나, 과도한 권한을 부여하거나, 에이전트 지시를 바꿀 수 있습니다. 문서는 구성 무결성이 비교적 구현하기 쉬운 통제라고 말합니다. 버전 관리, 코드 리뷰, CI/CD 파이프라인 등 대부분의 조직이 이미 가진 빌딩 블록을 에이전트 구성에 동일하게 적용하면 되기 때문입니다. 핵심은 "수정된 구성은 코드 취약점만큼 피해를 줄 수 있으면서도 악용은 더 쉬운 경우가 많다" 는 인식 아래 에이전트 구성을 코드와 같은 엄격함으로 다루는 것입니다.
흥미로운 부분은 인프라 계층에 대한 권고입니다. 자동 업데이트로 인한 장애 리스크가 수용 가능한 모든 컴포넌트에서 자동 업데이트를 켜라는 것입니다. 수동 승인 단계가 만드는 지연이 이제는 일차적 리스크이기 때문입니다. "자동 업데이트 켜기"와 "배포 전 서명 검증"은 모순이 아니라 상호 보완입니다. 신뢰된 공급자의 서명된 업데이트는 자동으로 흘러들어오게 하고, 서명되지 않은 변경은 곧바로 거부해야 합니다.
복구 역량에서는 문서화된 롤백 절차(Foundation)에서 헬스 체크 기반 자동 롤백(Enterprise), 자동 재시작과 서킷 브레이커를 갖춘 자가 치유 시스템(Advanced)으로 발전하되, "알려진 양호 상태로 신뢰성 있게 롤백할 수 없다면 어떤 자동화도 당신을 구하지 못한다" 는 기본기를 강조합니다.
AI 거버넌스 정책: 기술 통제는 거버넌스가 정의한 것만 강제할 수 있다
기술 통제는 보안을 강제하고, 거버넌스 정책은 조직이 언제, 어떻게 AI를 사용하는지를 결정합니다. 많은 조직이 인시던트가 터진 뒤에야 기존 정책이 에이전트 시스템에 부적합하다는 사실을 발견합니다. 명확한 정책이 없으면 팀마다 에이전트가 무엇을 할 수 있는지, 어떤 데이터에 접근할 수 있는지, 문제가 생기면 누가 책임지는지에 대해 제각각의 결정을 내리게 됩니다. 특히 직원들이 IT 부서 모르게 LLM 도구를 도입하는 섀도우 AI(Shadow AI) 는 이 프레임워크의 모든 통제를 우회하는 리스크로 지목됩니다. Foundation은 문서화된 사용 정책과 인시던트 대응 절차, Enterprise는 보안, 법무, 컴플라이언스, 비즈니스 이해관계자가 참여하는 범조직 AI 거버넌스 위원회, Advanced는 배포 파이프라인에 내장된 자동 정책 준수 검사를 요구합니다.
Part IV. 에이전트 구현 워크플로: 요구사항 정의부터 측정까지 8단계
Part IV는 위의 보안 아키텍처를 실제 배포로 옮기는 반복 가능한 절차를 8단계로 제시합니다.
| 단계 | 내용 | 핵심 활동 |
|---|---|---|
| Phase 1 | 요구사항 식별 | 규제 요구사항, 운영 목표, 제약 조건 정의 및 이해관계자 정렬 |
| Phase 2 | 공급망 리스크 관리 | AI-BOM, 의존성 건전성 평가, 암호학적 서명, 공급업체 평가 |
| Phase 3 | 에이전트 경계 정의 | 고유 신원, 허용/금지 행동, 에스컬레이션 트리거, 폭발 반경 식별 |
| Phase 4 | 프롬프트 인젝션 방어 | 입력 격리, 헌법적 분류기, 공격면 축소 |
| Phase 5 | 도구 접근 보안 | 도구 허용 목록, 역량 제한, 매개변수 검증, 샌드박스 실행 |
| Phase 6 | 에이전트 자격증명 보호 | 단명 토큰, 하드웨어 결박, 자격증명 격리, JIT 접근, ABAC |
| Phase 7 | 에이전트 메모리 보호 | 메모리 격리, 무결성 검증, 보존 정책 |
| Phase 8 | 중요한 것의 측정 | 체류 시간, 커버리지, 설명 가능성, 행동 적합성, 탐지 속도 |
몇 가지 단계를 좀 더 들여다보면 다음과 같습니다.
Phase 2(공급망) 에서는 소프트웨어 구성 분석을 AI 컴포넌트로 확장한 AI-BOM(AI Bill of Materials) 개념이 등장합니다. 모델 출처, 훈련 데이터셋 계보, 파인튜닝 매개변수를 추적하는 것으로, OWASP가 CycloneDX ML-BOM을 확장한 AI-BOM 생성 도구를 제공합니다. 이와 함께 흥미로운 실무 권고 두 가지가 나옵니다. 첫째, 프런티어 모델에 록파일을 주고 어떤 의존성이 중복인지, 통합 마이그레이션이 어떤 모습일지 묻는 "1시간짜리 의존성 트리 감사"는 정리할 가치가 있는 통합 지점을 자주 찾아냅니다. 둘째, Scorecard 점수가 낮고 활발히 유지보수되지 않는 작은 의존성이라면, 실제로 사용하는 기능 부분집합만 프런티어 모델로 재구현하는 AI 벤더링(AI vendoring) 이 계속 의존하는 것보다 오히려 안전한 경우가 많으며, 이를 "이국적인 우회책이 아니라 비건전 의존성에 대한 표준 대응" 으로 취급하라고 권합니다. MCP 서버에 대해서는 코드를 직접 검증한 뒤 불변(immutable) 플랫폼에서 직접 호스팅하고 스스로 서명하라는 Pro-tip도 제공됩니다.
Phase 3(경계 정의) 의 원칙은 "암묵적으로 두지 말고 적어두라"입니다. 고객 레코드를 읽고, 정보를 요약하고, 응답 초안을 작성하도록 허가된 에이전트는 경계가 명확하지만, "고객 서비스를 돕는다"는 모호한 권한은 그렇지 않습니다. 또한 에이전트에게 "이것은 하지 말라"고 말하는 것과 권한으로 그 행동을 불가능하게 만드는 것은 다른 문제이며, 후자 수준의 세분화된 강제가 필요합니다. 에이전트를 여러 개로 쪼개 역량과 접근을 구획화하는 것도 유효한 전략이지만, 쪼갠 에이전트들에게 같은 자격증명을 주면 리스크 구획화에 실패한 것이라는 경고도 덧붙습니다.
Phase 4(프롬프트 인젝션 방어) 에서는 구체적인 수치가 제시됩니다. 모든 자연어 입력을 신뢰하지 않는 것으로 취급하는 입력 격리에서, Microsoft의 스포트라이팅 기법은 간접 인젝션 공격 성공률을 50% 이상에서 2% 미만으로 낮췄고, Anthropic의 헌법적 분류기는 과도 거부율의 증가를 최소화하면서 탈옥 시도의 95%를 차단했습니다.
Phase 6(자격증명 보호) 은 "정적 API 키, 코드에 내장된 자격증명, 공유 서비스 계정 비밀번호는 이미 침해된 것으로 취급하라"는 문장으로 시작합니다. 분 단위로 만료되는 토큰, 인증 기관(CA) 기반 단명 인증서, PKI 전문성이 없는 조직을 위한 HashiCorp Vault 같은 비밀 관리 플랫폼이 대안으로 제시되며, 프로덕션과 민감 워크로드에는 하드웨어 결박 자격증명과 피싱 저항성 2FA(FIDO2 또는 패스키)를 기본값으로 요구합니다. SMS 기반 코드는 Foundation 기준조차 충족하지 못합니다.
Phase 8(측정) 은 보안팀이 답할 수 있어야 하는 질문을 던집니다. "에이전트가 폭주하면 한 시간 안에 알 수 있는가? 팀이 에이전트의 미탐지 오작동을 걱정하지 않고 휴가를 갈 수 있는가?" 답이 불확실하다면 기반 통제에 더 손을 대야 한다는 것입니다. 중요 시스템의 목표 탐지 시간은 1시간 이내로 제시됩니다.
Part V. 자율 위협의 속도에 맞춘 방어 운영: Agentic SOAR
배포한 에이전트를 보호하는 것은 절반의 일입니다. 나머지 절반은 스스로 AI 가속화된 공격자와 겨룰 만큼 빠른 보안 운영을 돌리는 것입니다. 패치가 나오고 수 시간 안에 익스플로잇이 등장하는 환경에서 며칠 걸리는 대응 프로세스는 너무 느립니다. 에이전트형 적은 사람이 경보 하나를 검토하는 시간 동안 수백, 수천 개의 시스템을 공격할 수 있습니다.
문서가 제시하는 답은 사람을 루프에서 제거하는 것이 아니라, "사람을 기록 업무에서 떼어내 결정으로 옮기는 것" 입니다. 증거 수집, 보강(enrichment), 상관관계 분석, 문서화는 자동화하고, 격리, 공개, 고객 커뮤니케이션 결정은 사람이 유지합니다. 인시던트 중 사람의 의사결정 속도가 증거 수집이나 보고서 작성에 의해 제한되어서는 안 된다는 것입니다.
구체적인 출발점도 실용적입니다. 모든 인바운드 경보가 사람에게 도달하기 전에 자동화된 1차 조사를 거치게 하라는 것인데, 거짓 양성 비율이 높다고 알려진 시끄러운 규칙 하나를 골라, 기반 데이터에 읽기 전용 접근을 가진 프런티어 모델을 그 경보 스트림에 연결하고, 모든 발화(firing)에 대해 구조화된 처분(disposition)을 생성하게 한 뒤, 2주간 인간 리뷰어와의 일치율을 측정하라고 권합니다. 일치율이 수용 가능하면 다음 규칙으로 확장하되, 전체 큐를 한 번에 자동화하려 하지 말라는 것입니다.
기존 SOAR(Security Orchestration, Automation, and Response) 플랫폼의 다음 세대로 제시되는 Agentic SOAR는 기존 플레이북을 넘어서는 유연성과 적응력으로 악성 AI 주도 공격에 수 초 안에 직접 대응합니다. 의심스러운 트래픽이나 행동에 대한 대응으로는 네트워크/시스템 수준의 자동 격리, 사용자/리소스 수준의 동적 접근 제어 조정, 세션 종료, 자격증명 회수 등이 있으며, 이 모든 것이 Part III에서 구축한 신원 기반 격리와 단명 자격증명 인프라를 통해 실행됩니다. 이 밖에도 Part V는 다음과 같은 실무 권고를 담고 있습니다.
- MITRE ATT&CK 대비 탐지 커버리지 매핑: "탐지를 개선하자"는 막연한 목표보다, 어떤 공격 기법을 탐지할 수 있고 어떤 것은 못 하는지 아는 것이 유용합니다. AI 가속 공격자가 침해된 에이전트 신원에서 가장 큰 지렛대를 얻는 측면 이동(lateral movement)과 자격증명 접근부터 우선순위를 두고, Atomic Red Team의 안전한 소형 테스트들을 돌려 기존 로깅이 실제로 무엇을 탐지했는지 확인하는 "한나절짜리 연습"으로 구체적인 커버리지 맵을 만들 수 있습니다.
- 인시던트 1건이 아닌 5건 동시 발생 테이블탑 훈련: 표준 테이블탑 훈련은 월요일에 치명적 CVE 하나가 터지는 상황을 가정하지만, 같은 주에 다섯 건이 동시에 터지는 버전을 연습해야 합니다. 스프레드시트와 주간 회의로 돌아가는 워크플로는 따라가지 못할 것이므로, 발견 규모가 한 자릿수 배로 늘어나는 상황을 미리 계획하고 리허설하라는 것입니다.
- 비상 변경 절차의 사전 수립: 프로덕션 패치에 2주짜리 변경 승인 주기를 두는 것은 그 자체로 보안 리스크입니다. 서비스 중단, 자격증명 로테이션, 네트워크 경로 차단 같은 비상 격리 조치를 누가, 얼마나 빨리 승인할 수 있고 어떤 증거가 필요한지 미리 정하고, 인시던트 중에 즉흥적으로 만들지 않도록 승인 경로를 연습해 두어야 합니다.
- 방어 에이전트에 대한 검증 기반 신뢰: Agentic SOAR의 폭발 반경도 작지 않습니다. 방어 자동화라고 해서 맹목적으로 신뢰해서는 안 되며, 같은 제로 트러스트 원칙이 그대로 적용됩니다. 방어 에이전트도 강한 무결성 검증을 갖춘 강화 환경에서 실행하고, 최소 권한으로 운영하며, 자동 대응은 명확한 경계를 가진 특정 행동으로 범위를 제한하고, 고영향 대응은 자동 시스템이 추천하더라도 사람의 승인을 거치게 해야 합니다.
원칙에서 실천으로: 하나의 역량이라도 건너뛰면 공격자는 그 틈을 노린다
문서의 결론은 간결합니다. 모든 에이전트 행동을 검증하고, 최소 필요 권한만 부여하고, 침해 발생 시 피해를 격리하라는 것입니다. 신원은 귀속과 접근 통제를 가능하게 하고, 관찰 가능성은 무슨 일이 있었는지 드러내며, 행동 모니터링은 이상을 탐지하고, 입출력 통제는 경계에서 공격을 막고, 무결성 보호는 복구를 가능하게 하며, 방어 운영은 위협의 속도로 움직입니다. 그리고 "하나의 역량이라도 건너뛰면 공격자는 그 틈을 파고듭니다."
규제 산업에는 이미 HIPAA, FINRA, GDPR, FedRAMP, EU AI Act가 제로 트러스트와 정렬되는 요구사항을 부과하고 있고, 도입 시한은 다가오는데 경쟁 압력 탓에 에이전트 배포는 느려지지 않고 있습니다. 보안 리더에게는 인시던트 이후의 통제 소급 적용이 지금 구축하는 것보다 비싸다는 점을, 아키텍트와 엔지니어에게는 Foundation에서 시작해 통제를 검증하며 배포 규모에 따라 계층을 올리되 "불가능한가, 번거로운가" 테스트를 상시적인 설계 리뷰 질문으로 삼으라는 점을 당부합니다. 문서 전체를 관통하는 메시지는 처음에 나온 한 문장으로 돌아갑니다. 이 전환에 가장 잘 대비된 조직은 가장 발전된 AI를 가진 조직이 아니라, "AI 지원 스캐닝이 애초에 찾아낼 버그가 적을 만큼 기본기가 튼튼하고, 첫날부터 침해를 가정하고 에이전트 배포를 설계한 조직" 이라는 것입니다.
다만 이 문서는 Anthropic 자신이 밝히듯 "에이전트 보안 아키텍처에 대한 Anthropic의 현재 생각" 을 반영한 것으로, 특정 환경에 대한 법적, 컴플라이언스, 보안 보증이 아니라 각자의 평가를 위한 프레임워크로 제공됩니다. 문서가 다루는 역량 대부분은 오늘날 존재하지만 도구와 채택은 아직 성숙 중인 빠르게 움직이는 영역이라는 점도 함께 고려하며 읽으시면 좋겠습니다. 조직 전반의 AI 가속 공격 대비에 대해서는 함께 공개된 블로그 글 Preparing your security program for AI-accelerated offense도 참고할 만합니다.
Zero Trust for AI Agents 소개 블로그
Zero Trust for AI Agents eBook PDF 다운로드 (영문, 36쪽)
더 읽어보기
-
Anthropic이 제시하는, 신뢰할 수 있는 AI 에이전트 구축을 위한 실천 원칙: 에이전트의 4가지 구성 요소와 다층 방어 전략 (feat. Anthropic)
-
AI Agent Browser의 보안 문제: Perplexity의 Comet 브라우저에서 프롬프트 인젝션 취약점 발견 (feat. Brave)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 