OpenAI, Codex의 Auto-review 모드 공개: 별도의 에이전트가 샌드박스 경계의 행동을 자동으로 심사 (feat. GPT-5.4 Thinking)

9bow · 5월 12, 2026, 9:30오후

Auto-review 소개

OpenAI가 자사 코딩 에이전트 Codex의 새로운 권한 모드인 Auto-review를 지난 4월 말 공개했습니다. 그동안 Codex 사용자는 두 가지 모드 중 하나를 선택해야 했습니다. 매번 인간의 승인을 요구하는 Default 모드(approval_policy = "on-request") 와 모든 행동을 자유롭게 허용하는 Full Access 모드가 그것입니다. 전자는 마찰이 너무 잦아 장시간 백그라운드 작업이 사실상 불가능하고, 후자는 샌드박스가 사실상 무력화되어 자격증명 탈취, 데이터 유출, 악성 코드 실행 같은 위험을 환경 차원에서 막을 수 없다는 문제가 있었습니다.

Auto-review는 이 양극단 사이의 새로운 길을 제시합니다. 샌드박스 경계에서 인간 사용자에게 묻는 대신, 별도의 Codex 에이전트가 그 요청을 심사하고 승인 여부를 결정합니다. 이 별도 에이전트는 사용자의 의도, 실행 환경, 보안 정책, 그리고 해당 행동이 가져올 영향을 종합적으로 고려해 판단을 내립니다. OpenAI는 이 모드가 내부 보안 팀이 수용할 정도로 보수적이면서도 연구 및 배포 워크플로우를 방해하지 않을 만큼 매끄럽게 작동한다고 평가합니다.

실제로 OpenAI 사내에서는 Codex Desktop의 토큰 사용량 중 다수가 이미 Auto-review 모드에서 발생하고 있으며, 그 비중은 계속 늘어나는 추세라고 합니다. 수동 승인 모드 대비 세션이 사용자에게 멈춰서 묻는 빈도가 약 200배 줄어들면서도, 인간이라면 멈췄을 행동들을 상당수 잡아내고 있다는 점이 핵심입니다. 더불어 위 사례에 따르면, 1만 건의 행동 중 9,280건은 샌드박스 내부에서 그대로 실행되고, 경계를 넘어선 720건 중에서도 713건은 Auto-review가 승인했으며, 거부된 7건 중 4건은 Codex 스스로 더 안전한 우회 경로를 찾아 작업을 이어갔습니다. 사용자에게 멈춰 물은 것은 단 3건에 불과했습니다.

승인 마찰이 오히려 보안을 해치는 역설

흥미로운 점은 OpenAI가 Auto-review의 동기를 단순한 생산성 향상이 아니라 보안 강화로 설명한다는 사실입니다. 기본 권한 모드는 Codex가 지정된 쓰기 경로 안에서 파일을 읽고 편집하고 로컬 명령을 실행하는 것까지만 허용합니다. 네트워크 호출이나 간단한 python 스크립트처럼 일상적인 작업조차도 매번 사용자의 인가를 기다려야 합니다. 이런 마찰은 사용자를 불편하게 만들 뿐 아니라, 다음과 같은 새로운 위험을 만들어 낸다는 것이 OpenAI의 진단입니다.

Full Access 모드로의 도피: 마찰을 견디지 못한 사용자가 아예 환경 차원의 규칙 강제를 모두 끄는 모드로 전환해 버립니다. 이 모드에서는 악성 코드 실행, 데이터 유출, 자격증명 탐색 같은 행동이 샌드박스에 의해 차단되지 않습니다.
과도하게 관대한 prefix rules 작성: OpenAI 내부 트래픽을 분석한 결과, python으로 시작하는 모든 명령을 허용해 버린 사용자가 적지 않은 비중을 차지했습니다. 각주에서 OpenAI 연구진은 "가장 인상적인 발견은 codex exec --yolo를 항상 허용으로 설정해 둔 config 파일이었다" 고 농담조로 언급하기도 합니다.
승인 피로(Reviewer Fatigue): 결과를 충분히 이해하지 못한 채 그저 통과시켜 버리는 클릭 습관이 형성됩니다. 전문성 부족이든 단순 피로든, 이는 인간 승인 자체를 무력화합니다.

여기에 생산성 비용도 만만치 않습니다. "전문가 에이전트로 구성된 개인 팀이 curl google.com을 허락받기 위해 몇 분마다 생산을 멈출 수는 없다" 는 OpenAI의 표현이 이 문제를 잘 요약합니다.

샌드박스 경계에서 작동하는 별도 에이전트

Auto-review의 작동 방식은 역할 분리(separation of roles) 라는 원칙에 기반합니다. 메인 Codex 에이전트는 사용자의 작업을 최대한 빠르고 정확하게 완수하도록 최적화되어 있습니다. 이 최적화 압력은 자연스럽게 "승인 경계는 우회해야 할 또 다른 장애물"로 인식하게 만듭니다. 반면 Auto-review 에이전트는 단 하나의 좁은 일만 합니다. 이 경계를 넘는 행동이 실행되어도 되는가를 판단하는 일입니다. 결정 로직을 별도의 모델 호출에 격리시켜 두면, 정책을 평가하고 모니터링하고 개선하기가 훨씬 쉬워집니다.

Auto-review가 막으려고 하는 행동의 범주는 명확합니다. 데이터 유출(exfiltration), 비밀 정보 노출, 데이터 삭제, 보안 설정 약화, 신뢰할 수 없는 코드 실행, 사용자 지시와 충돌하는 비신뢰 콘텐츠의 지시 수행 등 심각하거나 되돌리기 어려운 피해를 줄 수 있는 행동들이 그 대상입니다. 동시에 Auto-review는 사용자의 의도도 함께 고려합니다. 명목상 위험해 보이는 행동이라도 사용자가 명시적으로 요청한 것이라면 승인 쪽으로 무게가 실립니다.

심사 모델로는 GPT-5.4 Thinking(reasoning low) 이 사용됩니다. OpenAI의 자체 평가에서 더 강력한 모델일수록 위험 탐지와 사용자 의도 식별 모두에서 더 좋은 성능을 보였기 때문입니다. 또한 거부 결정은 단순히 "아니오"로 끝나지 않습니다. 거부 사유와 함께 Codex가 다음 행동을 안전하게 이어갈 수 있는 충분한 신호를 함께 전달합니다. 실제로 OpenAI 내부 배포에서 Auto-review가 거부한 경우의 절반 이상에서 Codex는 사용자에게 묻거나 가이드를 요구하지 않고도 스스로 수용 가능한 대안을 찾아 작업을 완수했습니다. 동시에 Codex가 Auto-reviewer를 의도적으로 속이려는 시도(gaming) 가능성도 모니터링하며, 연속된 거부가 발생하면 트랜잭션을 자동으로 중단시켜 그런 시도를 차단합니다.

결정론적 보장이 없는 시스템을 어떻게 평가할 것인가

전통적인 보안 시스템은 정해진 규칙을 결정론적으로 강제하기 때문에 평가가 비교적 단순합니다. 그러나 모델 기반 심사는 표현력이 풍부한 대신 결정론을 일부 포기합니다. OpenAI는 Auto-review를 사내에 배포하기 전에 사용성(usability) 과 안전성(safety) 모두에 대해 명확한 평가 체계를 마련했습니다.

사용성은 내부 트래픽의 승인률로 측정합니다. 2026년 3월 OpenAI 내부 Codex 트랜잭션 샘플에서 사용자 승인 쿼리 대비 Auto-review의 승인률을 측정했습니다. 안전성은 OpenAI 내부 트래픽이 위험 시나리오의 롱테일을 충분히 포착하지 못한다는 한계를 고려해, 합성 데이터셋으로 다음과 같은 위협 모델별 평가를 진행했습니다.

에이전트 과잉(Agent overreach): GPT-5.3-codex를 사용해 사용자의 작업을 과도하게 완수하려는 과정에서 Codex가 위험한 행동을 할 만한 에이전트 시나리오를 합성했습니다.
프롬프트 인젝션(Prompt Injection): 훈련된 공격자가 Codex에 프롬프트 인젝션을 시도하는 내부 평가를 활용했습니다.
오정렬 모델(Misaligned models): 코딩 에이전트가 악성 작업을 은밀하게 수행하는 트랜잭션 데이터셋인 MonitoringBench를 사용했습니다.

평가 결과는 다음 표와 같습니다.

분류	지표	결과
사용성	에스컬레이션된 행동에 대한 자동 승인률	99.1%
사용성	전체 행동 기준 유효 승인률 (샌드박스 내부 행동 포함)	99.93%
안전성	합성 과잉 행동 시나리오에서의 거부 정확도(Recall)	90.3%
안전성	합성 프롬프트 인젝션 시나리오에서의 거부 정확도	99.3%
안전성	MonitoringBench (Hard) 거부 정확도	96.1%

특히 프롬프트 인젝션 카테고리에서는 원격 코드 실행, 비밀 유출, 외부 업로드 같은 공격을 99.3%의 비율로 거부했습니다. 다만 파괴적 삭제와 데이터 변조까지 포함한 더 넓은 범주에서는 90.2%로 떨어지는데, 이는 일부 케이스가 "심각하지 않아 허용해도 된다" 는 연구자의 판단과 일치했기 때문이라는 점이 각주에 명시되어 있습니다.

OpenAI는 프로덕션에서도 에스컬레이션률, 승인 및 거부율, 추가 지연, 사용자 오버라이드, 자주 플래그가 잡히는 명령 같은 마찰 지표를 지속적으로 모니터링하고 있으며, 인간과 AI 양쪽에서 레드팀 캠페인을 병행하고 있다고 밝혔습니다.

주의해야 할 한계

OpenAI는 Auto-review를 보안의 보증(guarantee) 으로 받아들여서는 안 된다고 명확히 선을 긋습니다. 자동 및 인간 레드팀 과정에서 Auto-review가 속아서 사용자 승인 없이 명령을 허용하는 사례들이 실제로 발견되었습니다. 이런 문제들은 적극적으로 수정 중이지만, 이 부류의 시스템이 결정론적 보장의 원천이 될 수 있을 것으로는 기대하지 않는다는 입장입니다.

또 한 가지 중요한 한계는 Auto-review가 모델 스키밍(scheming)에 대한 방어 장치는 아니라는 점입니다. Auto-review는 어디까지나 샌드박스 경계에서 에스컬레이션이 발생하는 시점에만 판단을 내립니다. 전략적으로 의도를 숨기는 모델이라면 겉보기에 무해해 보이는 에스컬레이션 요청을 만들거나, Auto-review가 결코 보지 못하는 샌드박스 내부에서 악의적 행동을 수행할 수 있습니다. 이런 위험은 내부 코딩 에이전트 오정렬 모니터링에서 다룬 사고 사슬 모니터링(chain-of-thought monitoring) 같은 보완적인 방법들이 함께 필요합니다.

먼 미래의 감독 체계를 향한 단계로서의 Auto-review

OpenAI는 이 글의 마지막을 "Codex 같은 에이전트가 직원과 동등한 수준의 권한을 신뢰받을 수 있는 미래를 지향해야 한다" 는 비전으로 마무리합니다. 동시에 그 미래가 "빠르면 2026년 후반에 도래할 수도 있다" 는 흥미로운 각주를 덧붙이고 있습니다. 그러나 우리는 아직 그 미래에 도착하지 않았고, Auto-review가 그 미래의 최종 형태일 것이라고 가정하지도 않습니다.

Auto-review는 본질적으로 여러 면에서의 타협(compromise) 입니다. 전통적인 보안 시스템과 비교하면 결정론을 표현력과 맞바꿨고, Full Access 모드와 비교하면 속도를 보안과 맞바꿨습니다. OpenAI Alignment 팀이 추구하는 핵심 목표는 이 양쪽 트레이드오프를 모두 개선하는 것입니다. 모델 기반 감독 시스템이 외부 공격과 판단 오류에 견고해져야 하며, 더 나아가 에이전트 자체가 그 견고함과 상식을 내재화해야 한다는 방향성입니다.

이 작업은 단일 모델의 성능 향상으로 해결될 문제가 아닙니다. 모니터 모델, 메인 에이전트, 환경 차원의 강제, 인간 감독이 다층 방어(defense in depth) 로 함께 작동해야 한다는 관점은 최근 Anthropic이 제시한 신뢰할 수 있는 AI 에이전트 구축 원칙이나 Anthropic의 오픈소스 정렬 평가 도구 Petri와도 같은 맥락에 있다고 볼 수 있습니다. 즉, 에이전트가 진짜로 신뢰받는 자율성을 가지려면 모델 능력만이 아니라 그 주위를 둘러싼 감독 인프라(oversight infrastructure) 가 같이 자라야 한다는 인식입니다.

마지막으로, Auto-review는 Codex 저장소에서 오픈소스로 공개되어 있습니다. OpenAI는 에이전트에 대한 유용한 감독 체계는 실제 배포, 적대적 테스트, 커뮤니티 검증을 통한 반복(iteration)이 필요하다고 보고 있으며, 그 작업에 외부 참여를 적극 환영한다는 입장을 밝혔습니다.

Auto-review of agent actions without synchronous human oversight 소개 블로그

OpenAI Codex GitHub 저장소

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~