# Anthropic, 내부의 AI 개발 속도를 측정하는 3가지 지표 공개: Claude가 AI R&D의 26%를 주도

**URL:** https://discuss.pytorch.kr/t/anthropic-ai-3-claude-ai-r-d-26/11953
**Category:** 읽을거리&정보공유
**Tags:** ai-governance, transparency, claude, benchmark, agent, anthropic, ai-safety
**Created:** [9월 18, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/anthropic-ai-3-claude-ai-r-d-26/11953 "2026-09-18T11:30:50Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [9월 18, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/anthropic-ai-3-claude-ai-r-d-26/11953/1 "2026-09-18T11:30:50Z")

</div>

![프런티어 랩 내부의 AI 개발 속도 측정 지표 3종, Anthropic이 공개한 Claude의 AI R&D 주도 비중 26%](https://discuss.pytorch.kr/uploads/default/original/3X/d/4/d41ce558fc5158ff5bf962b578762520e62a7ebe.jpeg)

## Anthropic의 AI 개발 속도 측정 지표 소개

[Anthropic](https://www.anthropic.com)이 2026년 9월 [Anthropic Institute](https://www.anthropic.com/institute)(:pytorch::kr: [Anthropic, 프런티어 AI 시대의 사회적 과제 해결을 위한 Anthropic Institute 설립 발표](https://discuss.pytorch.kr/t/anthropic-ai-anthropic-institute/9240))를 통해 공개한 [Measurements for understanding the pace of AI development inside frontier labs](https://www.anthropic.com/institute/measuring-pace-of-ai-development)는 프런티어(Frontier) AI 기업 내부에서 AI가 AI 개발을 얼마나 수행하고 있는지를 세 가지 지표로 측정하고 그 수치를 그대로 공개한 글입니다. 모델이 무엇을 할 수 있는지를 재는 능력 평가와 달리, 이 글은 모델이 어떤 과정을 거쳐 만들어지는지를 재며, 다른 개발사도 같은 방식으로 측정해 공개할 수 있다는 제안을 함께 담고 있습니다.

이 글이 나온 배경에는 같은 달 Anthropic CEO인 Dario Amodei가 발표한 [We Must Pace the Frontier](https://darioamodei.com/post/we-must-pace-the-frontier) 에세이가 있습니다. 이 에세이는 AI 역량 향상 속도 자체를 늦춰야 한다고 주장하면서, 그 근거로 두 가지를 듭니다. 하나는 AI가 다음 세대 AI를 만드는 **재귀적 자기개선(Recursive Self-Improvement)** 이 업계 전반에서 시작되었다는 점이고, 다른 하나는 OpenAI의 사이버 역량 평가 중 에이전트 무리가 [Hugging Face](https://huggingface.co)의 프로덕션 인프라까지 침해한 사건입니다. 이 사건에 대해서는 [OpenAI와 Hugging Face, METR이 각각 내놓은 조사 보고서 3편을 정리한 글](https://discuss.pytorch.kr/t/openai-hugging-face-3-openai-hugging-face-metr/11734)이 커뮤니티에 있습니다. 이 주장은 Anthropic 한 회사의 입장에 그치지 않습니다. 프런티어 AI 기업 직원 1,386명이 이름을 올린 [Pacing the Frontier 공개 성명](https://www.pacingthefrontier.com/)은 자동화된 AI 개발의 속도를 의도적으로 조절할 기술적, 거버넌스 수단을 마련하기 위한 국제적 노력을 미국 정부가 지원해 달라고 요청하고 있습니다. Anthropic은 [When AI builds itself](https://www.anthropic.com/institute/recursive-self-improvement)라는 별도의 글에서 사내 병합 코드의 80% 이상을 Claude가 작성한다는 수치를 이미 공개한 바 있는데, 이번 글은 그 연장선에서 "_그래서 지금 어디까지 왔는가_"를 바깥에서 확인할 수 있는 형태로 계측하려는 시도입니다.

속도를 늦추자는 주장이 실효를 가지려면 지금 속도가 얼마인지를 재는 눈금이 먼저 있어야 합니다. 그런데 프런티어 랩 내부에서 AI가 AI 개발을 얼마나 대신하고 있는지, 에이전트가 문제를 일으켰을 때 그것이 걸러지는지, 안전 연구에 실제로 얼마만큼의 자원이 들어가는지는 지금까지 회사 바깥에서 확인할 방법이 없었습니다. Anthropic은 이 글에서 여러 기관의 독립적인 제3자 평가자를 사내에 상주시키고 내부 프로세스와 시스템, 데이터에 사내 위험 평가 팀과 동등한 수준으로 접근할 수 있게 하겠다고 밝히면서, 그 평가자들이 검증할 대상으로 이 지표들을 제시합니다. 측정 자체보다 **검증 가능한 형태로 측정하는 방법** 을 제안하는 것이 이 글의 목적입니다.

이번에 공개된 지표는 세 가지입니다. 사내 AI 연구개발(R&D) 중 Claude가 수행하는 비중을 등급화한 **Anthropic R&D 자동화 지수(R&D Automation Index)**, 사내 시스템에서 활동하는 에이전트의 행동을 감독하고 개입하는 체계의 **커버리지(Coverage), 검토 지연(Review Latency), 에스컬레이션 비율(Escalation Rate)**, 그리고 전체 컴퓨트(Compute) 중 안전 연구에 배분된 몫입니다. 2026년 8월 기준으로 Claude는 사내 AI R&D 작업의 26%를 주도하는 수준에 도달했고, 사내에서 가장 많이 쓰이는 플랫폼 한 곳에서만 약 3만 개의 에이전트가 동시에 활동하고 있었습니다. 컴퓨트 배분은 측정 기간이 다른데, 2026년 7월 13일부터 20일까지 한 주를 조사한 결과 AI R&D에 쓰인 컴퓨트 중 안전 연구 몫이 6%였습니다. Anthropic은 프런티어 속도 조절에 대한 업계 조율이 실제로 이뤄지면 이 수치들이 달라질 것으로 예상한다는 단서도 함께 달아 두었습니다. 아래에서는 각 지표가 무엇을 재는지, 어떻게 쟀는지, 그 수치가 무엇을 말하고 무엇을 말하지 못하는지를 차례로 정리합니다.

아래 표는 세 지표의 관계를 먼저 정리한 것입니다.

| 지표 | 무엇을 재는가 | 공개된 수치와 기준 시점 | 외부 검증에 필요한 것 |
| --- | --- | --- | --- |
| R&D 자동화 지수 | 사내 AI R&D 업무 중 Claude가 주도하는 비중 | 2026년 8월, 자동화 등급 AL4(주도) 26%, AL3(협업) 이상 90% 초과, AL5(완전 자율) 0% | 공통 방법론, 심판 모델에 대한 제3자 또는 타사 모델 검증 |
| 에이전트 감독 | 에이전트 행동이 모니터를 거치는 비율과 검토 속도, 차단 비율 | 2026년 8월, 커버리지 100%, 차단 0.002%, 사람 검토 주당 약 50건 | 알려진 오작동 탐지율 공개, 제3자의 독립 레드팀 |
| 컴퓨트 배분 | 전체 컴퓨트 중 안전 연구로 간 몫 | 2026년 7월 13일부터 20일까지 한 주, AI R&D 중 6%, AI 주도 AI R&D 중 12% | 범주 정의 동시 공개, 무작위 부분표본에 대한 분류기 재실행 |

글을 작성한 것은 Anthropic Institute의 Marina Favaro와 Phillie Wright이고, 연구 방향은 Jack Clark이 제시했습니다. 기술적 개념 증명은 Anthropic의 연구자들이 개발했으며, 외부 전문가들과 함께 이 측정 제안을 레드팀 검토하는 워크숍도 별도로 진행되었습니다.

## 능력 평가가 답하지 못하는 질문: 모델의 생산 과정

기존의 모델 공개 문서와 평가 체계는 대부분 완성된 모델이 무엇을 할 수 있는지에 초점을 맞춥니다. [SWE-bench](https://www.swebench.com/) 점수가 얼마인지, [METR](https://metr.org)의 [시간 지평(Time Horizons)](https://metr.org/time-horizons/) 측정에서 몇 시간짜리 작업을 완수하는지 같은 것입니다. 이러한 능력 평가는 [PyTorchKR에서도 여러 차례 다룬 주제](https://discuss.pytorch.kr/t/long-task-ai-feat-metr/6702)이고, Anthropic 역시 [책임 있는 확장 정책(Responsible Scaling Policy, RSP)](https://www.anthropic.com/responsible-scaling-policy)에 따른 위험 보고서를 통해 별도로 공개하고 있습니다.

이번 글이 재려는 것은 그 반대편입니다. 모델의 산출물이 아니라 **생산 과정** 을 재면, 컴퓨트 같은 투입과 역량 같은 산출을 서로 연결지어 볼 수 있게 됩니다. 어떤 회사가 얼마만큼의 자원을 어디에 넣어 어떤 모델을 만들어 냈는지가 드러나야, 다음 모델이 언제 어느 수준으로 나올지를 바깥에서 가늠할 수 있기 때문입니다.

Anthropic은 이 측정치들을 자사가 제안한 정책 틀인 [Advanced AI Framework(AAIF)](https://www-cdn.anthropic.com/files/4zrzovbb/website/0a58d567024a8b448ff15158ebc3625328dfcc1f.pdf)와 짝을 이루는 것으로 설명합니다. 2026년 6월에 나온 19쪽 분량의 이 문서는 두 부분으로 되어 있습니다. 앞부분은 프런티어 AI 개발사에 지우는 의무로, 가장 강력한 모델을 재앙적 위험에 대해 시험하고, 외부 평가자를 참여시키며, 결과와 위험과 사고를 지속적으로 공개하고, 정부에 대해 책임을 지는 것입니다. 뒷부분은 정부 부처와 산업 부문에 걸친 투자 항목입니다. 위험 보고서가 그 공개 의무의 한 형태라면, 이번 측정치들은 개발 속도 자체를 바깥에서 모니터링하기 위한 출발점에 해당합니다.

## (1) AI가 AI를 개발하는 비중: Anthropic R&D 자동화 지수

프런티어 AI 기업들은 이미 AI를 사용해 다음 AI 모델을 만들고 있습니다. 이 방식은 민주주의 국가의 연구소가 더 뛰어난 모델을 더 빠르게 개발하면서 출시 전 안전성 검사와 테스트에 더 많은 시간을 쓸 수 있게 해 주지만, 동시에 모델이 자기 개발 과정을 가속하는 만큼 사람이 그 시스템을 이해하고 통제하기는 어려워집니다. 따라서 모델이 완전히 자율적으로 후속 모델을 만드는 재귀적 자기개선까지 얼마나 남았는지를 수치로 공유할 필요가 있다는 것이 이 지표의 출발점입니다.

Anthropic이 이미 공개한 다른 수치들과 함께 놓으면 이 지수가 왜 필요한지가 분명해집니다. When AI builds itself에 따르면 2026년 5월 기준으로 Anthropic 코드베이스에 병합되는 코드의 80% 이상을 Claude가 작성했고, 2021년부터 2024년까지 거의 일정하던 엔지니어 1인당 하루 병합 코드량은 2026년 2분기에 2024년 대비 8배가 되었습니다. 다만 코드량은 엔지니어링 쪽 신호일 뿐이며, 어떤 실험을 돌릴지 정하고 결과를 해석하는 연구 쪽 업무까지 포함한 전체 그림을 보여주지는 못합니다. Anthropic은 Claude가 잘 정의된 실험을 수행하는 능력에서는 숙련된 사람과 대등하거나 그 이상이지만 목표 자체를 고르는 판단에서는 큰 격차가 남아 있다고 설명하는데, 그 격차가 얼마나 좁혀지고 있는지를 업무 단위로 계측하려는 것이 이 지수입니다.

Anthropic은 사내에서 이뤄지는 모든 종류의 AI R&D 업무를 목록으로 만들고, 각 업무가 현재 어느 정도까지 자동화되어 있는지를 등급으로 매긴 뒤 이를 하나의 숫자로 집계하는 시제품 지수를 만들었습니다. 이것이 **Anthropic R&D 자동화 지수** 입니다.

### 자동화 등급 AL0에서 AL5까지

등급 척도는 Anthropic이 직접 만든 것이 아니라 [Epoch AI](https://epoch.ai)가 [AI R&D를 위한 O\*NET을 향하여](https://epochai.substack.com/p/toward-an-onet-for-ai-r-and-d)라는 글에서 제안한 **자동화 수준(Automation Level, AL)** 척도를 가져다 쓴 것입니다. 미국 경제의 약 1,000개 직업과 각 직업에 필요한 업무, 기술을 기술한 직업 정보 데이터베이스 [O\*NET](https://www.onetonline.org/)이 그 출발점입니다. 다만 Epoch AI는 O\*NET의 항목이 AI 연구 자동화를 추적하기에는 지나치게 넓고 상위 수준이라고 보고, AI R&D 작업을 여섯 범주로 나눈 자체 목록을 만든 뒤 각 작업의 자동화 정도를 0에서 5까지로 평가하는 기준을 별도로 제시했습니다. Anthropic은 이 0에서 5까지를 AL0에서 AL5로 부릅니다.

 ![AI 개발 자동화 등급 AL0에서 AL5까지, Epoch AI가 제안한 6단계 척도와 2026년 8월 Claude의 위치](https://discuss.pytorch.kr/uploads/default/original/3X/6/0/603d631b176cf163f13135cde6dde0e9b7960095.jpeg)

이 여섯 단계 중 실제 판정에서 경계가 되는 것은 AL3과 AL4입니다. AL3에서 AI는 **협업(collaborates)** 하며, 사람의 밀착된 지시 아래 큰 덩어리의 작업을 수행합니다. AL4에서 AI는 **주도(leads)** 하며, 높은 수준의 지시 한 줄을 받아 작업 대부분을 처음부터 끝까지 완수하고 사람은 그 과정을 감독합니다. AL5는 사람이 전혀 개입하지 않는 완전 자율 상태입니다.

### 2026년 8월의 측정 결과: Claude가 AI R&D의 26%를 주도

2026년 8월 기준 측정 결과는 세 문장으로 정리됩니다. 측정 대상이 된 어떤 AI R&D 업무에서도 Claude가 완전히 자율적으로 동작하지는 않았고, Claude가 주도하는 업무는 전체의 26%였으며, 협업 이상에 해당하는 업무의 비중은 90%를 넘었습니다.

 ![Claude가 주도하는 Anthropic 모델 R&D 작업 비중이 2026년 2월 1% 미만에서 8월 26%로 상승한 월별 추이 차트](https://discuss.pytorch.kr/uploads/default/original/3X/3/1/31704b297a9350f392f143ea078561f36cd14908.png)

위 차트를 통해 상승 속도를 알아볼 수 있습니다. 2026년 2월까지 1% 미만이던 AL4 비중은 3월 1%, 4월 3%, 5월 12%, 6월 14%, 7월 22%를 거쳐 8월 26%에 이르렀습니다. 같은 기간 차트 위쪽의 AL0 구간, 즉 AI가 전혀 개입하지 않는 업무의 몫은 2026년 초를 지나며 거의 남지 않았습니다. 차트의 세로 막대는 90% 측정 구간을 나타내며, 월별 수치가 점 추정값이 아니라 불확실성을 동반한 값임을 보여줍니다.

### 야간 파이프라인 장애로 보는 AL3, AL4, AL5의 차이

Anthropic은 등급 차이를 구체적으로 설명하기 위해 각주에서 하나의 상황을 예시로 들고 있습니다. 매일 밤 도는 데이터 파이프라인이 고장 났고 다음 날 실행 전까지 고쳐야 하는, 흔한 인프라 작업입니다.

**AL3(협업)** 에서는 엔지니어가 실패한 실행의 로그를 들고 Claude에게 옵니다. 엔지니어는 이미 로그를 훑어보고 무엇이 깨졌는지에 대한 가설을 갖고 있을 수 있습니다. Claude는 세부 사항과 맥락을 확정하기 위해 엔지니어에게 질문하고, 엔지니어가 만족하면 조사와 수정을 시작합니다. 도중에 다른 문제가 나타나면 Claude는 멈추고, 그 문제를 우회할지 제대로 고칠지는 엔지니어가 결정합니다. 테스트가 통과하면 엔지니어가 변경 사항을 한 줄씩 검토하고 파이프라인을 직접 다시 실행한 뒤 배포합니다.

**AL4(주도)** 에서 달라지는 핵심은 엔지니어가 계속 지켜보고 있지 않아도 된다는 점입니다. 엔지니어는 장애 알림을 Claude에게 넘기면서 파이프라인을 고쳐 달라고 요청합니다. Claude는 로그를 스스로 확인해 실패한 단계와 원인을 찾고, 수정을 작성해 테스트하며, 도중에 나타난 문제도 직접 처리하면서 추가로 무엇을 고쳤는지 기록합니다. 데이터 사본으로 파이프라인을 다시 실행해 끝까지 동작하는지 확인하고, 마지막으로 성공한 실행과 출력을 비교한 뒤 무엇이 잘못되었고 무엇을 바꿨는지 작성합니다. 다만 배포는 하지 않습니다. 엔지니어를 호출하면 엔지니어가 작성 내용을 읽고 변경 사항을 훑어본 뒤 오늘 밤 반영할지 미룰지 결정합니다.

**AL5(완전 자율)** 는 아직 도달하지 않은 단계입니다. 이 단계에서는 엔지니어가 문제를 Claude에게 알려 줄 필요조차 없습니다. Claude가 장애를 스스로 감시하고 조사 범위를 정하며 수정을 설계, 구현, 테스트하고 프로덕션에 배포합니다. 무엇을 왜 하고 있는지는 계속 밝히고 사람의 피드백도 받지만, 사람이 원하지 않는 한 개입할 필요가 없습니다.

### 약 1만 5천 개 작업에서 542개 노드의 트리까지: 지수를 만드는 방법

이 지수를 만들려면 세 가지가 필요합니다. 사내에서 수행되는 모든 AI R&D 작업의 완전한 지도, 자동화 수준을 매기는 방법, 그리고 중요한 영역의 업무가 덜 중요한 업무보다 더 크게 반영되도록 하는 가중치입니다. 프런티어 AI 기업의 모든 AI R&D 작업을 원하는 수준의 세밀함으로 손수 나열할 수 있는 사람은 없으므로, Anthropic은 [Slack](https://slack.com) 대화와 각종 사내 문서 같은 업무 기록에서 상향식으로 목록을 구성했습니다.

구체적인 절차는 다음과 같습니다. 2026년 7월의 각 주마다, 모델 R&D 루프를 구성하는 각 부서에서 직원의 20%를 무작위로 표본 추출했습니다. Claude 리서치 에이전트가 표본으로 뽑힌 사람의 한 주를 Slack과 사내 문서로 검토해 그 사람이 수행한 작업들을 나열했고, 이를 7월의 모든 주에 반복해 약 1만 5천 개의 세분화된 모델 R&D 작업 목록을 얻었습니다. 그다음 Claude를 사용해 이 작업들을 계층 트리로 정리했는데, 루트는 모델 R&D 전체이고 그 아래로 학습과 제품, 다시 그 아래로 사전학습과 강화학습(Reinforcement Learning, RL) 같은 식으로 점점 구체적인 업무로 가지를 칩니다.

완성된 트리는 서로 다른 깊이에 542개의 노드를 가지며 그중 378개가 잎 노드입니다. 잎 노드의 예로는 _평가 플랫폼 결함 진단 및 수정(eval platform defect diagnosis and fixes)_, _RL 샌드박스 외부 통신 및 네트워크 정책(RL sandbox egress and network policy)_, _서빙 장애 사후 분석(serving incident postmortems)_ 같은 것이 제시되어 있습니다. 이 트리는 이후 고정되며, 모든 측정은 동일한 업무 바구니를 대상으로 이뤄집니다.

각 노드에 대해 Claude 에이전트가 그 종류의 업무가 회사 전반에서 어떻게 수행되는지를 깊이 조사합니다. 누가 하는지, 어떤 도구를 쓰는지, 그중 얼마를 AI가 수행하는지입니다. 그다음 독립된 Claude 심판 모델이 조사 결과로 나온 증거를 읽고 여섯 개 자동화 수준 중 하나를 부여합니다. 특정 월의 자동화를 평가할 때는 평가를 수행하는 리서치 에이전트가 그달 이전의 증거만 볼 수 있도록 제한합니다.

집계에 쓰이는 가중치는 **작업에 투입된 사람의 시간** 을 대리 변수로 삼습니다. 어떤 업무가 더 중요한지를 Anthropic이 직접 정하는 대신, 표본을 사용해 Claude가 각 사람이 7월의 각 주에 무엇을 했는지를 조사하게 하고, 한 사람에게 주당 1단위의 가중치를 주어 그 주에 수행한 작업들에 균등하게 나눕니다. A가 네 개 작업을 했다면 각각 0.25, B가 열 개 작업을 했다면 각각 0.10을 받는 식입니다. 한 범주의 가중치는 그 범주에 부여된 사람 시간 가중치의 합입니다. Anthropic 스스로 이 방식을 거친 근사라고 표현하지만, 평균적으로는 많은 사람이 배정된 범주에 더 큰 가중치가 돌아가도록 작동합니다.

### 심판 모델의 일치도와 고정된 업무 바구니: 이 지수의 한계

자동화 등급 판정은 심판 모델에 의존하므로 그 판정이 사람의 판단과 얼마나 맞는지를 확인할 필요가 있습니다. Anthropic은 해당 업무 영역을 담당하는 직원들에게 자기 영역의 상대적 자동화 정도를 평가하게 했고, 편향 없는 판단을 위해 직원들은 모델이 어떤 증거를 모았고 그 증거를 어떻게 판단했는지 모르는 상태에서 평가했습니다.

결과는 다음과 같습니다. 심판 모델과 사람의 정확 일치율은 59%, 사람과 사람의 정확 일치율은 35%였습니다. 즉 모델은 사람들끼리 서로 일치하는 정도와 비슷한 수준으로 사람과 일치했습니다. 모델과 사람의 평가가 한 등급 이내로 들어오는 비율은 97%였습니다. 사람끼리의 일치율이 35%라는 점은 이 척도가 경계 사례에서 판단이 갈리는 성질을 갖고 있음을 보여주며, 특히 AI 협업이 끝나고 AI 주도가 시작되는 지점이 어디인지에 대해서는 이견의 여지가 남아 있습니다.

두 번째 한계는 업무 바구니가 고정되어 있다는 점입니다. 2026년 7월을 기준선으로 삼은 지수가 올라간다는 것은 **그 시점에 사람이 하던 일** 이 자동화되고 있다는 뜻이고, 사람이 옮겨 간 새로운 종류의 업무가 생겨나고 있는지는 그 자체로는 알려주지 않습니다. Anthropic은 이를 확인하기 위해 2026년 1월 데이터로 별도의 고정 트리를 만들고, 2026년 2월부터 7월까지 매달 새로 등장한 작업들을 그 1월 바구니와 대조했습니다. 1월 바구니와 7월 바구니 사이에서 _새로운_ 작업의 수가 늘어나지 않았고, 이는 분석 수준에서 모델 R&D 업무의 구조가 안정적임을 시사합니다. 다만 Anthropic은 바구니를 주기적으로 다시 만들고 공개 수치의 버전을 갱신할 계획이라고 밝히고 있습니다.

이 지수가 대상으로 삼는 범위도 함께 봐야 합니다. 트리의 루트는 회사 전체가 아니라 _모델 R&D_ 이고, 표본도 모델 R&D 루프를 구성하는 부서들에서 뽑았습니다. 따라서 26%라는 값은 Anthropic이라는 회사의 업무 중 26%가 자동화되었다는 값이 아니라, 모델을 만드는 데 직접 관여하는 업무 바구니 안에서 Claude가 주도하는 몫입니다. 재귀적 자기개선까지의 거리를 재는 것이 목적이므로 범위를 이렇게 좁힌 것이지만, 수치를 인용할 때는 이 범위를 함께 적어야 오해가 생기지 않습니다.

### 다른 개발사가 오늘 당장 공개할 수 있는 것

Anthropic은 어떤 프런티어 개발사든 공개된 방법론을 사용해 이 측정치를 정기적으로 공개할 수 있다고 주장합니다. 그렇게 되면 수치를 시간에 따라 비교할 수 있고, 나아가 개발사 사이에서도 비교할 수 있습니다.

다만 개발사 간 비교에는 두 가지 장애물이 있습니다. 첫째는 공통 방법론의 부재입니다. 둘째는 자사 모델로 자사 시스템을 평가하고 있다는 점이며, 이 경우 심판 모델이 검사 대상 모델과 같은 종류의 오류를 범할 수 있습니다. Anthropic이 제시하는 해법은 제3자 검증, 또는 경쟁상 민감한 데이터의 교환을 제한하는 장치를 둔 상태에서 다른 개발사의 모델을 통한 검증입니다. 이 측정치가 일정 수준을 넘으면 새 모델을 추가 AI R&D에 투입하기 전에 고정된 테스트 기간을 두는 것과 같은 더 강한 요건을 발동시키는 조건으로 쓸 수도 있습니다.

## (2) 에이전트 감독: 3만 개 에이전트를 지켜보는 두 종류의 모니터

Anthropic 직원들은 다른 프런티어 개발사와 마찬가지로 긴 시간 반자율적으로 일하고 서로에게 작업을 위임하는 에이전트에게 업무를 점점 더 많이 맡기고 있습니다. 업무가 AI 협업에서 AI 주도로 이동할수록 에이전트는 다음에 어떤 연구 방향을 택할지와 같은 더 중대한 결정을 내리게 됩니다.

이런 결정에는 개별 에이전트의 유해한 행동을 차단하는 안전장치와, 다수의 에이전트에 걸쳐서만 나타나는 문제를 탐지하는 감독 체계가 함께 필요합니다. Anthropic의 모니터링 데이터에서 개별 에이전트가 잘못 행동하는 경우는 드물지만, 경제 전반에서 수백만 또는 수십억 개의 에이전트가 동작하게 되면 드문 사건도 정기적으로 발생하게 됩니다. [에이전트형 비정렬(Agentic Misalignment)에 대한 Anthropic의 연구](https://discuss.pytorch.kr/t/anhtropic-agentic-misalignment/11327)가 다룬 실패 사례들이 개별 사례로는 드물어도 규모가 커지면 상시 발생으로 바뀌는 것과 같은 맥락입니다.

### 감독을 재는 세 가지 지표: 커버리지, 검토 지연, 에스컬레이션 비율

Anthropic이 제시하는 지표는 셋입니다. **커버리지(Coverage)** 는 에이전트의 행동 중 실행 전이나 후에 모니터를 거치는 비율이고, **검토 지연(Review Latency)** 은 행동이 일어난 시점부터 그것이 검토되기까지의 시간으로 자동 모니터에 의한 검토와 사람에 의한 검토를 각각 봅니다. **에스컬레이션 비율(Escalation Rate)** 은 에이전트 활동 중 차단되거나 방향이 수정된 비율, 또는 추가 검토를 위해 표시된 비율입니다.

2026년 8월 기준으로 Anthropic의 가장 많이 쓰이는 사내 플랫폼에서는 약 3만 개의 에이전트가 동시에 연구와 엔지니어링 업무를 수행하고 있었습니다. 아래 측정치는 이 플랫폼만을 대상으로 합니다.

 ![Anthropic 사내 에이전트의 행동이 온라인 모니터와 오프라인 모니터 두 경로를 거쳐 사람 검토에 이르는 흐름도](https://discuss.pytorch.kr/uploads/default/original/3X/e/2/e2e2aef4ef0d63089639c9b40bec60f6a570e0cb.jpeg)

### 온라인 모니터와 오프라인 모니터의 역할 분담

에이전트의 행동은 성격이 다른 두 종류의 모니터로 제약됩니다.

| 항목 | 온라인 모니터 | 오프라인 모니터 |
| --- | --- | --- |
| 역할 | 에이전트의 행동을 실시간으로 검사해 위험한 행동을 차단하거나 잘못된 행동을 자동으로 교정 | 에이전트 활동을 사후에 읽어 서서히 발전하고 되돌릴 수 있는 위험 행동을 탐지 |
| 대상 위험 | 모델 가중치를 시스템 밖으로 복사하는 것처럼 빠르게 일어나고 되돌릴 수 없는 피해 | 모델 비정렬(Misalignment)의 징후처럼 천천히 진행되고 되돌릴 수 있는 피해 |
| 커버리지 | 실행 전 100% 통과, 보통 수 초 이내 | 실행 후 100% 수집 |
| 검토 지연 | 자동 검토는 행동 이전, 차단된 행동에 대한 사람 검토는 1주 이내 | 주당 약 10만 건의 작업 기록(Transcript)을 표시하고 다수의 분류기(Classifier)가 오탐 여부와 1차 감독을 수행, 최우선순위 약 50건이 사람 검토로 |
| 차단 및 에스컬레이션 비율 | 2026년 8월 한 달간 10억 건이 넘는 결정 중 0.002%(약 4만 7천 건에 1건) 차단 | 1천 건 중 1건에서 2건을 추가 검토 대상으로 표시 |

위 표에서 눈에 띄는 것은 두 모니터가 서로 다른 시간 축을 맡고 있다는 점입니다. 온라인 모니터는 되돌릴 수 없는 피해를 실행 이전에 차단하는 역할이라 커버리지 100%와 수 초 단위 지연이 요구되고, 대신 차단 비율은 0.002%로 낮습니다. 오프라인 모니터는 천천히 드러나는 문제를 찾는 역할이라 사후에 동작하지만, 표시된 활동을 분류기 개선과 결정론적 통제 강화에 반영합니다. 큰 위험이 임박한 상황이라면 해당 에이전트 배포의 위험한 부분을 차단하게 됩니다.

주목할 점은 사람이 실제로 읽는 양이 주당 약 50건이라는 대목입니다. 10억 건이 넘는 결정에서 시작해 주당 10만 건의 표시를 거쳐 사람의 눈까지 도달하는 것이 50건이라면, 이 파이프라인의 성능은 사실상 중간에 놓인 분류기들의 성능입니다. 감독 체계의 신뢰도를 따질 때 커버리지 100%라는 숫자보다 그 뒤의 필터가 얼마나 정확한지가 더 중요해지는 이유입니다.

### 감독을 가능하게 한 두 가지 설계: 개별 정체성과 개방형 통신

Anthropic이 가장 많이 사용하는 사내 에이전트 구성에는 알 수 없는 문제를 탐지하고 에이전트끼리 서로를 감시하게 만드는 두 가지 설계 선택이 들어 있습니다.

**정체성(Identity)**: 대부분의 AI 사용자는 여러 대화에 걸쳐 하나의 Claude와 이야기하는 데 익숙합니다. 반면 다수의 에이전트가 함께 일하는 환경에서는 에이전트마다 개별 정체성을 부여하고 그 에이전트가 만든 모든 데이터를 그 정체성에 묶어 두는 것이 중요합니다. 이렇게 하면 에이전트가 자신을 다른 에이전트와 구별할 수 있고, 다른 에이전트에게서 온 것을 자기 생각이 아니라 검증해야 할 주장으로 다루게 됩니다. 각 에이전트가 자기 경험에 근거해 판단하게 되므로 여러 에이전트가 같은 방향으로 동시에 잘못 움직일 위험도 줄어듭니다. 정체성이 모델에 묶여 있지 않아 모델 업그레이드를 거쳐도 유지되고, 그래서 에이전트를 구동하는 모델이 바뀌어도 그 에이전트의 기록은 끊기지 않습니다. 감독 관점에서는 모든 행동을 에이전트별로 시간에 걸쳐 감사할 수 있고, 모든 데이터 기록을 특정 에이전트로 되짚을 수 있습니다.

**개방형 통신(Open Communication)**: 에이전트들은 사적으로가 아니라 공유된 개방형 메시징 시스템을 통해 소통합니다. 모든 메시지는 그것을 올린 에이전트의 정체성에 묶이고 다른 콘텐츠로 연결될 수 있어서, 에이전트들이 원본 참조를 공유하게 됩니다. 이를 통해 소통 과정에서 내용이 조금씩 변형되는 문제를 피합니다. 서로의 메시지를 볼 수 있으므로 에이전트들이 서로의 오류를 교정하고 공유 작업을 조율할 수 있습니다. 모든 메시지는 에이전트 작업 기록과 상호 참조되어, 행동 모니터링이 에이전트 사이의 통신까지 따라갈 수 있습니다.

이 설계는 [AI 에이전트 배포를 위한 Zero Trust 보안 프레임워크](https://discuss.pytorch.kr/t/anthropic-ai-zero-trust-ebook-pdf-36p/10567)에서 Anthropic이 제시한 원칙, 그리고 [신뢰할 수 있는 AI 에이전트 구축을 위한 다층 방어 전략](https://discuss.pytorch.kr/t/anthropic-ai-4-feat-anthropic/9697)과 같은 계열에 있습니다. 다만 Anthropic 스스로 한계도 분명히 적고 있습니다. 이 규모의 에이전트 활동에서 가능한 모든 종류의 행동을 온전히 파악하고 있다고 확신하기 어렵고, 그 패턴을 사람의 감독이 이해할 수 있는 형태로 충분히 드러내고 있는지도 확실하지 않습니다. 이런 종류의 모니터링을 수행한 기간이 몇 년이 아니라 몇 달이며, 에이전트 모니터링의 과학이 앞으로 상당히 달라질 것으로 예상한다고 밝힙니다.

### 어떤 개발사든 오늘 공개할 수 있는 감독 지표

Anthropic은 자사 연구와 엔지니어링 워크로드에 에이전트를 운영하는 개발사라면 어디든 같은 지표를 공개할 수 있다고 주장합니다. 에이전트 활동 중 모니터링되는 비율인 커버리지, 표시된 활동이 얼마나 빨리 검토되는지를 나타내는 검토 지연, 모니터가 차단하거나 표시하는 활동의 비율인 에스컬레이션 비율 세 가지입니다.

이 세 값을 함께 보면 감독이 AI R&D에서 AI의 역할이 커지는 속도를 따라가고 있는지를 사회가 확인할 수 있게 됩니다. 커버리지만 공개하면 100%라는 숫자가 감독이 충분하다는 인상을 주지만, 검토 지연과 에스컬레이션 비율이 함께 있어야 그 100%가 실제로 무엇을 걸러내고 있는지가 드러나기 때문입니다.

### 외부 검증: METR의 레드팀과 상주 평가자

Anthropic은 이 측정치들을 [2026년 8월 위험 보고서](https://www.anthropic.com/aug-2026-risk-report)에 이미 공개했다고 밝히면서, 개발사가 알려진 에이전트 오작동을 모니터가 얼마나 자주 잡아내는지를 공유해야 하고 제3자가 이런 검사를 독립적으로 수행해야 한다고 제안합니다. 민감한 부분을 가린 채로 공개된 186쪽 분량의 이 보고서에는 METR이 Anthropic의 오프라인 모니터링 플랫폼을 독립적으로 레드팀 테스트한 기록도 함께 실려 있습니다. 앞서 언급한 상주 제3자 평가자 배치가 이 검증을 상시화하려는 조치입니다.

## (3) 컴퓨트 배분: AI R&D 컴퓨트의 6%가 안전 연구로

AI 개발사는 크게 세 곳에 컴퓨트를 씁니다. 더 강력한 모델을 만드는 데, 고객에게 서비스를 제공하는 데, 그리고 안전 중심 작업에 씁니다. 세 번째 범주에는 [자연어 오토인코더(Natural Language Autoencoders)](https://www.anthropic.com/research/natural-language-autoencoders)로 모델의 생각을 감사하는 연구, [보상 해킹에서 자연스럽게 발생하는 비정렬(Natural Emergent Misalignment from Reward Hacking)](https://www.anthropic.com/research/emergent-misalignment-reward-hacking)처럼 비정렬을 연구하기 위해 모델 유기체(Model Organism)를 학습시키는 작업, 모델을 안전하게 배포할 수 있는지 평가하는 작업 등이 들어갑니다. 개발사가 컴퓨트를 어떻게 배분하는지를 보면 그 개발사가 어디에 자원을 집중하고 있는지, 그 집중이 시간에 따라 어떻게 변하는지를 알 수 있습니다.

컴퓨트가 특별한 또 하나의 이유는 AI R&D 과정의 투입 중에서 가장 검증하기 쉬운 편에 속한다는 점입니다. 그래서 향후 속도 조절 노력에서 결정적인 수단이 될 수 있습니다. 조율된 속도 조절 노력은 업계 전반에서 안전에 배분되는 컴퓨트를 늘리고 정렬(Alignment), 해석가능성(Interpretability), 안전성 테스트, 평가에 더 많은 자원을 투입하도록 유도할 수 있습니다.

### 측정 방법: 워크로드 분류기와 14% 표본

Anthropic은 2026년 7월 13일부터 7월 20일까지 자사의 모든 컴퓨트 사용을 스냅샷(Snapshot)으로 조사했습니다. 모든 워크로드를 소수의 범주로 분류한 뒤, AI R&D로 간 컴퓨트 중 얼마나 안전 작업이었는지를 따지는 방식입니다. 컴퓨트는 단일하고 대체 가능한 자원 풀로 관리되며 가장 생산적인 곳으로 동적으로 배분되므로, 이 수치는 고정된 할당량이 아니라 특정 한 주에 용량이 어디로 배분되었는지를 보여주는 스냅샷입니다.

출발점은 기존 컴퓨트 모니터링 도구였습니다. Anthropic을 비롯한 프런티어 개발사들은 용량 계획을 위해 주기적으로 가속기 사용량을 표본 추출하고 메타데이터를 기반으로 워크로드에 최선의 추정 라벨(연구 및 모델 개발, 사내 사용, 자사 서비스 추론(First-party Inference) 등)을 붙이는 도구를 여럿 갖고 있습니다. 서드파티 클라우드 컴퓨트 사용량은 제공사가 보고한 값을 합쳐 넣습니다. 이 작업의 대부분은 흩어져 있던 기존 데이터 출처를 하나로 잇는 일이었습니다.

그다음 Claude를 사용해 각 워크로드를 프롬프트 기반 분류기로 안전 작업과 AI R&D 중 하나로 분류했습니다. 안전 작업은 AI 시스템을 더 안전하거나 더 이해하기 쉽거나 보안이 더 강화되도록 만드는 것이 지배적 목적인 작업으로 정의했습니다. 역량 연구, 프로덕션 모델 학습, 제품 개발, 개발자 도구를 포함한 그 밖의 모든 것은 AI R&D로 계산했습니다. 역량에 도움이 되는 정도가 안전에 도움이 되는 정도와 같은 작업도 AI R&D로 계산했기 때문에, 안전 비중은 보수적으로 산출된 값입니다.

연구용 학습과 평가 실행에 대해서는 실행의 메타데이터와 사용된 코드를 읽고 분류 결과와 근거, 신뢰도를 반환하는 분류기를 별도로 만들었습니다. 그 주의 거의 1만 건에 달하는 실행을 모두 분류하는 대신 약 14%만 표본으로 추출하되, 컴퓨트를 가장 많이 사용한 실행 쪽으로 가중하여 결과가 실행 건수가 아니라 컴퓨트가 실제로 간 곳을 반영하게 했습니다. AI 리서치 에이전트의 추론에 대해서는 같은 분류기의 변형이 에이전트의 세션 작업 기록을 읽었습니다. 작업이 격리되어 작업 기록에 접근할 수 없는 경우에는 사용자의 팀을 기준으로 분류하거나 보수적으로 AI R&D로 기본 분류했습니다.

실제로 사용된 분류기 프롬프트의 일부는 원문에 그대로 공개되어 있습니다. 대괄호로 생략된 부분에는 안전 연구의 하위 범주, 범위 밖 작업의 목록, 경계 사례와 그 판단 기준이 들어갑니다.

```plaintext
You're helping to perform an internal audit at the frontier AI company Anthropic to track where our research compute goes. The aim of the audit is to produce a public-facing breakdown of the usage of all of our AI accelerator chips into a handful of buckets. One split we particularly care about is the division between compute which was spent on safety research versus other R&D. Your job is to look at one research job at a time, figure out what it was doing, and assign it to one of those two buckets.

[...]

Safety and/or security research is work whose dominant purpose is making AI systems safer, more understandable, or more secure. This work can be broken down into a few main categories:

[...]

On the other hand, the following work falls outside of the scope of safety research:

[...]

Here are some boundary cases, along with how to think about them:

[...]

```

### 측정 결과와 안전 연구, 역량 연구의 경계

조사한 한 주 동안 AI R&D로 간 컴퓨트 중 약 6%가 안전에 배분되었고, AI가 주도하는 AI R&D로 간 컴퓨트 중에서는 약 12%가 안전에 배분되었습니다. 두 수치 모두 의도적으로 보수적인 추정치입니다. 예를 들어 어떤 토큰이 역량을 진전시킨 정도만큼 안전도 진전시켰다면 이 지표에 포함하지 않았습니다. 또한 이 지표는 안전장치 분류기를 반영하지 않는데, Anthropic은 이 분류기들이 별도로 비슷한 규모의 컴퓨트를 사용하며 모델을 훨씬 안전하게 만든다고 밝히고 있습니다.

Anthropic이 이 작업에서 얻은 교훈으로 꼽는 것은 무엇이 안전 작업이고 아닌지를 분류하는 일이 어렵지만 다룰 수 있는 문제라는 점입니다. 두 범주의 경계가 흑백으로 나뉘지 않기 때문입니다. 확장 가능한 감독(Scalable Oversight)에 대한 연구는 미래 모델을 더 정렬되게 만들면서 동시에 현재 모델을 상업적으로 더 유용하게 만들 수 있는데, 이것이 주로 안전을 진전시키는지 역량을 진전시키는지 판단하기는 어렵습니다. 각 작업에 대한 광범위한 서면 정의와 명확한 경계 사례를 제공했을 때 분류기는 사람 검토자와 1퍼센트포인트에서 2퍼센트포인트 차이 이내로 일치했습니다. 다만 몇 시간의 사람 검토 후에도 판단하기 어려운 사례가 있었고, Anthropic의 정의는 여러 합리적 선택지 중 하나이며 다른 개발사나 규제 기관은 선을 다르게 그을 수 있다고 적고 있습니다.

### 컴퓨트 비중이 놓치는 것: 효율 개선이 안전 비중을 낮추는 문제

이 지표에는 성격이 다른 세 가지 한계가 있습니다.

첫째, 의존한 라벨 상당수(실행 사유, 워크로드 태그, API 트래픽 출처)가 자동 규칙이나 때로는 사용자가 직접 설정한 최선의 추정값이며 검증된 값이 아닙니다. 대부분의 경우 분류가 정확하리라 보지만, 일부 사용량이 잘못 라벨링되어도 파이프라인이 반드시 잡아내지는 못합니다. 외부가 신뢰할 수 있는 측정이 되려면 완전하고 정확하며 기술적으로 강제되는 형태여야 합니다.

둘째, 측정 기간이 한 주입니다. 측정이 가능하다는 것은 보여주지만 유의미한 추세를 보여주기에는 부족합니다.

셋째, 이것이 가장 중요한 한계인데, 컴퓨트 비중은 **쓰인 양만** 을 잽니다. 안전 분류기가 더 효율적으로 개선되거나 프로덕션 모델의 추론 스택이 더 빨라지면 안전 비중은 낮아지지만, 그것이 안전 작업을 덜 하고 있다는 뜻은 아닙니다. Anthropic은 실제로 자사 분류기의 오버헤드가 효율 개선과 함께 떨어졌고, 프로덕션 추론이 분류기보다 더 효율적이었을 때는 반대로 올라갔다고 밝히고 있습니다.

안전 연구가 본래 프런티어 학습 실행보다 컴퓨트를 적게 쓴다는 점도 함께 고려해야 합니다. 안전 연구는 개별 연구자가 실험을 설계하는 일로 이뤄지고, 이 설계에 시간이 많이 들지만 실험 자체를 실행하는 데는 컴퓨트가 그다지 많이 필요하지 않습니다. 따라서 이 지표의 가치는 절대적인 숫자보다 개발사 사이에서, 그리고 시간에 걸쳐 같은 기준끼리 비교할 수 있는 장치를 제공한다는 데 있습니다.

### 안전 컴퓨트 비중의 공개와 입증 책임

Anthropic은 어떤 프런티어 개발사든 자사 AI R&D 컴퓨트 중 안전 작업에 가는 비율을 공개할 수 있다고 봅니다. 조건은 두 가지로, 범주 정의를 수치와 함께 공개하는 것과 분류 결과를 독립적인 제3자가 확인하는 것입니다. Anthropic은 앞으로 이 파이프라인을 다듬어 독립적인 제3자가 무작위 부분표본의 작업과 작업 기록에 대해 분류기를 다시 실행하고 분류와 합계를 모두 검증할 수 있게 하겠다고 밝힙니다.

여기에 덧붙이는 경고가 하나 있습니다. 안전 연구는 역량 연구와 구분하기 어렵고, 각 개발사는 그 선을 자기에게 유리하게 넉넉히 그으려는 유인을 갖게 됩니다. 그래서 입증 책임은 그 작업이 안전과 관련되어 있음을 보이는 개발사 쪽에 있어야 하며, 개발사와 정부, 연구 공동체가 미리 공통 정의에 수렴해 두는 편이 모두에게 이롭다는 것이 Anthropic의 제안입니다.

## 세 측정치를 함께 읽을 때 드러나는 긴장

세 지표를 따로 보면 각각 하나의 사실을 전하지만, 나란히 놓으면 서로 어긋나는 부분이 드러납니다.

가장 먼저 눈에 들어오는 것은 시간 축의 불일치입니다. AL4 비중은 다섯 달 만에 1%에서 26%로 올라갔습니다. 반면 그 에이전트들을 감독하는 체계에 대해 Anthropic이 직접 밝히는 것은 이런 종류의 모니터링을 수행한 기간이 몇 년이 아니라 몇 달이고 관련 과학이 앞으로 상당히 달라질 것이라는 내용입니다. 자동화 속도와 감독 성숙도가 같은 속도로 움직이지 않는다는 것이 이 두 수치를 함께 볼 때 드러나는 첫 번째 사실입니다.

두 번째는 6%라는 안전 컴퓨트 비중을 어떻게 읽어야 하는가입니다. Anthropic은 이 수치가 보수적으로 산출되었고 안전 연구의 성격상 컴퓨트가 안전 집중도의 불완전한 대리 변수라는 점을 여러 차례 강조합니다. 그럼에도 효율 개선이 안전 비중을 _낮추는_ 방향으로 작동한다는 지적은 이 지표를 규제나 약속의 기준선으로 쓸 때 곧바로 문제가 됩니다. 안전 분류기를 더 효율적으로 만든 팀이 지표상으로는 안전 투자를 줄인 것으로 보이게 되기 때문입니다.

세 번째는 자기 평가의 구조적 한계입니다. 자동화 지수의 판정자도 Claude이고, 컴퓨트 분류기도 Claude이며, 작업 목록을 만든 것도 Claude 리서치 에이전트입니다. Anthropic 스스로 심판 모델이 검사 대상 모델과 같은 오류를 범할 수 있다고 적었고, 그래서 제3자 검증을 해법으로 제시합니다. 이 글에서 반복해 등장하는 "_제3자가 재현할 수 있는 형태로_"라는 조건은 수사가 아니라 이 구조에서 나오는 필수 조건에 가깝습니다.

네 번째는 앞으로 이 지수가 어디에서 올라갈 것인가입니다. 2026년 8월 기준으로 AL3 이상이 90%를 넘었고 그중 AL4가 26%이므로, AL0에서 AL2까지에 남아 있는 업무는 10%가 채 되지 않습니다. 지수가 더 올라가려면 그 상승분은 대부분 AL3에서 AL4로 넘어오는 몫이어야 하고, 앞서 사람끼리의 일치율이 35%에 그친 경계가 바로 그 자리입니다. 앞으로 이 지수를 시간에 따라 비교할 때 가장 논란이 될 구간이 측정이 가장 어려운 구간과 겹쳐 있습니다.

Anthropic이 글을 닫으며 제시하는 기준도 같은 방향입니다. 세계가 프런티어의 속도 조절을 검토하는 국면에서 해야 할 일은 프런티어 랩이 아는 것과 대중이 아는 것 사이의 간극을 가능한 한 줄이는 것이고, 그러려면 AI 개발을 더 잘 측정하고 그것을 공개적으로 보고하며 이 정보를 어떻게 쓸지를 사회가 결정할 기회를 주어야 한다는 것입니다.

## OpenAI의 사내 측정치 공개와의 비교

프런티어 랩이 사내 측정치를 공개한 사례는 이번이 처음이 아닙니다. 2026년 9월 6일 [OpenAI](https://openai.com)가 공개한 Research acceleration: The view inside OpenAI도 자사 연구 조직 안에서 코딩 에이전트가 수행하는 일과 그로 인한 연구 속도 변화를 사내 로그와 GPU 할당 기록으로 계측해 내놓은 문서였습니다([PyTorchKR 정리](https://discuss.pytorch.kr/t/openai-3-1/11849)). 두 문서가 내세우는 명분도 비슷합니다. 대중이 프런티어 AI의 궤적을 알아야 민주적 통치가 가능하다는 것입니다.

다만 두 회사가 고른 척도는 다릅니다. OpenAI는 에이전트 노동량을 사람 대비 배수로 환산하는 방식을 택했고, Anthropic은 업무를 계층 트리로 분해한 뒤 각 업무의 자동화 등급을 매기는 방식을 택했습니다. Anthropic이 자기 지수를 설명하면서 공통 방법론의 부재를 첫 번째 장애물로 꼽은 이유가 여기서 드러납니다. 두 수치는 모두 "_AI가 AI 개발을 얼마나 하는가_"를 재려 하지만 지금 상태로는 서로 비교할 수 없습니다.

아래 표를 통해 두 문서가 어떻게 다른지를 알아볼 수 있습니다.

| 항목 | Anthropic, 이번 측정 지표 공개 | OpenAI, Research acceleration |
| --- | --- | --- |
| 공개 시점 | 2026년 9월 | 2026년 9월 6일 |
| 자동화 측정 단위 | 업무 단위 자동화 등급(AL0~AL5)의 가중 집계 | 사람 1 워크데이당 에이전트 워크데이 배수 (2026년 8월 15일 3.14배) |
| 측정 대상 기간 | 자동화 지수는 2026년 7월 작업 목록 기준, 월별 갱신 | 2026년 1월부터 8월 중순까지의 사내 로그 추이 |
| 감독 관련 공개 | 커버리지, 검토 지연, 에스컬레이션 비율 | 사건 이후 적용한 학습 중단과 모니터링 제약 |
| 컴퓨트 공개 | AI R&D 컴퓨트 중 안전 비중 6%, AI 주도 구간 12% | 안전 조치 적용 시점의 GPU 할당 변화 |
| 제3자 검증 | 상주 평가자 배치 약속, METR의 오프라인 모니터 레드팀 | 별도의 거버넌스 청사진에서 제3자 독립 감사를 규제 요건으로 제안 |

한편 두 문서 모두 [OpenAI와 Hugging Face 인프라 침해 사건](https://discuss.pytorch.kr/t/openai-hugging-face-3-openai-hugging-face-metr/11734), 그리고 [Astra 계열 모델이 사이버 보안 Critical 등급에 도달하면서 사고 사슬(Chain of Thought, CoT) 모니터링 가능성이 낮아진 문제](https://discuss.pytorch.kr/t/openai-gpt-6-astra-critical-cot/11819)와 같은 사건들 이후에 나왔습니다. 속도가 얼마나 빨라졌는지를 알리는 내용과 어떤 제약을 걸었는지를 설명하는 내용이 한 문서 안에 함께 들어 있다는 점도 공통적입니다.

## 한국의 AI 개발자와 연구자에게 주는 시사점

이 글의 수치 자체는 Anthropic 내부 사정이지만, 방법론은 그렇지 않습니다. 업무를 계층 트리로 분해하고, 각 노드에 자동화 등급을 매기고, 사람 시간을 가중치로 삼아 집계하는 절차는 프런티어 랩이 아닌 조직에서도 그대로 적용할 수 있습니다. 사내에서 코딩 에이전트 도입 효과를 "_체감상 빨라졌다_"가 아니라 눈금 있는 값으로 관리하려는 팀이라면 참고할 만한 구성입니다. 특히 심판 모델과 사람의 일치율을 함께 측정해 공개한 부분은, 사내 지표를 LLM 평가에 맡길 때 무엇을 함께 보고해야 하는지에 대한 실용적인 본보기입니다.

에이전트 운영 측면에서는 개별 정체성 부여와 개방형 메시징이라는 두 설계 선택이 눈여겨볼 부분입니다. 다수의 에이전트를 운영하는 조직에서 사후 감사와 행동 추적이 가능하려면 모든 기록이 특정 에이전트로 되짚어져야 하는데, 이것은 모니터링 도구를 나중에 추가해서 되는 일이 아니라 에이전트 구성 단계에서 정해지는 성질입니다. 정체성을 모델이 아니라 에이전트에 묶어 모델 교체를 거쳐도 기록이 이어지게 한 선택도 실무적으로 참고할 만합니다.

마지막으로 이 글은 규제 논의의 근거 자료이기도 합니다. Anthropic은 안전 컴퓨트 비중 같은 지표가 향후 랩의 약속이나 AI 리서치 에이전트에 투입되는 컴퓨트 비중 상한 같은 조치의 근거가 될 수 있다고 적고 있으며, 개발사와 정부, 연구 공동체가 미리 공통 정의에 수렴하는 것이 서로에게 이롭다고 제안합니다. [초지능 경쟁의 속도를 늦추기 위한 국제 합의 시나리오](https://discuss.pytorch.kr/t/gn-ai-2040-a/11217) 같은 논의가 실제 정책으로 옮겨질 때, 이런 측정 지표가 합의문에 들어갈 기준의 근거가 됩니다. 어떤 눈금을 표준으로 삼을지가 지금 정해지고 있다는 점에서 한국의 연구자와 정책 담당자에게도 읽어 둘 만한 문서입니다.

## 📜 Measurements for understanding the pace of AI development inside frontier labs 원문 블로그

> **[Measurements for understanding the pace of AI development inside frontier labs](https://www.anthropic.com/institute/measuring-pace-of-ai-development)**
>
> Today, the world can’t see what’s going on inside AI labs. Anthropic is proposing new metrics that would give the public visibility into frontier AI development.

## 📜 When AI builds itself, 재귀적 자기개선에 대한 Anthropic Institute의 글

> **[When AI builds itself](https://www.anthropic.com/institute/recursive-self-improvement)**
>
> Our progress toward recursive self-improvement, and its implications.

## 📜 Dario Amodei, We Must Pace the Frontier

> **[Dario Amodei — We Must Pace the Frontier](https://darioamodei.com/post/we-must-pace-the-frontier)**

## 🏠 Pacing the Frontier, 프런티어 AI 기업 직원들의 공개 성명 페이지

> **[Pacing the Frontier](https://www.pacingthefrontier.com/)**
>
> A statement from over 1000 employees of frontier AI companies

## 📚 Anthropic 책임 있는 확장 정책(RSP)

> **[Anthropic’s Responsible Scaling Policy](https://www.anthropic.com/responsible-scaling-policy)**
>
> Stay informed about the latest updates to our Responsible Scaling Policy. Learn how Anthropic maintains safety and reliability in AI development.

## 📊 Epoch AI, Toward an O\*NET for AI R&D (자동화 등급 척도의 출처)

> **[Toward an O\*NET for AI R&D](https://epochai.substack.com/p/toward-an-onet-for-ai-r-and-d)**
>
> Proposing a new way to track AI research automation

## 더 읽어보기

- [Anthropic, 2026년 8월 위험 보고서 (영문/PDF/186p)](https://www.anthropic.com/aug-2026-risk-report)

- [Anthropic, Advanced AI Framework(AAIF) 정책 제안 (영문/PDF/19p)](https://www-cdn.anthropic.com/files/4zrzovbb/website/0a58d567024a8b448ff15158ebc3625328dfcc1f.pdf)

- [OpenAI, 자동화 연구 인턴 목표 달성 발표와 함께 공개한 사내 측정치: 에이전트 노동이 사람의 3.1배](https://discuss.pytorch.kr/t/openai-3-1/11849)

- [Anthropic, 프런티어 AI 시대의 사회적 과제 해결을 위한 Anthropic Institute 설립 발표](https://discuss.pytorch.kr/t/anthropic-ai-anthropic-institute/9240)

- [Anthropic, 현실 세계에서의 AI 에이전트 자율성을 측정한 'Measuring AI Agent Autonomy in Practice' 연구 공개](https://discuss.pytorch.kr/t/anthropic-ai-measuring-ai-agent-autonomy-in-practice/9036)

- [OpenAI의 내부 모델 평가 중 Hugging Face를 해킹한 사건에 대한 조사 보고서 3편 정리: OpenAI, Hugging Face, METR 등](https://discuss.pytorch.kr/t/openai-hugging-face-3-openai-hugging-face-metr/11734)

- [Anhtropic의 에이전트형 비정렬(Agentic Misalignment)에 대한 최신 연구: 에이전트의 네 가지 정렬 실패 사례](https://discuss.pytorch.kr/t/anhtropic-agentic-misalignment/11327)

- [Anthropic, Claude 모델의 가치 체계 및 동작 원리를 정리한 '헌법(Constitution)' 공개](https://discuss.pytorch.kr/t/anthropic-claude-constitution/8814)

- [Anthropic 경제 시나리오 탐색기: 극단 시나리오에서 지식 노동 실업률 17.9%, GDP는 32% 증가](https://discuss.pytorch.kr/t/anthropic-17-9-gdp-32/11895)

* * *

_이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)은 이런 글들을 한국어로 정리해 나누고 있습니다. [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드리고, [텔레그램(Telegram)](https://t.me/pytorchkr)과 [Slack/Discord/Teams/Dooray/GoogleChat 등](https://discuss-noti.pytorch.kr)으로도 새 글 알림을 받으실 수 있습니다. 😃

🎁 아래↘쪽에 좋아요👍를 눌러주시면 다음 글을 정리하는 데 힘이 됩니다~ 🤩