Anthropic, 에이전트 자율성을 측정하다 — 그리고 승인 의무화에 반대하다

2026년 2월 18일, Anthropic의 Societal Impacts 팀은 공개 API를 통해 이루어진 998,481건의 도구 호출과 500,000건의 대화형 Claude Code 세션을 분석한 ‘실무에서의 AI 에이전트 자율성 측정’을 발표했으며, 입법자들을 겨냥한 권고로 글을 맺었다: 감독 규칙은 특정 상호작용 패턴을 규정해서는 안 되며, 여기에는 에이전트가 취하는 모든 행동을 사람이 승인하도록 요구하는 것도 포함된다. 이 글은 법적 제출물이 아니라 연구 보고서이지만, 한 모델 공급업체가 자사 퍼스트파티 텔레메트리를 사용해 일반적인 규제 설계 하나가 ‘반드시 안전 편익을 낳지는 않으면서 마찰을 만들 것’이라고 주장했기 때문에, 사건 아카이브에 정책 기록으로 기록되어 있다 — 심각도 정보, 신뢰도 A, 기록된 피해 없음, 이견 없음. 전체 기록은 1차 출처와 분류를 포함해 Orca AI Incident Archive에 시리즈의 다른 거버넌스 항목들과 함께 수록되어 있다.

이 보고서에는 이름이 명시된 20명의 기여자가 있으며, 그중에는 Miles McCain, Thomas Millar, Saffron Huang, Alex Tamkin, Jack Clark, Deep Ganguli가 있다. 이 보고서는 Anthropic의 프라이버시 보호 분석 도구인 Clio를 활용하는데, 게시물은 이 도구 덕분에 회사가 기저 대화를 읽지 않고도 실제 고객 트래픽을 연구할 수 있었다고 평가한다. 그 방법론이 이 글의 핵심이다. 아래의 모든 수치는 벤치마크가 에이전트에게 할 수 있다고 말하는 능력이 아니라, 사람들이 에이전트로 실제로 무엇을 했는지를 측정한 값이다.

Anthropic이 측정한 것과 그 방법

Anthropic은 에이전트를 "행동을 취할 수 있게 해주는 도구를 갖춘 AI 시스템"으로 정의한다. 여기에는 코드 실행, 외부 API 호출, 다른 에이전트와의 메시징이 포함된다. 이 정의는 분석 단위를 정한다. 회사가 볼 수 없다고 말하는 각 고객의 에이전트 아키텍처를 재구성하려 하기보다, 개별 도구 호출과 그 주변의 맥락을 세었다.

두 데이터 소스는 넓이와 깊이를 맞바꾼다. 공개 API 트래픽은 Anthropic에 수천 명의 고객에 걸친 가시성을 제공하지만, 고립된 도구 호출 수준에 불과하다. 회사는 “API에 대한 개별 요청을 에이전트 활동의 ‘세션’으로 연관 지을 신뢰할 만한 방법이 없다”고 말한다. Claude Code는 완전한 세션을 제공한다 — 무엇이 중단을 촉발했는지, Claude가 얼마나 오래 작업했는지, 언제 사람이 개입했는지 — 하지만 그것은 압도적으로 소프트웨어 엔지니어링에 사용되는 단일 제품이다. 자율성 관련 결과는 대부분 Claude Code에서 나오고, 위험 및 도메인 관련 결과는 API 샘플에서 나온다.

턴 지속 시간, 즉 Claude가 작업을 시작한 뒤 멈출 때까지 걸린 경과 시간은 논문에서 자율성을 대신하는 지표로 사용된다. Anthropic은 이 대리 지표가 불완전하다고 분명히 밝힌다. 더 빠른 모델과 병렬 하위 에이전트는 턴을 단축하고, 더 야심찬 작업은 턴을 길게 하며, 사용자 기반이 2026년 1월과 2월 중순 사이에 대략 두 배로 늘어나 표본에 포함되는 사람들이 달라졌기 때문이다.

보고서가 공식 기록으로 남기는 수치들

이것은 Anthropic이 공개하는 수치이며, 보고서에 명시된 그대로 제시된 것입니다.

• Claude Code 턴의 99.9번째 백분위수는 2025년 9월 말 25분 미만에서 2026년 1월 초 45분 이상으로 거의 두 배로 늘었다.

• 턴의 중앙값은 약 45초에 머물렀고, 40초에서 55초 사이에서 변동했으며, 99번째 백분위수 미만의 거의 모든 백분위수가 안정적이었습니다.

• Anthropic 내부에서 Claude Code의 내부 사용자들의 가장 어려운 과제에 대한 성공률은 2025년 8월과 12월 사이에 두 배로 증가한 반면, 세션당 평균 인간 개입 횟수는 5.4회에서 3.3회로 감소했습니다.

• 세션이 50회 미만인 신규 사용자는 약 20%의 세션에서 전체 자동 승인을 사용했으며, 750회 세션에 이르면 그 비율은 40% 이상으로 상승했습니다.

• 중단은 반대 방향으로 나타났습니다. 약 10회의 세션을 가진 사용자는 전체 턴의 5%에서 Claude를 중단했고, 숙련 사용자는 약 9%였습니다.

• Claude Code는 가장 복잡한 작업에서 최소 복잡도 작업보다 두 배 이상 자주 명확화를 요청했으며, 그 가장 어려운 작업에서는 인간이 중단한 횟수보다 두 배 이상 자주 멈춰서 질문했습니다.

• API 샘플에서 도구 호출의 80%는 최소 하나의 안전장치를 갖춘 것으로 보이는 에이전트에서 비롯되었고, 73%는 인간 개입이 있는 것으로 보였으며, 0.8%는 고객에게 이메일을 보내는 것처럼 되돌릴 수 없는 것으로 나타났습니다.

• 소프트웨어 엔지니어링이 API 도구 호출의 거의 50%를 차지했으며, 그 외 다른 도메인은 몇 퍼센트 포인트를 넘지 못했습니다.

Anthropic이 ‘배포 오버행(deployment overhang)’이라고 부르는 발견

꼬리 부분의 상승은 모델 릴리스 전반에 걸쳐 매끄럽다. "자율성이 순전히 모델 역량의 함수라면, 우리는 새로운 출시마다 급격한 도약을 기대했을 것이다"라고 그 글은 주장한다. 따라서 이러한 꾸준함은 경험이 쌓이면서 신뢰가 축적되고, 더 어려운 과제가 시도되며, 제품이 개선되고 있음을 시사한다. 그 결론은 기존 모델이 "실제로 발휘하는 것보다 더 많은 자율성을 발휘할 수 있다"는 것이다. 이는 보고서가 배포 오버행이라고 부르는 격차이다.

Anthropic은 이를 외부 역량 테스트와 대비시키며, METR의 추정치를 인용한다. Claude Opus 4.5가 50% 성공률로 인간이 거의 5시간 걸릴 작업을 완료할 수 있다는 것이다. 반면 자사 Claude Code 턴의 99.9백분위수는 약 42분이다. 그러고 나서는 그 비교를 거둔다. METR은 인간이 개입하지 않는 이상화된 환경에서 작업 난이도를 측정하는 반면, 턴 지속 시간은 Claude가 멈추고 사용자가 개입하는 배포 환경에서 경과 시간을 측정한다. 각주는 단호하다. "우리는 이 지표들을 넘나들며 추론하려고 시도하지 않는다." 이 병치는 예시적일 뿐 측정된 배수가 아니며, 그렇게 인용되어서는 안 된다.

논쟁의 중심에 있는 감독의 역설

숙련된 사용자는 승인을 덜 하고 더 자주 중단합니다. Anthropic은 이 조합을 감독을 포기한 것이 아니라 감독 전략의 변화로 봅니다. 신규 사용자는 각 단계를 승인하므로 Claude가 실행 중인 도중에 중단해야 할 일이 거의 없지만, 숙련된 사용자는 Claude가 작업하도록 두고 문제가 생기면 개입합니다. API 데이터도 같은 방향을 가리킵니다 — 최소 복잡도 작업에서 도구 호출의 87%에는 어떤 형태로든 인간이 관여한 반면, 고복잡도 작업에서는 67%였습니다.

보고서는 다른 설명들도 여전히 성립한다는 점을 솔직히 인정한다. 보고서 자체의 각주에서는 숙련 사용자들이 단순히 더 어려운 작업을 시도하고 있을 수 있고, Claude Code의 기본 설정이 신규 사용자를 승인 기반 감독 쪽으로 유도하며, 소프트웨어는 산출물을 테스트하고 검토할 수 있기 때문에 감독에 유난히 적합하다고 지적한다. 에이전트의 작업을 확인하는 데 그것을 생산할 때와 같은 전문성이 필요한 영역에서는 이러한 변화가 "더 느리거나 다른 형태로 나타날 수 있다."

정책적 논거, 그리고 그것이 요구하는 바

Anthropic의 권고 사항은 세 그룹으로 나뉩니다. 모델 및 제품 개발자는 배포 후 모니터링에 투자해야 합니다. 배포 전 평가로는 사람들이 에이전트와 실제로 어떻게 상호작용하는지 알 수 없기 때문입니다. 모델 개발자는 모델이 자신의 불확실성을 인식하고 이를 드러내도록 훈련해야 하며, 보고서는 이 속성이 "인간 승인 흐름 및 접근 제한과 같은 외부 안전장치를 보완한다"고 말합니다. 제품 개발자는 감독을 염두에 두고 설계해야 합니다. 즉, 에이전트가 무엇을 하고 있는지에 대한 가시성과 이를 간단히 방향 전환할 수 있는 방법을 제공해야 합니다.

정책입안자들을 대상으로 한 섹션이 바로 이 문서를 거버넌스 기록으로 만드는 부분이다. Anthropic은 "특정 상호작용 패턴을 의무화하기에는 너무 이르다"라는 제목 아래에서 "인간이 모든 행동을 승인하도록 요구하는 것과 같이 특정 상호작용 패턴을 규정하는 감독 요건은 반드시 안전상 이점을 낳지는 않으면서 마찰을 일으킬 것"이라고 쓰고, 초점은 "특정한 참여 방식을 요구하는 것이 아니라 인간이 효과적으로 모니터링하고 개입할 수 있는 위치에 있는지 여부에 두어야 한다"고 밝힌다.

업계 전문지 보도는 바로 그 프레이밍을 그대로 받아들였다. Inside AI Policy의 2026년 2월 20일 보도는 Anthropic이 감독 의무에 대해 신중을 촉구했다는 내용을 중심으로 제목을 달았고, Inside Cybersecurity는 2월 24일 같은 각도로 후속 보도했다. 두 매체 모두 구독 없이는 전문을 읽을 수 없었고, 어느 쪽도 기초 데이터를 검토하지 않았다.

무엇이 입증되었고, 무엇이 입증되지 않았는가

논문 발표와 그 핵심 수치는 교차 확인되었다. GIGAZINE은 발표 다음 날인 2026년 2월 19일 이 연구를 보도하며 25~45분에 이르는 꼬리, 자동 승인 비율이 20%에서 40%로 변한 것, 개입이 5.4에서 3.3으로 감소한 것, 0.8%의 비가역적 비중을 그대로 전했다. Digital Watch Observatory는 2026년 2월 20일 이를 요약했고, Inside AI Policy도 마찬가지였다. 이 교차 확인은 Anthropic이 말한 내용에 대한 것이지 그것이 사실인지에 대한 것은 아니다. 외부 주체는 998,481건의 분류된 도구 호출을 감사한 적이 없으며, Anthropic은 데이터셋을 공개하지 않는다.

그 비대칭성은 과장하지 않으면서도 짚고 넘어갈 가치가 있다. 자사 제품을 스스로 측정하고, 준수 부담이 개별 행동 승인보다 모니터링에 있어야 한다고 결론 내린 판매자는 자기가 파는 제품에 편리한 결론에 도달한 것이다. Anthropic은 이례적으로 직접적인 한계 섹션에서 구조적 한계 대부분을 스스로 밝히고 있다. 그러나 원시 데이터가 비공개로 남아 있는 동안 재현성은 회사가 해결할 수 있는 항목이 아니며, 어떤 독립 기관도 그 분류를 검증하지 않았다.

Anthropic이 스스로 밝히는 한계

• 이 분석은 하나의 모델 제공자를 다룹니다. 다른 모델로 구축된 에이전트는 다른 채택 패턴과 위험 프로필을 보일 수 있습니다.

• 위험, 자율성 및 인간 개입 분류는 Claude가 생성했습니다. Anthropic은 개인정보 보호 제약 때문에 기반 데이터를 수동으로 검사할 수 없었으며, 인간 개입 추정치는 상한으로 해석해야 한다고 밝혔습니다.

• 개별 도구 호출 단위로 샘플링하면 파일 편집이 반복되는 소프트웨어 엔지니어링 워크플로처럼 순차 호출이 많은 배포가 과대 대표됩니다.

• 이 분류들은 실제 운영상의 행동을 평가나 레드팀 활동과 구분할 수 없다. 보고서에 따르면 가장 위험도가 높은 클러스터 중 여러 개는 "보안 평가로 보이며", 보고서는 겉보기에 데이터 유출로 보이는 사례 중 상당수가 테스트라고 본다.

• API 하류에서 이루어지는 사람의 검토는 보이지 않기 때문에, 도구 호출 수준에서는 자율적으로 보이는 에이전트라도 그 출력을 확인하는 사람이 있을 수 있습니다.

• 이 시기는 2025년 말부터 2026년 초까지이며, 가장 강력한 발견은 압도적으로 소프트웨어 엔지니어링 제품인 Claude Code에서 나옵니다.

그 후 무엇이 달라졌나요?

아카이브에는 피해도, 수정 조치도, 분쟁도 기록되어 있지 않으며, 그것이 정확한 설명이다. 이는 측정과 논쟁이지, 교정 조치가 수반된 사건이 아니다. Anthropic은 시간이 지나면서 분석을 확장할 것이라고 말하며, API 요청을 프라이버시 보호 방식으로 세션에 연결하는 작업을 업계 전반에서 수행할 것을 촉구한다. 이 게시물은 또한 Cowork 같은 제품이 에이전트를 더 접근하기 쉽게 만들고 있다고 지적하며, 이것이 위험과 자율성의 최전선을 더 바깥으로 밀어낼 것으로 예상한다. 이 기사를 위해 검토한 보도에서는 어떤 규제 기관도 조치별 승인에 반대하는 권고를 채택하거나 거부하거나 공식적으로 응답하지 않았다.

남는 핵심은 헤드라인 수치보다 좁다. 단계별 승인을 의무화하는 것에 반대하는 Anthropic의 주장은, Anthropic 스스로 인정하듯 현재로서는 자사(1차) 세션 데이터를 가진 모델 제공자만이 할 수 있는 측정에 근거한다. 그리고 Anthropic조차 제3자 API 트래픽을 세션으로 연결할 수 없다고 말한다. 그 인프라가 존재하기 전까지, 이 정책 조언은 한 회사의 도구가 한 회사의 고객에게 한 번의 겨울 동안 적용된 것에 근거한다. 그렇다고 그 발견이 틀린 것은 아니다. 그것은 공급업체의 측정일 뿐이며, 그렇게 인용되어야 한다.