Абстрактная тёмная иллюстрация: длинный горизонтальный луч света пересекает поле мелких точек и заканчивается у узких вертикальных врат.
AI Safety Incidents

Anthropic измерила автономность агентов — и выступила против обязательных согласований.

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

18 февраля 2026 года команда Societal Impacts компании Anthropic опубликовала материал «Измерение автономности ИИ-агентов на практике» — анализ 998 481 вызова инструментов через её публичный API и 500 000 интерактивных сессий Claude Code — и завершила его рекомендацией, адресованной законодателям: правила надзора не должны предписывать конкретные схемы взаимодействия, включая требование, чтобы человек одобрял каждое действие агента. Публикация представляет собой исследовательский отчёт, а не официально поданный документ, но она внесена в архив инцидентов как запись о политике — информация о серьёзности, уровень уверенности A, зафиксированного вреда нет, не оспаривается — поскольку поставщик модели использовал собственную первичную телеметрию, чтобы утверждать, что одна распространённая схема регулирования «создаст дополнительную нагрузку, не обязательно обеспечивая выгоды для безопасности». Полная запись вместе с её первоисточником и классификацией находится в Orca AI Incident Archive, наряду с другими записями серии, посвящёнными управлению.

В отчете указаны двадцать поименно названных участников, среди них Miles McCain, Thomas Millar, Saffron Huang, Alex Tamkin, Jack Clark и Deep Ganguli. Он опирается на Clio — инструмент Anthropic для анализа с сохранением конфиденциальности, который, как отмечается в публикации, позволил компании изучать реальный клиентский трафик, не читая лежащие в его основе беседы. Эта методология составляет суть материала: каждое число ниже — это измерение того, что люди делали с агентами, а не того, что, по словам бенчмарка, агенты способны делать.

Что измерила Anthropic и как

Anthropic определяет агента как «ИИ-систему, оснащённую инструментами, которые позволяют ей совершать действия» — запускать код, вызывать внешние API, обмениваться сообщениями с другими агентами. Это определение задаёт единицу анализа. Вместо того чтобы пытаться реконструировать архитектуру агента каждого клиента, которую, по словам компании, она не может видеть, она подсчитывала отдельные вызовы инструментов и контекст вокруг них.

Два источника данных жертвуют широтой ради глубины. Трафик публичного API даёт Anthropic видимость тысяч клиентов, но лишь на уровне изолированных вызовов инструментов; компания говорит, что у неё «нет надёжного способа связать независимые запросы к нашему API в „сессии“ агентной активности». Claude Code даёт полные сессии — что вызвало остановку, как долго работал Claude, когда вмешался человек, — но это единственный продукт, используемый преимущественно для разработки ПО. Выводы об автономности получены в основном из Claude Code; выводы о рисках и предметных областях — из выборки API.

Продолжительность хода — время, прошедшее между началом работы Claude и её остановкой, — это используемый в статье прокси-показатель автономности. Anthropic прямо признаёт, что этот прокси-показатель несовершенен: более быстрые модели и параллельные субагенты сокращают ходы, более амбициозные задачи удлиняют их, а пользовательская база примерно удвоилась в период с января до середины февраля 2026 года, изменив состав выборки.

Цифры, которые отчёт официально фиксирует

Это цифры, которые публикует Anthropic, приведённые в том виде, как они указаны в отчёте.

• Длительность хода Claude Code на 99,9-м процентиле почти удвоилась: с менее чем 25 минут в конце сентября 2025 года до более чем 45 минут в начале января 2026 года.

• Медианное время хода оставалось около 45 секунд, колеблясь между 40 и 55 секундами, и почти каждый процентиль ниже 99-го был стабильным.

• Внутри Anthropic доля успешных выполнений Claude Code сложнейших задач внутренних пользователей удвоилась в период с августа по декабрь 2025 года, а среднее число вмешательств человека за сессию снизилось с 5,4 до 3,3.

• Новые пользователи, у которых было менее 50 сессий, использовали полное автоодобрение примерно в 20% сессий; к 750 сессиям этот показатель вырос до более 40%.

• Прерывания сместились в обратную сторону: пользователи с примерно 10 сессиями прерывали Claude в 5% ходов, опытные пользователи — примерно в 9%.

• Claude Code запрашивал уточнения более чем в два раза чаще при выполнении {{1}}самых сложных задач{{/1}}, чем при выполнении {{2}}задач минимальной сложности{{/2}}, а на этих сложнейших задачах он останавливался, чтобы задать вопрос, более чем в два раза чаще, чем люди прерывали его.

• В выборке API 80% вызовов инструментов исходили от агентов, которые, судя по всему, имели хотя бы одну защитную меру, 73% — имели человека в контуре, а 0,8% выглядели необратимыми, например отправка электронного письма клиенту.

• На программную инженерию приходилось почти 50% вызовов API-инструментов; ни одна другая предметная область не превысила нескольких процентных пунктов.

Table of Anthropic's published figures: 99.9th-percentile Claude Code turn under 25 minutes rising to over 45 minutes, median turn about 45 seconds, internal interventions 5.4 to 3.3, auto-approve about 20 percent to over 40 percent, interrupt rate 5 percent to about 9 percent

Обнаруженный эффект, который Anthropic называет «deployment overhang»

Рост в хвосте распределения происходит плавно от релиза к релизу моделей. «Если бы автономность была чисто функцией возможностей модели, мы ожидали бы резких скачков с каждым новым запуском, — утверждается в посте, — поэтому равномерность указывает на то, что доверие накапливается с опытом, предпринимаются более сложные задачи, а продукт улучшается». Его вывод состоит в том, что существующие модели «способны на большую автономность, чем проявляют на практике», — этот разрыв в отчете называют deployment overhang.

Anthropic противопоставляет этому внешнее тестирование возможностей, ссылаясь на оценку METR, согласно которой Claude Opus 4.5 при 50%-ной вероятности успеха может выполнять задачи, на которые у человека ушло бы почти пять часов, тогда как собственный ход Claude Code на уровне 99,9-го процентиля составляет около 42 минут. Затем компания отказывается от этого сравнения: METR измеряет сложность задачи в идеализированных условиях без участия человека, тогда как длительность хода измеряет прошедшее время в среде развёртывания, где Claude делает паузы, а пользователи прерывают работу. Сноска прямолинейна: «мы не пытаемся рассуждать на основе этих показателей». Сопоставление носит иллюстративный характер, а не является измеренным множителем, и его не следует приводить в качестве такового.

Парадокс надзора, лежащий в центре аргумента

Опытные пользователи реже одобряют и чаще прерывают. Anthropic рассматривает это сочетание как изменение стратегии надзора, а не отказ от него: новички одобряют каждый шаг и поэтому редко нуждаются в том, чтобы останавливать Claude в процессе работы, тогда как опытные пользователи позволяют Claude работать и вмешиваются, когда что-то идёт не так. Данные API указывают на то же — 87% вызовов инструментов при задачах минимальной сложности сопровождались той или иной формой участия человека, против 67% при задачах высокой сложности.

В отчёте прямо признаётся, что сохраняются и другие объяснения. В его собственной сноске отмечается, что опытные пользователи могут просто браться за более сложные задачи, что настройки Claude Code по умолчанию подталкивают новых пользователей к надзору на основе одобрений, и что программное обеспечение необычайно хорошо поддаётся контролю, поскольку результаты можно тестировать и проверять; в областях, где проверка работы агента требует той же квалификации, что и её выполнение, этот сдвиг «может быть медленнее или принимать иную форму».

Table comparing newer and experienced Claude Code users: full auto-approve about 20 percent to over 40 percent of sessions, human interruptions 5 percent to about 9 percent of turns, and API human involvement 87 percent on minimal-complexity tasks against 67 percent on high-complexity tasks

Аргумент в пользу политики — и что он требует

Рекомендации Anthropic делятся на три группы. Разработчикам моделей и продуктов следует инвестировать в мониторинг после развертывания, поскольку оценки до развертывания не позволяют увидеть, как люди на самом деле взаимодействуют с агентами. Разработчикам моделей следует обучать модели распознавать собственную неопределенность и сообщать о ней — свойство, которое, по словам отчета, «дополняет внешние механизмы защиты, такие как процессы человеческого утверждения и ограничения доступа». Разработчикам продуктов следует проектировать системы с расчетом на надзор — видимость того, что делает агент, плюс простые способы перенаправить его.

Раздел, адресованный лицам, формирующим политику, — это то, что делает данный документ частью системы управления. Под заголовком «Слишком рано предписывать конкретные модели взаимодействия» Anthropic пишет, что «требования к надзору, которые предписывают конкретные модели взаимодействия, например требуют, чтобы люди одобряли каждое действие, создадут трение, но не обязательно принесут пользу для безопасности», и что основное внимание следует уделять «тому, способны ли люди эффективно наблюдать и вмешиваться, а не тому, требуются ли конкретные формы участия».

Отраслевая пресса подхватила именно эту подачу. Публикация Inside AI Policy от 20 февраля 2026 года вышла с заголовком о том, что Anthropic призывает к осторожности в отношении мандатов по надзору; Inside Cybersecurity 24 февраля последовала тому же углу. Ни одну из публикаций нельзя было прочитать полностью без подписки, и ни одна из них не анализировала исходные данные.

Что подтверждается, а что нет

Публикация и её ключевые цифры подтверждены. GIGAZINE сообщил об исследовании 19 февраля 2026 года, на следующий день после публикации, повторив данные о хвосте длительностью 25–45 минут, сдвиге автоматического одобрения с 20% до 40%, снижении числа вмешательств с 5,4 до 3,3 и доле необратимых действий в 0,8%. Digital Watch Observatory обобщил его 20 февраля 2026 года, как и Inside AI Policy. Подтверждение относится к тому, что заявила Anthropic, а не к тому, правда ли это: ни одна внешняя сторона не проводила аудит 998 481 классифицированного вызова инструментов, и Anthropic не раскрывает набор данных.

Эту асимметрию стоит назвать, не преувеличивая её. Поставщик, который измеряет собственный продукт и приходит к выводу, что бремя соблюдения требований должно ложиться на мониторинг, а не на одобрение каждого действия, пришёл к выводу, удобному для продаваемого им продукта. Anthropic сам указывает большинство структурных ограничений — в разделе об ограничениях, который на удивление прямолинеен. Но воспроизводимость не входит в число того, что он может исправить, пока исходные данные остаются закрытыми, и ни один независимый орган не проверил классификации.

Пределы, которые указывает сама Anthropic

• Анализ охватывает одного поставщика моделей. Агенты, созданные на других моделях, могут демонстрировать иные модели внедрения и профили рисков.

• Классификации риска, автономности и участия человека были сгенерированы Claude. Anthropic сообщает, что ограничения конфиденциальности не позволили провести ручную проверку исходных данных, и что её оценку участия человека следует рассматривать как верхнюю границу.

• Выборка на уровне отдельных вызовов инструментов завышает представленность развёртываний с множеством последовательных вызовов, например рабочих процессов разработки ПО с многократными правками файлов.

• Классификации не позволяют отличить действия в производственной среде от оценок или ред-тиминга. Несколько наиболее рискованных кластеров, как отмечается в отчёте, «по-видимому, являются оценками безопасности», и он полагает, что многие кажущиеся утечки данных на самом деле являются тестами.

• Проверка человеком после API остаётся невидимой, поэтому у агента, который на уровне вызовов инструментов выглядит автономным, может быть человек, проверяющий его выходные данные.

• Речь идёт о периоде с конца 2025 до начала 2026 года, а наиболее убедительные выводы получены из Claude Code, который в подавляющей степени является продуктом для разработки программного обеспечения.

Table of findings and caveats: software engineering nearly 50 percent of API tool calls, 73 percent with a human in the loop, highest-risk cluster rated 6.0 risk and 8.0 autonomy, Anthropic-only data, no inspection of raw data under privacy constraints

Что изменилось после этого

В архиве не зафиксировано ни ущерба, ни исправления, ни спора, и это точное описание: это измерение и аргумент, а не инцидент с последующим устранением. Anthropic заявляет, что со временем расширит анализ, и призывает к межотраслевой работе по связыванию API-запросов в сессии с сохранением конфиденциальности. В публикации также отмечается, что такие продукты, как Cowork, делают агентов более доступными, что, как ожидается, будет раздвигать границу риска и автономности дальше. В материалах, рассмотренных для этой статьи, ни один регулятор не принял, не отклонил и формально не отреагировал на рекомендацию против одобрения каждого действия.

Долговечный вывод уже, чем цифры в заголовках. Аргумент Anthropic против обязательного пошагового утверждения опирается на измерение, которое, по её собственному признанию, сейчас может провести только поставщик модели, располагающий данными сессий из первых рук, — и даже Anthropic говорит, что не может связать сторонний API-трафик с сессиями. Пока такой инфраструктуры не существует, рекомендация для политики опирается на инструмент одной компании, применённый к клиентам одной компании, за одну зиму. Это не делает вывод ошибочным. Это делает его измерением поставщика, и ссылаться на него следует именно так.

© 2026 OrcaRouter