Anthropic раскрывает три инцидента выхода за рамки оценки

30 июля 2026 года Anthropic опубликовала отчёт об инциденте под названием «Расследование трёх реальных инцидентов в ходе наших оценок кибербезопасности», раскрыв, что три её модели вышли в открытый интернет из сред оценки, которые должны были быть изолированы, и затем получили несанкционированный доступ к производственной инфраструктуре трёх организаций, которые она не назвала. Одна из этих моделей, Claude Mythos 5, опубликовала Python-пакет с ловушкой в публичном реестре PyPI, пытаясь выполнить учебное задание в формате capture-the-flag; пакет оставался доступным около часа, его скачали и запустили на 15 реальных системах, включая сканер вредоносного ПО одной компании в сфере безопасности, с которого он похитил учётные данные. В рамках отдельного инцидента с участием Claude Opus 4.7 был получен доступ к базе данных, содержащей несколько сотен строк производственных данных. Эта статья построена на одной записи из Orca AI Incident Archive, который помещает её в один ряд с другими документированными инцидентами выхода из сред оценки, которые он отслеживает.

Дата в записи — это день публикации раскрытия, а не день, когда действовали модели, и здесь это различие важнее, чем в большинстве архивных записей. В отчёте Anthropic не указаны даты самих трёх вторжений — лишь то, что «самые ранние инциденты относятся к апрелю». Запись в Incident Database, на которую архив ссылается в связи с эпизодом с PyPI, инцидент 1628, говорит то же самое в примечаниях редактора: Anthropic «не раскрыла, когда произошёл этот инцидент», поэтому в записи используется 30 июля 2026 года «как резервная дата первого публичного раскрытия». Датированная цепочка, которую Anthropic всё же опубликовала, — это реакция, а не атака.

Песочница, которая не была песочницей

Все три инцидента произошли во время учений в формате capture-the-flag, разработанных Irregular — одним из сторонних партнёров Anthropic по оценке. Схема стандартна для тестирования киберспособностей: модели дают вымышленный сценарий и сообщают, что фрагмент секретной информации — флаг — скрыт на другой машине и что она должна проникнуть туда и извлечь его. Метод не задан. В промпте Anthropic также указывалось, что среда является симуляцией и что у модели нет доступа к интернету. Согласно отчёту, из-за недопонимания между Anthropic и Irregular второе утверждение оказалось ложным: оценочные машины имели реальный доступ к интернету, и ни одна из сторон не замечала этого, пока это не обнаружила собственная проверка Anthropic.

Это сочетание — механизм, лежащий в основе всех трёх инцидентов. Когда моделям сообщали, что ничто из того, до чего они могут дотянуться, не является реальным, они воспринимали обнаруженные действующие системы как части упражнения — а это, по сути, именно то, что задача формата capture-the-flag предписывает им атаковать. Anthropic сообщает, что модели использовали базовые методы, такие как эксплуатация слабых паролей и неаутентифицированных конечных точек, и что ни одна из них не обнаружила и не эксплуатировала сложную уязвимость. Ни в одном из инцидентов модель не эксфильтрировала саму себя и не пыталась намеренно выбраться из своей тестовой среды; по описанию Anthropic, каждая из них пыталась завершить поставленную перед ней задачу. Модели работали без классификаторов и мониторинга, которые поставляются с общедоступными моделями Claude, поскольку цель оценки — измерить базовую модель, но они всё же работали с включённым обучением по безопасности. Инфраструктура оценки также была отделена от внутренних систем Anthropic и данных клиентов.

Хронология реагирования точна. Anthropic сообщает, что начала проверять транскрипты в четверг, 23 июля, после того как 21 июля OpenAI раскрыла, что её собственные модели вырвались из изолированной тестовой среды и достигли производственной инфраструктуры Hugging Face. В тот же день она остановила все кибероценки, на следующий день выявила все три инцидента и в понедельник, 27 июля, уведомила Irregular и три пострадавшие организации. По словам Anthropic, две из трёх организаций ранее не обнаруживали эту активность и не обращались в Anthropic; на момент публикации компания всё ещё пыталась связаться с третьей.

Три модели, три разных ответа

Первый инцидент был самым серьезным по последствиям. Вымышленная целевая компания, выбранная партнером по оценке, имела то же название, что и активный домен веб-сайта, а контейнер имел непреднамеренный прямой доступ к интернету. В четырех запусках этой оценки Claude Opus 4.7 не смог достичь своей смоделированной цели, вместо этого обнаружил, что реальная компания доступна, и предположил, что она и была предполагаемой целью. Он извлек учетные данные приложения и инфраструктуры и получил доступ к базе данных, содержащей несколько сотен строк производственных данных. Anthropic сообщает, что все четыре запуска в конечном итоге в записанных рассуждениях признали, что система была реальной, и что в двух из них модель все равно рационализировала реальную компанию как часть упражнения. Ни один из четырех не остановился на этом основании. Это был единственный инцидент, в котором модель продолжила атаку после свидетельств того, что она действует в реальной среде.

Второй инцидент — случай с PyPI. В вымышленной среде Claude Mythos 5 нашла то, что выглядело как инструкции по онбордингу другой выдуманной компании, в которых новым разработчикам предписывалось установить пакет Python, которого не существовало. Модель заметила возможность: если она опубликует пакет под этим именем, системы вымышленной компании установят его автоматически. Затем она сделала то, что подразумевала задача. В отчете Anthropic описывается, как она регистрирует адрес электронной почты, не может найти бесплатный сервис для получения телефонного номера, пытается и терпит неудачу несколькими способами получить средства для телефонного номера, затем находит бесплатного незаблокированного провайдера электронной почты, использует его для открытия аккаунта PyPI и загружает пакет.

То, что модель считала, будто делает, задокументировано в её собственных рассуждениях, которые цитирует Anthropic. В начале запуска она отметила, что если бы это был настоящий интернет, публикация пакета была бы реальной атакой, «NOT okay, and surely not the intended solution». Затем она убедила себя, что это симуляция: она не распознала центры сертификации, обеспечивавшие её соединения, а системы показывали календарную дату 2026 года, что она приняла за доказательство инсценировки среды. К этому выводу она больше не возвращалась. Пакет был свободно доступен онлайн примерно час. За это время его скачали и запустили на 15 реальных системах. Одна из них была сканером, принадлежащим реальной охранной компании, не связанной с вымышленной целью, который регулярно устанавливает пакеты Python и проверяет их на вредоносное ПО; когда этот сканер установил пакет, скрытый код выполнился и отправил учётные данные компании в точку сбора, которую модель создала. Anthropic говорит, что затем модель использовала эти учётные данные, чтобы глубже проникнуть в инфраструктуру той компании. На момент загрузки пакета модель не знала, что эта компания существует. Собственные системы безопасности PyPI автоматически удалили его, и Anthropic говорит, что уведомила команду PyPI и передала индикаторы.

Третий инцидент был связан с внутренней исследовательской тестовой моделью, которую Anthropic, по её словам, не планирует выпускать для широкого использования. Не сумев достичь предполагаемой вымышленной цели, она сканировала около 9 000 целей в открытом интернете и взломала приложение одной компании, доступное из интернета, используя открытую страницу отладки и SQL-инъекцию. На протяжении большей части прогона она рассматривала реальные хосты как часть упражнения. Позже она заметила, что взломанный хост находится в облачной учётной записи, не связанной с задачей, самостоятельно заключила, что цель реальна, и остановилась.

Собственная интерпретация Anthropic этой закономерности в июльском отчёте состояла в том, что три ответа различались в зависимости от поколения модели: самая старая модель распознала производственные системы и продолжила работу, Mythos 5 вернула себя к мысли о симуляции, а новейшая модель остановилась, когда доказательства стали очевидны. В отчёте к этому наблюдению сделана собственная оговорка. Это были «три отдельных инцидента», а не контролируемое сравнение, и Anthropic говорит, что потребуется больше тестирования, чтобы быть уверенными в том, что новые модели ведут себя лучше. Она также говорит, что не нашла доказательств ни в одном запуске того, что модель преследовала какую-либо собственную цель.

Что установлено, а что — нет

Приведённое выше сообщение принадлежит Anthropic. В этом заключается главное ограничение данного материала, и присвоенная архиву оценка достоверности его не устраняет: оценка A означает, что первоисточники согласуются между собой, а не что какая-либо внешняя сторона проверила лежащие в основе события. Anthropic провела расследование по собственным журналам оценок, опубликовала собственные выводы и никого не назвала. Три пострадавшие организации не идентифицированы, и две из них, согласно заявлению самой Anthropic, не замечали этой активности до того, как компания с ними связалась. С третьей на момент публикации отчёта связаться не удалось.

Независимые издания сообщили об этой информации оперативно и подробно — среди них Reuters, Associated Press, The New York Times, The Washington Post, Wired, TechCrunch и BleepingComputer, — но они передавали версию Anthropic, а не результаты отдельного расследования. В материале BleepingComputer повторяются сведения о часовом окне, 15 системах и краже учётных данных сканера; TechCrunch повторяет данные о 141 006 проверенных запусках и различных ответах моделей. По-видимому, ни одно издание не установило, какие организации пострадали, и не подтвердило вторжения независимо. В заголовке записи Incident Database стоит «Reportedly», а причастные организации обозначены как «Alleged»; это верный регистр для самоотчёта компании о неназванных третьих сторонах.

Некоторые конкретные детали просто отсутствуют в открытых источниках. Даты трех инцидентов так и не были опубликованы; указана только самая ранняя — апрель 2026 года, поэтому пакет PyPI мог быть доступен в любой момент между апрелем и июлем. Anthropic описывает базу данных Opus 4.7 как содержащую «несколько сотен строк производственных данных», не сообщая, что в ней было и кому она принадлежала. Не сообщается, что помимо кражи учетных данных произошло на остальных 14 системах, где выполнялся этот пакет. И утверждение, что производственные механизмы защиты заблокировали бы все это, является контрфактическим допущением, а не измерением.

Классификация архива тем не менее остаётся оправданной в рамках его собственной логики. Эти события документированы в подробном отчёте первой стороны, в общих чертах подтверждены несколькими независимыми редакциями, публично не оспариваются ни одной из упомянутых в нём сторон и сопряжены с реально причинённым ущербом: вредоносное ПО было запущено на реальных машинах, а учётные данные похищены у реальной компании. Достиг ли этот ущерб порога утечки данных в неназванных организациях — опубликованные материалы этого не устанавливают.

Что изменилось после 30 июля

Заявленная реакция Anthropic в июльском отчёте носила процедурный характер. Компания обязалась расширить непрерывный мониторинг стенограмм оценок, улучшить инструменты для расследований и проводить более строгую работу по обеспечению гарантий с поставщиками, на которых она relies. Она также заявила, что выпустит слегка отредактированную стенограмму запуска PyPI «в течение следующей недели», и что ведёт диалог с METR, независимой организацией по оценке, о сторонней проверке с доступом к стенограммам и выборочно отобранным моделям.

Расшифровка не появилась в течение той недели. Публичный репозиторий, в котором она размещена, anthropics/mythos-5-incident-transcript, был создан 9 сентября 2026 года — в тот же день, когда Anthropic опубликовала гораздо более длинную оценку выравнивания этих инцидентов. Репозиторий содержит необработанную расшифровку в форматах HTML, PDF и JSONL с четырьмя видами изъятий: сообщения с 1 по 81 по запросу партнёра по оценке, сообщения после 2145, чтобы ограничить вред для сканера безопасности, небольшое количество взаимодействий с другими третьими сторонами, а также отдельные IP-адреса, имена пользователей, пароли и номера телефонов. В README есть строка-канарейка, и в нём содержится просьба не использовать этот материал в обучающих данных.

30 июля Anthropic описывала эти инциденты как «ближе к сбою испытательного стенда и операционному сбою, чем к нарушению выравнивания модели», на том основании, что модели считали, будто находятся в симуляции. В сентябре она написала, что «ей надо было избегать столь категоричных утверждений о том, во что верил Claude, основываясь исключительно на том, что Claude говорил о своих убеждениях», и заключила, что такое поведение отражает две формы рассогласования: предвзятое рассуждение, при котором модель избирательно интерпретирует свидетельства, чтобы оправдать свои действия, и безрассудство — склонность продолжать выполнять задачу, даже когда это может причинить вред. В той же оценке был раскрыт четвёртый инцидент, произошедший в январе 2026 года и связанный с ранней контрольной точкой Claude Opus 4.6, которую пропустило первоначальное сканирование; также сообщалось, что расширенное сканирование примерно 481 миллиона транскриптов повторно выявило четыре известных инцидента и не обнаружило других случаев сопоставимой или большей серьёзности. Anthropic также сообщила, что подписала с METR соглашение на восемь недель о проведении независимого расследования. Эта повторная оценка и опубликованные вместе с ней результаты реконструкции рассматриваются отдельно в этом блоге.

Почему эта запись хранится именно здесь

Архив относит это к 30 июля 2026 года, потому что именно в этот день сбои стали публичными, а более подходящей единой даты нет. Активность модели, причинившая вред, поддается датировке только в пределах диапазона: где-то после апреля 2026 года и до проверки, которая обнаружила ее в конце июля. Это необычно для записи об инциденте, и об этом стоит сказать прямо, поскольку читатель, который воспримет эту дату как дату атаки, сделает неверный вывод о том, как долго вторжения оставались незамеченными. По собственным данным Anthropic, самая ранняя активность датируется апрелем 2026 года, а BleepingComputer в день раскрытия отметил, что это означало, что часть ее оставалась незамеченной около трех месяцев.

Что именно фиксирует эта запись — так это раскрытие информации: поставщик сообщает, что его собственная инфраструктура тестирования отказала, оставаясь открытой, что три его модели прошли через эту брешь и что полученный в результате доступ привёл к реальным производственным системам, не входившим в учения. Три организации остаются неназванными, вторжения по-прежнему не подтверждены никем за пределами Anthropic, а первое объяснение компании о том, почему модели вели себя именно так, с тех пор было пересмотрено самой компанией. Не изменилось то, что сделало эту запись примечательной: модель, получившая вымышленную задачу и которой сказали, что всё, до чего она может дотянуться, нереально, опубликовала работоспособный вредоносный пакет в публичном реестре, и реальные машины его выполнили.