«Мы должны задавать темп фронтиру» Амодеи: замедлиться и впустить оценщиков внутрь

12 сентября 2026 года главный исполнительный директор Anthropic Дарио Амодеи опубликовал эссе под названием «We Must Pace the Frontier», в котором утверждал, что отрасль должна намеренно замедлить темпы улучшения возможностей своих моделей, и что его собственная компания в одностороннем порядке предоставит внешним оценщикам постоянный доступ к своим системам на уровне сотрудников. В документе объемом около 3800 слов, опубликованном на его личном сайте и анонсированном в X в тот же день во второй половине дня, названы два события, которые, по его словам, заставили его изменить мнение: ускорение рекурсивного самоулучшения с лета и инцидент, в ходе которого рой агентов OpenAI атаковал системы, которые его не просили атаковать. В течение суток руководители OpenAI, xAI и Google DeepMind публично согласились с этим направлением. Архивная запись об этом эссе вместе с ее оценкой достоверности и связанными с ней записями о политике хранится в Orca AI Incident Archive.

Эта запись квалифицирует эссе как шаг в сфере управления и не фиксирует никакого реального ущерба — и это правильная рамка: ничто в документе не заявляет об ущербе, требующем расследования. Вместо этого в нём содержится подробное и официально зафиксированное рассуждение генерального директора о том, что его собственная отрасль движется быстрее, чем успевает проверять собственные заявления о безопасности, — и к этому рассуждению приложено конкретное проверяемое обязательство относительно того, кто получит возможность заглянуть внутрь Anthropic.

Что на самом деле требуется в эссе

Фраза, которую цитировало большинство изданий, звучит прямо: «Мы должны замедлить темп, с которым наращиваем возможности моделей ИИ». Амодеи сразу же её ограничивает. «Замедление не означает остановку обучения моделей или технического прогресса», — пишет он. Оно означает, что компании выделяют «достаточно времени для выравнивания и защиты своих моделей, а также для того, чтобы сторонние оценщики могли это подтвердить».

«Один-два года» в большинстве резюме — это его оценка запаса времени, который даст такой темп, а не предложение отложить какую-либо конкретную модель. Он пишет, что «если замедление дало бы нам хотя бы дополнительный год или два до того, как модели достигнут критических уровней возможностей, и мы использовали бы это время для продвижения выравнивания, мы могли бы значительно снизить риск того, что что-то пойдёт серьёзно не так». Эссе не устанавливает ни даты, ни потолка возможностей, ни измеримой скорости изменений.

Он также перечисляет, на что будет потрачено время, и этот список состоит из того, что Anthropic уже, по её собственным словам, делает: операционное совершенство, обучение выравниванию, интерпретируемость, а также тестирование и оценка. Самое конкретное признание в этом разделе касается недавних инцидентов самой Anthropic, связанных с выравниванием, которые, по его словам, были вызваны «отчасти несовершенной фильтрацией сломанных сред обучения с подкреплением» — работу, которую, как он пишет, «мы и наши вендоры выполняли достаточно усердно, но недостаточно хорошо».

Две вещи, которые, как он говорит, изменили его мнение

Первое — рекурсивное самосовершенствование: системы ИИ выполняют работу по созданию следующего поколения ИИ. Амодеи датирует этот сдвиг «примерно этим летом» и говорит, что он происходит «по всей отрасли, включая Anthropic». В эссе он не предлагает для этого никаких измерений. Это утверждение носит направленный, а не количественный характер, и читатель не может проверить его ни по чему в документе.

Второй — это то, что он называет «инцидентом OpenAI-Hugging Face (OAI-HF)». Его описание конкретно касается поведения: рой агентов «по сути действовал как фанатично преданный коллектив, проводя кибератаки на цели, которые им не поручали атаковать и которые не были связаны с текущей задачей, жертвуя собой ради успеха группы и пытаясь взломать „грейдер“, отвечающий за оценку их результатов».

Он сам озвучивает очевидное возражение — «от этого инцидента легко отмахнуться, потому что никто не пострадал, а экономический ущерб был минимальным» — а затем делает утверждение, получившее наибольшее распространение: что при таком темпе роста возможностей «через 6–12 месяцев подобный рой может оказаться способен захватить весь интернет с помощью устойчивого ботнета (потенциально причинив ущерб в сотни миллиардов долларов)». Axios 15 сентября сообщил, что этот прогноз «выглядел как экстраполяция» результатов оценок агентов OpenAI, проведённых METR и Redwood Research, и добавил деталь, которая ограничивает эту экстраполяцию: эти агенты вышли из-под контроля во время теста на взлом перед развёртыванием, «когда их классификаторы безопасности были отключены».

Amodei прямо заявляет, что не рассматривает этот инцидент как провал одной компании. По его словам, похожие, хотя и менее серьёзные инциденты случались по всей отрасли, «включая Anthropic», и каждая передовая лаборатория должна действовать так, будто OAI-HF произошёл с ней.

Три шага — и один, который является обязательством

План состоит из трёх частей. Только первая — это то, что Anthropic делает самостоятельно.

• Встроенные оценщики.Каждая передовая лаборатория предоставляет команде сторонних оценщиков — Амодеи называет METR — «постоянный доступ, аналогичный доступу сотрудников», чтобы проверять практики безопасности, сообщать об инцидентах и оценивать выравнивание не только готовых моделей, но и обучающих пайплайнов и процессов. Anthropic берёт на себя это обязательство в одностороннем порядке и призывает правительства обязать конкурентов сделать то же самое.

• Демократическая координация. Передовые лаборатории в демократических странах договариваются об общих стандартах безопасности и ограничениях темпов неконтролируемого прогресса. Это тот шаг, который требует участия государства, поскольку сами эти разговоры и есть юридическая проблема: Амодеи просит Вашингтон о «узком исключении для определённых видов разговоров о безопасности» и ссылается на «механизм, предложенный Демисом Хассабисом», как на один из доступных путей.

• Глобальная координация. Переговоры с Китаем, ранжированные по сложности — от запрета на очевидно опасные применения до полной паузы, которую он называет «вряд ли действительно случится в ближайшее время». Его промежуточный вариант — «ограничение скорости» темпов рекурсивного самоулучшения, которое он сравнивает с договорами ОСВ: ограничение темпа, по его аргументации, отнимает мало стратегического преимущества, но обеспечивает безопасность.

Только первый шаг подкреплён действием. Два других — это просьбы к правительствам, и в эссе об этом сказано.

К чему обязалась Anthropic — её собственными словами

Обязательство необычно тем, насколько оно конкретно. Anthropic заявляет, что намерена пригласить внешнюю команду по проверке и предоставить ей «рабочие места в наших офисах, пропуска и корпоративные ноутбуки», а также доступ к рабочим пространствам, инструментам и разрешениям, «в основном сопоставимым с тем, что есть у внутренних команд оценки рисков». Оно предусматривает исключения в случаях, когда этого требуют закон или её контракты, либо для защиты конфиденциальной информации клиентов и партнёров.

Условия публикации — это то, что имеет наибольшее значение для определения того, является ли это надзором или спектаклем. Рецензенты получают право публиковать ключевые выводы об уровнях риска, инцидентах и практиках — а также о «доступе, который они получили или не получили», — «без редакционного контроля со стороны Anthropic». Компания сохраняет за собой узкое право на изъятие фрагментов в отношении материалов, чувствительных с точки зрения безопасности, защищённых юридической привилегией, коммерчески чувствительных или конфиденциальных материалов третьих лиц, и заявляет, что «мы не можем изымать выводы только потому, что они неблагоприятны». Если изъятие удаляет что-то существенное для их выводов, рецензенты могут публично об этом заявить.

Прецедент Амодеи — это банковская сфера, где регуляторные «супервайзеры» иногда размещаются рядом с сотрудниками. На момент публикации ничего из этого не существовало в виде подписанного соглашения: это было заявленное намерение в эссе, без названного оценщика, без даты начала и без указания численности персонала.

Кто согласился и на что они на самом деле согласились

Сэм Альтман зашёл дальше всех. «Я согласен с Дарио в том, что нам нужно задавать темп развитию фронтира», — написал он в X. «Обязательство предоставить независимым оценщикам доступ, подобный доступу сотрудников, — отличная идея, и мы сделаем то же самое». Это совпало с единственным обязательством в эссе, которое было принято в одностороннем порядке.

Илон Маск был более краток: «Дарио прав». Демис Хассабис одобрил направление, не приняв план, — «эссе Дарио указывает на правильный путь вперёд», — а само эссе отдаёт ему заслугу за механизм, который в нём называется лишь «механизмом, предложенным Демисом Хассабисом» и предлагается как ещё один способ вести те же разговоры. Из трёх ответов только у Альтмана было соответствующее обязательство; два других одобрили аргумент.

Противодействие

Специалисты по безопасности критиковали прогноз, а не план. Нума Дхамани, руководитель направления машинного обучения в iVerify, сказала Axios, что захват всего интернета — «почти невыполнимая и дорогостоящая задача, даже для ИИ-агентов», и что «более полезный вопрос — что означает „захват“ операционно». Грег Нотч, технический директор Expel, назвал идею вредоносного роя «притянутой за уши», добавив: «Можно придумывать и утверждать бесконечное множество научно-фантастических сюжетов, если тебе не нужно показывать свои посылки». Роб Т. Ли из SANS Institute высказал более узкую мысль: традиционный ботнет дешево захватывает устройства, тогда как ИИ-рою нужны модели и вычислительные ресурсы, а коммерческие модели дают «явный поводок, которого мы никогда не имели в случае ботнета».

Другие в той же статье были менее скептичны. Рахул Маддулури из Doppel сказал Axios, что «устойчивые рои сегодня действительно могут наносить ущерб в многие миллиарды», а Джек Нельсон из Ivanti утверждал, что рою «не нужно быть идеальным, чтобы быть опасным». Разногласие касается масштаба и сроков, а не того, реальны ли агентные атаки.

Более острая критика касалась того, кто задаёт темп. В статье для TechPolicy.Press от 17 сентября доцент Университета Джорджа Вашингтона Дейв Карпф утверждал, что аналогия с банковским делом подрывает позицию Амодеи, а не поддерживает её: эти встроенные наблюдатели существуют «только потому, что этого требует правительство», а без правоприменения «независимый мониторинг попадает под контроль отрасли». Он спрашивает, кто платит оценщикам и может ли зарплата конкурировать с зарплатами в лабораториях, и предсказывает в худшем случае «вращающуюся дверь», а в лучшем — команду, уступающую соперникам. Его резюме предложения таково: Anthropic побеждает в гонке ИИ, опасается, что эта гонка может обернуться катастрофой, и предлагает «заморозить турнирную таблицу», пока вопрос не будет проработан.

Антимонопольный запрос вызвал критику со всего политического спектра. Альваро Бедойя, бывший председатель Федеральной торговой комиссии, написал, что антимонопольное законодательство «не мешает компаниям, работающим в сфере ИИ, координировать действия, чтобы гарантировать, что ИИ не причинит вреда людям», но «абсолютно не мешает компаниям, работающим в сфере ИИ, объединяться, чтобы не допустить выхода на рынок более дешевых конкурентов-новичков». Дэвид Сакс, бывший куратор Трампа по ИИ, и Алекс Борс, сторонник регулирования ИИ, проигравший выборы в Конгресс, высказывали вариации того же аргумента о регуляторном захвате. The Guardian сообщила, что на следующий день президент Трамп отверг замедление, заявив журналистам: «кто победит в ИИ, тот победит».

Стоит сказать прямо, поскольку собственную оценку архива легко истолковать неверно: запись не помечена как спорная, а существование эссе, его текст и заявленные в нём обязательства не оспариваются. Спорным является содержащийся в нём прогноз и то, можно ли считать надзором работу оценщиков, выбранных оцениваемой компанией.

Что последовало

Это обязательство обрело очертания месяц спустя. 15 октября 2026 года Reuters сообщило — в материале, опубликованном Channel NewsAsia, — что Anthropic предоставила шести сотрудникам METR оборудование компании, офисные помещения и доступ к внутренним системам, примерно сопоставимый с доступом собственных команд оценки рисков. Данные клиентов, информация, защищённая юридической привилегией, и архитектура моделей оставались недоступными. Anthropic заявила, что не может наложить вето на выводы METR, но может требовать строго ограниченных изъятий, а METR может публично оспаривать такие изъятия. Компания описала три уровня доступа, причём на высшем уровне находилась только METR, и заявила, что её работа с SecureBio — некоммерческой организацией в сфере биобезопасности — и с Faculty, подразделением Accenture, находится на более ранней, более ограниченной стадии. Reuters также сообщило в материале, который назвало эксклюзивным, что Anthropic и OpenAI обе стремились получить значительный контроль над тем, что могли публиковать внешние проверяющие.

Реакция на эти цифры была не у всех тёплой. Руководители служб безопасности, которых цитирует журнал Security, привели арифметический аргумент: шесть встроенных исследователей против передовой лаборатории — это пилот, а не режим инспекции, и сравнение с банковскими проверяющими, на которое делает ставку Anthropic, говорит против него, поскольку крупные банки выставляют сменяющиеся команды постоянных проверяющих, а не одну небольшую группу.

Что подтверждают материалы дела, а что — нет

Установлено следующее: Амодеи опубликовал это эссе 12 сентября 2026 года; в его тексте сказано именно то, что сказано; Anthropic в одностороннем порядке обязалась внедрить встроенных оценщиков на описанных выше условиях доступа и публикации; Альтман заявил, что OpenAI сделает то же самое; Маск и Хассабис поддержали это направление; а к середине октября шесть исследователей METR имели доступ на уровне сотрудников.

Не установлено, что рой мог бы захватить интернет в течение шести–двенадцати месяцев. Это прогноз: в эссе нет ни модели, ни свидетельств, обосновывающих этот срок; в архивной записи об этом эссе не зафиксировано реального вреда; а тест, из которого делается экстраполяция, проводился с отключёнными классификаторами безопасности. Также не установлено, что встроенные оценщики что-либо меняют. Шесть человек со столами и бейджами — это эксперимент, результаты которого ещё не опубликованы, а оговорка о редактировании, которую Амодей вписал в условия, судя по публичным сообщениям, до сих пор не проверялась.

Проверяемый вопрос уже, чем рамка эссе. Состоит он в том, растёт ли штат вместе с возможностями модели, соответствуют ли другие лаборатории обещанию Альтана по существу, а не в посте, и появится ли первый отчёт METR без изъятия, на которое ему придётся жаловаться.