Тёмно-синяя редакционная иллюстрация: ступенчатое поле мелких синих точек устремляется вправо в узкие вертикальные синие ворота; три янтарные кривые поднимаются от ворот ко вторым, янтарным вертикальным воротам. Подписи гласят: «в 40 раз меньше вычислений», «0,05% отказов в продакшене», «1 736 ч ред-тиминга», «зонд проверяет всё», «около 5,5% эскалировано», «вторая стадия». Без людей, без логотипов.
AI Safety Incidents

Constitutional Classifiers++: универсального джейлбрейка не найдено за 1 736 часов ред-тиминга

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Anthropic опубликовала второе поколение своих защит от джейлбрейков для Claude — Constitutional Classifiers++ — в исследовательском посте, датированном 9 января 2026 года, и в статье с 29 авторами, поданной в arXiv 8 января 2026 года. В основе конструкции — линейный зонд на собственных внутренних активациях модели, поставленный перед более тяжёлым классификатором, который читает каждый ответ в контексте запроса; Anthropic сообщает, что месячное теневое развёртывание на трафике Claude Sonnet 4.5 отклонило 0,05% запросов, что производственная система использовала примерно одну сороковую вычислительных ресурсов классификатора одиночного обмена, с которым её сравнивали, и что 1 736 часов человеческого ред-тиминга не дали универсального джейлбрейка. Ничему не был нанесён ущерб, и никакая атака не утверждается: это описание и измерение защиты, а не раскрытие вторжения. Архив включает этот эпизод как управленческую запись с датой с точностью до дня — 30 января 2026 года, степенью уверенности A и без зафиксированного ущерба — вместе с остальными своими записями по безопасности ИИ вOrca AI Incident Archive.

Дата архива — не дата публикации

Два цитируемых источника согласуются друг с другом — на этом основана оценка A архива — но ни один из них не датирован 30 января 2026 года. Исследовательский пост «Next-generation Constitutional Classifiers: More efficient protection against universal jailbreaks» имеет в метаданных страницы отметку о публикации 9 января 2026 года. Статья «Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks» была подана 8 января 2026 года в 05:16 UTC и с тех пор не пересматривалась на arXiv; версия, цитируемая архивом, 2601.04603v1, является единственной. Дата 30 января указана здесь как собственная регистрация архива с точностью до дня, а не как дата любого из документов.

Это важно, потому что однострочное резюме архива содержит три цифры, которые читатель, вероятно, повторит — 40x, 0,05%, более 1700 часов, — и каждая из них измеряется относительно иной базы, чем подразумевает формулировка резюме. Остальная часть этого материала посвящена тому, что это за базы.

Три изменения, наложенных друг на друга

Constitutional Classifiers были представлены в феврале 2025 года как пара фильтров, обученных на синтетических данных, сгенерированных из письменной «конституции» разрешённого и запрещённого контента. Это первое поколение использовало отдельный входной классификатор и классификатор только для выходных данных, и в собственном посте Anthropic ему приписывают снижение успешности джейлбрейка на незащищённой модели с 86% до 4,4% — блокируя около 95% атак — ценой дополнительных 23,7% вычислений и роста отказов на безвредные запросы на 0,38%.

Статья начинается с демонстрации того, как эту пару можно разъединить. Сработали два класса атак. Атаки реконструкции разбрасывают вредоносный запрос по безобидно выглядящим фрагментам — в примере из статьи вопрос встраивается в возвращаемые значения функций, распределённых по кодовой базе, а затем модели даётся указание собрать его заново, — так что входной фильтр никогда не видит полного запроса. Атаки обфускации вывода заставляют модель отвечать с помощью подстановочных кодов или метафор, так что классификатор, читающий только вывод, видит нечто безобидное; в иллюстрации из статьи модель описывает изготовление соляной кислоты как соединение «огня солнца» и «дара моря», а классификатор так и не узнаёт, что расшифровывает эта загадка. Поскольку вывод сам по себе неинтерпретируем без входа, фильтр, читающий лишь одну сторону обмена, не может увидеть вред.

Далее следуют три изменения, и в статье каждое из них оценивается отдельно, прежде чем их объединить.

• Замените классификаторы. Один классификатор читает выходные данные модели в контексте входных данных, оценивая токены пакетами по мере их генерации, а кэширование промптов делает повторный прогон недорогим. Ручной red-teaming выявил в 2,2 раза меньше высокорисковых уязвимостей на попытку джейлбрейка, чем при дизайне с двумя классификаторами, — но при примерно на 50% больших вычислительных затратах, поскольку модель размером с Haiku теперь оценивает весь разговор.

• Каскад. Легковесный классификатор первого этапа проверяет весь трафик и передает на дорогостоящий второй этап только то, что помечает. Конструкция использует свойство архитектуры, а не модели: поскольку помеченный обмен передается дальше, а не отклоняется, дешевому этапу разрешено иметь высокую долю ложноположительных срабатываний, а значит, его может обслуживать более слабая и дешевая модель. Anthropic устанавливает порог первого этапа так, чтобы подавляющее большинство примеров из собственных наборов данных ред-тиминга помечалось, и с изменениями в конвейере инференса и обновленными моделями сообщает о сокращении вычислительных затрат в 5,4 раза по сравнению с классификатором отдельных обменов. Около 10% трафика достигает второго этапа, а на первый этап приходится примерно 77% общих затрат.

• Линейные зонды активаций. Третье изменение повторно использует вычисления, которые модель уже выполнила. Линейный зонд считывает активации residual-stream на каждом слое по мере сэмплирования токенов, поэтому его предельная стоимость близка к нулю — в статье указано, что зонд по всем слоям на модели 27B стоит примерно 377K FLOPs на токен против примерно 8B для одного прямого прохода модели 4B. Две детали обучения оказались важны: усреднение логитов по скользящему окну из 16 токенов во время обучения, чтобы одна ложная активация не могла пометить последовательность, и функция потерь со softmax-взвешиванием, которая штрафует уверенные ложноположительные срабатывания гораздо сильнее, чем уверенные истинно отрицательные. На статическом наборе из примерно 7 000 обменов red-team лучший зонд превзошёл сверхмалый внешний классификатор и почти сравнялся с классификатором Haiku 4.5. В ансамбле с внешним классификатором он показал результат лучше, чем каждый из них по отдельности, и самое интересное — объяснение в статье: ошибки зонда меньше коррелируют с ошибками классификатора, чем ошибки двух классификаторов друг с другом, поэтому зонд «по-видимому, использует сигналы, дополняющие те, что используют внешние классификаторы».

A three-panel card headed 'Three changes, stacked'. Panel 01, Exchange classifier, shows two pale bars feeding a solid blue bar, with the metric 2.2x fewer high-risk vulnerabilities per attempt. Panel 02, Two-stage cascade, shows one thin gate passing two branches to a second gate, with 5.4x cheaper than the exchange classifier alone. Panel 03, Linear probe, shows three activation dots inside a grey block feeding a box labelled 0.55 probe, with the metric 0.55 / 0.45 probe-to-classifier blend on escalation.

Производственная система — в её собственных цифрах

То, что было выпущено, объединяет два последних подхода: линейный зонд по активациям Claude Sonnet 4.5 проверяет каждый обмен в ходе генерации, и когда его оценка пересекает порог, обмен передаётся классификатору второй ступени, дообученному на основе Claude Haiku 4.5. Для эскалированных обменов две оценки смешиваются в пропорции 0,55 зонда к 0,45 классификатора. Зонд эскалировал около 5,5% продакшн-трафика.

Anthropic оценила её в теневом развертывании на рабочем трафике Claude Sonnet 4.5 в период с 1 декабря 2025 года по 1 января 2026 года. Доля срабатываний — доля запросов, получивших отказ, — составила 0,05% против 0,38%, о которых сообщалось в работе по классификаторам первого поколения. В блоге компания описывает это как снижение на 87% по сравнению с исходными классификаторами и отдельно отмечает, что система добавляет «примерно 1% накладных расходов на вычисления при применении к трафику Claude Opus 4.0».

В этих двух предложениях есть три оговорки, и ни одна из них не скрыта Anthropic — их просто легко упустить, когда цифры начинают путешествовать.

Во-первых, сравнение отказов проводится с 0,38% — показателем, опубликованным для первого поколения. В собственной таблице 1 статьи указана доля отказов в производственной среде для реализации системы предыдущего поколения компанией Anthropic — 0,073%, измеренная в первую неделю после развёртывания. Оба числа принадлежат Anthropic; они измеряют разные вещи — в одном случае рост отказов на безвредные запросы, в другом долю отказов среди производственных запросов — и утверждение о 87% вычислено исходя из большего из двух.

Во-вторых, доля отказов развёрнутой системы не является самой низкой в статье. В таблице 1 указано 0,038% для классификатора одного обмена и 0,036% для двухэтапного каскада без проб; у производственной системы — 0,050%. Она выигрывает по вычислительным затратам и устойчивости, а не по отказам, и в её собственной таблице так и сказано.

В-третьих, показатель 1% вычислений и показатель 40x — это не одно и то же измерение. 40x относится к классификатору одиночного обмена из третьего раздела статьи — системе, которая сама по себе была примерно на 50% дороже предыдущего поколения. В таблице 1 статьи, где всё индексируется относительно системы предыдущего поколения, принятой за 100,0, для этого классификатора обмена указано 150,0, для двухступенчатого каскада — 27,8, а для производственной системы — 3,5. Если сравнивать с предыдущим поколением, а не с промежуточным решением, таблица предполагает сокращение примерно в двадцать девять раз. Показатель ~1% из блога — это снова третья база: абсолютная величина накладных расходов, измеренная на трафике Claude Opus 4.0 и сопоставленная с 23,7% первого поколения.

A four-row comparison table headed 'Four systems, three baselines', with columns for relative compute overhead, high-risk vulnerability discovery rate per thousand red-team queries, and production traffic refusal rate. Rows: last generation, 100.0, 0.01871, 0.073; exchange classifier, 150.0, 0.00885, 0.038; two-stage cascade, 27.8, 0.00878, 0.036; production grade, 3.5, 0.00505, 0.050. A footnote reads that the 40x headline compares the production system with the exchange classifier in row 2, not with row 1, and that the roughly 1% overhead figure is measured on Claude Opus 4.0 traffic.

Что устанавливают 1,736 часов ред-тиминга

Утверждение о робастности опирается на конкретное определение, и именно в определении живёт аргумент. Специалистов Anthropic по red team попросили построить стратегии, извлекающие подробные ответы на восемь фиксированных целевых вопросов по CBRN. Ответ считается вредоносным, если рубрика LLM оценивает его как содержащий не менее половины подробности ответа модели без защитных механизмов, а «высокорисковая уязвимость» — это атака, успешная более чем на пяти из восьми. Универсальный джейлбрейк в этой литературе — стратегия, работающая на большей части целевого набора: то, что позволило бы передать рецепт незнакомцу, а не случайно наткнуться на один ответ.

Продакшн-система в общей сложности набрала примерно 1 736 кумулятивных часов ред-тиминга в ходе примерно 198 000 попыток; часы оценены по логам API с пятиминутными интервалами. Была обнаружена одна уязвимость высокого риска — частота обнаружения 0,005 на тысячу запросов, — и на её поиск ушло 30 часов: самое долгое минимальное время обнаружения среди всех систем в статье. Ни одна атака не ответила на все восемь целевых вопросов при половине уровня детализации незащищённой модели. Строка сравнения — собственная реимплементация предыдущего поколения из статьи: 13 уязвимостей высокого риска на 695 000 запросов, частота 0,01871 на тысячу, включая четыре джейлбрейка, ответивших на каждый целевой вопрос при половине детализации, найденных в среднем за 27 часов.

A dark card headed 'What 1,736 hours bought' with three panels: attempts, 198K red-team queries; high-risk vulnerabilities, 1, a rate of 0.005 per thousand queries with a 30-hour discovery time; universal jailbreaks, 0, against four for the prior generation. All text in Latin script.

На этот результат стоит прямо указать два ограничения. Первое содержится в собственной сноске статьи, приложенной к разделу, описывающему двухэтапный каскад, предшествовавший системе-пробнику: «специалисты по red team уровня экспертов, работавшие вне нашей программы вознаграждений, тем не менее смогли обнаружить универсальные джейлбрейки для этой системы, хотя для этого потребовались значительные усилия и автоматизированные инструменты». Окончательная производственная система не была предметом этой сноски, но примечание устанавливает, что планка вознаграждений Anthropic не является потолком того, что могут сделать целеустремлённые атакующие. Второе — собственный вывод Anthropic в блоге: «ни одна из представленных сейчас на рынке ИИ-систем не обладает идеально надёжной защитой». Montana Research Foundation, независимая исследовательская организация, проанализировавшая релиз 21 января 2026 года, сформулировала ту же мысль резче — планка из восьми вопросов — это «планка, выбранная защитником», а два класса атак, которые называет сама Anthropic, «скорее подтачивают её, чем преодолевают».

Что всё ещё проходит

Anthropic называет два остаточных класса атак и не утверждает, что закрыла их. Атаки реконструкции, которые фрагментируют запрос по контексту, и обфускация вывода, которая маскирует ответ под эвфемизм, метафору или код, — это те же методы, которые сломали первое поколение; классификатор обмена делает их сложнее, но не невозможными. В статье также фиксируется, во что обходится сама попытка атаки: на GPQA Diamond Claude Opus 4 набрал 74,2% без модификаций, 32,3% при одной атаке с фрагментацией и 49% при другой. Авторы называют такую вариативность «тревожной», исходя из того, что противник, вложившийся в проблему, вероятно, сможет найти атаки, которые сохраняют больше возможностей модели и при этом всё же проходят.

Последующие работы серьезно отнеслись к обоим вариантам, и они независимы от Anthropic в том смысле, в каком сам релиз — нет.

• Джейлбрейки в граничных точках, представленная на arXiv 16 февраля 2026 года исследователями из Института безопасности ИИ Великобритании и OATML Оксфордского университета, описывает полностью автоматизированную атаку типа «чёрный ящик», требующую всего одного бита на запрос — помечен он или не помечен, — и характеризует её как «первый полностью автоматизированный алгоритм атаки, которому удаётся разрабатывать универсальные джейлбрейки против Constitutional Classifiers». Её целью был классификатор, защищавший Claude Sonnet 4.5 по состоянию на 27 ноября 2025 года, который статья относит к работе первого поколения 2025 года, а не к каскаду проб; статья также передаёт предварительный вывод Anthropic о том, что классификаторы на основе проб «могут быть более устойчивы к этому типу атак, чем классификатор на основе текста», и что обучение на строках атаки улучшает обнаружение.

• Trojan-Speak, представленный 30 марта 2026 года авторами из программы Anthropic Fellows и Virginia Tech, атакует с другого направления: состязательная тонкая настройка, которая обучает модель кодировке, которую классификатор не может прочитать; сообщается о более чем 99% обходе классификатора для моделей с 14B параметров и выше при потере способностей менее 5% на вопросах CBRN из набора bug-bounty. Отмечается, что каскад с приоритетом зондов по-прежнему оставляет «LLM-классификатор» принимающим окончательное решение о блокировке, и обнаруживается, что активационные зонды существенно повышают устойчивость к атаке кодирования.

Ни одна из двух статей не оспаривает цифры, которые Anthropic опубликовала для собственного развёртывания. Обе рассматривают каскад как то, что нужно превзойти. Это больше внимания, чем публикация получила где-либо ещё: поиск по новостным индексам за окно публикации не выявил освещения поста от 9 января в мейнстримных СМИ, и, помимо этих двух статей, единственный независимый анализ, найденный для этой статьи, — это анализ Montana Research Foundation, опубликованный 21 января 2026 года.

Почему архив классифицирует это как управление?

Вид записи — policy, тег типа — GOV, уровень серьёзности — info, что звучит странно для статьи об архитектуре классификатора, пока не посмотришь, что именно фиксируется. Здесь нет пострадавшего, нет срока раскрытия и нет затронутой популяции, кроме людей, чьи запросы оценивает фильтр. Документы содержат публикацию вендором архитектуры, измерение при развёртывании и протокол ред-тиминга с достаточной детализацией, чтобы кто-то другой мог проверить арифметику, — а в благодарностях названы внешние организации, проводившие ред-тиминг более ранних версий: UK AISI, US CAISI и FAR.AI, причём HackerOne операционно управляла программой баг-баунти.

Для управления интерес представляет кривая затрат. Защитная мера, добавляющая четверть к цене каждого запроса, — это то, о выключении чего спорит продуктовая команда; анализ Montana делает именно этот довод, отмечая, что при 23,7% команде безопасности приходилось обосновывать её включение, а при примерно 1% «продуктовой команде приходится обосновывать её выключение». Сохраняется ли эта цифра за пределами собственного стека Anthropic — вот актуальный вопрос, и тот же анализ формулирует критерий проверки: зонд считывает активации, активации зависят от модели, и «если это не так, это результат Anthropic».

В материалах дела отсутствуют какие-либо доказательства того, что система отказала в производственной эксплуатации. Ни инцидент, ни обход, ни вред пользователям не фигурируют ни в одном из двух цитируемых документов, а архив фиксирует реальный вред как нулевой. Дата подачи 30 января по-прежнему не объясняется источниками; работа, которую она описывает, датирована 8 и 9 января 2026 года.

© 2026 OrcaRouter