Джейлбрейки LLM: что меняет джейлбрейк и почему это не аблятерация

В июле 2023 года три исследователя пропустили 32 вредоносных промпта через 28 разных атак на GPT-4 и Claude 1.3. Самая сильная одиночная техника — три семейства атак, наложенных друг на друга, — пробила защиту в 94% набора на GPT-4 и в 81% на Claude 1.3. Набор закрыла не лучшая атака, а выбор: злоумышленник, которому разрешили выбирать ту из 28, что лучше всего сработала для каждого промпта, провёл все 32 на обеих моделях, что в статье указано как ровно 1,00. Неудобный вывод таков: джейлбрейк — не дефект, исчезающий, когда модель становится умнее или лучше себя ведёт. Это свойство промпта, а промпт принадлежит тому, кто его отправляет. То, что происходит после того, как отказ прекращается, — вызов инструмента, чтение файла, вывод, который попадает туда, где на него реагируют, — это та часть, ради фиксации которой архив инцидентов ИИ был создан.

С этой формулировкой стоит разобраться поточнее, потому что «jailbreak» обозначает несколько разных вещей, и именно от различий между ними зависит, что вообще способна сделать любая мера защиты. В этом материале рассказывается, что именно правит jailbreak, что на самом деле говорят измеренные цифры, почему на вопрос «подвержена ли она jailbreak-атакам» нельзя ответить применительно к отдельно взятой модели, и где эта техника перестаёт быть вопросом безопасности модели и становится вопросом безопасности системы.

Джейлбрейк — это изменение промпта, а не модели.

Модель остаётся точно такой, как поставляется. Ничего не переобучается, веса не затрагиваются, тонкая настройка не применяется. Злоумышленник изменяет запрос так, чтобы выполнение стало локально корректным продолжением, и обученное в модели безопасное поведение уступает конкурирующей инструкции, следовать которой её также обучали.

Одна эта фраза исключает целую большую категорию предполагаемых исправлений. Вы не можете исправить это на уровне весов — с весами всё в порядке. Вы не можете перечислить это, потому что пространство промптов открыто. И вы не можете проверить это один раз, потому что метод, который не срабатывает сегодня, — не тот, который попробуют завтра. Что вы можете сделать — измерять показатель на фиксированном наборе промптов для фиксированной версии модели, а затем следить за тем, как этот показатель меняется, когда меняется любой из этих трёх элементов.

Что на самом деле измерял эксперимент с 32 промптами

Работа называется «Jailbroken: почему обучение безопасности LLM не работает?»; её авторы — Александр Вэй, Ника Хагталаб и Джейкоб Штайнхардт; она опубликована на arXiv в июле 2023 года под номером 2307.02483. В её тестовом наборе было 32 вредоносных промпта — половина взята из опубликованной оценки GPT-4, половина адаптирована из опубликованной работы по ред-тимингу Claude — а метрика результата прямолинейна: случай засчитывается как успешный, если ответ одновременно вредоносен и соответствует теме исходного запроса. Всё, что затягивает, уклоняется или отвечает на другой вопрос, не засчитывается.

Два свойства результатов полезнее любой отдельной строки. Первое — насколько неравномерно атаки переносятся между моделями. Ролевая игра AIM получила 0,75 против GPT-4 и 0,00 против Claude 1.3. Few-shot JSON получил 0,53 и 0,00. Тем временем кодирование Base64 было неравномерным в обратную сторону — 0,34 на GPT-4 и 0,38 на Claude 1.3, — а дистракторы показали 0,44 и 0,47. Техника, против которой поставщик явно проводил обучение, читается как ноль на этой модели и ничего не говорит о модели рядом с ней.

Второй — это то, что происходит, когда семейства объединяют. Инъекция префикса плюс подавление отказа плюс Base64 дали 0,56 против GPT-4 и 0,66 против Claude 1.3. Добавление инъекции стиля подняло показатель до 0,69 и 0,84. Добавление генерации веб-контента и ограничений форматирования подняло его до 0,94 и 0,81. Вся хитрость в наслоении: каждый слой — это то, чему модель была обучена, и комбинация не оставляет ни одной токеновой позиции, где отказ был бы более естественным продолжением.

Модели в той таблице — трёхлетней давности, и это уже не то, что кто-либо развёртывает. Дело не в цифрах, а в форме. Каждый механизм из таблицы по-прежнему действует во всех моделях, выпущенных с тех пор, потому что ни один из них никогда не был багом в GPT-4 или Claude 1.3 — они суть следствия того, как взаимодействуют обучение следованию инструкциям и обучение безопасности.

Два способа, которыми обучение безопасности оказывается неэффективным

Объяснение в статье на удивление чёткое, и именно его стоит запомнить: есть два режима отказа, и каждая атака в таблице — пример одного из них.

Конкурирующие цели — это то, что возникает, когда возможности модели и её цели безопасности указывают в разных направлениях. Следование инструкциям — это возможность. Когда запрос оформлен так, что отказ нарушил бы инструкцию, которой модель усиленно обучена подчиняться, модель разрешает конфликт в пользу инструкции. Инъекция префикса — минимальный вариант: скажите модели, что её ответ должен начинаться с «Absolutely! Here's», и первые токены уже создают обязательство, которое делает отказ несостоятельным. Подавление отказа атакует тот же стык с другой стороны, добавляя правила форматирования, которые запрещают предложение, в котором пришлось бы сформулировать отказ.

Рассогласованное обобщение — это то, что получается, когда обучение безопасности охватывает узкое распределение входных данных, которое не покрывается общей способностью модели. Модель выучила Base64 во время предварительного обучения и вполне может выполнить закодированную инструкцию. Обучение безопасности, которое в основном сталкивалось с запросами на естественном языке, так и не научило её распознавать, что закодированный запрос всё равно остаётся запросом. Та же ошибка проявляется при удалении гласных, ROT13, leetspeak, разделении полезной нагрузки и задачах с отвлекающими элементами: каждый из этих форматов обобщается способностью модели, но не поведением безопасности.

Как только у вас есть эти две категории, атаки перестают выглядеть как случайный набор трюков и начинают выглядеть как два семейства с общей первопричиной — что также объясняет, почему они так хорошо сочетаются. Промпт, который подавляет отказ искрывает своё намерение в кодировке, эксплуатирует оба режима отказа одновременно, и 0,94 — вот как это выглядит.

Почему нельзя дать ответ по каждой отдельной модели на вопрос «поддаётся ли она джейлбрейку»

Наиболее распространённая форма запроса в этой области — название модели, за которым следует слово «jailbreak». Это неверная единица анализа, и причина — таблица выше. Успех зависит как минимум от пяти факторов одновременно: возможностей базовой модели, того, какое обучение безопасности она прошла и на каком распределении, формата промпта, настроек сэмплирования и того, сколько попыток атакующий готов потратить.

Последний пункт заслуживает отдельного предложения. Показатель, измеренный при одной попытке на промпт, и показатель, измеренный как «best of 28», — это не одно и то же измерение, и адаптивный результат статьи — 1.00 на обеих моделях — относится ко второму типу. Любой, кто приводит показатель джейлбрейка, не уточняя, какой именно имеется в виду, не приводит ничего пригодного к использованию. Реалистичный вопрос защиты — не «можно ли это взломать», а «сколько попыток для этого нужно и замечает ли что-нибудь в моём стеке эти попытки».

Из этого следуют два практических вывода. Модель, которая сопротивляется вашему набору промптов сегодня, может перестать сопротивляться после обновления версии, изменения слоя безопасности или изменения конфигурации на стороне обслуживания — результат действителен только для той сборки, которую вы тестировали, поэтому тест без версии и даты не является результатом. И один и тот же набор промптов, прогнанный на двух моделях, говорит о том, на какой из них ваш стек мягче, а не о том, какая из них безопасна.

Что не является джейлбрейком: абляция

Эти два понятия постоянно смешивают, потому что в обоих случаях модель в итоге выдаёт результат, который её обучали не выдавать. Это не одно и то же изменение, и разница здесь — это разница между управляющим механизмом, который можно добавить, и свойством, которое добавить нельзя.

• Jailbreak — редактирование на уровне промпта. Веса не изменены. Направление отказа всё ещё присутствует в модели; запрос просто организован так, что другие поведения перевешивают его. Верните промпт — и поведение вернётся вместе с ним.

• Аблятерация — это редактирование весового слоя. Направление отказа определяется — обычно как направление в пространстве активаций — и проецируется из весов модели, так что модель больше вообще не выдаёт отказов на этот класс запросов. Это необратимое изменение артефакта, и именно поэтому аблятерированный чекпоинт ведёт себя иначе, чем та же базовая модель с хитроумным промптом. Механика этого изменения изложена в нашем руководстве по аблятерации.

Операционная разница важнее терминологии. Джейлбрейк — это событие времени выполнения: он приходит вместе с запросом, и его можно подсчитывать, ограничивать по частоте, фильтровать и логировать, как любой другой запрос. Аблитерированная модель — это событие цепочки поставок: защитный механизм уже удалён до того, как вы её получили, и никакой мониторинг на уровне промптов его не вернёт. Если ваша модель угроз звучит как «кто-то попытается убедить модель», вы в первой категории. Если как «кто-то передаст мне модель с удалённым отказом», вы во второй, и единственный реальный контроль — это происхождение: знание того, какая контрольная точка на самом деле обслуживается эндпоинтом.

Джейлбрейк — это тоже не промпт-инъекция.

Третий термин, который здесь примешивается, — это инъекция промпта, и главный различающий вопрос — кто является атакующим. Джейлбрейк исходит от пользователя, который пытается получить контент, который модель была обучена не выдавать. Инъекция промпта исходит из контента — найденного документа, веб-страницы, результата работы инструмента — который содержит инструкции, которые разработчик никогда не писал, и срабатывает независимо от того, враждебен ли пользователь. Одна и та же модель может быть невосприимчива к одному и совершенно открыта к другому, потому что их нейтрализуют в разных местах: джейлбрейки — на входе и выходе модели, инъекции — на границе доверия между данными и инструкциями.

Что на самом деле снижает ставку?

Здесь ничто не является гарантией, а любое утверждение об обратном — это рекламная уловка. Далее приведён набор рычагов управления, которые меняют показатели, упорядоченный по отдаче на затраченные усилия.

• Предположим, что уровень промпта падает. Любой контроль, основанный на отказе модели, отделяет от нуля всего один адаптивный атакующий. Проектируйте так, будто запрос в конечном итоге пройдёт, и размещайте контроль там, где произошёл бы ущерб.

• Ограничьте то, до чего может добраться успешный джейлбрейк. Радиус поражения взломанного ассистента — это всё, что позволяют его инструменты, учётные данные и область извлечения данных. Наименьшие привилегии для инструментов и ограничение области извлечения на уровне тенанта снижают ценность успешного джейлбрейка гораздо надёжнее, чем любой фильтр промптов.

• Оценивайте вывод, а не промпт. Классификаторы на стороне вывода отлавливают семейства, которых вы никогда не видели, потому что они смотрят на то, что фактически было создано, а не на то, как это запросили. Кроме того, это единственный слой, который продолжает работать, когда формат входных данных оказывается новым, — а согласно режиму отказа из-за рассогласованного обобщения так происходит в большинстве случаев.

• Рассматривайте системный промпт как значение конфигурации, а не как границу безопасности. Это текст в том же контекстном окне, что и атака. Он повышает стоимость попытки; он не останавливает её.

• Сделайте попытки видимыми. Единственное преимущество защитника перед адаптивным атакующим состоит в том, что атака обычно повторяется. Ограничения скорости, обнаружение повторений и ведение журналов превращают поиск из 28 попыток в событие, которое можно увидеть, а не в 28 запросов, каждый из которых по отдельности выглядел нормально.

• Повторяйте тестирование при каждом изменении модели. Фиксация версии плюс фиксированный набор промптов — это то, что превращает «мы протестировали это один раз» в число, с которым можно сравнивать. Без фиксации версии сравнение бессмысленно.

Как измерить собственную цель

Если цель — число, на которое можно опираться, зафиксируйте три переменные, которые зафиксировала статья: набор промптов, версию модели и число попыток. Используйте набор промптов, включающий оба режима отказа — инструкции, из-за которых отказывать становится неловко, и кодировки, скрывающие запрос, — потому что набор только из одного режима будет льстить модели, слабой к другому. Оценивайте консервативно: вредный и относящийся к теме, а не просто не в том тоне. И сообщайте результат как долю от указанного числа попыток, никогда не как «да» или «нет».

Когда в игре несколько моделей-кандидатов, сравнение работает только при условии, что один и тот же набор промптов прогоняется по каждой из них, и именно здесь техническая обвязка важнее методологии. Проведение одной оценки по моделям, которые мы маршрутизируем, избавляет задачу от контрактов с отдельными поставщиками и клиентской работы; цены из прайс-листов поставщиков проходят без наценки, поэтому прогон стоит ровно столько, сколько берут поставщики, и ничего сверх этого. Оценка измеряет поведение модели, а не наше — маршрутизация меняет, какая модель отвечает, но не заставляет ни одну из них отказываться чаще.

Где продолжается запись

Измеренный процент успеха показывает, насколько трудно продавить слой промпта. Он не говорит о том, что произошло, когда кто-то продавил его в продакшене, — и именно второй вопрос определяет, имеет ли этот процент значение. Джейлбрейк, порождающий грубый абзац, — это проблема модерации контента. Джейлбрейк, порождающий вызов инструмента, — это инцидент, и вся разница в том, до чего система позволила дойти выходным данным.

Этот архив и есть полевой журнал: что агенты фактически делали, с источником для каждой записи и вердиктом о том, пострадал ли кто-либо. Если читать его в сопоставлении с измерением джейлбрейков, он отвечает на вопрос, на который само измерение ответить не может, — является ли граница, которую пересёк промпт, той, от которой что-либо зависит далее по цепочке. Если является, то джейлбрейк — это находка в области безопасности, и средство контроля должно находиться в разрешениях инструментов. Если нет, то джейлбрейк — это результат, относящийся к контенту, и честный ход — зарегистрировать его именно так, а не раздувать до уязвимости.

Заключительное замечание — именно то, что подтверждают доказательства. Джейлбрейкинг не решить более совершенной моделью, потому что механизмы отказа носят структурный характер: следование инструкциям — это способность, а обучение безопасности — более узкая, и разрыв между ними — это то пространство, в котором существует каждая атака из этой статьи. Что можно решить, так это последствия — за счёт того, чтобы гарантировать: модель, которая перестаёт отказываться, всё равно не сможет сделать очень многое.