LLMジェイルブレイク解説：ジェイルブレイクが変えるもの、そしてそれがAbliterationではない理由

2023年7月、3人の研究者が、28種類の異なる攻撃を用いて、GPT-4とClaude 1.3に対して32個の有害なプロンプトを実行した。最も強力な単一の手法——3つの攻撃ファミリーを積み重ねたもの——は、GPT-4に対してはそのセットの94パーセント、Claude 1.3に対しては81パーセントを突破した。セット全体を突破させたのは、より優れた攻撃ではなく、ある選択だった。各プロンプトに対して28種類のうち最も効果的なものを選ぶことを許された敵対者は、両モデルで32個すべてを突破させた。論文はこれを完全な1.00として報告している。居心地の悪い解釈は、ジェイルブレイクはモデルがより賢くなったり、より行儀よくなったりすると消える欠陥ではないということだ。それはプロンプトの属性であり、プロンプトはそれを送る者に属する。拒否が止まった後に何が起こるか——ツール呼び出し、ファイル読み取り、それを受けて行動する何かに届く出力——こそが、AI incident archiveが記録するために作られた部分です。

その枠組みについては正確を期す価値がある。というのも、「ジェイルブレイク」はいくつかの異なる事柄に対して使われており、その違いが、あらゆる緩和策がそもそも何をなし得るかを左右するからだ。本稿では、ジェイルブレイクが何を書き換えるのか、測定された数値が実際に何を示しているのか、「ジェイルブレイク可能か」に対してモデルごとの答えが存在しないのはなぜか、そしてこの手法がどこでモデル安全性の問題ではなくシステムセキュリティの問題になるのかを扱う。

ジェイルブレイクとはプロンプトへの編集であり、モデルへの編集ではない。

モデルは出荷時のまま一切変更されません。再トレーニングも、重みへの変更も、ファインチューニングも行われません。攻撃者はリクエストを変更し、それに従うことが局所的に正しい続きとなるようにします。その結果、モデルに訓練された安全行動は、同じく訓練によって従うよう学習した競合する指示に敗北します。

その一文だけで、想定される修正の大きなカテゴリが排除される。重みの部分でそれを修正することはできない——重みには何も問題がないのだ。それを列挙することもできない。プロンプトの空間は開いているからだ。一度確認して終わりにすることもできない。今日失敗する手法は、明日試される手法ではないからだ。できるのは、固定されたプロンプト集合で、固定されたモデルバージョンに対して、ある割合を測定し、その三つのいずれかが変わったときにその割合が動くのを観察することだ。

32プロンプト実験が実際に測定していたもの

この研究は、Jailbroken: How Does LLM Safety Training Fail?（アレクサンダー・ワイ、ニカ・ハグタラブ、ジェイコブ・スタインハート著）で、2023年7月にarXivに2307.02483として投稿された。そのテストセットは32件の有害なプロンプトで、半数は公開済みのGPT-4評価から、半数はClaudeに関する公開済みのレッドチーミング研究から改変して用いたものである。結果の測定基準は単刀直入だ。回答が有害であり、かつ元の要求に沿った内容である場合に、そのケースは成功と採点される。停滞したり、はぐらかしたり、別の質問に答えたりするものは対象外だ。

結果には、個々の行よりも役立つ二つの性質がある。第一は、攻撃がモデル間でどれほど不均一に転移するかだ。AIM role-playはGPT-4に対して0.75、Claude 1.3に対して0.00だった。Few-shot JSONは0.53と0.00だった。一方、Base64エンコーディングは逆方向の不均一さで、GPT-4で0.34、Claude 1.3で0.38だった。また、ディストラクターは0.44と0.47だった。ベンダーが明らかに学習で対抗している技術は、そのモデルではゼロとして現れ、隣のモデルについては何も語らない。

2つ目は、複数のファミリーを組み合わせたときに何が起こるかです。プレフィックス注入＋拒否抑制＋Base64では、GPT-4に対して0.56、Claude 1.3に対して0.66でした。スタイル注入を加えると0.69と0.84に上がりました。ウェブサイトコンテンツ生成とフォーマット制約を加えると0.94と0.81に上がりました。積み重ねが肝心です。各レイヤーはモデルが行うよう学習済みの事柄であり、組み合わせることで、拒否することがより自然な継続となるトークン位置がなくなるのです。

その表にあるモデルは3年前のもので、今では誰も配備していない。数字が要点ではない。形が要点だ。表にあるあらゆる機構は、それ以降のすべてのモデルで今も生きている。なぜなら、それらのどれもGPT-4やClaude 1.3におけるバグでは決してなかったからだ。それらは指示追従と安全訓練が相互作用する仕方の帰結である。

安全研修が失敗する2つのパターン

この論文の説明は異常なほど明快で、持ち歩く価値があるのはまさにその部分だ。失敗モードは二つあり、表にあるあらゆる攻撃はそのどちらかの事例である。

競合する目的とは、モデルの能力と安全性の目標が異なる方向を指しているときに生じるものです。指示追従はひとつの能力です。拒否することがモデルが強く従うよう訓練された指示に違反する形でリクエストが包まれている場合、モデルはその葛藤を指示に有利な形で解決します。プレフィックス注入はその最小版です。返答は必ず「Absolutely! Here's」で始めなければならないとモデルに伝えれば、最初のトークンがすでにコミットメントとなり、拒否は筋の通らないものになります。拒否抑制攻撃は、拒否が書かれるはずの文を禁じる書式ルールを追加することで、同じ継ぎ目を反対側から突きます。

ミスマッチな汎化とは、安全性トレーニングが、モデルの一般的な能力が及ばない狭い入力分布を対象としているときに生じるものです。モデルは事前学習でBase64を学んでおり、エンコードされた指示にも問題なく従えます。主に自然言語の要求を見てきた安全性トレーニングでは、エンコードされた要求も依然として要求であることを認識するようには教えられていません。同じ失敗は、母音削除、ROT13、リートスピーク、ペイロード分割、妨害タスクでも現れます。いずれも能力が汎化する形式であり、安全行動は汎化しないからです。

これら2つのカテゴリーを押さえれば、攻撃は寄せ集めの小技には見えなくなり、共通の根本原因を持つ2つの系統に見えてくる——だからこそ、これらがこれほど巧みに組み合わされるのである。拒否を抑制するプロンプトと意図をエンコーディングに隠すプロンプトは、両方の失敗モードを同時に突いている。0.94というのは、そういうことの現れである。

なぜ「ジェイルブレイク可能か」に対するモデルごとの答えが存在しないのか

この分野で最も一般的なクエリの形は、モデル名の後に「jailbreak」という語を続けたものです。それは分析単位として誤っており、その理由は上の表にあります。成功は少なくとも五つの要素に同時に依存します。ベースモデルの能力、どのような安全訓練をどの分布で受けたか、プロンプトの形式、サンプリング設定、そして攻撃者がどれだけの試行を費やす用意があるかです。

最後の point は、それだけで一文を割く価値がある。プロンプトごとに1回の試行で測った率と、「28回中の最良」で測った率は同じ測定ではない。そして論文の適応型の結果——両モデルで1.00——は後者の種類だ。どちらの意味かを言わずにジェイルブレイク率を引用する人は、使えるものを何も引用していない。現実的な防御側の問いは「破れるかどうか」ではなく、「何回の試行が必要で、自分のスタックのどこかがその試行に気づくか」だ。

実務上の帰結が2つある。今日あなたのプロンプトセットに耐えているモデルでも、バージョンアップ、安全レイヤーの変更、提供側の設定変更の後には耐えなくなることがある——結果はテストしたビルドに対してのみ有効であり、だからこそバージョンと日付のないテストは結果ではない。また、同じプロンプトセットを2つのモデルに対して実行すると、どちらのモデルに対してあなたのスタックがより弱いかが分かるのであって、どちらが安全かが分かるのではない。

ジェイルブレイクとは何ではないか：アブリテレーション

これら二つは常に混同される。どちらも最終的に、モデルが訓練で出力しないようにされた出力を生成するからだ。両者は同じ改変ではなく、その違いは、追加できる制御と、追加できない性質との違いである。

• ジェイルブレイク — プロンプト層での編集。重みは変わっていない。拒否の方向性は依然としてモデル内にあり、他の振る舞いがそれを上回るようにリクエストが組み立てられているにすぎない。プロンプトを元に戻せば、その振る舞いも一緒に元に戻る。

• Abliteration — 重み層の編集です。拒否方向が特定され（通常は活性化空間内の方向として）、モデルの重みから射影除去されるため、モデルはその種のリクエストに対して拒否をまったく生成しなくなります。これはアーティファクトへの永続的な変更であり、アブリテレーション済みチェックポイントが、巧みなプロンプトを与えた同じベースモデルとは異なる動作をする理由でもあります。その編集の仕組みは、当社のガイドで解説しています。題材は「アブリテレーション」です。

運用上の違いは用語よりも重要だ。ジェイルブレイクは実行時の事象である。リクエストとともに到来し、他のあらゆるリクエストと同様に計数し、レート制限し、フィルタリングし、ログに記録できる。アブリタレーテッド（拒否能力を除去された）モデルはサプライチェーンの事象である。制御はあなたが受け取る前にすでに取り除かれており、プロンプト層の監視をどれだけ行っても戻ってこない。脅威モデルが「誰かがモデルを説得しようとする」なら第一のカテゴリだ。「誰かが拒否を除去したモデルを私に納品する」なら第二のカテゴリであり、唯一の実効的な制御策は来歴、つまりエンドポイントが実際にどのチェックポイントを提供しているかを知ることである。

ジェイルブレイクもまたプロンプトインジェクションではありません

混同されがちな3つ目の用語がプロンプトインジェクションであり、両者を区別する鍵となる問いは「攻撃者は誰か」です。ジェイルブレイクはユーザー側から来るもので、モデルが出力しないよう訓練された内容を引き出そうとします。プロンプトインジェクションはコンテンツから来るもので——取得された文書、ウェブページ、ツールの実行結果など——、開発者が書いていない指示を含んでおり、ユーザーが敵対的であるかどうかに関係なく機能します。同じモデルが一方には免疫を持ち、他方には大きく開かれていることがあるのは、両者が異なる場所で防がれるからです。ジェイルブレイクはモデルの入力と出力で、インジェクションはデータと指示の間の信頼境界で防がれます。

実際にその率を下げるものは何か

ここに書かれていることは何も保証ではありません。そうでないという主張は売り込みにすぎません。以下は、数値を変える一連の対策を、労力に対してどれだけの効果が得られるかの順に並べたものです。

• プロンプト層が破られる前提で考えよ。モデルの拒否に依存するあらゆる制御は、適応型攻撃者一人でゼロになる。リクエストは最終的に通過するものとして設計し、制御は危害が実際に生じる場所に置け。

• ジェイルブレイクが成功した際に到達できる範囲を制限します。 ジェイルブレイクされたアシスタントの影響範囲は、そのツール、認証情報、検索スコープが許す範囲に及びます。ツールに対する最小権限と検索におけるテナント単位のスコーピングは、プロンプトフィルターよりもはるかに確実に、ジェイルブレイク成功の価値を低下させます。

• プロンプトではなく、出力を評価せよ。出力側の分類器は、これまで見たことのないファミリーを捉える。実際に生成されたものを見ており、どのように要求されたかを見ていないからだ。また、入力形式が新奇なときでも機能する唯一の層でもある——そして、ミスマッチ一般化という失敗モードによれば、それはほとんどの場合である。

• システムプロンプトはセキュリティ境界ではなく、設定値として扱うこと。 それは攻撃と同じコンテキストウィンドウ内にあるテキストである。攻撃のコストを高めるが、攻撃を止めるものではない。

• 試行を可視化せよ。 防御側が適応型の攻撃者に対して持つ唯一の優位性は、攻撃がたいてい繰り返されるという点にある。レート制限、繰り返しの検知、ログ記録によって、28回の試行にわたる探索は、個別に見ればどれも問題なかった28件のリクエストではなく、目に見える1つの事象になる。

• モデルが変わるたびに再テストする。バージョンを固定することと固定のプロンプトセットの組み合わせが、「一度テストした」を比較可能な数値に変えます。固定がなければ、その比較に意味はありません。

自分のターゲットを測定する方法

行動に移せる数値が目的なら、論文が固定した3つの変数を固定する：プロンプトセット、モデルのバージョン、試行回数。拒否するのが気まずくなる指示と、リクエストを隠すエンコーディングという両方の失敗モードを含むプロンプトセットを使うこと。片方だけで作ったセットは、もう片方に弱いモデルを実際より良く見せてしまうからだ。保守的に採点する：有害かつトピックに沿ったものとし、単にトーンが外れているだけでは不十分とする。そして結果は、明示した試行回数に対する割合として報告し、決して「はい」か「いいえ」で報告しない。

複数の候補モデルが関与する場合、比較が成り立つのは、同じプロンプトセットを各モデルに対して実行したときだけであり、まさにそこが、方法論よりも配管（基盤の仕組み）が重要になる唯一の点です。私たちがルーティングするモデル全体で1回の評価を実行すれば、ベンダーごとの契約やクライアント側の作業をこの取り組みから省けます。プロバイダーの定価はゼロマークアップでそのまま適用されるため、実行コストはプロバイダーが請求する分だけで、それ以上はかかりません。評価が測るのはモデルの挙動であり、私たちの挙動ではありません — ルーティングはどのモデルが回答するかを変えますが、どのモデルかがより多く拒否するようになるわけではありません。

記録が再開するところ

測定された成功率は、プロンプト層を突破するのがどれほど難しいかを示す。しかし、本番環境で誰かがそれを突破したときに何が起きたかは示さない。そして、その第二の問いこそが、その成功率が重要かどうかを決める。無礼な段落を生成するジェイルブレイクはコンテンツモデレーションの問題だ。ツール呼び出しを生成するジェイルブレイクはインシデントであり、その違いは完全に、システムが出力をどこまで到達させたかにかかっている。

そのアーカイブは現場記録である。エージェントが実際に何をしたのか、各項目の出典、そして誰かが害を受けたかどうかの判定が含まれている。ジェイルブレイク測定と照らして読むと、その測定では答えられない問いに答える。つまり、プロンプトが越えた境界は、下流の何かが依存している境界なのかどうかである。もしそうなら、そのジェイルブレイクはセキュリティ上の所見であり、制御はツール権限に置くべきである。そうでなければ、そのジェイルブレイクはコンテンツ上の結果であり、正直な対応はそれを脆弱性に膨らませるのではなく、コンテンツ上の結果として記録することである。

結びの注記は、証拠が支持する内容だ。ジェイルブレイクは、より優れたモデルでは解決されない。失敗の様態は構造的なものだからだ。指示追従は一つの能力であり、安全性トレーニングはより狭い能力であり、その隙間こそが本稿のあらゆる攻撃の存在する場所である。解決できるのは結果のほうだ——拒否をやめたモデルが、それでも大したことをできないようにすることで。