LLM-Jailbreaks erklärt: Was ein Jailbreak verändert und warum es keine Abliteration ist

Im Juli 2023 setzten drei Forschende 32 schädliche Prompts gegen GPT-4 und Claude 1.3 über 28 verschiedene Angriffe ein. Die stärkste Einzeltechnik – drei aufeinandergestapelte Angriffsfamilien – kam bei 94 Prozent des Sets gegen GPT-4 und bei 81 Prozent gegen Claude 1.3 durch. Was das Set vollständig durchbrach, war kein besserer Angriff, sondern eine Entscheidung: Ein Angreifer, der für jeden Prompt auswählen durfte, welcher der 28 am besten funktionierte, brachte alle 32 bei beiden Modellen durch, was das Papier als glatte 1,00 ausweist. Die unbequeme Lesart ist, dass ein Jailbreak kein Defekt ist, der verschwindet, wenn das Modell klüger oder wohlerzogener wird. Er ist eine Eigenschaft des Prompts, und der Prompt gehört demjenigen, der ihn sendet. Was nach dem Ende der Ablehnung passiert – der Tool-Aufruf, das Lesen der Datei, die Ausgabe, die irgendwo landet, wo darauf reagiert wird –, ist der Teil, das KI-Vorfallarchiv zu erfassen gebaut wurde.

Bei dieser Einordnung lohnt sich Präzision, denn „Jailbreak“ wird für verschiedene Dinge verwendet, und die Unterschiede entscheiden darüber, was eine Gegenmaßnahme überhaupt leisten kann. Dieser Beitrag behandelt, was ein Jailbreak verändert, was die gemessenen Zahlen tatsächlich aussagen, warum es keine modellspezifische Antwort auf die Frage gibt, ob ein Modell jailbreakbar ist, und wo die Technik aufhört, eine Frage der Modellsicherheit zu sein, und zu einer Frage der Systemsicherheit wird.

Ein Jailbreak ist eine Änderung am Prompt, nicht am Modell.

Das Modell bleibt genau so, wie es ausgeliefert wurde. Nichts wird neu trainiert, keine Gewichte werden verändert, kein Fine-Tuning wird angewendet. Der Angreifer ändert die Anfrage so, dass das Befolgen zur lokal korrekten Fortsetzung wird, und das Sicherheitsverhalten, das dem Modell antrainiert wurde, verliert gegen eine konkurrierende Anweisung, der es ebenfalls trainiert wurde zu folgen.

Dieser eine Satz schließt eine große Kategorie vermeintlicher Korrekturen aus. Man kann es nicht an den Gewichten patchen – mit den Gewichten ist nichts falsch. Man kann es nicht aufzählen, weil der Raum der Prompts offen ist. Und man kann es nicht einmalig prüfen, weil die Technik, die heute scheitert, nicht die ist, die morgen ausprobiert wird. Was man tun kann, ist, eine Rate zu messen – an einem festen Prompt-Set, gegen eine feste Modellversion – und dann zu beobachten, wie sich diese Rate verändert, wenn sich eines dieser drei Dinge ändert.

Was das 32-Prompt-Experiment tatsächlich gemessen hat

Bei der Studie handelt es sich um Jailbroken: How Does LLM Safety Training Fail? von Alexander Wei, Nika Haghtalab und Jacob Steinhardt, im Juli 2023 auf arXiv unter 2307.02483 veröffentlicht. Ihr Testset bestand aus 32 schädlichen Prompts – die Hälfte stammte aus einer veröffentlichten GPT-4-Evaluierung, die andere Hälfte wurde aus veröffentlichter Red-Teaming-Arbeit zu Claude adaptiert – und ihr Erfolgsmaß ist grob: Ein Fall wird als Erfolg gewertet, wenn die Antwort sowohl schädlich als auch zum ursprünglichen Anliegen passend ist. Alles, was stockt, ausweicht oder eine andere Frage beantwortet, zählt nicht.

Zwei Eigenschaften der Ergebnisse sind nützlicher als jede einzelne Zeile. Die erste ist, wie ungleichmäßig sich Angriffe zwischen Modellen übertragen. AIM-Rollenspiel erzielte 0,75 gegen GPT-4 und 0,00 gegen Claude 1.3. Few-Shot-JSON erzielte 0,53 und 0,00. Base64-Kodierung war der umgekehrte Fall von ungleichmäßig – 0,34 auf GPT-4 und 0,38 auf Claude 1.3 – und Distraktoren lagen bei 0,44 und 0,47. Eine Technik, gegen die ein Anbieter eindeutig trainiert hat, wird auf diesem Modell als Null gewertet und sagt nichts über das Modell daneben aus.

Der zweite Punkt ist, was passiert, wenn Familien kombiniert werden. Prefix-Injection plus Verweigerungsunterdrückung plus Base64 ergaben 0,56 gegen GPT-4 und 0,66 gegen Claude 1.3. Das Hinzufügen von Style-Injection brachte es auf 0,69 und 0,84. Das Hinzufügen von Website-Inhaltsgenerierung und Formatierungsbeschränkungen brachte es auf 0,94 und 0,81. Das Stapeln ist der ganze Trick: Jede Schicht ist etwas, wozu das Modell trainiert wurde, und die Kombination lässt keine Token-Position übrig, an der das Verweigern die natürlichere Fortsetzung wäre.

Die Modelle in dieser Tabelle sind drei Jahre alt und längst nicht mehr das, was irgendjemand einsetzt. Die Zahlen sind nicht der Punkt; die Form ist es. Jeder Mechanismus in der Tabelle ist in jedem seither erschienenen Modell noch immer aktiv, denn keiner davon war je ein Fehler in GPT-4 oder Claude 1.3 – sie sind Folgen davon, wie Instruction-Following und Sicherheitstraining zusammenspielen.

Zwei Arten, wie Sicherheitsschulungen scheitern

Die Erklärung in dem Paper ist ungewöhnlich klar, und sie ist der Teil, den man sich merken sollte: Es gibt zwei Fehlermodi, und jeder Angriff in der Tabelle ist ein Fall von einem der beiden.

Konkurrierende Ziele ergeben sich, wenn die Fähigkeiten eines Modells und seine Sicherheitsziele in unterschiedliche Richtungen weisen. Instruktionsbefolgung ist eine Fähigkeit. Wenn die Anfrage so verpackt wird, dass eine Ablehnung eine Instruktion verletzen würde, die das Modell stark darauf trainiert ist zu befolgen, löst das Modell den Konflikt zugunsten der Instruktion auf. Prefix-Injection ist die minimale Variante: Man sagt dem Modell, seine Antwort müsse mit "Absolutely! Here's" beginnen, und die ersten Tokens sind bereits eine Festlegung, die eine Ablehnung inkohärent macht. Refusal-Suppression greift dieselbe Nahtstelle von der anderen Seite an, indem sie Formatierungsregeln hinzufügt, die den Satz verbieten, in dem eine Ablehnung formuliert werden müsste.

Nicht übereinstimmende Generalisierung erhält man, wenn das Sicherheitstraining eine enge Eingabeverteilung abdeckt, die von der allgemeinen Fähigkeit des Modells nicht abgedeckt wird. Das Modell hat Base64 während des Vortrainings gelernt und kann einer kodierten Anweisung problemlos folgen. Das Sicherheitstraining, das überwiegend natürlichsprachliche Anfragen gesehen hat, hat ihm nie beigebracht zu erkennen, dass eine kodierte Anfrage immer noch eine Anfrage ist. Derselbe Fehler zeigt sich bei der Entfernung von Vokalen, ROT13, Leetspeak, Payload-Splitting und Ablenkungsaufgaben: Jedes davon ist ein Format, auf das die Fähigkeit generalisiert, das Sicherheitsverhalten aber nicht.

Sobald man diese beiden Kategorien hat, wirken die Angriffe nicht mehr wie ein Sammelsurium von Tricks, sondern wie zwei Familien mit einer gemeinsamen Grundursache – was auch erklärt, warum sie sich so gut kombinieren lassen. Ein Prompt, der die Verweigerung unterdrückt und seine Absicht in einer Kodierung verbirgt, nutzt beide Fehlermodi gleichzeitig aus, und 0,94 ist, wie das aussieht.

Warum es keine modellspezifische Antwort auf die Frage „Ist es jailbreakbar?“ gibt

Die häufigste Anfrageform in diesem Bereich ist ein Modellname, gefolgt von dem Wort Jailbreak. Sie ist die falsche Analyseeinheit, und der Grund dafür ist die obige Tabelle. Der Erfolg hängt von mindestens fünf Dingen gleichzeitig ab: den Fähigkeiten des Basismodells, dem Sicherheitstraining, das es erhalten hat, und auf welcher Datenverteilung, dem Prompt-Format, den Sampling-Einstellungen und der Anzahl der Versuche, die der Angreifer bereit ist aufzuwenden.

Der letzte Punkt verdient einen eigenen Satz. Eine Rate, die bei einem Versuch pro Prompt gemessen wird, und eine Rate, die bei „best of 28“ gemessen wird, sind nicht dieselbe Messung, und das adaptive Ergebnis des Papers – 1,00 bei beiden Modellen – ist von der zweiten Art. Wer eine Jailbreak-Rate zitiert, ohne zu sagen, welche gemeint ist, hat nichts Brauchbares zitiert. Die realistische Frage aus Verteidigungssicht lautet nicht „Kann es geknackt werden“, sondern „Wie viele Versuche sind nötig, und bemerkt irgendetwas in meinem Stack die Versuche“.

Zwei praktische Konsequenzen ergeben sich daraus. Ein Modell, das deinem Prompt-Set heute widersteht, kann nach einem Versionssprung, einer Änderung der Sicherheitsschicht oder einer Konfigurationsänderung auf der Serving-Seite aufhören zu widerstehen — das Ergebnis gilt nur für den Build, den du getestet hast, weshalb ein Test ohne Version und Datum kein Ergebnis ist. Und dasselbe Prompt-Set, gegen zwei Modelle ausgeführt, sagt dir, gegenüber welchem dein Stack nachgiebiger ist, nicht welches sicher ist.

Was ein Jailbreak nicht ist: Abliteration

Diese beiden werden ständig vermengt, weil bei beiden am Ende ein Modell eine Ausgabe erzeugt, die zu erzeugen es nicht trainiert wurde. Sie sind nicht dieselbe Änderung, und der Unterschied ist der zwischen einer Kontrolle, die man hinzufügen kann, und einer Eigenschaft, die man nicht hinzufügen kann.

• Jailbreak — eine Änderung auf Prompt-Ebene. Die Gewichte bleiben unverändert. Die Verweigerungsrichtung ist weiterhin im Modell vorhanden; die Anfrage wurde lediglich so angeordnet, dass andere Verhaltensweisen sie überlagern. Setzt man den Prompt zurück, wird auch das Verhalten zurückgesetzt.

• Abliteration — eine Änderung auf der Gewichtsebene. Die Verweigerungsrichtung wird identifiziert — üblicherweise als eine Richtung im Aktivierungsraum — und aus den Gewichten des Modells herausprojiziert, sodass das Modell für diese Art von Anfrage überhaupt keine Verweigerungen mehr erzeugt. Es ist eine dauerhafte Änderung am Artefakt, und deshalb verhält sich ein abliterierter Checkpoint anders als dasselbe Basismodell mit einem cleveren Prompt. Die Mechanik dieser Änderung ist in unserem Leitfaden zur Abliteration.

Der operative Unterschied ist wichtiger als die Terminologie. Ein Jailbreak ist ein Laufzeitereignis: Er geht mit einer Anfrage einher und lässt sich wie jede andere Anfrage zählen, per Ratenbegrenzung einschränken, filtern und protokollieren. Ein abliteriertes Modell ist ein Lieferkettenereignis: Die Kontrolle wurde bereits entfernt, bevor Sie es erhalten, und keine noch so umfangreiche Überwachung der Prompt-Ebene bringt sie zurück. Wenn Ihr Bedrohungsmodell lautet „Jemand wird versuchen, das Modell zu überreden", dann befinden Sie sich in der ersten Kategorie. Wenn es lautet „Jemand wird mir ein Modell mit entfernter Verweigerung liefern", dann befinden Sie sich in der zweiten, und die einzige wirkliche Kontrolle ist die Provenienz – zu wissen, welchen Checkpoint der Endpunkt tatsächlich bedient.

Jailbreak ist auch keine Prompt-Injection.

Der dritte Begriff, der hier mit hineinspielt, ist Prompt-Injection, und die entscheidende Frage ist, wer der Angreifer ist. Ein Jailbreak kommt vom Nutzer, der versucht, an Inhalte zu gelangen, die das Modell trainiert wurde, zurückzuhalten. Prompt-Injection kommt von Inhalten – einem abgerufenen Dokument, einer Webseite, einem Tool-Ergebnis –, die Anweisungen enthalten, die der Entwickler nie geschrieben hat, und sie funktioniert unabhängig davon, ob der Nutzer feindselig ist. Dasselbe Modell kann gegen das eine immun und für das andere weit offen sein, weil sie an unterschiedlichen Stellen abgewehrt werden: Jailbreaks am Eingang und Ausgang des Modells, Injection an der Vertrauensgrenze zwischen Daten und Anweisungen.

Was die Rate tatsächlich senkt

Nichts davon ist eine Garantie, und jede anderslautende Behauptung ist ein Verkaufsargument. Was folgt, ist die Reihe an Stellschrauben, die die Zahlen verändern – geordnet danach, wie viel sie für den jeweiligen Aufwand bringen.

• Gehen Sie davon aus, dass die Prompt-Ebene fällt.Jede Kontrolle, die darauf beruht, dass das Modell ablehnt, ist nur einen adaptiven Angreifer von null entfernt. Entwerfen Sie so, als würde die Anfrage irgendwann durchkommen, und platzieren Sie die Kontrolle dort, wo der Schaden entstehen würde.

• Beschränken Sie, was ein erfolgreicher Jailbreak erreichen kann. Der Blast Radius eines gejailbreakten Assistenten entspricht dem, was seine Tools, Zugangsdaten und sein Retrieval-Umfang zulassen. Least Privilege bei Tools und mandantenbezogene Eingrenzung beim Retrieval reduzieren den Wert eines erfolgreichen Jailbreaks weit zuverlässiger als jeder Prompt-Filter.

• Bewerte die Ausgabe, nicht den Prompt. Ausgabeseitige Klassifikatoren erkennen Familien, die du noch nie gesehen hast, weil sie darauf schauen, was tatsächlich produziert wurde, statt darauf, wie danach gefragt wurde. Sie sind außerdem die einzige Ebene, die noch funktioniert, wenn das Eingabeformat neuartig ist – was gemäß dem Fehlermodus der fehlangepassten Generalisierung die meiste Zeit der Fall ist.

• Behandle den System-Prompt als Konfigurationswert, nicht als Sicherheitsgrenze. Er ist Text im selben Kontextfenster wie der Angriff. Er erhöht die Kosten eines Versuchs; er verhindert keinen.

• Machen Sie die Versuche sichtbar. Der einzige Vorteil, den ein Verteidiger gegenüber dem adaptiven Angreifer hat, ist, dass der Angriff in der Regel wiederholt wird. Rate-Limits, Wiederholungserkennung und Protokollierung verwandeln eine Suche mit 28 Versuchen in ein Ereignis, das Sie sehen können, statt in 28 Anfragen, die einzeln betrachtet jeweils unauffällig aussahen.

• Bei jeder Modelländerung erneut testen. Eine Versionsfixierung plus ein fester Prompt-Satz ist das, was aus „wir haben es einmal getestet“ eine Zahl macht, mit der man vergleichen kann. Ohne die Fixierung ist der Vergleich sinnlos.

Wie Sie Ihr eigenes Ziel messen

Wenn das Ziel eine Zahl ist, mit der Sie arbeiten können, legen Sie die drei Variablen fest, die das Paper festgelegt hat: das Prompt-Set, die Modellversion und die Anzahl der Versuche. Verwenden Sie ein Prompt-Set, das beide Fehlermodi enthält – Anweisungen, die eine Ablehnung unangenehm machen, und Kodierungen, die die Anfrage verbergen –, denn ein Set, das nur aus einem der beiden besteht, beschönigt ein Modell, das gegenüber dem anderen anfällig ist. Bewerten Sie konservativ: schädlich und themenbezogen, nicht bloß tonabweichend. Und geben Sie das Ergebnis als Rate im Verhältnis zu einer angegebenen Anzahl von Versuchen an, niemals als Ja oder Nein.

Wenn mehrere Kandidatenmodelle im Spiel sind, funktioniert der Vergleich nur, wenn derselbe Prompt-Satz gegen jedes von ihnen läuft, und genau dort ist die Infrastruktur wichtiger als die Methodik. Eine einzige Evaluierung über die Modelle hinweg, die wir routen, erspart die anbieterspezifischen Vertrags- und Client-Arbeiten; die Listenpreise der Anbieter werden ohne Aufschlag durchgereicht, sodass der Lauf genau das kostet, was die Anbieter berechnen, und nichts darüber hinaus. Was die Evaluierung misst, ist das Verhalten des Modells, nicht unseres – das Routing ändert, welches Modell antwortet, und es sorgt nicht dafür, dass eines von ihnen häufiger ablehnt.

Wo die Aufzeichnung wieder einsetzt

Eine gemessene Erfolgsquote sagt Ihnen, wie schwer es ist, die Prompt-Ebene auszuhebeln. Sie sagt Ihnen nicht, was passiert ist, als jemand sie im Produktivbetrieb ausgehebelt hat, und diese zweite Frage entscheidet darüber, ob die Quote von Bedeutung ist. Ein Jailbreak, der einen unhöflichen Absatz erzeugt, ist ein Problem der Inhaltsmoderation. Ein Jailbreak, der einen Tool-Aufruf erzeugt, ist ein Vorfall, und der Unterschied liegt einzig darin, wohin das System die Ausgabe hat gelangen lassen.

Dieses Archiv ist das Feldprotokoll: was Agenten tatsächlich getan haben, mit einer Quelle für jeden Eintrag und einem Urteil darüber, ob jemand zu Schaden gekommen ist. Im Abgleich mit einer Jailbreak-Messung beantwortet es die Frage, die die Messung nicht beantworten kann – ob die Grenze, die ein Prompt überschritten hat, eine ist, von der irgendetwas nachgelagert abhängt. Wenn ja, ist der Jailbreak ein Sicherheitsbefund und die Kontrolle gehört in die Werkzeugberechtigungen. Wenn nicht, ist der Jailbreak ein Inhaltsergebnis, und der ehrliche Schritt ist, es als solches zu erfassen, statt es zu einer Schwachstelle aufzublähen.

Die Schlussbemerkung ist diejenige, die die Belege stützen. Jailbreaking wird nicht durch ein besseres Modell gelöst werden, denn die Fehlermuster sind strukturell: Instruktionsbefolgung ist eine Fähigkeit, Sicherheitstraining eine engere, und die Lücke zwischen beiden ist der Ort, an dem jeder Angriff in diesem Artikel angesiedelt ist. Lösen lässt sich die Konsequenz — indem man sicherstellt, dass ein Modell, das nicht mehr verweigert, trotzdem nicht viel ausrichten kann.