Eine dunkelmarineblaue redaktionelle Illustration: Ein versetztes Feld kleiner blauer Punkte fließt nach rechts in ein schmales vertikales blaues Tor; drei bernsteinfarbene Kurven lösen sich vom Tor und steigen in ein zweites, bernsteinfarbenes vertikales Tor. Die Beschriftungen lauten: 40x weniger Rechenleistung, 0,05 % Ablehnungen in der Produktion, 1.736 h Red Teaming, Probe-Screens prüfen alle, etwa 5,5 % eskaliert, zweite Stufe. Keine Personen, keine Logos.
AI Safety Incidents

Constitutional Classifiers++: Kein universeller Jailbreak in 1.736 Red-Team-Stunden

Autor

Gideon Frost

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Anthropic veröffentlichte die zweite Generation seiner Jailbreak-Abwehr für Claude – Constitutional Classifiers++ – in einem auf den 9. Januar 2026 datierten Forschungspost und einem von 29 Autorinnen und Autoren verfassten Paper, das am 8. Januar 2026 bei arXiv eingereicht wurde. Das Design setzt eine lineare Sonde auf die internen Aktivierungen des Modells selbst vor einen schwergewichtigeren Klassifikator, der jede Antwort im Kontext des Prompts liest, und Anthropic berichtet, dass ein einmonatiger Schattenbetrieb auf dem Traffic von Claude Sonnet 4.5 0,05 % der Anfragen abgelehnt habe, dass das Produktionssystem etwa ein Vierzigstel des Rechenaufwands des Klassifikators für einzelne Austausche verbraucht habe, gegen den es gemessen wurde, und dass 1.736 Stunden menschliches Red-Teaming keinen universellen Jailbreak hervorbrachten. Es wurde nichts beschädigt, und es wird kein Angriff behauptet: Dies ist eine Verteidigung, die beschrieben und gemessen wird, keine offengelegte Intrusion. Das Archiv führt die Episode als Governance-Eintrag mit tagesgenauem Datum 30. Januar 2026, Konfidenzgrad A und ohne verzeichneten Schaden, zusammen mit den übrigen AI-Safety-Einträgen im Orca AI Incident Archive.

Das Datum des Archivs ist nicht das Veröffentlichungsdatum.

Die beiden zitierten Quellen stimmen überein – die Grundlage für die A-Note des Archivs –, doch keine von beiden ist auf den 30. Januar 2026 datiert. Der Forschungsbeitrag „Next-generation Constitutional Classifiers: More efficient protection against universal jailbreaks“ trägt in seinen Seitenmetadaten einen Veröffentlichungszeitstempel vom 9. Januar 2026. Das Paper „Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks“ wurde am 8. Januar 2026 um 05:16 UTC eingereicht und seitdem auf arXiv nicht überarbeitet; die vom Archiv zitierte Version 2601.04603v1 ist die einzige. Das Datum 30. Januar wird hier als die eigene tagesgenaue Ablage des Archivs angegeben, nicht als Datum eines der beiden Dokumente.

Das ist wichtig, weil die einzeilige Zusammenfassung des Archivs drei Zahlen enthält, die ein Leser wahrscheinlich wiederholen wird – 40x, 0,05 %, über 1.700 Stunden –, und jede davon wird an einer anderen Bezugsgröße gemessen, als die Formulierung der Zusammenfassung nahelegt. Der Rest dieses Beitrags handelt davon, was diese Bezugsgrößen sind.

Drei Änderungen, gestapelt

Constitutional Classifiers wurden im Februar 2025 als ein Paar von Filtern eingeführt, die auf synthetischen Daten trainiert wurden, welche aus einer schriftlichen „Verfassung“ zulässiger und verbotener Inhalte generiert worden waren. Diese erste Generation betrieb einen separaten Eingabe-Klassifikator und einen reinen Ausgabe-Klassifikator, und Anthropics eigener Blogbeitrag schreibt ihr zu, dass sie die Jailbreak-Erfolgsquote bei einem ungeschützten Modell von 86 % auf 4,4 % senkt – wodurch etwa 95 % der Angriffe blockiert werden – zu Kosten von 23,7 % zusätzlicher Rechenleistung und einem Anstieg der Ablehnungen bei harmlosen Anfragen um 0,38 %.

Das Paper beginnt damit zu zeigen, wie dieses Paar auseinandergenommen werden könnte. Zwei Angriffsklassen funktionierten. Rekonstruktionsangriffe verteilen eine schädliche Anfrage über harmlos wirkende Fragmente – im Beispiel des Papers wird eine Frage in die Rückgabewerte von Funktionen eingebettet, die über eine Codebasis verteilt sind, und das Modell dann angewiesen, sie wieder zusammenzusetzen –, sodass der Eingabefilter nie eine vollständige Anfrage sieht. Ausgabeverschleierungsangriffe bringen das Modell dazu, in Ersetzungscodes oder Metaphern zu antworten, sodass ein Klassifikator, der nur die Ausgabe liest, etwas Harmloses liest; in der Illustration des Papers beschreibt ein Modell die Herstellung von Salzsäure als Vereinigung von „Sonnens Feuer“ und „Meeres Gabe“, während der Klassifikator nie erfährt, was das Rätsel entschlüsselt. Da die Ausgabe allein ohne die Eingabe nicht interpretierbar ist, kann ein Filter, der nur eine Seite des Austauschs liest, den Schaden nicht erkennen.

Es folgen drei Änderungen, und die Arbeit bewertet jede einzeln, bevor sie sie kombiniert.

• Klassifikatoren austauschen. Ein einzelner Klassifikator liest die Ausgabe des Modells im Kontext der Eingabe und bewertet Token in Batches, während sie generiert werden, wobei Prompt-Caching die Wiederholung bezahlbar macht. Menschliches Red-Teaming fand 2,2-mal weniger hochriskante Schwachstellen pro Jailbreak-Versuch als das Dual-Klassifikator-Design – allerdings bei etwa 50 % mehr Rechenaufwand, da nun ein Modell in Haiku-Größe die gesamte Konversation bewertet.

• Eine Kaskade. Ein leichtgewichtiger Klassifikator der ersten Stufe prüft den gesamten Datenverkehr und eskaliert nur das, was er markiert, an die teure zweite Stufe. Das Design nutzt eine Eigenschaft der Architektur und nicht des Modells aus: Weil ein markierter Austausch eskaliert statt abgelehnt wird, darf die günstige Stufe eine hohe Falschpositivrate haben, was bedeutet, dass ein schwächeres und günstigeres Modell sie betreiben kann. Anthropic legt die Schwelle der ersten Stufe so fest, dass die überwiegende Mehrheit der Beispiele aus seinen eigenen Red-Teaming-Datensätzen markiert wird, und meldet mit Änderungen an der Inferenz-Pipeline und aktualisierten Modellen eine 5,4-fache Reduzierung des Rechenaufwands gegenüber dem Klassifikator für einzelne Austausche. Etwa 10 % des Datenverkehrs erreichen die zweite Stufe, und die erste Stufe macht rund 77 % der Gesamtkosten aus.

• Lineare Aktivierungssonden. Die dritte Änderung nutzt Berechnungen wieder, die das Modell bereits durchgeführt hat. Eine lineare Sonde liest die Aktivierungen des Residualstroms in jeder Schicht, während Tokens gesampelt werden, sodass ihre Grenzkosten nahe null liegen — das Paper veranschlagt eine Sonde über alle Schichten für ein 27B-Modell bei etwa 377K FLOPs pro Token gegenüber etwa 8B für einen einzelnen Forward-Pass eines 4B-Modells. Zwei Trainingsdetails erwiesen sich als wichtig: das Mitteln der Logits über ein gleitendes 16-Token-Fenster während des Trainings, sodass eine einzelne fehlerhafte Aktivierung keine Sequenz als verdächtig kennzeichnen kann, und eine softmax-gewichtete Verlustfunktion, die überzeugte False Positives deutlich stärker bestraft als überzeugte True Negatives. Auf einem statischen Satz von etwa 7.000 Red-Team-Austauschen übertraf die beste Sonde den extrakleinen externen Klassifikator und erreichte nahezu den des Haiku-4.5-Klassifikators. In einem Ensemble mit einem externen Klassifikator schnitt sie besser ab als jeder der beiden allein, und die Erklärung im Paper ist der interessante Teil: die Fehler der Sonde korrelieren weniger mit denen des Klassifikators, als die Fehler zweier Klassifikatoren miteinander korrelieren, daher „scheint die Sonde Signale zu nutzen, die die von externen Klassifikatoren verwendeten ergänzen“.

A three-panel card headed 'Three changes, stacked'. Panel 01, Exchange classifier, shows two pale bars feeding a solid blue bar, with the metric 2.2x fewer high-risk vulnerabilities per attempt. Panel 02, Two-stage cascade, shows one thin gate passing two branches to a second gate, with 5.4x cheaper than the exchange classifier alone. Panel 03, Linear probe, shows three activation dots inside a grey block feeding a box labelled 0.55 probe, with the metric 0.55 / 0.45 probe-to-classifier blend on escalation.

Das Produktionssystem, in seinen eigenen Zahlen

Was ausgeliefert wurde, kombiniert die letzten beiden: Eine lineare Sonde auf den Aktivierungen von Claude Sonnet 4.5 prüft jeden Austausch während der Generierung, und wenn ihr Score einen Schwellenwert überschreitet, geht der Austausch an einen Klassifikator der zweiten Stufe, der aus Claude Haiku 4.5 feinabgestimmt wurde. Bei eskalierten Austauschen werden die beiden Scores zu 0,55 Sonde und 0,45 Klassifikator gemischt. Die Sonde eskalierte etwa 5,5 % des Produktionsverkehrs.

Anthropic hat es in einem Schatten-Deployment auf dem Produktions-Traffic von Claude Sonnet 4.5 zwischen dem 1. Dezember 2025 und dem 1. Januar 2026 evaluiert. Die Flag-Rate – der Anteil der abgelehnten Anfragen – lag bei 0,05 %, gegenüber den 0,38 %, die die erste Generation der Arbeit meldete. Im Blogbeitrag beschreibt das Unternehmen dies als einen Rückgang um 87 % gegenüber den ursprünglichen Klassifikatoren und erklärt separat, das System verursache „etwa 1 % Rechenaufwand, wenn es auf den Traffic von Claude Opus 4.0 angewendet wird“.

Drei Vorbehalte stecken in diesen beiden Sätzen, und keiner davon wird von Anthropic verborgen — sie gehen einfach leicht verloren, wenn die Zahlen weiterwandern.

Zunächst bezieht sich der Ablehnungsvergleich auf 0,38 %, den für die erste Generation veröffentlichten Wert. Die eigene Tabelle 1 der Studie führt die Ablehnungsrate in der Produktion für Anthropics Neuimplementierung des Systems der letzten Generation mit 0,073 % auf, gemessen in der ersten Woche nach dem Deployment. Beide Zahlen stammen von Anthropic; sie messen unterschiedliche Dinge – im einen Fall einen Anstieg der Ablehnungen bei harmlosen Anfragen, im anderen den Anteil der abgelehnten Produktionsanfragen – und die 87%-Behauptung wird aus der größeren der beiden berechnet.

Zweitens ist die Ablehnungsrate des eingesetzten Systems nicht die niedrigste im Paper. Tabelle 1 gibt 0,038 % für den Single-Exchange-Klassifikator und 0,036 % für die zweistufige Kaskade ohne Probes an; das Produktionssystem liegt bei 0,050 %. Es gewinnt beim Rechenaufwand und bei der Robustheit, nicht bei den Ablehnungen, und seine eigene Tabelle sagt das auch.

Drittens sind die 1%-Rechenaufwandsangabe und die 40x-Angabe nicht dieselbe Messung. Die 40x beziehen sich auf den einzelnen Exchange-Klassifikator aus dem dritten Abschnitt des Papers – ein System, das selbst etwa 50 % teurer war als die vorherige Generation. Tabelle 1 des Papers, die alles auf das System der letzten Generation bei 100,0 indexiert, gibt 150,0 für diesen Exchange-Klassifikator an, 27,8 für die zweistufige Kaskade und 3,5 für das Produktionssystem. Gemessen an der vorherigen Generation statt am Zwischendesign impliziert die Tabelle eine Reduktion um etwa das 29-Fache. Die ~1 % im Blog sind wiederum eine dritte Bezugsgrundlage: eine absolute Overhead-Angabe, gemessen am Traffic von Claude Opus 4.0, die den 23,7 % der ersten Generation gegenübergestellt wird.

A four-row comparison table headed 'Four systems, three baselines', with columns for relative compute overhead, high-risk vulnerability discovery rate per thousand red-team queries, and production traffic refusal rate. Rows: last generation, 100.0, 0.01871, 0.073; exchange classifier, 150.0, 0.00885, 0.038; two-stage cascade, 27.8, 0.00878, 0.036; production grade, 3.5, 0.00505, 0.050. A footnote reads that the 40x headline compares the production system with the exchange classifier in row 2, not with row 1, and that the roughly 1% overhead figure is measured on Claude Opus 4.0 traffic.

Was 1.736 Stunden Red-Teaming belegen

Die Robustheitsbehauptung beruht auf einer bestimmten Definition, und in dieser Definition liegt das eigentliche Argument. Anthropics Red-Teamer sollten Strategien entwickeln, die detaillierte Antworten auf acht festgelegte CBRN-Zielfragen entlocken. Eine Antwort gilt als schädlich, wenn ein LLM-Bewertungsschema ihr mindestens die Hälfte des Detailreichtums einer Antwort aus einem Modell ohne Schutzmaßnahmen zuschreibt, und eine „hochriskante Schwachstelle“ ist ein Angriff, der bei mehr als fünf der acht erfolgreich ist. Ein universeller Jailbreak ist in dieser Literatur eine Strategie, die über den Großteil des Zielsets hinweg funktioniert – das, was jemanden in die Lage versetzen würde, einem Fremden ein Rezept auszuhändigen, statt zufällig an eine einzelne Antwort zu geraten.

Das Produktionssystem erbrachte schätzungsweise 1.736 kumulative Stunden Red-Teaming über rund 198.000 Versuche; die Stunden wurden aus API-Protokollen in Fünf-Minuten-Intervallen geschätzt. Es wurde eine Hochrisiko-Schwachstelle gefunden, eine Entdeckungsrate von 0,005 pro tausend Anfragen, und es dauerte 30 Stunden, sie zu finden – die längste minimale Entdeckungszeit aller Systeme in der Arbeit. Kein Angriff beantwortete alle acht Ziel Fragen mit der halben Detailtiefe eines unverteidigten Modells. Die Vergleichszeile ist die eigene Reimplementierung der letzten Generation aus der Arbeit: 13 Hochrisiko-Schwachstellen bei 695.000 Anfragen, eine Rate von 0,01871 pro tausend, darunter vier Jailbreaks, die jede Ziel Frage mit halber Detailtiefe beantworteten und im Durchschnitt in 27 Stunden gefunden wurden.

A dark card headed 'What 1,736 hours bought' with three panels: attempts, 198K red-team queries; high-risk vulnerabilities, 1, a rate of 0.005 per thousand queries with a 30-hour discovery time; universal jailbreaks, 0, against four for the prior generation. All text in Latin script.

Zwei Einschränkungen dieses Ergebnisses sollten klar ausgesprochen werden. Die erste findet sich in der Fußnote des Papiers selbst, die an den Abschnitt angehängt ist, der die zweistufige Kaskade beschreibt, die dem Probe-System vorausging: „Red-Teamer auf Expertenniveau, die außerhalb unseres Bounty-Programms agierten, konnten dennoch universelle Jailbreaks für dieses System entdecken, obwohl dies erheblichen Aufwand und automatisierte Tools erforderte.“ Das endgültige Produktionssystem war nicht Gegenstand dieser Fußnote, doch die Anmerkung belegt, dass die Bounty-Hürde von Anthropic nicht die Obergrenze dessen ist, was entschlossene Angreifer leisten können. Die zweite ist Anthropics eigene Schlussfolgerung im Blogbeitrag: „Kein derzeit auf dem Markt befindliches KI-System verfügt über vollkommen robuste Verteidigungen.“ Die Montana Research Foundation, eine unabhängige Forschungsorganisation, die die Veröffentlichung am 21. Januar 2026 analysierte, formulierte denselben Punkt schärfer – die Hürde von acht Fragen sei „eine vom Verteidiger gewählte Hürde“, und die beiden Angriffsklassen, die Anthropic selbst nennt, „nagen an ihr, statt sie zu überwinden“.

Was kommt noch durch?

Anthropic benennt zwei verbleibende Angriffsklassen und behauptet nicht, sie geschlossen zu haben. Rekonstruktionsangriffe, die eine Anfrage über einen Kontext fragmentieren, und Ausgabeverschleierung, die eine Antwort in Euphemismus, Metapher oder Code kleidet, sind dieselben Techniken, die die erste Generation geknackt haben; der Austausch-Klassifikator macht sie schwieriger, nicht unmöglich. Das Papier hält außerdem die Kosten fest, die entstehen, wenn überhaupt angegriffen wird: Auf GPQA Diamond erzielte Claude Opus 4 unverändert 74,2 %, unter einem fragmentierenden Angriff 32,3 % und unter einem anderen 49 %. Die Autoren nennen diese Variabilität „besorgniserregend“, mit der Begründung, dass ein Gegner, der in das Problem investiert, wahrscheinlich Angriffe finden kann, die mehr von der Fähigkeit des Modells erhalten und trotzdem durchkommen.

Spätere Arbeiten haben beide Öffnungen ernst genommen, und sie sind auf eine Weise unabhängig von Anthropic, wie es die Veröffentlichung selbst nicht ist.

• Boundary Point Jailbreaking, am 16. Februar 2026 bei arXiv eingereicht von Forschenden des UK AI Security Institute und von OATML der Universität Oxford, beschreibt einen vollständig automatisierten Black-Box-Angriff, der nur ein Bit pro Abfrage benötigt – markiert oder nicht markiert – und wird als „der erste vollständig automatisierte Angriffsalgorithmus, der erfolgreich universelle Jailbreaks gegen Constitutional Classifiers entwickelt“ bezeichnet. Ziel war der Klassifikator, der Claude Sonnet 4.5 Stand 27. November 2025 absicherte; das Papier ordnet ihn der Erstgenerationsarbeit von 2025 statt der Probe-Kaskade zu. Das Papier gibt außerdem Anthropics vorläufige Feststellung weiter, dass probe-basierte Klassifikatoren „möglicherweise resistenter gegen diese Art von Angriff sind als textbasierte Klassifikatoren“, und dass Training mit den Angriffsstrings die Erkennung verbessert.

• Trojan-Speak, eingereicht am 30. März 2026 von Autorinnen und Autoren im Anthropic Fellows Program und an der Virginia Tech, greift aus einer anderen Richtung an: adversarielles Fine-Tuning, das einem Modell eine Kodierung beibringt, die der Klassifikator nicht lesen kann; berichtet über 99 % Klassifikator-Umgehung bei Modellen mit 14B Parametern und mehr bei unter 5 % Fähigkeitsverlust, bei den CBRN-Fragen aus dem Bug-Bounty-Set. Es stellt fest, dass die Probe-first-Kaskade immer noch „den LLM-Klassifikator“ die endgültige Blockierungsentscheidung treffen lässt, und kommt zu dem Ergebnis, dass Aktivierungs-Probes die Robustheit gegen den Kodierungsangriff erheblich verbessern.

Keine der beiden Arbeiten bestreitet die Zahlen, die Anthropic für den eigenen Einsatz veröffentlicht hat. Beide betrachten die Kaskade als das, was es zu schlagen gilt. Das ist mehr Prüfung, als der Veröffentlichung anderswo zuteilwurde: Eine Suche in Nachrichtenindizes für den Veröffentlichungszeitraum ergab keine Berichterstattung von Mainstream-Medien über den Beitrag vom 9. Januar, und abgesehen von diesen beiden Arbeiten ist die einzige für diesen Artikel gefundene unabhängige Analyse die der Montana Research Foundation, veröffentlicht am 21. Januar 2026.

Warum das Archiv dies als Governance einordnet

Die Art des Eintrags ist Richtlinie, sein Typ-Tag ist GOV und sein Schweregrad ist info, was sich für ein Papier über Klassifikatorarchitektur merkwürdig liest, bis man betrachtet, was tatsächlich erfasst wird. Es gibt kein Opfer, keine Offenlegungsfrist und keine betroffene Population jenseits der Personen, deren Anfragen der Filter bewertet. Die Dokumente enthalten einen Anbieter, der eine Architektur, eine Deployment-Messung und ein Red-Teaming-Protokoll ausreichend detailliert veröffentlicht, damit jemand anderes die Berechnung nachvollziehen kann – und der in der Danksagung die externen Organisationen nennt, die frühere Versionen einem Red-Teaming unterzogen haben: UK AISI, US CAISI und FAR.AI, wobei HackerOne das Prämienprogramm operativ betreibt.

Das Governance-Interesse gilt der Kostenkurve. Eine Schutzmaßnahme, die ein Viertel auf den Preis jeder Anfrage aufschlägt, ist eine, über deren Abschaltung ein Produktteam diskutiert; die Montana-Analyse macht genau diesen Punkt, indem sie schreibt, dass bei 23,7 % das Sicherheitsteam begründen musste, sie einzuschalten, und bei etwa 1 % „das Produktteam begründen muss, sie auszuschalten“. Ob die Zahl außerhalb von Anthropics eigenem Stack gilt, ist die offene Frage, und dieselbe Analyse nennt den Test: Die Sonde liest Aktivierungen, Aktivierungen sind modellspezifisch, und „wenn sie es nicht tun, ist es ein Anthropic-Ergebnis“.

Die Akte enthält keinerlei Belege dafür, dass das System im Produktivbetrieb versagt hat. Weder ein Vorfall noch eine Umgehung noch ein Schaden für Nutzer erscheint in einem der beiden zitierten Dokumente, und das Archiv verzeichnet tatsächlichen Schaden als null. Das Einreichungsdatum 30. Januar bleibt durch die Quellen unerklärt; die darin beschriebene Arbeit ist auf den 8. und 9. Januar 2026 datiert.