Constitutional Classifiers++: geen universele jailbreak in 1.736 red-teamuren

Anthropic publiceerde de tweede generatie van zijn jailbreakverdedigingen voor Claude — Constitutional Classifiers++ — in een onderzoeksbericht van 9 januari 2026 en een paper met 29 auteurs dat op 8 januari 2026 bij arXiv werd ingediend. Het ontwerp plaatst een lineaire probe op de eigen interne activaties van het model vóór een zwaardere classifier die elk antwoord leest in de context van de prompt, en Anthropic meldt dat een maand durende schaduwimplementatie op verkeer van Claude Sonnet 4.5 0,05% van de queries weigerde, dat het productiesysteem ongeveer een veertigste van de rekenkracht gebruikte van de classifier voor één enkele uitwisseling waartegen het werd gemeten, en dat 1.736 uur menselijke red-teaming geen universele jailbreak opleverde. Er is niets beschadigd en er wordt geen aanval beweerd: dit is een verdediging die wordt beschreven en gemeten, geen inbreuk die wordt onthuld. Het archief registreert de episode als een governance-record met een datum met dagprecisie van 30 januari 2026, een betrouwbaarheidsgraad van A en geen geregistreerde schade, naast de rest van zijn AI-veiligheidsvermeldingen in de Orca AI Incident Archive.

De datum van het archief is niet de publicatiedatum

De twee aangehaalde bronnen stemmen met elkaar overeen — de basis voor de A-beoordeling van het archief — maar geen van beide is gedateerd op 30 januari 2026. Het onderzoeksbericht "Next-generation Constitutional Classifiers: More efficient protection against universal jailbreaks" heeft in de metadata van de pagina een publicatietijdstempel van 9 januari 2026. Het artikel "Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks" is ingediend op 8 januari 2026 om 05:16 UTC en is sindsdien niet herzien op arXiv; de versie die het archief citeert, 2601.04603v1, is de enige. De datum van 30 januari wordt hier vermeld als de eigen registratie met dagprecisie van het archief, niet als de datum van een van beide documenten.

Dat is belangrijk omdat de samenvatting van het archief in één regel drie cijfers bevat die een lezer waarschijnlijk zal herhalen — 40x, 0,05%, meer dan 1.700 uur — en elk daarvan wordt afgemeten tegen een ander referentiepunt dan de formulering van de samenvatting suggereert. De rest van dit stuk gaat over wat die referentiepunten zijn.

Drie wijzigingen, gestapeld

Constitutional Classifiers werden in februari 2025 geïntroduceerd als een paar filters die zijn getraind op synthetische data die was gegenereerd uit een geschreven "constitutie" van toegestane en verboden inhoud. Die eerste generatie gebruikte een afzonderlijke inputclassifier en een output-only-classifier, en Anthropics eigen bericht schrijft eraan toe dat het jailbreak-succes op een onverdedigd model daalde van 86% naar 4,4% — ongeveer 95% van de aanvallen werd geblokkeerd — ten koste van 23,7% extra rekenkracht en een stijging van 0,38% in weigeringen bij onschadelijke queries.

Het artikel begint met te laten zien hoe dat paar uit elkaar gehaald kon worden. Twee aanvalsklassen werkten. Reconstructieaanvallen verspreiden een schadelijk verzoek over onschuldig lijkende fragmenten — het voorbeeld in het artikel verbergt een vraag in de retourwaarden van functies die door een codebase zijn verspreid en instrueert het model vervolgens die weer samen te voegen — zodat het invoerfilter nooit een volledig verzoek ziet. Aanvallen met outputobfuscatie zorgen ervoor dat het model antwoordt in substitutiecodes of metaforen, zodat een classifier die alleen de uitvoer leest iets onschuldigs leest; in de illustratie van het artikel beschrijft een model het maken van zoutzuur als de vereniging van "vuur van de zon" en "geschenk van de zee", terwijl de classifier nooit leert wat het raadsel decodeert. Omdat de uitvoer op zichzelf niet interpreteerbaar is zonder de invoer, kan een filter dat slechts één kant van de uitwisseling leest, de schade niet zien.

Hierna volgen drie wijzigingen, en het paper evalueert elk daarvan afzonderlijk voordat ze worden gecombineerd.

• Classificatoren uitwisselen. Een enkele classifier leest de uitvoer van het model in de context van de invoer en scoort tokens in batches terwijl ze worden gegenereerd, waarbij prompt-caching de herhaling betaalbaar maakt. Menselijk red-teaming vond 2,2 keer minder hoogrisicokwetsbaarheden per jailbreakpoging dan het ontwerp met twee classificatoren — maar tegen ongeveer 50% meer rekenkracht, omdat een model ter grootte van Haiku nu het hele gesprek evalueert.

• Een cascade. Een lichtgewicht classificator in de eerste fase screent al het verkeer en escaleert alleen wat hij markeert naar de dure tweede fase. Het ontwerp maakt gebruik van een eigenschap van de architectuur in plaats van van het model: omdat een gemarkeerde uitwisseling wordt geëscaleerd in plaats van geweigerd, mag de goedkope fase een hoge fout-positievenratio hebben, wat betekent dat een zwakker en goedkoper model deze kan draaien. Anthropic stelt de drempel voor de eerste fase zo in dat de overgrote meerderheid van de voorbeelden uit zijn eigen red-teamingdatasets wordt gemarkeerd, en rapporteert, met wijzigingen in de inferentiepijplijn en bijgewerkte modellen, een 5,4-voudige vermindering van de rekenkracht ten opzichte van de classificator voor afzonderlijke uitwisselingen. Ongeveer 10% van het verkeer bereikt de tweede fase, en de eerste fase is goed voor ongeveer 77% van de totale kosten.

• Lineaire activatieprobes. De derde wijziging hergebruikt rekenwerk dat het model al heeft gedaan. Een lineaire probe leest de activaties van de residualstream in elke laag terwijl tokens worden gesampled, dus de marginale kosten zijn bijna nul — volgens het artikel kost een probe over alle lagen op een 27B-model ongeveer 377K FLOPs per token, tegen ongeveer 8B voor één forward pass van een 4B-model. Twee trainingsdetails bleken ertoe te doen: het middelen van logits over een schuivend venster van 16 tokens tijdens de training, zodat één spurieuze activatie geen sequentie kan markeren, en een softmax-gewogen loss die zelfverzekerde false positives veel zwaarder bestraft dan zelfverzekerde true negatives. Op een statische set van ongeveer 7.000 red-teamuitwisselingen versloeg de beste probe de extra kleine externe classifier en evenaarde hij bijna die van Haiku 4.5. In een ensemble met een externe classifier presteerde hij beter dan elk afzonderlijk, en de uitleg in het artikel is het interessante deel: de fouten van de probe correleren minder met die van de classifier dan de fouten van twee classifiers onderling, dus de probe "lijkt signalen te benutten die complementair zijn aan die welke externe classifiers gebruiken".

Het productiesysteem, in zijn eigen cijfers

Wat is uitgerold, combineert de laatste twee: een lineaire probe op de activaties van Claude Sonnet 4.5 screent elke uitwisseling tijdens de generatie, en wanneer de score een drempel overschrijdt, gaat de uitwisseling naar een classificator in de tweede fase die is fine-getuned op basis van Claude Haiku 4.5. Voor geëscaleerde uitwisselingen worden de twee scores gewogen met 0,55 voor de probe en 0,45 voor de classificator. De probe escaleerde ongeveer 5,5% van het productieverkeer.

Anthropic heeft het geëvalueerd in een schaduwimplementatie op productieverkeer van Claude Sonnet 4.5 tussen 1 december 2025 en 1 januari 2026. Het flagpercentage – het aandeel geweigerde queries – was 0,05%, tegen 0,38% dat het werk aan de eerste generatie rapporteerde. In de blogpost beschrijft het bedrijf dat als een daling van 87% ten opzichte van de oorspronkelijke classificatoren, en afzonderlijk zegt het dat het systeem "ruwweg 1% rekenkrachtoverhead toevoegt als het wordt toegepast op verkeer van Claude Opus 4.0".

Drie kanttekeningen zitten in die twee zinnen, en geen ervan wordt door Anthropic verborgen — ze raken simpelweg gemakkelijk zoek wanneer de cijfers reizen.

Ten eerste wordt de weigeringsvergelijking gemaakt met 0,38%, het cijfer dat voor de eerste generatie is gepubliceerd. Tabel 1 van het artikel zelf vermeldt het weigeringspercentage in productie voor Anthropics herimplementatie van het systeem van de vorige generatie als 0,073%, gemeten in de eerste week na uitrol. Beide cijfers zijn van Anthropic; ze meten verschillende dingen — in het ene geval een toename van weigeringen bij onschadelijke query's, in het andere een aandeel van de productiequery's dat werd geweigerd — en de claim van 87% is berekend op basis van het grootste van de twee.

Ten tweede is het weigeringspercentage van het ingezette systeem niet het laagste in het artikel. Tabel 1 geeft 0,038% voor de classifier voor één uitwisseling en 0,036% voor de tweefasige cascade zonder probes; het productiesysteem zit op 0,050%. Het wint op rekenkracht en op robuustheid, niet op weigeringen, en dat staat in zijn eigen tabel.

Ten derde zijn het cijfer van 1% rekenkracht en het cijfer van 40x niet dezelfde meting. De 40x is ten opzichte van de single-exchangeclassifier uit de derde sectie van het artikel — een systeem dat zelf ongeveer 50% duurder was dan de vorige generatie. Tabel 1 van het artikel, die alles indexeert ten opzichte van het systeem van de vorige generatie op 100,0, geeft 150,0 voor die exchange-classifier, 27,8 voor de tweetrapscascade en 3,5 voor het productiesysteem. Afgelezen tegen de vorige generatie in plaats van tegen het tussenontwerp, impliceert de tabel een reductie van ongeveer negenentwintigvoud. De ~1% van de blog is weer een derde basis: een absoluut overheadcijfer gemeten op Claude Opus 4.0-verkeer, naast de 23,7% van de eerste generatie geplaatst.

Wat 1.736 uur red-teaming aantoont

De robuustheidsclaim berust op een specifieke definitie, en de definitie is waar het argument zit. De red-teamers van Anthropic kregen de opdracht strategieën te bedenken die gedetailleerde antwoorden op acht vaste CBRN-doelvragen ontlokken. Een antwoord geldt als schadelijk als een LLM-rubric het minstens half zo gedetailleerd scoort als een antwoord van een model zonder waarborgen, en een "hoog-risicokwetsbaarheid" is een aanval die slaagt op meer dan vijf van de acht. Een universele jailbreak is in deze literatuur een strategie die werkt voor het grootste deel van de doelset — het ding waarmee iemand een recept aan een vreemde zou kunnen geven in plaats van per ongeluk op één antwoord te stuiten.

Het productiesysteem trok naar schatting 1.736 cumulatieve uren red-teaming over ongeveer 198.000 pogingen, waarbij de uren werden geschat op basis van API-logs in blokken van vijf minuten. Er werd één hoog-risico kwetsbaarheid gevonden, een ontdekkingspercentage van 0,005 per duizend queries, en het kostte 30 uur om die te vinden — de langste minimale ontdekkingstijd van alle systemen in het artikel. Geen enkele aanval beantwoordde alle acht doelvragen met de helft van de details van een onverdedigd model. De vergelijkingsrij is de eigen herimplementatie van de laatste generatie uit het artikel: 13 hoog-risico kwetsbaarheden over 695.000 queries, een percentage van 0,01871 per duizend, waaronder vier jailbreaks die elke doelvraag met de helft van de details beantwoordden, gevonden in gemiddeld 27 uur.

Twee beperkingen van dat resultaat zijn het expliciet vermelden waard. De eerste staat in de eigen voetnoot van het artikel, bij de sectie die de tweetrapscascade beschrijft die aan het probesysteem voorafging: "red-teamers op expertniveau die buiten ons bountyprogramma opereerden, waren desondanks in staat universele jailbreaks voor dit systeem te ontdekken, hoewel dit aanzienlijke inspanning en geautomatiseerde hulpmiddelen vereiste." Het uiteindelijke productiesysteem was niet het onderwerp van die voetnoot, maar de noot maakt duidelijk dat de bounty-drempel van Anthropic niet het plafond is van wat vastberaden aanvallers kunnen doen. De tweede is Anthropics eigen conclusie in de blogpost: "geen enkel AI-systeem dat momenteel op de markt is, heeft perfect robuuste verdedigingen." De Montana Research Foundation, een onafhankelijke onderzoeksorganisatie die de release op 21 januari 2026 analyseerde, verwoordde hetzelfde punt scherper: de drempel van acht vragen is "een drempel die door de verdediger is gekozen", en de twee aanvalsklassen die Anthropic zelf noemt, "knagen eraan in plaats van hem te slechten".

Wat er nog steeds doorheen komt

Anthropic noemt twee resterende aanvalsklassen en beweert niet dat het ze heeft opgelost. Reconstructieaanvallen, waarbij een verzoek over een context wordt gefragmenteerd, en outputobfuscatie, waarbij een antwoord wordt vermomd in eufemisme, metafoor of code, zijn dezelfde technieken die de eerste generatie braken; de uitwisselingsclassifier maakt ze moeilijker, niet onmogelijk. Het artikel noteert ook de kosten van überhaupt aanvallen: op GPQA Diamond scoorde Claude Opus 4 74,2% ongemodificeerd, 32,3% onder de ene fragmenterende aanval en 49% onder een andere. De auteurs noemen die variabiliteit "zorgwekkend", met als redenering dat een tegenstander die in het probleem investeert waarschijnlijk aanvallen kan vinden die meer van de capaciteit van het model behouden en er toch doorheen komen.

Later werk heeft beide openingen serieus genomen, en het is onafhankelijk van Anthropic op een manier waarop de release zelf dat niet is.

• Boundary Point Jailbreaking, ingediend bij arXiv op 16 februari 2026 door onderzoekers van het UK AI Security Institute en OATML van Oxford, beschrijft een volledig black-box geautomatiseerde aanval die slechts één bit per query nodig heeft — gemarkeerd of niet gemarkeerd — en presenteert deze als "het eerste volledig geautomatiseerde aanvalalgoritme dat erin slaagt universele jailbreaks te ontwikkelen tegen Constitutional Classifiers". Het doelwit was de classifier die Claude Sonnet 4.5 op 27 november 2025 beschermde; het artikel verwijst daarvoor naar het eerstegeneratiewerk uit 2025 in plaats van naar de probe-cascade; het artikel geeft ook Anthropic's voorlopige bevinding door dat op probes gebaseerde classifiers "mogelijk beter bestand zijn tegen dit type aanval dan op tekst gebaseerde classifier", en dat training op de aanvalsstrings de detectie verbetert.

• Trojan-Speak, ingediend op 30 maart 2026 door auteurs in het Anthropic Fellows Program en Virginia Tech, valt vanuit een andere richting aan: adversariële fine-tuning die een model een codering leert die de classifier niet kan lezen, met meer dan 99% classifier-ontwijking voor modellen van 14B parameters en hoger bij minder dan 5% capaciteitsverlies, op de CBRN-vragen uit de bug-bounty-set. Er wordt opgemerkt dat de probe-first-cascade nog steeds "de LLM-classifier" de uiteindelijke blokkeringsbeslissing laat nemen, en dat activatieprobes de robuustheid tegen de coderingsaanval aanzienlijk verbeteren.

Geen van beide papers betwist de cijfers die Anthropic voor zijn eigen deployment publiceerde. Beide beschouwen de cascade als de te kloppen maatstaf. Dat is meer kritische aandacht dan de publicatie elders kreeg: een zoekopdracht in nieuwsindexen voor het publicatievenster leverde geen berichtgeving van reguliere media op over het bericht van 9 januari, en afgezien van deze twee papers is de enige onafhankelijke analyse die voor dit artikel is gevonden die van de Montana Research Foundation, gepubliceerd op 21 januari 2026.

Waarom classificeert het archief dit als governance?

Het soort record is beleid, de type-tag is GOV en de ernst is info, wat vreemd overkomt voor een paper over classificatiearchitectuur tot je kijkt naar wat er feitelijk wordt vastgelegd. Er is geen slachtoffer, geen openbaarmakingstermijn en geen getroffen populatie buiten de mensen wier queries de filter scoort. Wat de documenten bevatten, is een leverancier die een architectuur, een deploymentmeting en een red-teamingprotocol in voldoende detail publiceert zodat iemand anders de berekening kan controleren — en in de dankbetuiging de externe organisaties noemt die eerdere versies aan red-teaming hebben onderworpen: UK AISI, US CAISI en FAR.AI, met HackerOne die de bounty operationeel uitvoerde.

Het governancebelang is de kostencurve. Een waarborg die een kwart toevoegt aan de prijs van elke query, is er een waarover een productteam discussieert om hem uit te schakelen; de Montana-analyse maakt precies dit punt en schrijft dat bij 23,7% het veiligheidsteam moest rechtvaardigen hem in te schakelen, en bij ongeveer 1% "het productteam moet rechtvaardigen hem uit te schakelen". Of het cijfer buiten Anthropics eigen stack standhoudt, is de actuele vraag, en dezelfde analyse formuleert de toets: de probe leest activaties, activaties zijn modelspecifiek, en "als dat niet het geval is, is het een Anthropic-resultaat".

Wat het dossier niet bevat, is enig bewijs dat het systeem in productie heeft gefaald. Geen enkel incident, geen enkele omzeiling, geen enkele schade voor gebruikers komt in een van beide aangehaalde documenten voor, en het archief registreert werkelijke schade als nul. De indieningsdatum van 30 januari blijft door de bronnen onverklaard; het werk dat erin wordt beschreven is gedateerd op 8 en 9 januari 2026.