Boundary Point-jailbreaking: hoe AISI twee frontier-AI-filters kraakte met één bit per query

Op 17 februari 2026 publiceerde het UK AI Security Institute Boundary Point Jailbreaking, een geautomatiseerde methode die leerde om twee van de sterkste operationeel ingezette AI-verdedigingen te omzeilen, terwijl er alleen werd meegedeeld of elke query werd geblokkeerd. Het optimaliseert een adversariële prefix vóór een schadelijke aanvraag, met een curriculum van minder verhulde doelen en een zoektocht naar "grenspunten" op de beslissingsgrens van een classifier. Tegen Anthropic's Constitutional Classifiers, die Claude Sonnet 4.5 beschermen, verhoogde het de gemiddelde rubriekscores op ongeziene vragen over biologisch misbruik van 0% naar 25,5% voor ongeveer $330 en 660.000 queries. Tegen OpenAI's inputclassifier voor GPT-5 bereikte het 75,6% voor ongeveer $210. Geen enkel systeem werd gecompromitteerd en niemand raakte gewond: het AI Incident Archive registreert dit als een onderzoeksrecord van gemiddelde ernst, betrouwbaarheidsgraad A, zonder betwisting. Het record zelf, de bijbehorende citatielijst en de onderzoeksvermeldingen die eromheen zijn ingediend, worden bewaard in het Orca AI Incident Archive, dat zowel de AISI-post als het arXiv-artikel rechtstreeks linkt.

Wat de aanval optimaliseert, en wat hij mag zien

Het artikel is Boundary Point Jailbreaking of Black-Box LLMs, door Xander Davies, Giorgi Giglemiani, Edmund Lau, Eric Winsor, Geoffrey Irving en Yarin Gal — op 16 februari 2026 op arXiv geplaatst, twee dagen later herzien en de dag daartussen aangekondigd door AISI. De bijdrage is geen nieuwe jailbreak-string, maar een zoekprocedure om er een te vinden onder een bewust zeer beperkt informatiebudget.

Eerdere geautomatiseerde aanvallen, zoals de auteurs ze beschrijven, leunden op white-box- of grey-box-toegang: classifierscores, gradiënten of een bibliotheek met jailbreaks die iemand al had geschreven. BPJ gaat uit van een aanvaller met niets anders dan API-toegang en één bit per query — gemarkeerd of niet gemarkeerd. Dat bit is het volledige objectieve signaal, en elk onderdeel van de methode bestaat om er rangschikkingsinformatie uit te persen.

• Het object dat wordt geoptimaliseerd is een prefix. Een tokenreeks van begrensde lengte wordt vóór een schadelijk doel geplaatst, en de zoekprocedure muteert die door telkens één token te vervangen, in te voegen of te verwijderen. De prefix wordt één keer geoptimaliseerd en vervolgens toegepast op vragen waarop hij nooit is afgestemd; die overdracht is waar het woord "universal" naar verwijst.

• Het curriculum verandert één moeilijk doelwit in een ladder. Tekens in de schadelijke string worden willekeurig vervangen door ruistekens, en de moeilijkheidsgraad wordt geparametriseerd door de fractie die gecorrumpeerd is. Bij hoge corruptie ziet de classifier bijna-onzin en is het gemakkelijk om te passeren; naarmate de aanval slaagt, wordt de corruptie stapsgewijs verminderd totdat de oorspronkelijke schadelijke string ongewijzigd wordt doorgegeven.

• Grenspunten zijn de rangschikkingstruc. Voor elk kandidaatdoel bemonstert de methode ruisachtige varianten en behoudt alleen die waarbij de populatie kandidaatprefixen het onderling oneens is — sommige gemarkeerd, sommige niet. Doelen die iedereen oplost, of die niemand oplost, zeggen niets over welk prefix beter is, en worden weggegooid. Dit is het onderdeel dat één bit per query voldoende maakt.

• De zoekopdracht zelf is een elitaire evolutionaire lus. Kies een ouderprefix, muteer één token, beoordeel het kind op hoeveel actuele grenspunten het oplost, en houd het als het ten minste één gevestigde oplossing verslaat.

De ablatie is het duidelijkste bewijs dat de selectie van grenspunten werk verricht: BPJ convergeerde ongeveer vijf keer sneller dan hetzelfde curriculum met willekeurige evaluatiesets, en een best-of-N-baseline van willekeurige prefixen convergeerde nooit binnen het budget. De auteurs voerden de pipeline ook uit tegen een goedkope gepromptde GPT-4.1-nano-classifier, waarbij ze optimaliseerden op één enkele HarmBench-vraag en dit herhaalden over vijf — runs van ongeveer 25.000 tot 30.000 queries elk — en ontdekten dat de resulterende prefix overdroeg naar de volledige HarmBench-set, inclusief naar onderwerpen buiten de categorie van de oorspronkelijke vraag.

De twee doelen, en wat de percentages eigenlijk meten

De frontier-tests gebruikten Claude Sonnet 4.5 (claude-sonnet-4-5-20250929, per 27 november 2025) achter de Constitutional Classifiers, en gpt-5 achter OpenAI's inputclassifier (per 6–7 november 2025). In beide gevallen bereikten de auteurs de classifier indirect, door query's via het product te sturen en te controleren of het antwoord terugkwam als een weigering of een markering.

Die opzet is van belang om de cijfers te lezen. "Score" is geen binaire tweedeling; die wordt per vraag berekend door een beoordelingsschema dat controleert of specifieke technische details in het antwoord voorkomen, en de gerapporteerde gemiddelden laten lege outputs buiten beschouwing. Max@50 is de beste score over vijftig pogingen op één enkele vraag. Een gemiddelde van 25,5% betekent dus niet "één op de vier aanvallen werkte" — het is de gemiddelde rubric-kwaliteit van de antwoorden die überhaupt zijn geproduceerd.

Afgezet tegen de eigen geschiedenis van de verdediging is het resultaat nog steeds schrijnend. Constitutional Classifiers had eerder meer dan 3.700 uur menselijke red-teaming doorstaan in meer dan 300.000 chatinteracties, waarbij in die periode slechts één volledig succesvolle, door mensen uitgevoerde universele jailbreak werd gevonden. Anthropic vertelde AISI dat BPJ zou hebben voldaan aan de drempel voor universele jailbreaks zoals beschreven in het bugbountyprogramma.

De GPT-5-inputclassifier hield zich onder dezelfde aanval aanzienlijk minder goed staande: 75,6% gemiddeld en 94,3% bij best-of-fifty, tegenover 25,5% en 39,9% voor Constitutional Classifiers, oplopend tot 68% en 80,4% zodra eenvoudige elicitation-prompting bovenop de prefix werd toegepast.

Beide bedrijven verwoordden het resultaat in hun eigen woorden, zoals geciteerd door AISI. Anthropic bevestigde dat BPJ de eerste volledig geautomatiseerde black-boxaanval is waarvan het weet dat die slaagt in de Constitutional Classifiers-setting. OpenAI bevestigde dat dit de eerste geautomatiseerde aanval is waarvan het weet dat die slaagt tegen zijn inputclassifier voor GPT-5 zonder te vertrouwen op door mensen gemaakte seed-aanvallen. Beide verklaringen zijn beperkt tot wat elk bedrijf weet, en geen van beide werd door het bedrijf gepubliceerd als een zelfstandig advies.

De kosten zijn het verhaal, niet het percentage

Een gemiddelde van 25,5% zou in de meeste jailbreakpapers niets bijzonders zijn. Wat dit record tot een mijlpaal in het archief maakt, is de verhouding tussen capaciteit en budget: tweehonderd tot driehonderd dollar, en ongeveer anderhalf miljoen queries bij beide doelen, voor een aanval die onbeheerd draait en zonder menselijke tussenkomst werkt.

Vóór BPJ was de heersende aanname achter op classifiers gebaseerde verdedigingen dat het vinden van een universele jailbreak langdurige, vakkundige menselijke inspanning vereiste — het cijfer van 3.700 uur is de duidelijkste uitdrukking van die aanname. BPJ vervangt het red team door een zoeklus die één boolean leest en daarop verbetert. De verdediging werkt nog steeds meestal; de economie van het aanvallen ervan is veranderd.

Beide labs hadden bezwaren tegen de sterkste interpretatie, en AISI neemt hun tegenargumenten op in de post in plaats van ze te begraven. Anthropic merkte op dat BPJ maanden aan onderzoek- en ontwikkelingsinspanning vereiste, en dat Constitutional Classifiers is ontworpen om weerstand te bieden aan minder vaardige actoren die met kleinere querybudgetten werken, minder tijd aan aanvalsontwikkeling besteden en moeite zouden hebben met het implementeren van de details van de methode. Dat is een bewering over wie BPJ kan reproduceren, niet over of het werkt.

Waarom de verdediging over gesprekken heen moet meetellen

De belangrijkste zin in het AISI-bericht is niet een slagingspercentage. Het is de observatie dat BPJ "moeilijk te verdedigen is in individuele interacties, maar veel signaleringen veroorzaakt tijdens optimalisatie", en dat effectieve verdediging daarom vereist dat methoden voor afzonderlijke interacties worden aangevuld met monitoring op batch-niveau.

De asymmetrie is structureel rather dan incidenteel. Een classifier per gesprek moet telkens op één input een oordeel vellen, en een prefix die zo gekozen is dat hij dicht bij de beslissingsgrens ligt, is juist uitgekozen om dat oordeel net verkeerd te laten uitvallen. Monitoring op batchniveau kijkt naar een ander object: het verkeer. Een optimalisatierun die 660.000 queries verbruikt, moet onderweg een enorm aantal signalen laten afgaan, en die signalen zijn zichtbaar zelfs wanneer geen enkel gesprek belastend is.

OpenAI's eigen commentaar aan AISI is de praktische versie van het argument. Het merkte op dat de ontwikkeling en uitvoering van BPJ plaatsvonden op accounts die niet onderworpen waren aan handhavingsmaatregelen zoals een ban, en dat op standaardaccounts herhaalde signaleringen waarschijnlijk zouden leiden tot accountbans — wat OpenAI beschreef als een voorbeeld van precies de monitoring op batchniveau die AISI aanbeveelt. De beheersmaatregel die deze aanval had kunnen onderscheppen, is geen betere classifier maar een maatregel op accountniveau.

Wat de auteurs zeggen dat de aanval niet kan doen

BPJ valt de inputclassifier aan, niet het model. In beide frontier-opstellingen gebruikten de auteurs een eenvoudige, door mensen gevonden jailbreak om de eigen weigeringen van het hoofdmodel te omzeilen, dus de gemeten scores beschrijven wat er gebeurt zodra een classifier is verslagen en het model nog steeds bereid is te antwoorden. Niets in het artikel laat zien dat BPJ de weigeringstraining van een model rechtstreeks verslaat.

• Het is niet onopvallend. De auteurs stellen duidelijk dat BPJ-aanvallen een groot aantal flags van de classifier opleveren, wat onder realistische omstandigheden tot bans zou leiden.

• Het vraagt veel queries. De gepubliceerde runs kosten 660.000 en 800.000 queries. Dat is een echte drempel voor casual gebruik, en een luid signaal voor iedereen die het verkeer in de gaten houdt.

• Het gaat uit van een bijna-deterministische classifier. De auteurs houden expliciet geen rekening met situaties met zeer stochastische classifiers.

• De methode wordt gedeeltelijk achtergehouden. Om het verspreidingsrisico te beperken, houdt het artikel belangrijke algoritmische details achter en maakt het noch aanvalsstrings noch code openbaar. Dat is een verdedigbare keuze, en ook de reden waarom het resultaat niet louter op basis van de publicatie onafhankelijk kan worden gereproduceerd.

Wat eraan is gedaan, en wat niet is vastgesteld

AISI zegt dat het de resultaten vóór publicatie met beide bedrijven heeft gedeeld, dat beide bedrijven de aanval in samenwerking met het instituut hebben gerepliceerd, en dat beide BPJ-specifieke mitigerende maatregelen hebben ontwikkeld. In het artikel staat dat de openbaarmaking minstens zes weken vóór publicatie plaatsvond. In het bericht worden geen technische details van die maatregelen genoemd, en er wordt niet gezegd wanneer ze zijn uitgerold of hoe ze zijn gevalideerd.

Dat is ook de grens van wat dit stuk kan bevestigen. De betrouwbaarheidsgraad A van het dossier weerspiegelt de kwaliteit van de documentatie, niet een onafhankelijke test van de aanval: er zijn twee primaire documenten, en ze komen van dezelfde organisatie. De bevestigingen van Anthropic en OpenAI bereiken het dossier via AISI's verslag, niet via documenten die dit artikel rechtstreeks kon lezen. Berichtgeving buiten AISI herhaalt de blogpost — artikelen in vakbladen van It Does What Now? en Resultsense herhalen de cijfers zonder onafhankelijke toetsing — en zoekopdrachten voor dit artikel vonden geen oorspronkelijke berichtgeving in de reguliere pers over het resultaat.

Niets in het dossier laat zien dat BPJ tegen een live systeem buiten een test is gebruikt, en het archief vermeldt geen schade in de praktijk. Het artikel is een arXiv-preprint, geen peer-reviewed publicatie. De "eerste"-claims zijn door de labs die ze deden zorgvuldig afgebakend — "de eerste waarvan zij op de hoogte zijn" — en moeten zo worden gelezen, niet als een absoluut gegeven.

Een verdere beperking is gemakkelijk te ruim te interpreteren. De doelwitten waren configuraties die in november 2025 actueel waren, en het bericht van AISI noemt geen verdediging die nieuwer is dan de twee die het aanviel. Hoe Constitutional Classifiers en OpenAI's inputfiltering eruitzien na de BPJ-specifieke mitigaties, zegt dit verslag niet — en noch de blog noch het paper beweert dat latere verdedigingen kwetsbaar blijven voor hetzelfde prefix.

De blijvende bevinding gaat over waar de verdediging moet worden geplaatst. Een classifier die één gesprek tegelijk beoordeelt, is de verkeerde vorm voor een aanvaller die honderdduizenden pogingen mag doen, omdat het zoekproces van de aanval zelf het verraadt. AISI's aanbeveling om de batch in de gaten te houden in plaats van het bericht volgt uit de mechanica van de aanval, en die geldt ongeacht of BPJ zelf ooit opnieuw wordt gebruikt.