Jailbreaking del punto di confine: come AISI ha infranto due filtri AI di frontiera con un bit per query

Il 17 febbraio 2026 l'UK AI Security Institute ha pubblicato Boundary Point Jailbreaking, un metodo automatizzato che ha imparato a superare due delle difese IA più robuste messe in campo, ricevendo come unica informazione se ciascuna query fosse stata bloccata. Ottimizza un prefisso avversario posto prima di una richiesta dannosa, utilizzando un curriculum di obiettivi meno offuscati e una ricerca di «punti di confine» sul margine decisionale di un classificatore. Contro i Constitutional Classifiers di Anthropic, che proteggono Claude Sonnet 4.5, ha aumentato i punteggi medi della rubrica su domande non viste relative all'uso improprio in ambito biologico dallo 0% al 25,5%, con circa 330 dollari e 660.000 query. Contro il classificatore di input di OpenAI per GPT-5 ha raggiunto il 75,6% con circa 210 dollari. Nessun sistema è stato violato e nessuna persona ha subito danni: l'AI Incident Archive lo archivia come un record di ricerca di gravità media, grado di confidenza A, senza alcuna contestazione. Il record stesso, il suo elenco di citazioni e le voci di ricerca archiviate attorno ad esso sono conservati nell'Orca AI Incident Archive, che collega direttamente sia il post dell'AISI sia l'articolo su arXiv.

Che cosa ottimizza l’attacco e che cosa gli è consentito vedere

L'articolo è Jailbreaking tramite punto di confine di LLM a scatola nera, di Xander Davies, Giorgi Giglemiani, Edmund Lau, Eric Winsor, Geoffrey Irving e Yarin Gal — pubblicato su arXiv il 16 febbraio 2026, rivisto due giorni dopo e annunciato da AISI il giorno compreso tra i due. Il suo contributo non è una nuova stringa di jailbreak, ma una procedura di ricerca per trovarne una con un budget informativo deliberatamente ridotto all'osso.

I precedenti attacchi automatizzati, come li descrivono gli autori, si basavano su un accesso white-box o grey-box: punteggi del classificatore, gradienti o una libreria di jailbreak che qualcuno aveva già scritto. BPJ presuppone un attaccante che dispone solo dell'accesso API e di un singolo bit per query — segnalato o non segnalato. Quel bit è l'intero segnale obiettivo, e ogni parte del metodo esiste per estrarre da esso informazioni di ranking.

• L'oggetto che viene ottimizzato è un prefisso. Una sequenza di token di lunghezza limitata viene concatenata davanti a un target dannoso, e la ricerca la modifica sostituendo, inserendo o eliminando un token alla volta. Il prefisso viene ottimizzato una volta e poi applicato a domande su cui non è mai stato messo a punto; è a questo trasferimento che si riferisce la parola "universale".

• Il curriculum trasforma un obiettivo difficile in una scala graduale. I caratteri nella stringa dannosa vengono sostituiti casualmente con caratteri di rumore, e la difficoltà è parametrizzata dalla frazione corrotta. Con un'elevata corruzione il classificatore vede quasi spazzatura ed è facile da superare; man mano che l'attacco riesce, la corruzione viene ridotta a passi fino a quando la stringa dannosa originale viene superata senza modifiche.

• I punti di confine sono il trucco per la classifica. Per ogni obiettivo candidato, il metodo campiona varianti rumorose e mantiene solo quelle in cui la popolazione dei prefissi candidati è in disaccordo con se stessa — alcuni segnalati, altri no. Gli obiettivi che tutti risolvono, o che nessuno risolve, non dicono nulla su quale prefisso sia migliore e vengono scartati. È questo l'elemento che rende sufficiente un bit per query.

• La ricerca stessa è un ciclo evolutivo elitario. Scegli un prefisso genitore, muta un token, valuta il figlio in base a quanti punti di confine attuali risolve, mantienilo se supera almeno uno degli incumbent.

L'ablation è la prova più chiara che la selezione dei punti di confine fa il suo lavoro: BPJ convergeva circa cinque volte più rapidamente dello stesso curriculum con set di valutazione casuali, e una baseline best-of-N di prefissi casuali non convergeva mai entro il budget. Gli autori hanno anche eseguito la pipeline su un classificatore GPT-4.1-nano economico basato su prompt, ottimizzando su una singola domanda di HarmBench e ripetendo su cinque — esecuzioni di circa 25.000-30.000 query ciascuna — e hanno scoperto che il prefisso risultante si trasferiva all'intero set HarmBench, anche a temi al di fuori della categoria della domanda originale.

I due obiettivi, e cosa misurano effettivamente le percentuali

I test di frontiera hanno utilizzato Claude Sonnet 4.5 (claude-sonnet-4-5-20250929, al 27 novembre 2025) dietro i Constitutional Classifiers, e gpt-5 dietro il classificatore di input di OpenAI (al 6–7 novembre 2025). In entrambi i casi gli autori hanno raggiunto il classificatore indirettamente, inviando query attraverso il prodotto e verificando se la risposta veniva restituita come un rifiuto o una segnalazione.

Quella configurazione è importante per leggere i numeri. «Score» non è una soglia binaria; viene calcolato per ogni domanda da una rubrica che verifica se nella risposta compaiono dettagli tecnici specifici, e le medie riportate escludono gli output vuoti. Max@50 è il punteggio migliore su cinquanta tentativi per una singola domanda. Una media del 25,5% non significa quindi «un attacco su quattro ha funzionato» — è la qualità media secondo la rubrica delle risposte che sono state effettivamente prodotte.

Rapportato alla storia stessa della difesa, il risultato resta comunque netto. Constitutional Classifiers aveva in precedenza resistito a oltre 3.700 ore di red-teaming umano attraverso più di 300.000 interazioni di chat, con un solo jailbreak universale guidato da esseri umani pienamente riuscito individuato in quel periodo. Anthropic ha detto ad AISI che BPJ avrebbe soddisfatto il criterio del jailbreak universale descritto nel suo programma di bug bounty.

Il classificatore di input di GPT-5 ha resistito molto meno bene allo stesso attacco: 75,6% in media e 94,3% con il migliore su cinquanta, contro 25,5% e 39,9% per Constitutional Classifiers, salendo a 68% e 80,4% una volta applicato anche un prompting di elicitazione di base oltre al prefisso.

Entrambe le aziende hanno espresso il risultato con parole proprie, come citato da AISI. Anthropic ha verificato che BPJ è il primo attacco black-box completamente automatizzato di cui sia a conoscenza a riuscire nell'ambito dei Constitutional Classifiers. OpenAI ha verificato che è il primo attacco automatizzato di cui sia a conoscenza a riuscire contro il proprio classificatore di input per GPT-5 senza basarsi su attacchi seed umani. Entrambe le dichiarazioni sono limitate a ciò che ciascuna azienda sa, e nessuna delle due è stata pubblicata dall'azienda come avviso autonomo.

Il costo è ciò che conta, non la percentuale

Una media del 25,5% sarebbe insignificante nella maggior parte degli articoli sul jailbreak. Ciò che rende questo record una voce fondamentale nell'archivio è il rapporto tra capacità e budget: da duecento a trecento dollari, e circa un milione e mezzo di query su entrambi gli obiettivi, per un attacco che funziona senza supervisione e non richiede intervento umano.

Prima di BPJ, l'assunto operativo alla base delle difese basate su classificatori era che trovare un jailbreak universale richiedesse uno sforzo umano qualificato e prolungato: la cifra di 3.700 ore è l'espressione più chiara di tale assunto. BPJ sostituisce il red team con un ciclo di ricerca che legge un singolo valore booleano e lo migliora. La difesa funziona ancora nella maggior parte dei casi; è cambiata l'economia dell'attacco.

Entrambi i laboratori hanno contestato l'interpretazione più forte, e l'AISI riporta le loro obiezioni nel post anziché seppellirle. Anthropic ha osservato che BPJ ha richiesto mesi di ricerca e sviluppo, e che Constitutional Classifiers è progettato per resistere ad attori meno qualificati che operano con budget di query più ridotti, dedicano meno tempo allo sviluppo degli attacchi e avrebbero difficoltà a implementare i dettagli del metodo. Si tratta di un'affermazione su chi può riprodurre BPJ, non sul fatto che funzioni.

Perché la difesa deve contare attraverso le conversazioni

La frase più rilevante del post di AISI non è un tasso di successo. È l'osservazione che BPJ è "difficile da contrastare nelle singole interazioni ma genera molti segnali di allarme durante l'ottimizzazione", e che una difesa efficace richiede quindi di integrare i metodi basati sulla singola interazione con un monitoraggio a livello di batch.

L'asimmetria è strutturale, non accidentale. Un classificatore per conversazione deve esprimere un giudizio su un input alla volta, e un prefisso scelto per collocarsi vicino al confine decisionale è selezionato appositamente per rendere quel giudizio marginalmente errato. Il monitoraggio a livello di batch guarda a un oggetto diverso: il traffico. Un ciclo di ottimizzazione che impiega 660.000 query deve far scattare un numero enorme di segnalazioni lungo il percorso, e tali segnalazioni sono visibili anche quando nessuna singola conversazione è di per sé incriminante.

Il commento di OpenAI stesso all'AISI è la versione pratica dell'argomento. Osservava che lo sviluppo e l'esecuzione di BPJ avvenivano su account non soggetti ad azioni di enforcement come il ban, e che su account standard segnalazioni ripetute avrebbero probabilmente portato al ban dell'account — cosa che OpenAI descriveva come un esempio esattamente del monitoraggio a livello di batch raccomandato dall'AISI. Il controllo che avrebbe intercettato questo attacco non è un classificatore migliore, ma uno a livello di account.

Ciò che gli autori affermano che l’attacco non possa fare

BPJ attacca il classificatore di input, non il modello. In entrambe le configurazioni frontier, gli autori hanno usato un semplice jailbreak trovato manualmente per superare i rifiuti del modello principale stesso, quindi i punteggi misurati descrivono ciò che accade una volta che un classificatore è stato aggirato e il modello è ancora disposto a rispondere. Nulla nel paper mostra che BPJ sconfigga direttamente l'addestramento al rifiuto di un modello.

• Non è furtivo. Gli autori affermano chiaramente che gli attacchi BPJ comportano un gran numero di segnalazioni del classificatore, il che comporterebbe dei ban in condizioni realistiche.

• Consuma molte query. Le esecuzioni pubblicate costano 660.000 e 800.000 query. È una vera barriera all'uso occasionale e un segnale forte per chiunque osservi il traffico.

• Assume un classificatore quasi deterministico. Gli autori non considerano esplicitamente impostazioni con classificatori altamente stocastici.

• Il metodo è in parte omesso. Per limitare il rischio di proliferazione, l'articolo non rende pubblici dettagli algoritmici significativi e non rilascia né stringhe di attacco né codice. È una scelta difendibile, e anche il motivo per cui il risultato non può essere riprodotto in modo indipendente basandosi solo sulla pubblicazione.

Che cosa è stato fatto al riguardo, e che cosa non è stabilito

AISI afferma di aver condiviso i risultati con entrambe le aziende prima della pubblicazione, che entrambe hanno replicato l'attacco in collaborazione con l'istituto e che entrambe hanno sviluppato misure di mitigazione specifiche per BPJ. L'articolo afferma che la divulgazione è avvenuta almeno sei settimane prima della pubblicazione. Il post non riporta alcun dettaglio tecnico di tali mitigazioni e non indica quando sono state rilasciate né come sono state validate.

Anche questo è il limite di ciò che il presente pezzo può confermare. Il grado di affidabilità A attribuito al record riflette la qualità della documentazione, non un test indipendente dell'attacco: i documenti primari sono due e provengono dalla stessa organizzazione. Le conferme di Anthropic e OpenAI giungono al record tramite il resoconto di AISI, non tramite documenti che questo articolo abbia potuto leggere direttamente. La copertura al di fuori di AISI si limita a ribadire il post del blog — gli articoli di settore di It Does What Now? e Resultsense ripetono le cifre senza alcun test indipendente — e le ricerche condotte per questo articolo non hanno trovato alcun servizio giornalistico originale della stampa generalista sul risultato.

Niente nella documentazione mostra BPJ utilizzato contro un sistema reale al di fuori di un test, e l'archivio non registra alcun danno nel mondo reale. L'articolo è un preprint arXiv, non una pubblicazione sottoposta a revisione paritaria. Le affermazioni sul "primo" sono attentamente circoscritte dai laboratori che le hanno formulate — "il primo di cui sono a conoscenza" — e dovrebbero essere lette in questo modo, non come un assoluto.

Un ulteriore limite è facile da sopravvalutare. I target erano configurazioni in uso a novembre 2025, e il post di AISI non cita alcuna difesa più recente delle due attaccate. Qualunque forma abbiano Constitutional Classifiers e il filtraggio degli input di OpenAI dopo le mitigazioni specifiche per BPJ, questo resoconto non lo dice — e né il blog né l'articolo sostengono che le difese successive restino vulnerabili allo stesso prefisso.

La constatazione duratura riguarda dove collocare la difesa. Un classificatore che valuta una conversazione alla volta è strutturalmente inadatto per un attaccante a cui sono consentiti centinaia di migliaia di tentativi, perché è il processo di ricerca dell'attacco stesso a tradirlo. La raccomandazione di AISI di osservare il lotto anziché il singolo messaggio deriva dalla meccanica dell'attacco, e vale indipendentemente dal fatto che BPJ venga mai più usato.