Che cos’è un modello cyber? La categoria e ciò che cambia davvero

Ogni settimana tre prodotti vengono chiamati «modello cyber» e non hanno quasi nulla in comune. Uno è un generalista con corpora di sicurezza nel proprio mix di addestramento. Uno è un modello ordinario avvolto in un ciclo che gli fornisce una sandbox, un fuzzer e la ripetizione dei tentativi. Uno è lo stesso modello di tutti gli altri, dietro un modulo di verifica. Solo il primo di questi è un modello diverso. Gli altri due sono decisioni di prodotto — buone, in alcuni casi — e vengono commercializzati con la stessa formula, ed è per questo che la categoria resiste al confronto. Una tabella di benchmark che non dice quale dei tre ha misurato non può essere confrontata con una che lo dice, e la maggior parte delle tabelle non lo dice. Questa è una guida alla distinzione, al piccolo numero di modelli che appartengono davvero alla prima categoria e a ciò che un team di sicurezza dovrebbe fare con la risposta. È anche la lettura per categoria che sta dietro i 400 incidenti che coinvolgono agenti catalogati in l'archivio degli incidenti AI, dove la domanda «era il modello il problema o il deployment?» emerge continuamente.

Le tre cose che la frase comprende

Inizia dalla differenza che conta sul piano operativo: che cosa è cambiato quando il fornitore ha costruito la cosa.

Addestrato per la sicurezza significa che i pesi sono cambiati. I corpus di sicurezza sono entrati nella miscela di addestramento, la base è spesso un generalista già forte, e il modello risultante è misurabilmente diverso nei compiti in cui la conoscenza della sicurezza è il collo di bottiglia — leggere un crash, ragionare sul layout della memoria, riconoscere un pattern vulnerabile in un grande diff. I modelli di questo gruppo sono di solito valutati rispetto a benchmark specifici per la sicurezza come CyberGym o CyberSecEval, e possono essere a pesi aperti o solo API.

Avvolto in un harness significa che il ciclo è cambiato e il modello no. Il fornitore ha aggiunto una sandbox, strumenti, logica di retry, un planner, forse un fuzzer, e ha costruito un sistema che ottiene buone prestazioni nei compiti di sicurezza perché il sistema è ben ingegnerizzato. Questo è un prodotto legittimo e spesso sottovalutato. È anche la categoria in cui un punteggio diventa ambiguo, perché il numero appartiene tanto all'harness quanto al modello — e l'harness non è qualcosa che si possa scambiare in modo indipendente.

Ad accesso limitato significa che è cambiata la porta. Il modello può essere identico a uno pubblico; ciò che è diverso è che devi essere un'azienda verificata, che svolge un lavoro autorizzato, secondo termini che limitano l'uso. Si tratta di un prodotto di policy, e di un prodotto difendibile, ma da esso non deriva alcuna rivendicazione di capacità. Un modello pericoloso nelle mani sbagliate e sicuro in quelle giuste non è diventato più capace; è diventato più controllato.

La conseguenza pratica: quando leggi che un certo modello è "un modello cyber", la domanda successiva è quale dei tre, perché la risposta determina se stai acquistando capacità, ingegneria o autorizzazione — e questi hanno prezzi diversi e diverse modalità di fallimento.

Perché la categoria esista in primo luogo

Il lavoro sulla sicurezza è insolitamente sensibile a due proprietà che i modelli generali mostrano in modo incoerente: il ragionamento su contesti lunghi applicato a codice che non è stato scritto per essere letto e la disponibilità a descrivere un attacco con un livello di dettaglio sufficiente a renderlo utile. La prima è una questione di capacità ed è il motivo per cui i modelli di questo gruppo tendono a pubblicizzare finestre di contesto di centinaia di migliaia o milioni di token. La seconda è una questione di sicurezza ed è la ragione per cui la categoria è intrecciata con il controllo degli accessi.

Un modello che ragiona bene su una base di codice ma rifiuta di scrivere un proof-of-concept funzionante è inutile per il triage, perché il proof-of-concept è la prova. Un modello che scrive proof-of-concept liberamente è utile a un difensore e altrettanto utile a qualcuno che non lo è. I modelli con tuning cyber sono, di fatto, un tentativo di risolvere quella tensione restringendo chi può chiedere anziché restringere ciò a cui si può rispondere — il che è un design coerente e difficile da far rispettare a livello di modello, poiché l'applicazione è un processo di verifica anziché una modifica dei pesi.

Dove la capacità viene effettivamente argomentata

I vantaggi dichiarati dei modelli ottimizzati per la cybersecurity sono specifici e verificabili, il che è rinfrescante in un campo che di solito si esprime per aggettivi. Quelli che ricorrono sono l'ingestione a contesto lungo di un intero repository o audit trail in un'unica passata, l'output strutturato per l'uso nelle pipeline e il tool calling o function calling abbastanza stabile da stare dentro un flusso di lavoro automatizzato. Sono affermazioni di ingegneria tanto quanto affermazioni sul modello, e sono verificabili sul proprio corpus in un pomeriggio.

Il lato della valutazione ha sviluppato istituzioni proprie. Wiz Research gestisce una Cyber Model Arena che valuta agenti AI composti da un modello di base più un harness standard su attività di cybersicurezza del mondo reale, e riporta la qualità del modello rispetto all'efficienza — tasso di successo rappresentato in funzione di costo, tempo o passaggi per soluzione su k tentativi indipendenti. Vale la pena adottare integralmente questa impostazione, perché cattura ciò che un tasso di successo grezzo nasconde: due agenti possono raggiungere lo stesso tasso di successo con costi per soluzione molto diversi, e quello costoso è spesso quello che ha speso il proprio budget in tentativi ripetuti.

Nota cosa implica quella costruzione. È un benchmark di agenti, non di modelli — modello di base più harness — che è esattamente l'ambiguità che la categoria ha. L'arena è onesta al riguardo nominando l'harness nella definizione. La maggior parte dei post di lancio non lo è.

Il gate di accesso, e perché è il vero confine della categoria

Se si guarda a come vengono effettivamente forniti i modelli ottimizzati per il cyber, il gate di verifica è più determinante di qualsiasi numero di benchmark, perché stabilisce chi può eseguire la valutazione. Lo schema è coerente: una fase di verifica aziendale, condizioni che limitano l'uso ad attività di sicurezza autorizzate e una politica di uso accettabile rispetto alla quale viene registrato l'accesso.

Due dettagli di progettazione in quel pattern valgono la pena di essere rubati anche se non acquisterai mai un modello cyber. Il primo è la verifica aziendale anziché l'autocertificazione, perché una casella di controllo non è un meccanismo di responsabilità. Il secondo è collocare il gate insieme ai controlli di runtime — lo stesso gateway che ospita il modello ospita anche il firewall, i guardrail e il logging, così che il permesso e l'applicazione siano in un unico posto. Un gate di verifica che risiede su un sistema diverso dal traffico è un gate che non puoi sottoporre ad audit.

Il nostro livello cyber segue quella struttura: modelli per il lavoro offensivo, controlli gateway per il lavoro difensivo e verifica a monte di entrambi. È anche la risposta sincera a «posso semplicemente chiamare questo modello»: per il livello offensivo, la risposta è che l'accesso è una decisione che qualcuno prende su di te, non un campo in una richiesta API.

Quali modelli cyber esistono e come distinguerli

La popolazione è abbastanza piccola da poter essere tenuta a mente, e si suddivide secondo le tre categorie sopra anziché per fornitore.

• Modelli realmente ottimizzati per la cybersecurity. Addestrati con dati fortemente orientati alla sicurezza, solitamente riportati su CyberGym o CyberSecEval, con una differenza misurabile nei compiti di lettura dei crash e scrittura di patch. Alcuni sono open-weight, il che rende possibile la valutazione locale; altri sono disponibili solo tramite API in fase di verifica.

• Generalisti con un forte comportamento in materia di sicurezza. Modelli all'avanguardia che risultano bravi nel lavoro senza essere stati messi a punto per esso. Spesso la scelta corretta per i difensori, perché lo stesso modello svolge anche il resto del lavoro.

• Prodotti agent. Un modello più un loop specifico per la sicurezza — sandbox, fuzzer, planner — venduto come sistema. Valutali in base al costo per soluzione e a ciò che il loop fa quando fallisce, non a un benchmark del modello.

• Versioni ad accesso limitato di quanto sopra. Gli stessi modelli, accesso limitato. Il gate cambia chi può usarli, non ciò che possono fare.

Il confronto che conta davvero per un team di sicurezza è raramente modello contro modello. È se il lavoro che devi svolgere è vincolato alla conoscenza o vincolato al ciclo. Leggere un report di audit e ragionare su una catena di exploit è un'attività vincolata alla conoscenza e favorisce un modello ottimizzato. Eseguire un fuzzer per sei ore e fare triage dei crash è un'attività vincolata al ciclo e favorisce una buona ingegneria. La maggior parte dei programmi reali ha bisogno di entrambe le cose, ed è per questo che la domanda utile in fase di acquisto è «per quale di questi due lavori sto comprando?» anziché «quale modello ottiene un punteggio più alto?».

Cosa chiedere prima di adottarne uno

Cinque domande separano una decisione di categoria da una decisione di marketing.

• Cosa è cambiato: i pesi, il loop o l'accesso? Il fornitore dovrebbe essere in grado di rispondere in una frase. Se la risposta è "il loop", valuta il prodotto come un prodotto.

• Quale benchmark, eseguito da chi, in quale harness? Un numero di CyberGym senza l'harness è un numero relativo a una configurazione che non puoi riprodurre.

• Qual è il costo per risoluzione, non il tasso di successo? L'impostazione di Wiz è quella giusta; due agenti con lo stesso tasso di successo non sono lo stesso acquisto.

• Cosa fa il gate quando non lo supero? Qualsiasi distribuzione che dipende da un accesso verificato dovrebbe dirti cosa succede in caso di falso negativo, perché i tuoi stessi ingegneri saranno i falsi negativi.

• Cosa non è in grado di fare? Le varianti esclusivamente difensive documentano i propri limiti, e tale documentazione è una caratteristica: un modello che non può essere convertito all'offesa è un oggetto di rischio diverso da uno che può esserlo.

La categoria è reale, le differenze di capacità sono reali, e gran parte della confusione deriva da tre prodotti diversi che condividono un nome. Una volta separati i weights dal loop dalla door, le tabelle di confronto smettono di essere contraddittorie e iniziano a riguardare cose diverse — che è l'unica condizione in cui un team di sicurezza può prendere una decisione basandosi su di esse.