Kimi K3.1 Pro ha ridotto la propria capacità cyber di 9,5 punti. Gli altri due laboratori hanno scelto diversamente

Moonshot il 24 ottobre ha fatto qualcosa che i laboratori di solito non fanno: ha rilasciato un modello più debole di quello che avrebbe potuto rilasciare, e ha pubblicato il costo esatto. Su xdev-bench-hard con pass@3, un checkpoint addestrato senza le misure di riduzione del rischio informatico dell'azienda ottiene il 90,5%. Kimi K3.1 Pro, il modello che puoi chiamare, ottiene l'81,0%. Il divario di 9,5 punti è il prezzo della rimozione dei dati relativi al cyber dal mid-training e dal reinforcement learning, ed è la dichiarazione più chiara che uno dei tre laboratori di frontiera abbia fatto quest'anno su ciò che è disposto a scambiare per la capacità.

Ogni grande laboratorio ormai ha una politica cyber. Differiscono nel meccanismo più che nell’intento, e il meccanismo determina ciò che si ottiene davvero quando si chiama l’API. Moonshot sottrae la capacità dai pesi. Anthropic reindirizza la richiesta a un modello diverso. OpenAI subordina l’accesso a una valutazione del rischio. Per un team di sicurezza — o per chiunque il cui carico di lavoro sfiori strumenti offensivi — i tre approcci producono tre tipi diversi di sorpresa.

Cosa ha rimosso Moonshot e cosa ha mantenuto

Il materiale di lancio è insolitamente specifico. I dati di natura cyber sono stati rimossi sia dalla fase di mid-training sia da quella di apprendimento per rinforzo, mentre i compiti di programmazione generale sono stati mantenuti. Il principio dichiarato dall'azienda è di non rilasciare pesi aperti che estenderebbero la frontiera assoluta delle capacità cyber, e descrive la capacità offensiva del modello distribuito come «per progettazione, inferiore a ciò che la nostra pipeline può produrre» e dietro ciò che i modelli proprietari di frontiera hanno offerto pubblicamente per almeno tre mesi.

Due dettagli di quella polizza contano più del numero in evidenza.

Il primo è che la riduzione è relativa alla pipeline proprietaria di Moonshot, non al mercato. Un modello limitato all'81,0% supera comunque di ampio margine il 33,3% di Kimi K3 e il 57,1% di GLM-5.3 sullo stesso benchmark. Il tetto abbassa un modello di frontiera, non lo esclude dalla categoria.

La seconda è che Moonshot afferma che «aumenterà progressivamente» le capacità cyber disponibili nei pesi aperti. Si tratta di un calendario, non di un limite fisso: le valutazioni che presuppongono il tetto attuale potrebbero non essere valide alla prossima release, e una copia self-hosted eredita qualunque tetto esistesse alla data della sua release.

Che cosa richiede effettivamente il benchmark

La documentazione di Moonshot descrive la valutazione con un livello di dettaglio sufficiente per poterla giudicare. xdev-bench-hard è costruito a partire da vulnerabilità divulgate di recente in software tra cui il kernel Linux, Node.js, JavaScriptCore, Exim e VirGL, con le mitigazioni abilitate. Ogni attività fornisce il codice sorgente vulnerabile, un breve indizio sul bug e il binario compilato; l'agente deve sviluppare un exploit, ottenere l'esecuzione di codice arbitrario in una sandbox separata e recuperare una stringa segreta, così che il risultato possa essere verificato automaticamente. Il punteggio è pass@3 su un sottoinsieme casuale, senza timeout rigidi e senza limiti di token in output.

Quello è un test impegnativo e ristretto: misura se un modello è in grado di trasformare un binario noto come vulnerabile in un exploit funzionante, non se sa scrivere uno scanner o fare triage di un avviso. Il divario di 9,5 punti tra il checkpoint non mitigato e il modello distribuito è quindi una misura reale di una reale differenza di capacità — e un promemoria del fatto che il numero dice poco sul lavoro difensivo che la maggior parte dei team svolge effettivamente con il modello.

L'alternativa di Anthropic: mantenere la capacità, cambiare la risposta

L'approccio di Anthropic su Claude Opus 5.5 è il routing lato servizio. La sua documentazione afferma che la maggior parte dei compiti legati alla cybersecurity può essere reindirizzata a Claude Opus 4.8, mentre il lavoro su biologia e sviluppo di modelli di frontiera può ricadere su Claude Opus 5. Il chiamante non riceve un errore; la risposta proviene semplicemente da un modello diverso. Il livello di capacità più elevato, Claude Mythos 5.1, è disponibile solo per le organizzazioni verificate tramite programmi come il Cyber Verification Program.

Il compromesso è l'opposto di quello di Moonshot. La capacità di frontiera esiste ed è servita — ai clienti verificati, con un ID modello diverso — mentre i chiamanti non verificati ricevono silenziosamente la risposta di un modello più vecchio. Per un team di sicurezza all'interno di un'organizzazione verificata, questa è l'opzione più capace delle tre. Per chiunque sia fuori da un'organizzazione verificata, è un modello che risponde silenziosamente con qualcos'altro proprio sui compiti in cui desideravano maggiormente la frontiera.

L'approccio di OpenAI: decidi prima di rilasciare

GPT-6 Astra è stato il primo modello OpenAI classificato "critico" nell'ambito del Preparedness Framework dell'azienda, perché è in grado di individuare autonomamente nuove vulnerabilità di sicurezza. Il lancio è stato graduale — prima i partner con accesso anticipato, poi i livelli di abbonamento, quindi l'API — e le capacità a più alto rischio sono limitate in base alla classificazione anziché al filtraggio dei prompt. L'accesso viene deciso a livello di account, prima che venga effettuata qualsiasi richiesta.

È più pulito di un reindirizzamento silenzioso e più lento di entrambe le alternative. Significa anche che la risposta a "posso usare questo modello per il mio lavoro di sicurezza" è nota in anticipo, il che vale qualcosa per un acquirente che deve redigere un documento di procurement.

Che cosa fanno le tre strategie a una valutazione

Se si testano i modelli su attività di sicurezza, i meccanismi distorcono la misurazione in modo diverso, e le distorsioni non si annullano.

• Il limite di Moonshot è dentro i pesi. Un'esecuzione di benchmark sull'API e una su una copia self-hosted dovrebbero concordare, ed entrambe misurano un modello deliberatamente peggiore nella categoria. Il numero è onesto e riproducibile.

• Il routing di Anthropic è all'interno dello stack di serving. La stessa richiesta può produrre qualità diverse a seconda che attivi o meno una salvaguardia, e i valori dei benchmark pubblicati dal fornitore potrebbero non riflettere il routing che riceve il tuo account. Anche la nostra trattazione della tabella dei benchmark di Opus 5.5 ha segnalato lo stesso problema dalla direzione opposta: il dato indipendente di Artificial Analysis per Terminal-Bench era del 59,6% contro il 66,4% di Anthropic, in una configurazione che include il routing delle salvaguardie lato server.

• Il gating di OpenAI è esterno al modello. Una volta ottenuto l'accesso, il modello si comporta come misurato nei benchmark; se non lo ottieni, non puoi eseguire affatto il confronto.

Cosa dovrebbe trarre da questo un team di sicurezza

Tre conclusioni pratiche, in ordine di certezza.

Innanzitutto, la "capacità cyber" non è più una proprietà che si può leggere da una scheda modello. È una funzione dei pesi che ricevi, del routing che il tuo account attiva e del programma di verifica a cui appartieni. Qualsiasi valutazione che non dichiari tutti e tre sta misurando qualcos'altro.

In secondo luogo, se il tuo lavoro è difensivo — triage, stesura di patch, ingegneria del rilevamento — il limite di capacità costa meno di quanto sembri. I 9,5 punti sono concentrati su comportamenti avversariali e vicini all'exploit; la codifica generale e l'uso degli strumenti del modello, che è ciò di cui il lavoro difensivo ha soprattutto bisogno, sono ciò su cui è stato speso il ciclo di post-addestramento per migliorarli. Moonshot riporta che Kimi Code Bench 3.0 long-horizon è salito dal 55,95% al 61,2% nella stessa release.

Terzo, i limiti stanno cambiando. Moonshot ha dichiarato che alzerà il proprio tetto; i programmi di verifica di Anthropic si stanno espandendo; le valutazioni di OpenAI cambiano da un modello all'altro. Una politica che ha guidato una decisione di deployment a ottobre potrebbe essere sbagliata a gennaio, il che è un argomento a favore del rileggere la documentazione sull'accesso a ogni aggiornamento del modello anziché trattarla come una soglia una tantum.

Kimi K3.1 Pro è richiamabile tramite OrcaRouter a 2,00 $ per milione di token di input e 10,00 $ per milione di output, con lo stesso stato finale che si ha ovunque: il limite è nei pesi, non in ciò che un determinato provider fa con la tua richiesta. Se il tuo carico di lavoro dipende dal sapere quale modello ha effettivamente risposto, questa è una caratteristica. Se dipende dal tetto offensivo della frontiera, nessuna API sul mercato te lo darà senza un programma di verifica.