OrcaCyber Zero 1.5 vs OrcaCyber Zero 1.0: cosa è cambiato, cosa no e cosa coprono i numeri

Ventitré giorni separano le due pagine dei modelli, e il diff è più breve di quanto lasci intendere il post di lancio. OrcaCyber Zero 1.5 è andato live su OrcaRouter il 10 ottobre 2026 come successore di OrcaCyber Zero 1.0, annunciato con pesi aggiornati e una nuova serie di risultati di benchmark. I pesi potrebbero benissimo essere nuovi. I termini commerciali no: prezzo di input, prezzo di output, prezzo di lettura della cache, finestra di contesto, limite massimo di output, flag di capacità e livello di accesso sono identici tra le due generazioni, fino all'ultimo decimale. Ciò che è cambiato sono le prove — quattro righe di benchmark pubblicate dove prima ce n'era una, e un pannello di latenza ora misurato su tre giorni invece di sette. Entrambe le generazioni rispondono sullo stesso endpoint compatibile con OpenAI, quindi il confronto costa un solo ID del modello. I numeri di un modello non dicono nulla su ciò che fa un agente costruito su di esso una volta in esecuzione — quel registro è tenuto separatamente, nell'archivio degli incidenti AI.

I campi che non si sono mossi

Inizia da qui, perché una release successiva invita a supporre che lo abbiano fatto.

• Prezzo — 3,00 $ per 1M di token di input, 7,50 $ per 1M di output, 0,75 $ per 1M di input in cache. Identico su entrambe le pagine e invariato da quando Zero 1.0 è stato rilasciato il 17 settembre.

• Finestra di contesto e limite di output — 1.000.000 di token in ingresso, 128.000 token in uscita. Identici, ed entrambi i valori sono invariati rispetto al modello precedente.

• Flag di capacità — `tools`, `json`, `reasoning`. Identici, nello stesso ordine.

• Accesso — tier `sec-uncensored`, band `offensive`, `locked: true`. Identico, e ancora il filtro più severo della piattaforma.

Questa è tutta la superficie commerciale del successore, e niente di tutto ciò si è mosso. Se quello che aspettavi era un token più economico, un contesto più lungo o un modo più semplice per entrare, non è arrivato nulla di tutto ciò.

È nelle righe di benchmark che la release vive davvero.

La pagina di Zero 1.0 elenca esattamente una riga di benchmark: CyberGym Level 1 pass@1, 98,07%, valutata il 17 settembre. La pagina di Zero 1.5 ne elenca quattro, tutte datate 10 ottobre:

• Cybench — 100%, con il qualificatore tra parentesi "esecuzione dell'agente senza restrizioni."

• CVE-Bench — 95.8%, e il nome stesso del benchmark porta con sé la restrizione: "CVE-Bench (sottoinsieme valutabile)."

• HumanEval+ — 93,9%.

• SWE-bench Pro V2 — 76.5%, il più basso dei quattro e l'unico punteggio del set relativo all'ingegneria del software anziché alla sicurezza.

Tutte e cinque quelle righe in entrambe le generazioni — le quattro qui e la linea CyberGym su Zero 1.0 — sono state prodotte da noi, e ciascuna riga lo dichiara: le quattro nuove riportano source: "orca", quella più vecchia source: "orcarouter". Non esiste alcuna riga di terze parti su nessuna delle due pagine, né alcuna riga la cui data di valutazione sia diversa dal giorno in cui quella generazione è stata lanciata. Questo conta prima che qualcuna delle percentuali venga citata altrove, perché un elenco di benchmark senza una colonna relativa alla fonte si legge come se i numeri fossero arrivati da qualche parte neutrale. Non è così.

Cosa conteneva il post di lancio, e cosa ometteva

L'annuncio in sé è breve. È la sua link card a fare il lavoro di vendita: "API OrcaCyber Zero 1.5 drop-in per qualsiasi SDK OpenAI — 3,00 $ / 7,50 $ per 1M di token, p50 2947 ms tramite OrcaRouter. Zero ricarico. Zero migrazione. Una sola API."

Quei 2947 ms non sono il numero che compare oggi sulla pagina del modello. La pagina riporta un p50 di 3220 ms. Entrambi sono nostri, entrambi sono onesti, e il divario tra i due è il motivo per cui esiste la sezione successiva: per questo modello circolano più cifre di latenza di quante siano le misurazioni che le sostengono.

Tre numeri di latenza per un modello

• 2947 ms p50 — nella link card del post di lancio.

• 3220 ms p50, 9656 ms p95 — nella pagina del modello, aggregati sui giorni attualmente presenti nella sua finestra.

• 500 ms p50, 2,36 s p95 — riportato da un articolo come tempo al primo token nell'arco di sette giorni, da un campione che l'articolo descrive come piccolo, nell'ordine di 1,3K token di traffico.

Queste sono tre grandezze diverse misurate in tre momenti diversi su tre volumi diversi. Il valore della scheda è un'istantanea. Il valore della pagina è un aggregato mobile che cambia ogni giorno. Il terzo è il time-to-first-token, ovvero il ritardo prima che compaia il primo token e non il tempo impiegato a completare una risposta — una misura molto più amichevole, e non è affatto la stessa cosa. Cita una qualsiasi delle tre senza il suo qualificatore e ne avrai inventata una quarta.

Tre giorni di dati sotto un'etichetta di sette giorni

Entrambe le pagine etichettano il loro blocco di latenza window_days: 7, ed entrambe indicano la stessa fonte: orcarouter-playground, il nostro banco di misura, non un'affermazione di un fornitore. Ma l'array di Zero 1.5, daily, contiene tre voci — 10, 11 e 12 ottobre — mentre quello di Zero 1.0 ne contiene sette. Un'etichetta di sette giorni su un campione di tre giorni non è una bugia; è una finestra che non si è ancora riempita, e tutto ciò che ne deriva eredita la base più sottile.

• p50 — ora 3220 ms, contro i 3691 ms di Zero 1.0. L'aggregato di Zero 1.0 si basa su circa il doppio del traffico: 6,16 miliardi di token in sette giorni contro 3,52 miliardi in tre.

• Throughput in output — 75,69 token al secondo contro 43,75. Il singolo cambiamento più grande dell'intero diff, e quello che con maggiore probabilità si farà sentire in un ciclo agentico che effettua decine di chiamate per indagine.

• Tasso di errore — 0,13% contro 1,20%, quasi un ordine di grandezza migliore.

• Uptime — non esiste alcun valore. percent_24h indica 0 e il blocco contiene has_data: false, il che significa che la percentuale non è mai stata calcolata, piuttosto che il servizio fosse inattivo. Entrambe le generazioni sono identiche qui, quindi non si può dedurre nulla dalla differenza.

Ciò che gli array giornalieri aggiungono è una direzione, e i due puntano in direzioni opposte:

• Zero 1.0, sette giorni — 3663, 4614, 3408, 3729, 3791, 2152, 1946 ms. I due giorni migliori sono i due più recenti.

• Zero 1.5, tre giorni — 2965, 3289, 3416 ms. Il giorno peggiore è il più recente, e il suo p95 ha già toccato il limite massimo di 10000 ms.

Tre punti non sono una tendenza, e la settimana del lancio è il campione peggiore possibile da cui generalizzare: il traffico non è rappresentativo, il modello viene messo alla prova da chiunque abbia appena ricevuto l'accesso, e le cache sono fredde. La lettura onesta del pannello così com'è è che Zero 1.5 è più veloce di Zero 1.0 nel complesso e più lento in ciascun giorno dal suo lancio. La seconda metà di questa frase sarebbe ingiusto dirla dopo sette giorni ed è poco supportata dopo tre. Osserva il numero; non agire in base ad esso.

100% su Cybench è 100% di cosa

Quattro percentuali, quattro qualificatori diversi, e il significato risiede nei qualificatori.

• Cybench — la riga dice "esecuzione dell'agente senza restrizioni", il che descrive come è stata configurata la valutazione, non ciò che a un account a pagamento è consentito fare. Il benchmark è incentrato su attività professionali di capture-the-flag, e un articolo interpreta il 100% come 39 delle 40 attività che contiene. Completare un'attività CTF è anche un risultato diverso dal trovare una vulnerabilità per cui nessuno ha pubblicato una soluzione.

• CVE-Bench — la riga dice "sottoinsieme valutabile", e il post di lancio fornisce il denominatore: 23 su 24. Il benchmark è costruito su un insieme di CVE web di gravità critica, quindi il punteggio di un sottoinsieme cambia quando cambiano le attività escluse, e i criteri di esclusione non sono pubblicati.

• SWE-bench Pro V2 — 76,5%, e nello specifico non comparabile con altre varianti di SWE-bench. Questa distinzione svanisce nel momento in cui il numero viene affiancato a un semplice risultato SWE-bench, cosa che di solito gli accade.

• HumanEval+ — 93,9%, e l'unica riga priva di qualificatori insoliti.

Il 98% appartiene al sistema di valutazione, non al modello.

La cifra che più probabilmente verrà citata accanto a Zero 1.5 è 98,07%, e non è quella di Zero 1.5. È il risultato di Zero 1.0 al CyberGym Level 1, e la pagina di Zero 1.0 descrive quel modello come "il modello di livello frontier nell'OrcaCyber Harness" — vale a dire che il punteggio riportato è una proprietà dell'harness: il modello più la sua memoria, le sue fasi di verifica e il suo ambiente di esecuzione, non il modello da solo. Leggi le due tabelle di benchmark come un'unica progressione e concluderai che 98,07 è diventato 100. Si tratta di due benchmark diversi eseguiti da due configurazioni diverse di due generazioni diverse.

C'è una discrepanza minore che vale la pena segnalare, visto che siamo in argomento. Un resoconto colloca l'esecuzione di CyberGym a 1.477 su 1.507 attività e al 98,01%; la nostra pagina la colloca a 1.478 su 1.507 e al 98,07%. Entrambe le frazioni sono coerenti al loro interno, e qui non abbiamo riconciliato la terza cifra decimale. Considerala irrisolta invece di scegliere quella che si legge meglio.

Il prezzo ha tenuto, e questa è la parte interessante

• $3.00 / $7.50 / $0.75 per 1 milione di token, senza variazioni nel corso della release.

• **Sui prezzi di OrcaRouter, il prezzo di listino del fornitore viene trasferito senza aggiunte** — 0% di ricarico. Una variazione di prezzo del fornitore, quindi, arriva dalla nostra parte lo stesso giorno anziché dopo un ciclo di riprezzamento, e un unico endpoint con una sola chiave e una sola fattura è il punto in cui la spesa per diversi modelli viene riconciliata.

• Il prezzo del token è l'argomento commerciale più forte del lancio, che si contrappone a quanto si dice facciano pagare modelli di sicurezza con gating analogo — un ordine di grandezza in più, in almeno un caso, per un modello senza alcun prezzo del token pubblicato.

• L'unità che decide un acquisto non è il token. Un'indagine di sicurezza esegue decine di chiamate al modello, rilegge lo stesso repository, chiama strumenti esterni e rivede le proprie conclusioni prima che un riscontro venga accettato, quindi l'input in cache a un quarto della tariffa di input conta più qui che in un carico di lavoro di chat. Ciò che un acquirente dovrebbe misurare è il costo per riscontro convalidato, che non è un numero pubblicato da nessuna delle due pagine del modello.

Nemmeno il gate è cambiato.

L'accesso passa ancora attraverso il livello Security Research: livello sec-uncensored, banda offensiva, bloccato: true. Il processo pubblicato richiede l'incarico, una passkey e l'accettazione dei termini, il che è una barriera intenzionale anziché una questione di capacità — la riproduzione di vulnerabilità e i test di penetrazione sono le stesse operazioni indipendentemente dal fatto che il target vi abbia acconsentito o meno.

Una frase della copertura del lancio vale la pena ripetere perché è la parte che sopravvive al lancio: le restrizioni a livello di modello e i controlli di accesso alle API non sostituiscono l'autorizzazione a livello di applicazione. Un agente di sicurezza non dovrebbe ereditare il permesso di modificare sistemi, leggere dati di produzione o eseguire operazioni sensibili solo perché il modello sottostante è in grado di ragionare su tali operazioni. Il livello decide chi può detenere la chiave. Non decide cosa può toccare la chiave.

Cosa manca ancora, anche dalla nostra pagina

• Zero 1.5 non ha tagline, né panoramica, né casi d'uso. Tutti e tre i campi sono compilati su Zero 1.0 — una tagline completa, una panoramica che nomina l'harness e il valore di CyberGym, e quattro casi d'uso sviluppati. La pagina del successore contiene una long_description più lunga (791 caratteri contro 626) e questo è l'intero testo, che si apre con l'intestazione letterale "Valutazioni riportate dal fornitore:". Nella misura in cui la pagina descrive se stessa, descrive i propri numeri.

• Nessun conteggio dei parametri, nessuna architettura, nessuna composizione dei dati di addestramento — vero per entrambe le generazioni, ed è il motivo per cui due percentuali provenienti da due benchmark non possono essere attribuite a un modello anziché a uno scaffold.

• Nessun rapporto tecnico per 1.5. Zero 1.0 ne aveva uno, ed è lì che veniva spiegata la struttura del suo harness.

• Nessuna replicazione indipendente di alcuna cifra in nessuna delle due pagine.

• Zero menzioni. Il blocco del sentiment di Hacker News riporta mentions_7d: 0 e mentions_prev_7d: 0 per entrambi i modelli. Per un rilascio di sicurezza di frontiera che è di per sé un segnale, e punta al gate piuttosto che al modello: un modello che la maggior parte delle persone non può chiamare non viene discusso.

Chi dovrebbe muoversi, e chi dovrebbe aspettare

Se disponi già dell'accesso Security Research e stai eseguendo Zero 1.0, non c'è nulla da rinegoziare e nessuna migrazione da pianificare: stesso endpoint, stesso prezzo, stessa forma della richiesta, quindi il passaggio consiste in un solo ID modello. I miglioramenti misurati di throughput e tasso di errore sono il motivo per provarlo, e provengono dal nostro banco di misura, non da un benchmark eseguito dal team del modello stesso, il che significa che puoi confrontarli con il tuo traffico invece di accettarli per fede.

Se non possiedi il livello, questo rilascio non cambia la tua posizione di un solo token — l'accesso, il prezzo e la finestra di contesto sono tutti esattamente dove erano.

La cosa da attendere è il pannello della latenza. Zero 1.5 è più veloce del suo predecessore su tre giorni di dati e più lento in ognuno di quei tre giorni di fila, e la finestra di sette giorni che chiarirebbe quale dei due fatti sia quello reale non si è ancora chiusa. Rileggi la pagina la prossima settimana. Se il p50 giornaliero continua a salire oltre 3416 ms, il numero aggregato sulla scheda è quello che era sbagliato.