OrcaCyber Nano 1.0: primo di 21 su una scheda senza giudice

OrcaCyber Nano 1.0 — la build 27B Mix-13G, 13,0 GB su disco — è in cima a una classifica di 21 modelli per GPU da 16 GB con un punteggio di 89,8 su 100, a 60 token al secondo su una singola Tesla V100. La classifica è gestita da un repository GitHub di terze parti, non da noi. Valuta ogni risposta con del codice anziché con un giudice LLM. E la seconda cosa che vale la pena dire è quella che un fornitore normalmente omette: OrcaCyber Nano 1.0 non è il modello più veloce su quella classifica. MiniCPM-V 4.7 lì va a 93,4 token al secondo. Il Nano vince sulla media di sette categorie, non sulla velocità, e i due concorrenti più vicini — Qwen3.8-27B in due diverse quantizzazioni della community — sono indietro di 1,2 e 1,4 punti.

Quello che segue è una lettura di quella valutazione così come il repository la pubblica il 2026-10-19, più i metadati pubblicati dal modello stesso il 2026-10-19. Dove un numero proviene dall'annuncio di OrcaRouter stesso anziché dal board di terze parti, viene indicato nella frase. Nulla di quanto segue è stato rieseguito da noi.

Il consiglio di amministrazione, e chi lo dirige

Il V100-LLM è un repository che raccoglie una GUI, una serie di motori di inferenza e una suite di scoring per eseguire modelli locali su una scheda NVIDIA Tesla V100 da 16 GB in ambiente Windows. La scelta di un modello, di un preset e di un motore, il download di ciò che manca, la chat con immagini e l'osservazione in tempo reale dei token al secondo avvengono tutti in quella GUI. La suite di scoring è la parte che ha prodotto la classifica, e il repository pubblica l'intero harness di test accanto ai punteggi, cosa abbastanza insolita da meritare il paragrafo.

La prima suite della board era troppo facile. Il repository lo dice chiaramente: la maggior parte dei modelli ha ottenuto punteggi tra 90 e 100 sulla versione uno, il che significava che non riusciva a distinguerli, e quei risultati più vecchi sono ancora nel repo per chiunque voglia vedere il fallimento. La versione due — la suite difficile — è stata progettata in modo che nessun modello di classe 16 GB riesca a fare tutto correttamente. Contiene 72 attività in sette categorie:

• Programmazione, 16 attività — un parser di espressioni senza eval, confronto regex, Dijkstra con risoluzione dei pareggi, una cache LRU con TTL, ordinamento topologico, distanza di modifica, numeri romani, sudoku, problema dello zaino, matrice a spirale, un minificatore JSON. Valutato tramite unit test nascosti su casi limite eseguiti sul codice generato in una sandbox con timeout.

• Ragionamento, 20 esercizi — matematica a più passaggi, logica, date, combinatoria e problemi espressi a parole. La risposta esatta deve comparire sull'ultima riga.

• Istruzioni, 12 compiti — da tre a cinque regole contemporaneamente: conteggio delle parole, lettere vietate, formati esatti, ordinamento, struttura JSON. Ogni regola di un compito deve essere rispettata, non la maggior parte di esse.

• Ricerca web, 8 attività — domande multi-hop in cui cerchi, leggi il risultato, cerchi di nuovo con ciò che hai trovato e a volte calcoli con una calcolatrice come strumento. Il punteggio si basa sulla risposta corretta e sul numero minimo di ricerche distinte. Il "web" è un indice offline fisso di 13 pagine.

• Agente, 6 attività — un piccolo progetto simulato con strumenti per i file e run_tests: correggi un bug, aggiungi una funzione, rinomina su più file, correggi una configurazione, genera un report CSV. Il punteggio si basa sullo stato finale dei file e sui test del progetto.

• Visione, 8 attività — immagini generate: sommare una colonna di una tabella, individuare una riga, leggere un grafico a barre, contare i punti, leggere caratteri piccoli, relazioni spaziali, un orologio analogico, uno scontrino.

• Contesto lungo, 2 attività — un testo di circa 14.000 token con tre fatti nascosti lontani tra loro, uno dei quali è un codice di cassaforte diviso in tre parti. Risposta esatta.

Quanto vale «nessun giudice»

La maggior parte delle classifiche di queste dimensioni viene valutata da un modello linguistico che legge la risposta e decide se è buona. È economico, ma rende la classifica impossibile da riprodurre: il giudice è un modello, il modello ha una versione, e la stessa risposta può ottenere un punteggio diverso di martedì rispetto a lunedì. La suite difficile elimina il giudice e stabilisce cinque regole che rendono il punteggio ripetibile.

• Tutto viene verificato dal codice. La stessa risposta riceve sempre lo stesso punteggio.

• Deterministico e offline. Temperatura zero, pensiero disabilitato, nessun accesso a Internet — il web della categoria ricerca web è l'indice fisso di 13 pagine.

• Lo stesso preset che riceve un utente. Ogni modello viene eseguito con il preset consigliato dalla GUI, quindi la velocità e il punteggio sono quelli che una persona vede dopo l'installazione, non una configurazione ottimizzata per vincere.

• Ogni attività è dimostrata risolvibile. Il repository contiene una soluzione di riferimento corretta per ogni attività di programmazione e per agenti, e due script di autotest verificano che tali soluzioni superino i valutatori. Le risposte calcolate — date, somme, codici — sono verificate nel file dell'attività.

• La risposta è l'ultima riga. Un modello può pensare ad alta voce; il valutatore legge la riga finale. Le chiamate agli strumenti sono accettate nel formato OpenAI e nei formati Qwen XML tool_call testuali.

Anche l'aritmetica del punteggio è altrettanto fuori moda. Ogni categoria è la percentuale di attività superate. Il totale è la media delle sette categorie, con ogni categoria ponderata allo stesso modo. La velocità è il tasso medio di generazione sulle risposte di 64 token o più durante l'esecuzione. Ogni esecuzione viene salvata come file JSON per modello che registra la risposta di ogni attività e se è stata superata, così un disaccordo su un punteggio può essere verificato sul registro.

Dove si colloca effettivamente OrcaCyber Nano 1.0

I punteggi delle sette categorie, su 100: programmazione 88, ragionamento 95, istruzioni 58, ricerca web 100, agente 100, visione 88, contesto lungo 100. Media: 89.8.

Il 58 è il numero interessante, ed è quello che una pagina di marketing eliminerebbe arrotondando. Instructions è la categoria in cui un modello deve rispettare da tre a cinque vincoli simultanei — un limite di parole, una lettera proibita e una forma di output esatta — e Nano ne perde cinque su dodici. Tutto il resto è a 88 o sopra. Due categorie sono perfette.

Il concorrente più vicino è Qwen3.8-27B nella quantizzazione Aggressive IQ3_XS di HauhauCS, con 88,6 complessivo e 42,2 token al secondo; terzo è la build Unsloth UD-IQ3_S dello stesso modello, con 88,4 e 52,1 token al secondo. Entrambi si attestano tra 94 e 100 su coding e reasoning, entrambi scendono a 50 sulle istruzioni — quindi la debolezza nel seguire le istruzioni è una proprietà della classe 27B a questo livello di compressione, non un difetto esclusivo del Nano. Ciò che separa il primo dal terzo sono 1,4 punti distribuiti in modo esiguo: qualche attività in una categoria, non un diverso livello di modello.

Sessanta token al secondo, e perché il modello più veloce è altrove

La velocità di punta è di 60 token al secondo con un contesto di 32k, e il repository è attento a cosa rappresenti quel numero. È la velocità del preset ottimizzato del modello fast-32k con previsione multi-token a profondità 3, misurata come 66,6 token al secondo sul codice e 54,0 sulla chat per una media di 60,3. La media semplice su ogni risposta di valutazione è 56,9. Entrambe le cifre compaiono nella nota a piè di pagina della tabella, anziché solo quella più lusinghiera.

La velocità cala al crescere del contesto, e il repository pubblica la scala: 57 token al secondo a 96k, 32 a 160k e 24 a 262k una volta inseriti 20.000 token. L'elaborazione del prompt su prompt brevi è di 501 token al secondo. Fino a 19.600 token, tutti i preset passano.

Il modello più veloce della classifica è un altro. MiniCPM-V 4.7 nella build mista 35B-A3B Q3 funziona a 93,4 token al secondo con un contesto di 128k, e ci arriva spostando l'encoder visivo sulla CPU così che tutti i suoi esperti restino sulla scheda. Si piazza quarto complessivamente con 87,5. La presentazione del repository stesso parla di un compromesso, non di una vittoria su tutta la linea: lì il Nano è descritto come il 27B denso più veloce della tabella, un'affermazione più ristretta rispetto a quella di modello più veloce, ma vera.

L'ambiente di misurazione è dichiarato una volta e vale per l'intera tabella: una Tesla V100-SXM2-16GB, un Xeon E5-2660 v4, 64 GB di DDR4. I motori sottoposti a test sono PXA, llama.cpp con una patch specifica per V100, un fork di Prism ML e Strata, ciascuno con licenza MIT; le DLL CUDA seguono l'EULA di NVIDIA. I pesi dei modelli non sono inclusi — ciascuno viene scaricato dalla pagina del suo autore su Hugging Face.

Che cos'è il modello, secondo i suoi stessi metadati

Il repository Hugging Face orcarouter/OrcaCyber-Nano-1.0 riporta una finestra di contesto di 262.144 token, una image-text-to-text pipeline (accetta immagini oltre al testo), la libreria GGUF e le lingue inglese e cinese. È ad accesso limitato: per scaricarlo devi effettuare l'accesso. Il campo della licenza riporta other con il nome della licenza qwen. Al 2026-10-19 il repository mostrava 18.606 download e 151 like, e il suo campo del modello base indica OrcaCyber-Nano-1.0-AI-Defense con la relazione quantized — i file a pesi aperti sono quantizzazioni di un modello padre ottimizzato per la difesa, che è il modo onesto di leggere quel campo.

Ci sono quattro file e le loro dimensioni spiegano la maggior parte delle decisioni di deployment nella sezione successiva:

• Mix-13G — 12.993.304.352 byte, la build da 13,0 GB che ha ottenuto 89,8.

• Mix-15.7G — 15.695.148.832 byte, la build più grande, ancora entro il budget di una scheda da 16 GB.

• DFlash2 Q8_0 — 2,056,414,112 byte, il modello bozza per la decodifica speculativa.

• mmproj F16 — 927.606.848 byte, il proiettore visivo, che è ciò che rende possibili le otto attività di visione.

Aggiungendo il motore, un’installazione funzionante occupa circa 14 GB su disco: 13,0 GB di pesi, circa 0,9 GB di proiettore e il runtime.

Tredici gigabyte ci stanno sulla scheda. Duecentosessantaduemila token no.

Si tratta di due affermazioni diverse e la copertura della stampa tende a confonderle. Il file dei pesi da 13,0 GB entra in 16 GB di VRAM, motivo per cui il modello gira su una V100 con spazio per la KV cache di un contesto da 32k. Il contesto massimo di 262.144 token non entra sulla scheda; richiede la KV cache nella memoria di sistema, e i requisiti del repository elencano 64 GB di RAM di sistema per il preset da 262k contro 32 GB per l'uso ordinario. Se si arriva a quel limite, la velocità è quella di 24 token al secondo della scala riportata sopra.

Il resto dei requisiti hardware è modesto e specifico. Qualsiasi scheda NVIDIA da 16 GB da Volta in poi eseguirà lo stack; il driver deve appartenere alla serie R576 o a una successiva; una V100 lasciata in modalità TCC va bene. Non c'è WSL, né Docker, né CUDA toolkit, né Visual Studio e nemmeno Python da installare, perché la cartella include i propri motori e il proprio Python portatile. Sono necessari circa 20 GB di spazio disco libero per modello.

I numeri del fornitore, etichettati

OrcaRouter ha annunciato OrcaCyber Nano 1.0 il 2026-10-18 come rilascio d'emergenza, open-weight, e lo ha inserito in una serie di tre modelli insieme a OrcaCyber Zero 1.5 e OrcaCyber Ultra 1.0. La stessa settimana, l'azienda ha aperto un accesso prioritario gratuito ai propri modelli OrcaCyber per i team che rispondono attivamente a un'intrusione. Il post del giorno successivo si apriva con il risultato della classifica e descriveva Nano come, secondo le prime valutazioni del fornitore stesso, il modello locale più capace nella sua classe sotto i 16 GB.

Quell'ultima frase è un'affermazione del fornitore e non è stata riprodotta in modo indipendente. Lo stesso vale per il benchmark ripetuto nell'annuncio: 78,4% su SWE-bench Verified, accostato al 79,0% riportato da DeepSeek per DeepSeek V4 Flash. Entrambi questi numeri sono riportati dai rispettivi fornitori; né il 78,4 né il 79,0 sono stati eseguiti da questa testata, e il confronto è interessante soprattutto perché un modello da 27B viene collocato a 0,6 punti da uno ospitato molto più grande sull'harness proprietario del fornitore. Leggetelo come un annuncio, non come un risultato.

La scheda del modello merita una nota per ciò che non contiene. I suoi tag menzionano cybersecurity, reverse engineering, function calling e visione, ma la scheda non riporta numeri di benchmark specifici per il cyber — nessun punteggio di incident response, nessun tasso di rilevamento delle vulnerabilità, nessun risultato CTF. Quelli si trovano invece nelle pagine di Zero. E il dato CyberGym che circola attorno alla nostra linea cyber appartiene a una configurazione combinata — Zero 1.0 più DeepSeek V4 Flash più routing adattivo — non all'esecuzione in solitaria di un singolo modello. Se stai scegliendo questo modello per lavoro di difesa, lo stato onesto delle prove è questo: una suite generale valutata sul codice lo ha collocato primo su 21 su una scheda da 16 GB, e le prove specifiche per il cyber sono altrove e appartengono ad altri modelli.

Dove si colloca accanto ai modelli cyber ospitati

OrcaCyber Nano 1.0 è un rilascio di pesi per hardware locale. Scarichi 13 GB, lo esegui tu stesso, e il punteggio qui sopra è quello che ottiene sulla tua scheda. Oggi non è un endpoint del nostro catalogo, e nulla in questo articolo deve essere letto come se affermasse il contrario. Ciò che il catalogo offre è il resto della serie — OrcaCyber Zero 1.5 e OrcaCyber Ultra 1.0 — con la stessa chiave e lo stesso endpoint compatibile con OpenAI di oltre 200 altri modelli, tra cui Claude Opus 5.5, GPT-6.1 Sol, Kimi K3, Qwen3.8-Max e DeepSeek V4 Flash, senza alcuna maggiorazione sui token rispetto al prezzo di listino del provider e con failover automatico tra provider.

Quella suddivisione è quella utile da tenere a mente. Nano è il modello che possiedi ed esegui offline, senza che alcun dato lasci la macchina — che è proprio il senso di un modello cyber per la risposta agli incidenti, perché le macchine che hai più bisogno di ispezionare sono spesso proprio quelle che non puoi inviare a un'API. Zero 1.5 e Ultra 1.0 sono i modelli che chiami. Un livello locale per il lavoro air-gapped, un livello hosted per il throughput, un unico vocabolario di nomi di modello tra di essi.

Cosa fare con il 89.8 dipende da per cosa ti serviva. Se aspettavi la prova che un modello 27B a 13 GB è competitivo su una scheda da 16 GB — non semplicemente eseguibile, ma competitivo contro 21 alternative su attività tutte valutate da codice eseguibile — questa è quella prova, con il suo divario di aderenza alle istruzioni visibile a 58 e il suo tetto di velocità visibile a 60 token al secondo. Se ti serviva la cosa più veloce su una V100, quello è un modello diverso sulla stessa classifica a 93.4, ed è una riga più in basso nella tabella.