Nemotron 3.5 Bolt vs Nemotron 3 Ultra: cosa sopravvive a una compressione di 7,4 volte

Due modelli dello stesso fornitore, separati da un fattore di 7,4 nel numero di parametri e da circa due ordini di grandezza nell'hardware necessario per eseguirli. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GBè stato rilasciato il 15 ottobre 2026 come file da 24GB che gira accanto alle altre applicazioni su un dispositivo Spark o una GPU Blackwell. NVIDIA Nemotron 3 Ultra 550B-A55Bè su Hugging Face dal 3 giugno 2026 e richiede come configurazione minima sedici H100 in BF16.

La domanda interessante non è quale sia più forte — la risposta è ovvia e non c'è partita. È che cosa sopravvive specificamente quando comprimi un modello grande in un piccolo budget di memoria, perché questo ti dice quali carichi di lavoro quello piccolo può assorbire e quali lo metteranno in difficoltà. La nota di ricerca di NVIDIA risponde direttamente a una parte di quella domanda, e le parti a cui non risponde sono il luogo in cui risiede la vera decisione.

Non sono genitore e figlio, qualunque cosa suggerisca il nome.

Il presupposto ovvio è che Bolt sia un Ultra ridotto. Non è così, e capire bene questo cambia ciò che ci si aspetta dal file. Nemotron 3.5 Lightning, il tier 30B-A3B dell'11 agosto 2026, è stato distillato da Ultra. Bolt no. Bolt è compresso da Nemotron 3.5 Super VL, un modello visione-linguaggio 120B-A12B, usando una ricerca guidata dal router che NVIDIA chiama Star Elastic, seguita da distillazione consapevole della quantizzazione fino a 2,0625 bit per peso dell'esperto in un formato IQ2_XXS.

Quella discendenza spiega la sola differenza che conta più di qualunque riga di benchmark: Bolt ha un encoder visivo C-RADIO v4-H e accetta immagini e video. Ultra è testo in ingresso, testo in uscita, e non è una lacuna di reporting — il checkpoint non ha alcuna torre visiva da valutare. Il modello più piccolo, più recente e fortemente quantizzato vede; il più grande modello di ragionamento della famiglia no.

Cosa ha conservato la compressione

Bolt ha 74 miliardi di parametri, con 9 miliardi attivi per token, su una backbone ibrida Mamba-2 e Transformer. Ultra ne ha 550 miliardi, con 55 miliardi attivi. Il rapporto tra i parametri attivi è 6,1 a 1, e il rapporto tra i parametri totali è 7,4 a 1, il che significa che la compressione ha rimosso proporzionalmente più capacità totale che calcolo per token — il modello è diventato più stretto più rapidamente di quanto sia diventato meno profondo.

Che cosa ne deriva, sulla base delle prove disponibili:

• Intelligenza indipendente — Artificial Analysis assegna a Nemotron 3.5 Bolt un punteggio di 21 sul suo Intelligence Index, quarto su 67 nella sua classe filtrata per footprint, a fronte di una mediana di classe pari a 8. Ultra non appartiene alla stessa classe e ottiene un punteggio molto più alto sulla stessa versione dell'indice. Questo è il costo misurabile della compressione.

• Velocità indipendente — Artificial Analysis misura Ultra a 156,1 token di output al secondo, decimo su 74 modelli in quella pagina e nella sua fascia di velocità massima. Per Bolt gli stessi campi riportano N/A, perché non c'è alcun endpoint ospitato da chiamare. I dati di NVIDIA stessa — 84 token al secondo su AIPerf SPEED-Bench su RTX Spark, 83,99 in llama.cpp su un Surface Laptop Ultra — sono dichiarati dal fornitore e non riprodotti.

• Aderenza alle istruzioni — Ultra registra 82,9 su IFBench. Questa è la riga da tenere d'occhio in un agente che deve rispettare una lunga policy sugli strumenti, ed è il tipo di capacità che la distillazione consapevole della quantizzazione preserva in modo disomogeneo.

• Ragionamento su contesti lunghi — Ultra registra 75,2 su AA-LCR rispetto a una specifica da 1 milione di token. La finestra pubblicata di Bolt è di 262.144 token, che condivide 24 GB con la KV cache, le immagini e la conversazione. Una finestra dichiarata ampia e la capacità di usarla sono proprietà distinte; qui il modello più grande presenta entrambe in misura maggiore.

• Contenimento fattuale — Ultra registra 22,1 su allucinazione AA-Omniscience con 77,91 di non-allucinazione. La scheda di Bolt registra 61,27 su non-allucinazione, l'unica riga in cui perde contro il molto più piccolo Nemotron 3.5 Lightning. Due segnali indipendenti che puntano nella stessa direzione: è qui che la compressione aggressiva a 2 bit costa di più, e nessun trucco di routing ripara un modello che inventa di più.

L'inviluppo di deployment, che è il punto in cui i due si separano effettivamente

Questa è la parte del confronto che non si riduce a un punteggio.

• Memoria — Bolt è un singolo artefatto da 24GB, già quantizzato, pensato per coesistere con un browser e un IDE su una sola macchina. Ultra in BF16 richiede sedici H100, otto H200 o otto nodi di classe GB200 secondo la sua stessa scheda modello; la build NVFP4 restringe il campo a otto H100 come minimo. La differenza tra queste due frasi è la differenza tra un ordine di acquisto e un programma di approvvigionamento.

• Configurazione del contesto — Bolt eroga 262.144 token direttamente nella sua ricetta vLLM pubblicata. Le ricette di Ultra usano 256K per impostazione predefinita e richiedono un flag di ambiente per raggiungere l'intero valore di 1.048.576, motivo per cui il pannello registra 262K per Ultra nonostante una specifica da 1M. Leggi la specifica, poi leggi la ricetta.

Stack di serving — Bolt gira sotto vLLM su Ampere, Hopper e Blackwell, oppure sotto llama.cpp su hardware RTX Spark e DGX Spark, con la licenza OpenMDW-1.1 che consente l'uso commerciale. Ultra gira con la stessa licenza su parallelismo di classe datacenter. Entrambi sono open weights; solo uno dei due è portatile.

• Costo del prompt — Ultra viene tariffato a 0,60 $ per milione di token di input e 2,50 $ per milione di token di output, con uno sconto cache del 73%, il che equivale a circa 0,60 $ per eseguire un'attività dell'Intelligence Index — davvero economico per un modello di quelle dimensioni, e disponibile perché qualcun altro gestisce il cluster. Bolt non ha alcun prezzo: nessun endpoint ospitato, nessuna API del fornitore, nessun listino prezzi, e N/A sia nel campo della velocità sia in quello del costo dell'unico pannello indipendente che lo elenca.

Leggere l'annuncio per ciò che dice e per ciò che non dice

Il checkpoint di Bolt era su Hugging Face dal 7 ottobre 2026 con solo una scheda del modello allegata. L'annuncio del fornitore che lo cita — insieme a un modello gemello da 4 GB, Nemotron 3.5 Bolt E4B, pensato per i personaggi dei videogiochi e datato 23 ottobre — è arrivato il 15 ottobre. Pubblicare i pesi otto giorni prima del testo descrittivo non è insolito, ma significa che una settimana di documentazione pubblica non contiene alcuna spiegazione del modello, e che qualsiasi resoconto scritto in quella finestra si basava solo sulla scheda.

L'annuncio è anche il luogo in cui cercare ciò che è assente. Non c'è alcun endpoint ospitato, nessuna API, nessun listino prezzi, nessuna piattaforma di terze parti che misuri Bolt — e nessun benchmark indipendente eseguito sui pesi da 24GB da parte di chicchessia. I numeri del fornitore sono reali e specifici, rilevati con llama.cpp su un Surface Laptop Ultra con 128GB; semplicemente non sono stati riprodotti al di fuori di NVIDIA.

Dove collocare ciascun modello e dove collocare un router

Nessuno di questi modelli è nel catalogo di OrcaRouter. Non ospitiamo alcun checkpoint NVIDIA, non esiste un endpoint Bolt né un endpoint Ultra, e nulla di quanto qui presente costituisce un'offerta per servirli. Ciò che un singolo endpoint offre davvero, se ne esegui uno o entrambi in autonomia, è un modo per tenere sotto un'unica chiave le metà locale e ospitata di un workflow — gli oltre 200 modelli del nostro catalogo stanno dietro un'unica chiave API e un'unica fattura, al prezzo di listino di ciascun provider trasferito con 0% di ricarico aggiunto, così una variazione di prezzo del fornitore è attiva dalla nostra parte lo stesso giorno anziché al rinnovo successivo. Una richiesta che necessita di una finestra completa da un milione di token o di un reasoner su scala frontend viene inviata a un modello ospitato; il file locale conserva il lavoro ad alto volume e sensibile alla privacy che non avrebbe mai dovuto lasciare l'edificio. Il failover automatico fa sì che un upstream degradato sposti la richiesta invece di farla fallire.

La collocazione deriva dalla matematica del deployment più che dai punteggi. Bolt va su una workstation quando i dati non possono viaggiare, quando il carico di lavoro è incentrato sul video, o quando il volume rende la fatturazione per token la voce dominante — e quando una finestra da 262K e un divario di cautela fattuale già visibile sono accettabili. Ultra va su un endpoint a consumo quando il lavoro richiede una copertura di un milione di token, la più forte capacità di seguire le istruzioni della famiglia e il tasso di allucinazione più basso attualmente pubblicato da NVIDIA.

Chi dovrebbe agire, e chi dovrebbe aspettare

Agisci ora se il carico di lavoro è locale e comprende video: Bolt è l'unico modello di questa famiglia che entri in 24GB e sia in grado di vedere, e nessun altro checkpoint aperto con quel footprint ottiene 21 sull'indice indipendente. Agisci ora se il carico di lavoro è ragionamento testuale a contesto lungo ad alto volume: Ultra è a consumo, misurato, ed è più economico per attività dell'Intelligence Index di quanto un modello delle sue dimensioni abbia alcun diritto di essere.

Aspetta, se la tua decisione dipende dal throughput. La velocità di Bolt è l'unica dimensione per cui non esiste una misurazione indipendente da nessuna parte, e per un modello distribuito localmente la velocità è ciò che percepisci ogni secondo di ogni giorno. Una singola prova di latenza di terze parti sui pesi da 24GB risolverebbe più delle prossime dieci righe di benchmark dei fornitori — e finché non esiste, la pianificazione della capacità per Bolt significa pianificare attorno a un'affermazione.