È uscito Nemotron 3.5 Bolt: cosa contiene davvero il checkpoint a 2 bit da 24 GB di NVIDIA

Il repository per N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB è apparso su Hugging Face il 7 ottobre 2026 ed è rimasto lì, in silenzio, per otto giorni. Il 15 ottobre N​VIDIA lo ha annunciato — un post sul blog, un comunicato dalla newsroom e una pagina di ricerca contrassegnata da quella data — il che significa che la parte interessante di questa storia non è il lancio. È il divario. Per otto giorni l'unica cosa che chiunque poteva sapere su N​emotron 3.5 Bolt era ciò che dicevano una scheda del modello e un set di safetensors, e tutto il resto era inferenza. Quel divario ora si è chiuso, e vale la pena essere precisi su cosa abbia effettivamente stabilito la sua chiusura, perché buona parte di ciò che le persone ripetono su questo modello proviene dal repository anziché dall'annuncio, e i due non sono lo stesso documento.

Ciò che ora è certo, in un solo paragrafo, è questo. Nemotron 3.5 Bolt 74B-A9B 24GB è un modello visione-linguaggio mixture-of-experts da 74 miliardi di parametri con 9 miliardi di parametri attivi per token, rilasciato il 15 ottobre 2026 con licenza OpenMDW-1.1, che archivia i pesi dei suoi esperti a 2,0625 bit per elemento così che l'intero modello stia in 24GB. È progettato per eseguire lavoro agentico in locale — chiamate a strumenti, navigazione, uso del terminale — su hardware RTX e DGX Spark. È disponibile su Ollama come tag da 25GB con una finestra di contesto di 256K. Non è su alcuna API ospitata e non ha un prezzo. Una parte di quella frase è misurata in modo indipendente e il resto sono parole del fornitore stesso.

Due date, e quale citare

C'è una vera differenza tra le due date e determina come dovresti leggere il resto di questo articolo.

Il repository Hugging Face è stato creato il 7 ottobre 2026 alle 17:50 UTC. La model card al suo interno contiene un campo Release Date che riporta Hugging Face 10/15/2026. La pagina di ricerca di N​VIDIA dedicata al checkpoint riporta la dicitura Pubblicato: 15 ottobre 2026. Il post sul blog del fornitore che annuncia il tier Bolt è datato 15 ottobre 2026 e afferma, a chiare lettere, che Super VL e Bolt 74B-A9B "sono ora disponibili".

Quindi la lettura onesta è che il 15 ottobre è la data di rilascio e il 7 ottobre è quando è comparsa la cartella. Chi cita il 7 ottobre come data di lancio sta citando un timestamp di file; chi cita il 15 ottobre sta citando il fornitore. Il divario di otto giorni, però, conta per un motivo diverso dalle date. Significa che per più di una settimana il modello si è trovato in uno stato in cui il repository era l'unica superficie — nessun annuncio, nessuna pagina dei prezzi, nessuna voce in classifica, nessuno di NVIDIA che dicesse a cosa serviva. Ogni descrizione iniziale di Bolt scritta in quella finestra, comprese quelle che ora circolano, è stata costruita a partire dalla scheda. La scheda si è rivelata accurata. Vale la pena dirlo chiaramente, perché l'esito abituale di queste situazioni è che non lo è.

Ciò che il repository da solo dimostra

Tutto in questa sezione era leggibile dalla model card e dai file di configurazione prima che N​VIDIA dicesse una parola, e tutto è ancora vero.

• Parametri — 74 miliardi in totale, 9 miliardi attivi per token. Mixture of experts sparsa, non un modello denso.

• Architettura — un ibrido Mamba-2 e Transformer con un backbone LatentMoE e un encoder visivo C-RADIO v4-H. La configurazione registra la classe come NemotronH_Omni_Reasoning_V3.

• Precisione memorizzata — IQ2_XXS a 2,0625 bit per elemento sui layer FC1 e FC2 degli esperti instradati e condivisi, dove risiede la maggior parte dei pesi. I layer lineari Mamba sono a NVFP4, mentre gli embedding, la testa di output, l'attenzione e i pesi LatentMoE sono a Q8_0.

• Contesto — fino a 256K token, o 262.144 nelle ricette di deployment.

• Input e output — testo, immagini e video in ingresso; testo in uscita.

• Licenza — OpenMDW-1.1, e la scheda lo dichiara chiaramente: "pronto per uso commerciale o non commerciale."

• Basi e provenienza — la scheda dichiara come proprio modello base il checkpoint BF16 con lo stesso nome e la propria relazione con esso come quantizzato, e i tag del dataset rimandano alle raccolte di pre-training e post-training di N​VIDIA N​emotron.

• Date del modello — da dicembre 2025 a maggio 2026, con un cutoff dei dati di post-addestramento fissato a maggio 2026. Leggilo con attenzione se l'attualità dei dati ti sta a cuore: il modello è un rilascio del 2026 costruito su dati che si fermano quattro mesi e mezzo prima della sua uscita.

• Runtime — vLLM su N​VIDIA Ampere, Hopper e Blackwell, e llama.cpp per RTX Spark e DGX Spark. L'elenco di Ollama è più schietto sui limiti: il deployment CUDA è documentato, mentre Apple Silicon e Metal non sono attualmente supportati.

Cosa ha aggiunto l'annuncio

Il materiale del fornitore aggiunge tre cose che il repository non avrebbe potuto dirti.

Innanzitutto, l'inquadramento della famiglia. Bolt è posizionato come il livello edge della famiglia Nemotron, al di sotto di Nemotron 3.5 Super VL a 120B per agenti server sempre attivi e al di sopra di nulla in particolare — la frase di NVIDIA stessa li ordina: Super VL e Bolt «coprono l'intera gamma di deployment di agenti, dai grandi server aziendali giù fino ai dispositivi edge e all'hardware locale». Nemotron 3.5 Bolt E4B 4GB, un modello da 4 miliardi di parametri per agenti conversazionali e fisici, arriva il 23 ottobre.

Secondo, la storia della compressione, che è la vera novità ingegneristica in questione. Bolt non è un modello addestrato piccolo e poi quantizzato. È N​emotron 3.5 Super VL — 120B totali, 12B attivi — fatto passare attraverso Star Elastic, la ricerca architetturale guidata dal router di N​VIDIA, con il vincolo rigido di rientrare sotto i 24GB di memoria a batch size uno e 128K di contesto. Il top-K degli esperti è sceso da 22 nel modello genitore a 9 in Bolt, le larghezze intermedie del MoE sono state ricercate layer per layer, e poi la rete compressa è stata quantizzata e sottoposta a distillazione consapevole della quantizzazione per recuperare accuratezza. La conclusione dichiarata da N​VIDIA è la parte interessante, ed è una posizione concreta, non una vanteria: a parità di budget di memoria, comprimere un modello grande batte addestrare un modello piccolo da zero. È un'affermazione che si può verificare, e nessuno al di fuori di N​VIDIA l'ha fatto.

Terzo, due posizionamenti in classifica dichiarati dal fornitore: modello open #1 della sua categoria su PinchBench, e modello open #2 su BrowseComp. Entrambi sono la descrizione che NVIDIA fa del proprio modello rispetto a una categoria da essa stessa definita.

Ciò che l'annuncio non aggiunge è un endpoint servito. Non c'è alcuna API ospitata, nessun prezzo per token e nessun modo di chiamare N​emotron 3.5 Bolt senza acquistare l'hardware su cui viene eseguito. Artificial Analysis, che ha valutato il modello, indica i suoi campi velocità e costo come non disponibili proprio per questo motivo: nessuna API pubblicamente disponibile per effettuare la misurazione.

La parte che nessuno al di fuori di NVIDIA ha eseguito

È qui che l'articolo deve rallentare, perché il divario tra ciò che è stato misurato e ciò che è stato affermato è insolitamente ampio per un modello di queste dimensioni.

Sul versante delle misurazioni c'è un solo numero, ed è un buon numero: Artificial Analysis colloca N​emotron 3.5 Bolt 74B-A9B a 21 sul suo Intelligence Index, il che lo pone al quarto posto su 67 modelli nella sua classe di confronto. Questa è una misurazione indipendente del checkpoint effettivo a 2 bit, non di una build di riferimento BF16, ed è il dato singolo più utile disponibile oggi su questo modello.

Sul versante asserito c'è tutto il resto. La scheda del modello contiene una tabella di tredici benchmark con quattro colonne — Qwen3.6-35B-A3B in BF16, Gemma 4 26B-A4B in BF16, N​emotron 3.5 Lightning 30B-A3B in BF16 e Bolt in IQ2 — e ogni sua riga è stata prodotta da N​VIDIA, comprese le tre colonne di riferimento, che N​VIDIA ha selezionato perché rientrano in 24 GB con quantizzazione a 4 bit. Bolt è il vincitore in grassetto in dieci righe e non è il vincitore in tre: accuratezza di AA-Omniscience, dove Gemma 4 26B-A4B segna 22,17 contro 16,90 di Bolt; non-allucinazione di AA-Omniscience, dove N​emotron 3.5 Lightning 30B-A3B segna 68,81 contro 61,27 di Bolt; e PinchBench, dove Qwen3.6-35B-A3B segna 88,07 contro 87,82 di Bolt. Pubblicare le tre righe che perdi è un punto a favore del fornitore e non cambia ciò che la tabella è: non riprodotta.

I numeri sulla velocità meritano un paragrafo a sé, perché vanno contro il marketing. La tabella di misurazione di N​VIDIA stessa, ottenuta con llama.cpp su Windows 11 ARM64 su un Surface Laptop Ultra con 128GB, mostra Bolt a 83,99 token al secondo su AIPerf SPEED-Bench-Coding — dietro a Qwen3.6-35B-A3B con 96,63 e a G​emma 4 26B-A4B con 100,56. Nella stessa pagina, la durata di replay end-to-end su traiettorie realistiche di agenti è di 600,80 secondi per Bolt contro 453,97 per Qwen3.6 e 480,68 per G​emma. La proposta è intelligenza per gigabyte, non velocità, e la tabella dello stesso fornitore è coerente con quella proposta anziché con l'affermazione di essere il più veloce.

Quindi la forma delle prove è: un punteggio composito indipendente che è rispettabile, una tabella di benchmark di un fornitore che nessuno ha riprodotto, una tabella di velocità di un fornitore su un laptop che nessuno al di fuori di NVIDIA ha eseguito, e zero misurazioni indipendenti della latenza. Considera inaffidabile qualsiasi articolo che riporti il dato PinchBench di Bolt senza dire chi lo ha prodotto, incluso qualsiasi articolo che sia d'accordo con questo.

Che cosa è arrivato insieme ad esso?

Raramente il rilascio di un modello consiste solo nei pesi, e il cast di supporto di Bolt è più ampio del solito per qualcosa privo di API.

Il drafter speculativo LiLiCorr viene distribuito insieme ad esso — 1,13 miliardi di parametri esclusi gli embedding condivisi e la testa di output, addestrato congiuntamente al modello target — e N​VIDIA riporta lunghezze di accettazione medie di 4,68 con decodifica greedy e di 4,25 con campionamento probabilistico, con sette token draftati a concorrenza 64 in vLLM. Il drafter è un checkpoint scaricabile separato, non un flag di runtime, ed è il meccanismo alla base del valore di 84 TPS citato per RTX Spark.

Il supporto ai framework è arrivato rapidamente. Ollama elenca nemotron-3.5-bolt in tre tag — un tag predefinito, un tag 74B-A9B e un tag IQ2 — ciascuno da 25 GB con un contesto da 256K e input di testo e immagini, con launcher da una riga per C​laude Code, OpenCode, Hermes Agent e OpenClaw. Oltre a ciò, c'è una build GGUF di N​VIDIA, una serie di quantizzazioni della community a 4 bit e 8 bit, e conversioni MLX apparse entro un giorno dall'annuncio. Per un checkpoint che gira su un singolo dispositivo da 24 GB, un ecosistema del genere arrivato in quarantotto ore è il vero segnale che si tratta di un artefatto utilizzabile anziché un dimostratore.

L'avvertimento pratico per chiunque intenda usarlo: la cifra di 24GB è un limite minimo per i pesi, non un tetto massimo per il carico di lavoro. Immagini, fotogrammi video, cronologia della conversazione e risultati degli strumenti condividono tutti il budget di contesto, e la nota di Ollama stessa afferma che il contesto utilizzabile dipende dalla memoria disponibile. Un download da 25GB che entra comodamente non è la stessa cosa di una sessione da 256K token che entra comodamente.

Dove questo ti lascia, e dove no

Se il tuo carico di lavoro è locale e agentico — uso del terminale, navigazione, chiamata di strumenti, debug del codice su un dispositivo di tua proprietà — N​emotron 3.5 Bolt 74B-A9B 24GB è ora una scelta difendibile con un punteggio indipendente e un insieme di pesi che puoi ispezionare. L'argomento di compressione alla base è davvero interessante, la licenza ne consente l'uso commerciale e il tooling è arrivato nel giro di un giorno.

Se il tuo carico di lavoro deve essere chiamato da codice in esecuzione in un ambiente che non è tuo, questo modello oggi non è un'opzione, e la risposta onesta a "come lo uso" è che lo esegui tu stesso su hardware NVID​IA oppure aspetti. Abbiamo controllato il nostro catalogo invece di dare per scontato, e non c'è alcun modello NVID​IA al suo interno — quindi non c'è nulla qui che possiamo instradare, e dire il contrario sarebbe una bugia. Quello che OrcaRouter offre è l'altra metà di una distribuzione mista: i modelli che chiameresti quando una richiesta è troppo difficile, troppo lunga o troppo poco familiare per un checkpoint locale a 2 bit, dietro un'unica chiave, su oltre 200 modelli, al prezzo di listino del provider senza alcun markup aggiunto, con failover automatico quando un provider vacilla. Abbinare un Bolt locale a un'API instradata è un'architettura sensata. Fingere che Bolt sia sul lato instradato non lo è.

La cosa da tenere d'occhio non è la prossima tabella di benchmark. È se qualcuno al di fuori di N​VIDIA pubblica una prova di latenza sul checkpoint da 24GB su hardware che un lettore possiede davvero, e se compare affatto un endpoint ospitato. Finché una di queste cose non accade, la specifica è una promessa e un punteggio in un indice è l'unica cosa che la sostiene.

Un risultato come questo è anche un promemoria del fatto che gli errori dei modelli sono già documentati: gli incidenti AI e i fallimenti degli agenti dietro i modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.