Nemotron 3.5 Bolt 24GB: Cosa ha effettivamente messo NVIDIA in un file da 24GB

Il numero in evidenza non è il numero di parametri. È il numero di byte. Il 15 ottobre 2026 NVIDIA ha rilasciato NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, un modello agente visivo-linguistico i cui 74 miliardi di parametri occupano 23,75GB nel formato che la maggior parte delle persone scaricherà effettivamente — un GGUF da 22,02GB più un file del proiettore visivo da 1,73GB. Entrambe le cifre provengono dall'elenco dei file dello stesso repository pubblicato, non dal post del blog, e sono il motivo per cui il nome termina con un numero. Ecco cosa ti dà quel numero, cosa nasconde e cosa non include.

Cosa è stato spedito, e quando

La newsroom di NVIDIA ha inquadrato il 15 ottobre come un'espansione della famiglia piuttosto che il lancio di un singolo modello: Nemotron 3.5 Super VL, un modello multimodale da 120 miliardi di parametri con 12 miliardi di parametri attivi, è arrivato insieme al checkpoint Bolt, e un fratello molto più piccolo, Nemotron 3.5 Bolt E4B 4GB, è previsto per il 23 ottobre. Bolt si unisce a Nemotron 3.5 Lightning (agosto) e Nemotron 3 Ultra in una famiglia che ora copre il ragionamento nei data center, il serving ad alto throughput e gli agenti edge locali.

La release è davvero nuova, ed è anche leggermente più vecchia dell'annuncio. Il repository Hugging Face nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB è stato creato il 7 ottobre 2026; la model card al suo interno riporta una data di rilascio del 15 ottobre, la stessa data in cui la pagina di ricerca di NVIDIA è contrassegnata come "Published". Otto giorni di file lasciati in bella vista pubblica prima di una sola parola di spiegazione sono un pattern normale per un fornitore che spedisce in coordinamento di embargo con l'hardware — i laptop RTX Spark sono datati 16 ottobre, il giorno successivo all'annuncio — e vale la pena sapere quale metà del registro pubblico di questo modello provenga da una decisione di marketing e quale da un elenco di file.

Come 74 miliardi di parametri entrano in 24 gigabyte

Due meccanismi, e sono separabili.

Il primo è strutturale. Bolt non è un modello più piccolo addestrato da zero; è il genitore Super 3.5 VL compresso da un algoritmo che NVIDIA chiama Star Elastic, una ricerca dell'architettura guidata da router che doveva soddisfare un vincolo — un footprint di deployment inferiore a 24GB con batch size 1 e contesto 128K — perdendo quanta meno accuratezza di distillazione della conoscenza possibile. Ciò che ha prodotto è un ibrido mixture-of-experts da 74B totali / 9B attivi, con il top-K degli esperti fissato a 9, dove il genitore usava 22. La formulazione di NVIDIA stessa del risultato è schietta e verificabile: a parità di budget di memoria, comprimere un modello grande batte addestrarne uno piccolo.

Il secondo è la precisione, ed è lì che risiede la maggior parte dei risparmi.

• Pesi degli esperti — livelli FC1 e FC2 instradati e condivisi quantizzati a IQ2_XXS a 2,0625 bit per elemento, che costituiscono la maggior parte del modello in termini di numero di parametri.

• Livelli Mamba — NVFP4, un formato in virgola mobile a 4 bit, e solo sui livelli in cui la precisione extra vale più byte.

• Embedding, testa di output, attenzione e i pesi latenti del MoE — Q8_0.

• Recupero — distillazione consapevole della quantizzazione anziché un passaggio post-hoc di arrotondamento al valore più vicino, che è la differenza tra un modello compresso e uno danneggiato.

Leggi quelle informazioni insieme e il "24GB" smette di essere un riassunto di marketing e diventa un'allocazione di budget. Gli esperti a 2 bit costano poco per byte e sono numerosi; gli strati che contano per la stabilità mantengono 4 o 8 bit.

Il dato di 24GB, verificato rispetto ai file

L'affermazione sopravvive a un audit, il che non è sempre vero.

• Pesi GGUF — 22,018,326,528 byte, ovvero 22.02GB decimali, in un unico file.

• Proiettore visivo — 1.733.692.736 byte, ovvero 1,73 GB, fornito separatamente come mmproj, che è il modo in cui llama.cpp riceve input di immagini e video.

• Build Safetensors — lo stesso modello in shard pronti per vLLM totalizza 24,12 GB distribuiti su 90 file, leggermente al di sopra del valore di riferimento.

• Riferimento BF16 — 149,8 GB su 63 shard, pubblicato separatamente per chiunque voglia fare fine-tuning anziché inferenza.

Su tutto questo si innestano due avvertenze oneste. Primo, i pesi non sono un modello in esecuzione. La ricetta vLLM pubblicata da NVIDIA fissa la cache KV su fp8 e imposta il contesto servito a 262.144 token con max-num-seqs 1 — una singola sequenza concorrente. Questa è la differenza tra l'entrare in 24GB e il girare velocemente in 24GB, ed è il tipo di dettaglio che il titolo sulla dimensione della memoria non riporta mai. Secondo, 24GB è il numero che è stato dato alla ricerca sull'architettura, non un numero misurato sulla tua macchina: l'overhead dei driver, il sistema operativo e qualunque altra cosa ci sia sul laptop restano tutti fuori da quel conteggio, ed è esattamente per questo che la proposta è «eseguilo accanto alle tue app» anziché «eseguilo al posto loro».

L'affermazione sulla velocità, e la macchina su cui è stata misurata

NVIDIA è progettata per almeno 80 token al secondo e riporta 83,99 su AIPerf SPEED-Bench-Coding. Quel numero necessita di tre elementi di contesto prima di significare qualcosa: è stato prodotto con llama.cpp su Windows 11 ARM x64, su un Surface Laptop Ultra con 128 GB di memoria, con il drafter speculativo LiLiCorr agganciato e sette token draftati per passo. Il drafter non è un ornamento opzionale: è un checkpoint complementare da 1,13B il cui unico scopo è aumentare la lunghezza di accettazione (NVIDIA riporta medie di 4,68 con decodifica greedy e 4,25 con campionamento a concorrenza 64 in vLLM). Rimuovi il drafter e stai misurando un modello diverso.

Il secondo dato di velocità è quello più interessante, perché è un tempo di completamento anziché un tasso: 600,80 secondi di durata di replay su AA-AgentPerf Local, contro 453,97 per Qwen3.6 35B-A3B, 480,68 per Gemma 4 26B-A4B e 1.043,28 per Qwen3.8 27B — tutti dalla tabella di NVIDIA stessa, tutti sullo stesso hardware. Bolt vince quella riga terminando le stesse traiettorie dell'agente più velocemente di un modello più piccolo, e perde la riga del throughput contro entrambi gli altri a 83,99 contro 96,63 e 100,56 token al secondo. Veloce e rapido non sono la stessa misura, e questo è un modello che baratta la seconda per la prima.

Cosa dice la misurazione indipendente

Un numero nella documentazione pubblica su Bolt non è stato prodotto da NVIDIA: l'Artificial Analysis Intelligence Index gli assegna un punteggio di 21, il che lo colloca al quarto posto tra 67 modelli della sua classe. Quel pannello inoltre non riporta né la velocità né il costo per esso, perché non esiste un'API pubblica da chiamare — e indica la modalità di input del modello come testo e immagine, non video, una lettura più restrittiva di quella del fornitore.

La stessa pagina nota che il modello ha generato 230M token durante la valutazione, cosa che definisce molto verboso rispetto a una mediana di 100M. Un ragionamento che produce più token sullo stesso compito non è automaticamente peggiore, ma ha un costo su un dispositivo locale, dove ogni token è generato da una ventola.

Tutto il resto in circolazione è riportato dai fornitori. La stessa tabella di tredici benchmark di NVIDIA, in cui Bolt guida la sua classe di memoria su PinchBench ed è secondo su WebArena e BrowseComp, confronta con modelli scelti in parte per rientrare in 24GB a 4-bit — un gruppo di pari definito da un vincolo che Bolt è stato progettato per soddisfare. Non è disonesto; non è nemmeno una classifica dei modelli agente in generale, e l'unica cella che va nella direzione opposta è istruttiva: con 16,90 su AA-Omniscience accuracy, Bolt è dietro a Gemma 4 26B-A4B, a 22,17, nella stessa tabella.

Cosa non c'è nella scatola

Non c'è alcun endpoint. Nessuna tariffa a consumo, nessun provider che lo eroga, nessun modo di valutarlo sul tuo traffico senza completare il deployment. Quello che c'è invece è il supporto runtime arrivato al rilascio anziché mesi dopo: llama.cpp e il checkpoint GGUF, Ollama, LM Studio, Unsloth per il fine-tuning, e vLLM per il checkpoint quantizzato su DGX Spark e il checkpoint BF16 altrove. Il blog di NVIDIA stesso li elenca tutti e cinque per nome, e l'ampiezza è il vero prodotto qui — un file da 24 GB è utile solo se la cosa che lo carica esiste già sulla tua macchina.

La portata dell'hardware è più ampia di quanto suggerisca il racconto del giorno di lancio sui portatili RTX Spark: PC GeForce RTX, DGX Spark, DGX Station e workstation RTX PRO sono tutti menzionati, e la scheda del modello elenca Ampere, Hopper e Blackwell per il percorso vLLM.

La licenza è OpenMDW-1.1, che è abbastanza permissiva da poterci costruire sopra e abbastanza poco familiare che la revisione legale è un passaggio reale, non una formalità — cosa che vale la pena sapere prima che una decisione architetturale dipenda da essa.

Un errore di copia-incolla nel blog tecnico della stessa NVIDIA mette l'elenco dei checkpoint sotto l'intestazione "Nemotron 3.5 Super VL 74B-A9B 24GB" anziché Bolt. È un refuso in un rilascio rapido, non una biforcazione della famiglia, ma è un promemoria utile che le pagine dei fornitori scritte il giorno dell'annuncio sono bozze con sopra una data di pubblicazione.

Per i team che chiamano anche modelli che non possiedono

La metà in esecuzione locale di uno stack di agenti e la metà ospitata sono di solito lo stesso progetto, e Bolt ne affronta solo una. OrcaRouter non ospita alcun checkpoint Nemotron — è stato verificato sul nostro catalogo anziché dato per scontato — quindi nulla qui è una promozione per un modello che serviamo. Quello che facciamo è l'altro lato di una distribuzione mista: una chiave per oltre 200 modelli al prezzo di listino del provider senza alcun ricarico aggiunto, failover automatico quando un provider vacilla nel mezzo di una richiesta, e un DSL di routing per descrivere una catena di fallback come configurazione anziché come codice applicativo. Se Bolt esegue la metà locale, quella è la metà che non compare mai in fattura; la questione del routing è ciò che accade al resto.

Cosa guardare

Tre cose decideranno la reputazione di questo modello, e nessuna di esse è nell'annuncio.

La prima è la latenza indipendente su hardware reale. Gli 83,99 token al secondo di NVIDIA sono un benchmark controllato con un drafter speculativo allegato; prima o poi qualcuno pubblicherà cosa fa su un laptop che esegue contemporaneamente un browser e un editor, e quel numero conterà più di questo. La seconda è la variante E4B del 23 ottobre, che verifica se la ricetta di compressione scala verso il basso o funziona solo a una dimensione. La terza è se qualcuno al di fuori di NVIDIA esegue il post-training del checkpoint BF16 — perché un artefatto di deployment da 24 GB con una licenza aperta e un artefatto di personalizzazione da 150 GB accanto costituisce un rilascio deliberatamente a due binari, e il secondo binario è quello che decide se questo diventa una piattaforma o un checkpoint.

Per ora il fatto regge da solo. Un agente multimodale da 74 miliardi di parametri entra nella memoria di un portatile che costa meno di una workstation, gira a circa 84 token al secondo con un drafter agganciato, totalizza 21 sull'unico indice indipendente che l'ha misurato, e non può essere richiamato come API da nessuno. È una combinazione specifica e insolita, e vale la pena essere precisi su quale delle sue due metà ti serve.

Niente di tutto ciò è ipotetico: i fallimenti documentati dell'IA e gli incidenti degli agenti alla base di rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.