Nemotron 3.5 Bolt 74B vs Nemotron 3.5 Lightning 30B-A3B: stessa ricetta, due tetti di memoria

Questo è l'unico confronto all'interno dell'albero genealogico della famiglia N​VIDIA N​emotron 3.5 in cui entrambe le parti sono state costruite dallo stesso team per lo stesso compito in due dimensioni diverse, e il fornitore ha già eseguito il confronto diretto in prima persona. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB e N​VIDIA N​emotron 3.5 Lightning 30B-A3B sono entrambi checkpoint Mamba-2 hybrid mixture-of-experts con teste di speculative decoding, entrambi rilasciati con licenza OpenMDW-1.1 per uso commerciale, entrambi pensati per essere eseguiti dalla persona che ne legge piuttosto che noleggiati da un data centre. Lightning è stato distribuito l'11 agosto 2026. I pesi di Bolt sono stati pubblicati il 7 ottobre 2026 e N​VIDIA lo ha annunciato il 15 ottobre.

La differenza è un tetto di memoria: 24 GB per uno, circa 16 GB per l’altro nella sua forma quantizzata, e gli otto punti di Artificial Analysis Intelligence Index tra i due sono ciò che quel tetto compra.

Una ricetta, eseguita in due dimensioni

Lightning è arrivato per primo e ha stabilito la forma che l'intera generazione 3.5 segue: uno stack ibrido che alterna blocchi state-space Mamba-2 con layer mixture-of-experts e di attenzione, teste Multi-Token Prediction così che il modello possa abbozzare diversi token in una sola volta e verificarli in parallelo, e drafter companion separati — DSpark per distribuzioni in data center a bassa concorrenza, DFlash e, più tardi, il drafter LiLiCorr — che rendono la decodifica speculativa una configurazione supportata anziché un trucco di ricerca. La distillazione dal teacher N​emotron 3 Ultra è l'altra metà della ricetta.

Bolt è la stessa ricetta puntata a un budget molto più ristretto. I suoi 74B parametri sono compressi a 24GB da Star Elastic, la ricerca architetturale guidata dal router di NVIDIA, che prende un checkpoint genitore e cerca il numero di esperti per livello e la larghezza intermedia MoE che soddisfa un footprint di deployment rigido minimizzando la perdita di distillazione della conoscenza. Nel caso di Bolt, la ricerca è stata limitata a meno di 24GB con batch size 1 e contesto 128K, il top-K degli esperti è sceso da 22 nel genitore a 9, e i pesi degli esperti sono stati poi quantizzati a IQ2-XXS a 2,0625 bit per elemento con distillazione consapevole della quantizzazione per recuperare accuratezza. I layer Mamba sono a NVFP4, gli embedding e i layer di output a Q8_0.

Il modello genitore di Bolt non è Lightning. È Nemotron 3.5 Super VL 120B-A12B, il modello multimodale da 120 miliardi di parametri che NVIDIA ha lanciato lo stesso giorno, motivo per cui Bolt viene fornito con un encoder visivo C-RADIO v4-H e Lightning no.

Il contrasto delle specifiche, entrambi i lati su una riga

• Parametri totali e attivi — Bolt: 74B totali, 9B attivi per token. Lightning: 30B totali, circa 3B attivi per token.

• Architettura — Bolt: LatentMoE ibrido Mamba-2–Transformer più un encoder visivo C-RADIO v4-H. Lightning: MoE ibrido Mamba-2 con attenzione, senza torre visiva.

• Precisione e footprint — Bolt: IQ2 a 2,0625 bit per elemento, compresso a meno di 24GB. Lightning: BF16, NVFP4 e altre build quantizzate pubblicate separatamente.

• Contesto — Bolt: fino a 256.000 token, con singole ricette di deployment libere di usarne meno. Lightning: fino a 1.000.000 di token in linea di principio, con circa 256.000 come limite pratico su una singola H100.

• Input e output — Bolt: testo, immagini e video in input, testo in output. Lightning: testo in input, testo in output.

• Licenza — OpenMDW-1.1 per entrambi, approvata da NVIDIA per uso commerciale e non commerciale.

• Decodifica speculativa — Bolt: il drafter LiLiCorr tramite DFlash, sette token speculativi nella ricetta di riferimento. Lightning: teste MTP più i drafter DFlash e DSpark.

• Indice di Intelligenza — Bolt: 21,4, quarto su 67 nella sua classe dimensionale, misurato indipendentemente da Artificial Analysis. Lightning: 12,9, misurato indipendentemente.

• Prezzo — Bolt: nessuna tariffa a consumo da nessuna parte; Artificial Analysis non indica alcun prezzo di input o output e non esiste un endpoint ospitato pubblicato. Lightning: 0,06 $ per milione di token di input e 0,20 $ per milione di output, come rilevato da Artificial Analysis, con input in cache intorno a 0,006 $.

• Velocità di output — Bolt: nessuna misurazione indipendente pubblicata. Lightning: 305 token di output al secondo con 0,57 secondi al primo token, entrambi misurati in modo indipendente, che è tra i valori più rapidi nella classifica del panel.

Il confronto testa a testa del fornitore stesso, da leggere con attenzione.

La scheda del modello di NVIDIA per Bolt pubblica una tabella in cui Lightning è uno dei tre baseline, e vale la pena leggerla come un'argomentazione più che come un tabellone dei punteggi, perché l'azienda ha selezionato benchmark in cui il suo nuovo modello vince.

• Terminal-Bench 2.1 — Bolt 50.98 contro i 23.46 di Lightning. Entrambi eseguiti dal fornitore, entrambi sulla build BF16 di Lightning.

• GPQA Diamond — Bolt 86.43 contro il 75.57 di Lightning.

• BrowseComp — Bolt 66,75 contro i 36,81 di Lightning.

• HLE senza strumenti — Bolt 25.30 contro i 10.47 di Lightning.

• PinchBench — Bolt 87,82 contro gli 83,43 di Lightning, un margine molto più ristretto rispetto agli altri e coerente con l'affermazione di NVIDIA secondo cui Bolt è il modello aperto numero uno della sua categoria su quel benchmark.

• AA-Omniscience non-allucinazione — Bolt 61,27 contro il 68,81 di Lightning. Lightning vince in questo caso, ed è comunque la riga che N​VIDIA ha scelto di pubblicare, il che è un punto a favore della tabella.

• Accuratezza AA-Omniscience — Bolt 16,90 contro il 16,63 di Lightning. Di fatto un pareggio, nonché la coppia di numeri più debole della tabella in termini assoluti.

Ogni cifra in quell'elenco è riportata dal fornitore sulla model card e non è stata riprodotta. Nel frattempo Artificial Analysis ha misurato indipendentemente i due punteggi degli indici — 21,4 e 12,9 — e la direzione coincide, il che è il massimo che si possa dire oggi.

Dove il modello più piccolo è la risposta migliore

Il divario dell'indice è reale, e non è l'unico asse. Lightning vince tre righe che contano per distribuzioni specifiche.

È più veloce di un fattore che nessuno ha misurato sul lato Bolt. 305 token di output al secondo con un tempo al primo token inferiore al secondo è una classe di reattività diversa da qualsiasi cosa si possa attualmente supporre che un checkpoint 2-bit da 74B non misurato possa raggiungere, ed è misurato. Il throughput pubblicato di Bolt stesso, 83,99 token al secondo su AIPerf SPEED-Bench-Coding con il drafter LiLiCorr attivo, proviene dalla pagina di ricerca di NVIDIA su una macchina di classe laptop e non è comparabile alla configurazione del panel.

Ha quattro volte il contesto. Un milione di token contro 256.000, e la differenza si vede nel punteggio indipendente di recupero su contesto lungo: Lightning registra 49,19 su AA-LCR nella tabella di NVIDIA, Bolt 64,06 — Bolt è più bravo a usare il contesto lungo, ma Lightning è l'unico dei due che pubblicizza una finestra da un milione di token, quindi se il carico di lavoro è "leggere l'intero repository" il tetto massimo potrebbe contare più della qualità di recupero al suo interno.

È l'unico dei due ad avere un prezzo. Lightning è disponibile a 0,06 $ in input e 0,20 $ in output per milione di token, il che lo rende infrastruttura chiamabile anziché un progetto hardware. Nessuno ha pubblicato una tariffa hosted per Bolt, quindi l'unico modo per eseguirlo è possedere la macchina.

Ciò che Lightning non può fare è vedere. È solo testo, mentre Bolt accetta immagini e video tramite l'encoder C-RADIO v4-H, ottenendo 50,86 su WebArena vision, dove Lightning non è presente. Se l'agente legge screenshot, apre PDF o pilota un browser, quella riga da sola decide la scelta — ed è la riga che deriva dalla discendenza Super VL di Bolt anziché dal suo numero di parametri.

Quanto costa davvero eseguire Bolt

La ricetta di serving di riferimento di NVIDIA per il checkpoint da 24 GB non è un singolo comando da incollare. Fissa una specifica immagine nightly di vLLM, installa il pacchetto kernel b12x e scarica i kernel, recupera separatamente un file plugin del parser di reasoning, quindi imposta il model runner v2, i backend lineari e MoE su b12x, i backend di attenzione e Mamba su FlashInfer, dtype espliciti per la cache Mamba, un flag di chunked prefill e una configurazione di speculative decoding che punta al drafter LiLiCorr con sette draft token. I parser di tool-call e reasoning sono specificati esplicitamente, e i limiti sui media limitano una richiesta a un'immagine e un video con un tasso di pruning video di 0,5.

La storia di deployment di Lightning è un container Docker, un endpoint compatibile con OpenAI e un nome di modello che puoi ottenere anche da un provider hosted a sei centesimi per milione di token. In pratica, quella differenza è l'intero confronto: Bolt è un weekend di lavoro e una macchina che possiedi, Lightning è un pomeriggio e una fattura.

Come scegliere, e cosa lo risolverebbe

Scegli Lightning se il tuo carico di lavoro è testuale, il tuo budget di latenza è stretto e o le tue esigenze di contesto sono ampie oppure preferisci pagare per token anziché acquistare hardware. Il suo profilo indipendente — la più rapida velocità di output misurata della sua categoria, primo token in meno di un secondo, un prezzo pubblicato — lo rende l'opzione a minor rischio della famiglia, e il punteggio di intelligenza inferiore è prezzato di conseguenza. È anche la scelta predefinita giusta se prevedi di abbinare un piccolo esecutore locale a un pianificatore ospitato più grande, che è esattamente come N​VIDIA lo posiziona.

Scegli Bolt se il tuo agente tocca i pixel o gira senza rete. La riga della visione è esclusiva di Bolt, il ragionamento su scala 74B è avanti di otto punti indice, e la configurazione da 24GB è l'unica della famiglia a far stare un checkpoint da 74B distillato da un teacher su un singolo acceleratore di classe consumer. Accetta di eseguire localmente il planner ospitato su GPU e di pagarne il prezzo in una latenza che non puoi ancora prevedere.

Per la parte ospitata di entrambe le architetture, OrcaRouter mette i modelli che instradiamo dietro un'unica chiave al prezzo di listino del provider, con 0 percento di ricarico aggiunto, e il failover automatico tra provider fa sì che un problema di capacità a monte venga ritentato anziché manifestarsi. Non ospitiamo alcun modello Nemotron — il catalogo è stato verificato anziché dato per scontato, e la famiglia non vi compare — quindi il lato locale di questo confronto non è toccato da nulla di ciò che facciamo. Ciò che una configurazione instradata offre è un piano B per chi pianifica mentre valuti, e qui conta perché nessuno di questi due checkpoint ha un profilo di latenza indipendente pubblicato su cui dimensionare un percorso di produzione.

A dirimere la scelta sarebbe un unico numero che ancora non esiste: una prova indipendente di throughput e latenza sul checkpoint da 24GB con batch size pari a uno. Finché qualcuno non lo pubblica, la tesi a favore di Bolt si basa interamente sulle due cose che Lightning non può eguagliare — scala dei parametri e visione — e la tesi a favore di Lightning si basa su quattro numeri misurati in modo indipendente.

Ciò che i numeri non possono dirti è se qualcosa sia andato storto sul campo: gli incidenti documentati di IA e i fallimenti degli agenti relativi ai modelli di questa classe sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, il grado di gravità, il livello di confidenza e il flag di contestazione.