Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: stessa famiglia, deployment opposti

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA N​emotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Entrambi provengono dalla stessa ricetta di addestramento

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger N​emotron 3 model. Lightning distils from N​emotron 3 Super Base; Bolt distils from the N​emotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

Dopodiché i sentieri si separano, e la separazione è tutta la storia.

Lightning attraversa una fase long-context da 21 miliardi di token che lo estende a un milione di token, poi una pipeline di post-training SFT-and-RLVR, e viene rilasciato come modello testuale da 30B totali / 3B attivi con opzioni speculative DSpark, DFlash e MTP e un obiettivo di deployment su singola GPU di una H100 o una DGX Spark con pesi NVFP4.

Bolt viene compresso da un modello padre da 120 miliardi di parametri tramite la ricerca architetturale Star Elastic, riagganciato alla sua torre visiva, riaddestrato attraverso una fase supervisionata incentrata sulla visione, poi sottoposto ad apprendimento per rinforzo end-to-end in ambienti agentici e infine quantizzato a 2,0625 bit per peso esperto con distillazione consapevole della quantizzazione. Viene fornito con un drafter, LiLiCorr, e una sola configurazione di deployment: qualcosa con 24 GB di memoria e la capacità di eseguirlo insieme ad altre applicazioni.

Il contrasto delle specifiche, fianco a fianco

• Parametri — Bolt: 74B totali, 9B attivi. Lightning: 30B totali, 3B attivi.

Precisione al rilascio — Bolt: esperti IQ2_XXS a 2,0625 bit per elemento, livelli Mamba NVFP4, embedding e attenzione Q8_0. Lightning: NVFP4 su tutta la linea per il checkpoint di deployment, con una versione di riferimento BF16 per la personalizzazione.

• Contesto — Bolt: 262.144 token. Lightning: un milione di token, il risultato di una fase di addestramento dedicata al contesto lungo.

• Modalità — Bolt: testo, immagini e video in ingresso. Lightning: solo testo. La voce di Artificial Analysis per ciascun modello lo dice sullo stesso pannello con la stessa dicitura, il che la rende una delle poche righe in cui i due sono direttamente confrontabili senza alcuna riserva.

• Hardware host — Bolt: laptop RTX Spark, PC GeForce RTX, DGX Spark, DGX Station, workstation RTX PRO. Lightning: un DGX Spark o un H100, oppure Blackwell e Ampere tramite W4A16.

• Decodifica speculativa — Bolt: LiLiCorr, un drafter da 1,13B, sette token draftati per passo. Lightning: DSpark per carichi di lavoro a bassa concorrenza, con DFlash e MTP anch'essi pubblicati.

• Licenza — OpenMDW-1.1 per entrambi, ed entrambi sono autorizzati per uso commerciale.

L'unico posto in cui entrambi vengono misurati da qualcun altro

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis scores N​emotron 3.5 Lightning at 13 on its Intelligence Index, ranking 28th of 141 models, and N​emotron 3.5 Bolt 74B-A9B at 21, ranking fourth of 67 models in its own class. Those classes are not identical — Bolt is a medium open-weights model, Lightning is a small one — so the ranks are not directly comparable, but the index scores are produced by the same methodology on the same evaluations.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Leggi quelle cose insieme e la storia della famiglia diventa concreta. Lightning è circa tre volte e mezzo più veloce di Bolt sui numeri che abbiamo, in una forma che puoi noleggiare a token; Bolt è sensibilmente più intelligente sullo stesso indice e gira su una macchina che nessuno può noleggiare affatto.

Tre modi in cui la scelta si risolve

Se il carico di lavoro è ad alto volume e solo testuale, Lightning non è un compromesso, è lo strumento migliore. Un contesto da un milione di token a 307 token al secondo con una tariffa pubblicata di sei centesimi per milione di token di input e venti centesimi per milione di token di output è una cosa specifica e utile, e Bolt non può eguagliare la velocità o il contesto su alcun tipo di hardware.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Se il carico di lavoro deve essere eseguito senza una rete, Bolt è l'unico dei due a essere stato pacchettizzato per questo scopo. Il target di distribuzione di Lightning è un singolo H100 o DGX Spark con un checkpoint NVFP4, ovvero un server; quello di Bolt è un file da 24 GB su un laptop che sta anche eseguendo un browser. La distinzione non riguarda le capacità, ma dove si trova la macchina.

Cosa ci guadagna la famiglia a spedirli entrambi

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

Lightning è la strategia del throughput: pochi parametri attivi, contesto enorme, progettato per essere servito molte volte su una singola GPU. Bolt è la strategia della densità: un numero enorme di parametri compresso in un budget di memoria fisso, così che un singolo utente su una singola macchina ottenga in locale qualcosa di più vicino al comportamento di un agente di frontiera. I due ottimizzano rapporti diversi — token al secondo per GPU contro intelligenza per gigabyte per dispositivo — e il fatto che Bolt ottenga 21 contro il 13 di Lightning non è una sconfitta per Lightning, perché Lightning non starebbe nella macchina per cui Bolt è stato costruito nella forma in cui Bolt esiste.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Cosa significa questo per chiunque stia costruendo un agente

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Quale provare per primo?

Se hai una GPU con 24GB e una connessione di rete che va e viene, Bolt è il download più interessante: è più recente, è multimodale e fa qualcosa che nessun'altra release della famiglia può fare.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Entrambe le affermazioni possono essere vere allo stesso tempo. È a questo che serve una famiglia.

Quel divario tra ciò che un tabellone dei punteggi misura e ciò che un deployment incontra nella pratica è il motivo per cui il registro conta: i fallimenti documentati dell'IA e gli incidenti degli agenti relativi ai modelli di questa classe sono raccolti in the OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.