Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: dezelfde familie, tegenovergestelde deployments

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA Nemotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Beide komen voort uit hetzelfde trainingsrecept

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger Nemotron 3 model. Lightning distils from Nemotron 3 Super Base; Bolt distils from the Nemotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

Daarna scheiden de paden zich, en die scheiding is het hele verhaal.

Lightning doorloopt een langecontextfase van 21 miljard tokens die het uitbreidt tot een miljoen tokens, vervolgens een SFT-en-RLVR-posttrainingspipeline, en het wordt uitgebracht als een tekstmodel met 30B totaal / 3B actief, met DSpark-, DFlash- en MTP-speculatieve opties en een implementatiedoel op één GPU van één H100 of één DGX Spark met NVFP4-gewichten.

Bolt wordt gecomprimeerd uit een ouder met 120 miljard parameters door Star Elastic-architectuurzoek, weer vastgemaakt aan zijn visietoren, opnieuw getraind via een visie-intensieve gesuperviseerde fase, vervolgens onderworpen aan end-to-end reinforcement learning in agentische omgevingen, en ten slotte gekwantiseerd naar 2,0625 bits per expertgewicht met kwantisatiebewuste distillatie. Het wordt geleverd met één drafter, LiLiCorr, en één deploymentvorm: iets met 24 GB geheugen en de mogelijkheid om het naast andere applicaties te draaien.

Het specificatiecontrast, zij aan zij

• Parameters — Bolt: 74B totaal, 9B actief. Lightning: 30B totaal, 3B actief.

• Precisie zoals geleverd — Bolt: IQ2_XXS experts op 2,0625 bits per element, NVFP4 Mamba-lagen, Q8_0 embeddings en attention. Lightning: NVFP4 over de hele linie voor de deployment checkpoint, met een BF16 referentie-release voor maatwerk.

• Context — Bolt: 262.144 tokens. Lightning: één miljoen tokens, het resultaat van een speciale trainingsfase voor lange context.

• Modaliteit — Bolt: tekst, afbeeldingen en video als invoer. Lightning: alleen tekst. De Artificial Analysis-vermelding voor elk model zegt dit op hetzelfde paneel met dezelfde bewoording, waardoor het een van de weinige rijen is waarin de twee direct vergelijkbaar zijn zonder voorbehoud.

• Hosthardware — Bolt: RTX Spark-laptops, GeForce RTX-pc's, DGX Spark, DGX Station, RTX PRO-workstations. Lightning: een DGX Spark of een H100, of Blackwell en Ampere via W4A16.

• Speculatief decoderen — Bolt: LiLiCorr, een 1,13B-opsteller, zeven opgestelde tokens per stap. Lightning: DSpark voor werk met lage gelijktijdigheid, waarbij DFlash en MTP ook zijn gepubliceerd.

• Licentie — OpenMDW-1.1 voor beide, en beide zijn vrijgegeven voor commercieel gebruik.

De enige plek waar beide door iemand anders worden gemeten

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis beoordeelt Nemotron 3.5 Lightning met een 13 op zijn Intelligence Index, waarmee het op de 28e plaats van 141 modellen staat, en Nemotron 3.5 Bolt 74B-A9B met een 21, waarmee het op de vierde plaats van 67 modellen in zijn eigen klasse staat. Die klassen zijn niet identiek — Bolt is een middelgroot open-weightsmodel, Lightning is een klein model — dus de rangen zijn niet direct vergelijkbaar, maar de indexscores worden geproduceerd met dezelfde methodologie op dezelfde evaluaties.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Lees die samen en het familieverhaal wordt concreet. Lightning is op de cijfers die we hebben ongeveer drieënhalf keer sneller dan Bolt, in een vorm die je per token kunt huren; Bolt is op dezelfde index wezenlijk slimmer en draait op een machine die niemand überhaupt kan huren.

Drie manieren waarop de keuze zich oplost

Als de workload een hoog volume heeft en alleen tekst betreft, is Lightning geen compromis, maar het betere gereedschap. Een context van een miljoen tokens bij 307 tokens per seconde, met een gepubliceerd tarief van zes cent per miljoen inputtokens en twintig cent per miljoen outputtokens, is iets specifieks en nuttigs, en Bolt kan op geen enkele hardware de snelheid of de context evenaren.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Als de workload zonder netwerk moet draaien, is Bolt de enige van de twee die daarvoor als pakket beschikbaar is. Het deploymentdoel van Lightning is één enkele H100 of DGX Spark met een NVFP4-checkpoint, wat een server is; dat van Bolt is een bestand van 24GB op een laptop die ook nog een browser draait. Het onderscheid gaat niet over wat de machine kan, maar over waar de machine staat.

Wat het gezin eraan heeft om beide te shippen

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

Lightning is de doorvoer-aanpak: weinig actieve parameters, enorme context, ontworpen om op één GPU vele malen te worden bediend. Bolt is de dichtheids-aanpak: een enorm aantal parameters samengeperst in een vast geheugenbudget, zodat één gebruiker op één machine lokaal iets krijgt dat dichter bij frontier-agentgedrag komt. De twee optimaliseren verschillende ratio's — tokens per seconde per GPU tegen intelligentie per gigabyte per apparaat — en het feit dat Bolt 21 scoort tegenover de 13 van Lightning is geen nederlaag voor Lightning, omdat Lightning niet zou passen op de machine waarvoor Bolt is gebouwd, in de vorm waarin Bolt bestaat.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Wat dit betekent voor iedereen die een agent bouwt

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Welke moet ik eerst proberen?

Als je een GPU met 24GB hebt en een netwerkverbinding die af en toe wegvalt, is Bolt de interessantere download: hij is nieuwer, hij is multimodaal, en hij doet iets wat geen enkele andere release in de familie kan.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Beide uitspraken kunnen tegelijkertijd waar zijn. Daar is een familie voor.

Die kloof tussen wat een scorebord meet en wat een deployment in de praktijk tegenkomt, is de reden dat het register ertoe doet: de gedocumenteerde AI-fouten en agentincidenten rond modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwist-markering bevat.