Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: Samma familj, motsatta driftsättningar

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA Nemotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Båda kommer från samma träningsrecept

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger Nemotron 3 model. Lightning distils from Nemotron 3 Super Base; Bolt distils from the Nemotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

Efter det skiljs vägarna åt, och åtskillnaden är hela historien.

Lightning går igenom en långkontextfas på 21 miljarder tokens som utökar den till en miljon tokens, sedan en SFT- och RLVR-pipeline för efterträning, och den släpps som en textmodell med 30B totalt / 3B aktiva, med DSpark, DFlash och MTP som spekulativa alternativ, och ett driftsättningsmål för en enda GPU på en H100 eller en DGX Spark med NVFP4-vikter.

Bolt komprimeras från en föräldramodell med 120 miljarder parametrar genom Star Elastic-arkitektursökning, återansluts till sitt visionstorn, tränas om genom en visionstung övervakad fas, genomgår sedan end-to-end-förstärkningsinlärning i agentiska miljöer och kvantiseras slutligen till 2,0625 bitar per expertvikt med kvantiseringsmedveten destillation. Den levereras med en drafter, LiLiCorr, och en driftsättningsform: något med 24 GB minne och förmågan att köra den tillsammans med andra applikationer.

Specifikationskontrasten, sida vid sida

• Parametrar — Bolt: 74B totalt, 9B aktiva. Lightning: 30B totalt, 3B aktiva.

• Precision vid leverans – Bolt: IQ2_XXS-experter vid 2,0625 bitar per element, NVFP4 Mamba-lager, Q8_0-inbäddningar och uppmärksamhet. Lightning: NVFP4 genomgående för driftsättningscheckpointen, med en BF16-referensutgåva för anpassning.

• Kontext — Bolt: 262 144 tokens. Lightning: en miljon tokens, resultatet av en dedikerad träningsfas för lång kontext.

• Modalitet — Bolt: text, bilder och video som indata. Lightning: endast text. Artificial Analysis-posten för varje modell anger detta i samma panel med samma formulering, vilket gör den till en av få rader där de två är direkt jämförbara utan förbehåll.

• Värdhårdvara – Bolt: RTX Spark-bärbara datorer, GeForce RTX-datorer, DGX Spark, DGX Station, RTX PRO-arbetsstationer. Lightning: en DGX Spark eller en H100, eller Blackwell och Ampere via W4A16.

• Spekulativ avkodning – Bolt: LiLiCorr, en 1,13B-utkastarmodell, sju utkastade tokens per steg. Lightning: DSpark för arbete med låg samtidighet, där även DFlash och MTP har publicerats.

• Licens — OpenMDW-1.1 för båda, och båda är godkända för kommersiellt bruk.

Den enda platsen där båda mäts av någon annan

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis poängsätter Nemotron 3.5 Lightning till 13 på sitt Intelligence Index, vilket placerar den på 28:e plats av 141 modeller, och Nemotron 3.5 Bolt 74B-A9B till 21, vilket placerar den på fjärde plats av 67 modeller i sin egen klass. Dessa klasser är inte identiska — Bolt är en medelstor modell med öppna vikter, Lightning är en liten sådan — så placeringarna är inte direkt jämförbara, men indexpoängen tas fram med samma metodik på samma utvärderingar.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Läser man dem tillsammans blir familjehistorien konkret. Lightning är ungefär tre och en halv gånger snabbare än Bolt enligt de siffror vi har, i en form man kan hyra per token; Bolt är meningsfullt smartare på samma index och körs på en maskin som ingen kan hyra överhuvudtaget.

Tre sätt som valet löser sig på

Om arbetsbelastningen är högvolym och enbart text, är Lightning inte en kompromiss, utan det bättre verktyget. En kontext på en miljon tokens vid 307 tokens per sekund med ett publicerat pris på sex cent per miljon indatatokens och tjugo cent per miljon utdata är en specifik och användbar sak, och Bolt kan inte matcha hastigheten eller kontexten på någon typ av hårdvara.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Om arbetsbelastningen måste köras utan nätverk,är Bolt den enda av de två som har paketerats för det. Lightnings driftsättningsmål är en enskild H100 eller DGX Spark med en NVFP4-checkpoint, vilket är en server; Bolts är en 24 GB-fil på en bärbar dator som också kör en webbläsare. Skillnaden handlar inte om kapacitet utan om var maskinen befinner sig.

Vad familjen får ut av att skicka båda

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

Lightning är satsningen på genomströmning: få aktiva parametrar, enorm kontext, designad för att serveras många gånger om på en GPU. Bolt är satsningen på densitet: ett enormt antal parametrar komprimerat till en fast minnesbudget så att en enskild användare på en enda maskin får något som ligger närmare frontier-agentbeteende lokalt. De två optimerar olika kvoter — tokens per sekund per GPU mot intelligens per gigabyte per enhet — och att Bolt får 21 mot Lightnings 13 är inte ett nederlag för Lightning, eftersom Lightning inte skulle passa på den maskin som Bolt byggdes för i den form som Bolt finns i.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Var detta lämnar alla som bygger en agent

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Vilken ska man prova först?

Om du har en GPU med 24 GB och en nätverksanslutning som kommer och går, är Bolt den mer intressanta nedladdningen: den är nyare, den är multimodal, och den gör något som ingen annan utgåva i familjen kan.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Båda påståendena kan vara sanna samtidigt. Det är vad en familj är till för.

Den där klyftan mellan vad en resultattavla mäter och vad en driftsättning möter är anledningen till att registret är viktigt: de dokumenterade AI-felen och agentincidenterna kring modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och omtvistad flagga.