Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B: Dieselbe Familie, gegensätzliche Bereitstellungen

Two models from one family, released four months apart, built to opposite ends of the same question. N​VIDIA N​emotron 3.5 Lightning 30B-A3B shipped in August 2026 as a high-throughput text model for data-centre serving. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB shipped on 15 October 2026 as a multimodal agent that fits on a laptop. Bolt has double the total parameters and three times the active parameters of Lightning, and it runs on hardware Lightning cannot start on. This is what actually separates them, and where the family resemblance is misleading.

Beide entstehen aus demselben Trainingsrezept.

N​VIDIA's technical report for the pair is explicit that both models begin with the same two stages: a 100-billion-token warm-up for multi-token-prediction heads, then a trillion tokens of distillation from the next-larger N​emotron 3 model. Lightning distils from N​emotron 3 Super Base; Bolt distils from the N​emotron 3.5 Super VL line, which is why Bolt can see and Lightning cannot.

Danach trennen sich die Wege, und die Trennung ist die ganze Geschichte.

Lightning durchläuft eine Langkontext-Phase mit 21 Milliarden Token, die es auf eine Million Token erweitert, dann eine SFT- und RLVR-Post-Training-Pipeline, und es wird als Textmodell mit insgesamt 30B / 3B aktiven Parametern veröffentlicht, mit den spekulativen Optionen DSpark, DFlash und MTP sowie einem Single-GPU-Deployment-Ziel von einer H100 oder einem DGX Spark mit NVFP4-Gewichten.

Bolt wird durch die Star-Elastic-Architektursuche aus einem übergeordneten Modell mit 120 Milliarden Parametern komprimiert, wieder an seinen Vision-Turm angeschlossen, in einer stark vision-lastigen überwachten Phase nachtrainiert, anschließend in agentischen Umgebungen einem End-to-End-Reinforcement-Learning unterzogen und schließlich mit quantisierungsbewusster Destillation auf 2,0625 Bit pro Expertengewicht quantisiert. Es kommt mit einem Drafter, LiLiCorr, und einer Deployment-Form: etwas mit 24GB Speicher und der Fähigkeit, es neben anderen Anwendungen auszuführen.

Der Spezifikationsvergleich, Seite an Seite

• Parameter — Bolt: 74B gesamt, 9B aktiv. Lightning: 30B gesamt, 3B aktiv.

• Präzision im Auslieferungszustand — Bolt: IQ2_XXS-Experten mit 2,0625 Bits pro Element, NVFP4-Mamba-Schichten, Q8_0-Embeddings und -Attention. Lightning: NVFP4 durchgängig für den Deployment-Checkpoint, mit einem BF16-Referenz-Release zur Anpassung.

• Kontext — Bolt: 262.144 Tokens. Lightning: eine Million Tokens, das Ergebnis einer dedizierten Langkontext-Trainingsphase.

• Modalität — Bolt: Text, Bilder und Video als Eingabe. Lightning: nur Text. Der Artificial-Analysis-Eintrag für jedes Modell sagt dies auf demselben Panel mit derselben Formulierung, was ihn zu einer der wenigen Zeilen macht, in denen die beiden ohne Vorbehalt direkt vergleichbar sind.

• Host-Hardware — Bolt: RTX Spark Laptops, GeForce RTX PCs, DGX Spark, DGX Station, RTX PRO Workstations. Lightning: ein DGX Spark oder ein H100, oder Blackwell und Ampere über W4A16.

• Spekulative Dekodierung – Bolt: LiLiCorr, ein 1,13B-Drafter, sieben entworfene Token pro Schritt. Lightning: DSpark für Arbeit mit geringer Parallelität, wobei DFlash und MTP ebenfalls veröffentlicht wurden.

• Lizenz — OpenMDW-1.1 für beide, und beide sind für die kommerzielle Nutzung freigegeben.

Der eine Ort, an dem beide von jemand anderem gemessen werden

These two models have something most of the N​emotron family lacks: entries on the same independent panel, measured the same way. That makes the comparison unusually clean for a family-internal matchup.

Artificial Analysis scores N​emotron 3.5 Lightning at 13 on its Intelligence Index, ranking 28th of 141 models, and N​emotron 3.5 Bolt 74B-A9B at 21, ranking fourth of 67 models in its own class. Those classes are not identical — Bolt is a medium open-weights model, Lightning is a small one — so the ranks are not directly comparable, but the index scores are produced by the same methodology on the same evaluations.

Speed is where the gap inverts, and this is the single most decision-relevant fact about the pair. The panel measures Lightning at 307 output tokens per second, first of 63 models on that dimension. It reports Bolt's speed as unavailable, because there is no public API serving it and the panel's speed measurement requires one. The only throughput figure that exists for Bolt is N​VIDIA's own: 83.99 tokens per second on AIPerf SPEED-Bench-Coding, on a Surface Laptop Ultra with 128GB of memory, with the drafter attached.

Liest man sie zusammen, wird die Geschichte der Familie konkret. Lightning ist nach den uns vorliegenden Zahlen rund dreieinhalbmal schneller als Bolt, und zwar in einer Form, die man pro Token mieten kann; Bolt ist beim selben Index deutlich klüger und läuft auf einer Maschine, die überhaupt niemand mieten kann.

Drei Arten, wie die Entscheidung ausgeht

Wenn die Arbeitslast ein hohes Volumen hat und nur Text umfasst, ist Lightning kein Kompromiss, sondern das bessere Werkzeug. Ein Kontext von einer Million Tokens bei 307 Tokens pro Sekunde mit einem veröffentlichten Preis von sechs Cent pro Million Input-Tokens und zwanzig Cent pro Million Output-Tokens ist etwas Konkretes und Nützliches, und Bolt kann weder die Geschwindigkeit noch den Kontext auf irgendeiner Art von Hardware erreichen.

If the workload is visual, there is no decision to make. Bolt accepts images and video and Lightning does not, and no amount of context or throughput substitutes for a modality that is absent. The WebArena vision row in N​VIDIA's own table — 50.86 for Bolt, with Lightning not listed at all — is what that looks like when it moves from a spec sheet into a benchmark.

Wenn die Arbeitslast ohne Netzwerk laufen muss, ist Bolt der einzige der beiden, der dafür paketiert wurde. Lightnings Deployment-Ziel ist eine einzelne H100 oder DGX Spark mit einem NVFP4-Checkpoint, also ein Server; Bolts Ziel ist eine 24-GB-Datei auf einem Laptop, auf dem auch ein Browser läuft. Der Unterschied liegt nicht in der Leistungsfähigkeit, sondern darin, wo die Maschine steht.

Was die Familie davon hat, beide zu versenden

The interesting thing about this pair is not that one beats the other. It is that N​VIDIA built the cheap one first, then spent four months building the expensive one to fit somewhere the cheap one could not go.

Lightning ist die Durchsatz-Strategie: wenige aktive Parameter, enormer Kontext, darauf ausgelegt, vielfach auf einer einzigen GPU ausgeliefert zu werden. Bolt ist die Dichte-Strategie: eine enorme Parameterzahl, komprimiert in ein festes Speicherbudget, damit ein einzelner Nutzer auf einer einzigen Maschine lokal etwas näher an das Verhalten eines Frontier-Agenten heranreicht. Die beiden optimieren unterschiedliche Verhältnisse – Token pro Sekunde pro GPU gegen Intelligenz pro Gigabyte pro Gerät –, und die Tatsache, dass Bolt 21 gegenüber Lightnings 13 erreicht, ist keine Niederlage für Lightning, denn Lightning würde nicht auf die Maschine passen, für die Bolt in der Form gebaut wurde, in der Bolt existiert.

There is also a data point for the compression argument itself. Bolt's vendor table includes Lightning as one of its baselines, and Bolt beats it on nearly every agentic row: 50.98 against 23.46 on Terminal-Bench 2.1, 66.75 against 36.81 on BrowseComp, 17.01 against 9.48 on Tau3 Banking, 28.47 against 18.26 on GDPVal-AA-V2. Those are N​VIDIA's own numbers comparing two of its own models in the same table, and the honest reading is that compressing a 120B parent beats training a 30B model from scratch at the same target size. That is precisely the claim Star Elastic was invented to support.

Was das für alle bedeutet, die einen Agenten bauen

The pairing suggests a shape rather than a winner. Lightning handles the high-volume, long-context, text-only middle of an agent's work where throughput and context are the binding constraints. Bolt handles the local, visual, latency-tolerant work that cannot leave the machine. Neither is a replacement for the other, and N​VIDIA's own framing of the family — Ultra for the hardest reasoning, Lightning for throughput, Bolt for the edge — is an admission that the boundary is real.

What neither model solves is the part of the stack that is not local and not N​VIDIA's. We do not host either checkpoint; the OrcaRouter catalogue has no N​emotron entry, so there is no endpoint or rate to quote for these two. What a gateway contributes to a mixed stack is the other side: one key across 200-plus hosted models, provider list price passed through with no markup added, automatic failover when a provider degrades, and a routing DSL for describing escalation across models as configuration. The choice between Bolt and Lightning is made on your hardware and in your harness. What happens when the task exceeds both, or when a request has to reach a model neither of them can be, is the part that lives behind an endpoint.

Welches zuerst ausprobieren?

Wenn Sie eine GPU mit 24 GB und eine Netzwerkverbindung haben, die kommt und geht, ist Bolt der interessantere Download: Er ist neuer, er ist multimodal, und er kann etwas, was kein anderes Release der Familie kann.

If you have a DGX Spark, an H100, or an application where latency is the product, Lightning has been generally available since August, has an independent speed measurement that puts it first in its class, has a published price, and has had two months for the ecosystem to find its sharp edges. Bolt has had one day, its drafter is a mandatory third download, and nobody outside N​VIDIA has measured its latency.

Beide Aussagen können gleichzeitig wahr sein. Dafür ist eine Familie da.

Diese Kluft zwischen dem, was eine Anzeigetafel misst, und dem, was ein Deployment vorfindet, ist der Grund, warum die Aufzeichnung zählt: Die dokumentierten KI-Ausfälle und Agent-Vorfälle rund um Modelle dieser Klasse finden sich in dem OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und seine Kennzeichnung als strittig mitführt.