Nemotron 3.5 Bolt 74B vs. Nemotron 3.5 Lightning 30B-A3B: Gleiches Rezept, zwei Speicherobergrenzen

Dies ist der einzige Vergleich im N​VIDIA N​emotron 3.5-Stammbaum, bei dem beide Seiten vom selben Team für dieselbe Aufgabe in zwei unterschiedlichen Größen entwickelt wurden und der Anbieter den direkten Vergleich bereits selbst durchgeführt hat. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB und N​VIDIA N​emotron 3.5 Lightning 30B-A3B sind beide Mamba-2-Hybrid-Mixture-of-Experts-Checkpoints mit Speculative-Decoding-Heads, beide unter OpenMDW-1.1 für kommerzielle Nutzung veröffentlicht, beide dafür gedacht, von der Person ausgeführt zu werden, die darüber liest, statt von einem Rechenzentrum gemietet zu werden. Lightning wurde am 11. August 2026 veröffentlicht. Bolts Gewichte wurden am 7. Oktober 2026 hochgeladen und N​VIDIA kündigte es am 15. Oktober an.

Der Unterschied ist eine Speicherobergrenze: 24 GB für den einen, rund 16 GB für den anderen in seiner quantisierten Form, und die acht Punkte beim Artificial Analysis Intelligence Index, die zwischen ihnen liegen, sind das, was diese Obergrenze erkauft.

Ein Rezept, in zwei Größen ausgeführt

Lightning kam zuerst und legte die Form fest, der die gesamte 3.5-Generation folgt: ein hybrider Stack, der Mamba-2 State-Space-Blöcke mit Mixture-of-Experts- und Attention-Schichten verschachtelt, Multi-Token-Prediction-Heads, damit das Modell mehrere Token auf einmal entwerfen und sie parallel verifizieren kann, und separate begleitende Drafter — DSpark für Data-Center-Einsätze mit geringer Nebenläufigkeit, DFlash und später den LiLiCorr-Drafter —, die spekulative Dekodierung zu einer unterstützten Konfiguration machen statt zu einem Forschungstrick. Die Destillation vom Nemotron 3 Ultra Teacher ist die andere Hälfte des Rezepts.

Bolt ist dasselbe Rezept, nur auf ein viel knapperes Budget ausgerichtet. Seine 74B Parameter werden durch Star Elastic, NVIDIAs router-gesteuerte Architektursuche, auf 24GB komprimiert. Sie nimmt einen Parent-Checkpoint und sucht nach der Expertenanzahl pro Schicht und der MoE-Zwischenbreite, mit denen sich ein harter Deployment-Footprint erfüllen lässt, während der Knowledge-Distillation-Verlust minimiert wird. Im Fall von Bolt war die Suche auf unter 24GB bei Batch-Größe 1 und 128K-Kontext begrenzt, das Experten-Top-K sank von 22 im Parent auf 9, und die Expertengewichte wurden anschließend auf IQ2-XXS bei 2,0625 Bit pro Element quantisiert, mit quantisierungsbewusster Destillation, um die Genauigkeit wiederherzustellen. Mamba-Schichten liegen bei NVFP4, Embeddings und Ausgabeschichten bei Q8_0.

Das Elternmodell für Bolt ist nicht Lightning. Es ist N​emotron 3.5 Super VL 120B-A12B, das multimodale Modell mit 120 Milliarden Parametern, das N​VIDIA am selben Tag vorgestellt hat, weshalb Bolt mit einem C-RADIO v4-H Vision-Encoder ausgeliefert wird, Lightning hingegen nicht.

Der Spezifikationskontrast, beide Seiten in einer Zeile

• Gesamt- und aktive Parameter — Bolt: 74 Mrd. insgesamt, 9 Mrd. aktiv pro Token. Lightning: 30 Mrd. insgesamt, etwa 3 Mrd. aktiv pro Token.

• Architektur — Bolt: Mamba-2-Transformer-Hybrid-LatentMoE plus ein C-RADIO v4-H Vision-Encoder. Lightning: Mamba-2-Hybrid-MoE mit Attention, kein Vision-Tower.

• Präzision und Speicherbedarf — Bolt: IQ2 mit 2,0625 Bits pro Element, gepackt auf unter 24 GB. Lightning: BF16, NVFP4 und andere quantisierte Builds separat veröffentlicht.

• Kontext — Bolt: bis zu 256.000 Token, wobei einzelne Deployment-Rezepte auch weniger verwenden dürfen. Lightning: im Prinzip bis zu 1.000.000 Token, wobei rund 256.000 die praktische Obergrenze auf einer einzelnen H100 sind.

• Eingaben und Ausgaben — Bolt: Text-, Bild- und Videoeingabe, Textausgabe. Lightning: Texteingabe, Textausgabe.

• Lizenz — OpenMDW-1.1 für beide, von N​VIDIA für kommerzielle und nicht-kommerzielle Nutzung freigegeben.

• Spekulative Dekodierung — Bolt: der LiLiCorr-Drafter über DFlash, sieben spekulative Token im Referenzrezept. Lightning: MTP-Heads plus DFlash- und DSpark-Drafter.

• Intelligenzindex — Bolt: 21,4, Platz vier von 67 in seiner Größenklasse, unabhängig gemessen von Artificial Analysis. Lightning: 12,9, unabhängig gemessen.

• Preis — Bolt: nirgendwo ein nutzungsabhängiger Tarif; Artificial Analysis führt weder einen Eingabe- noch einen Ausgabepreis auf, und es gibt keinen veröffentlichten gehosteten Endpunkt. Lightning: 0,06 $ pro Million Eingabe-Token und 0,20 $ pro Million Ausgabe, wie von Artificial Analysis erfasst, mit zwischengespeicherter Eingabe bei etwa 0,006 $.

• Ausgabegeschwindigkeit — Bolt: keine unabhängige Messung veröffentlicht. Lightning: 305 Ausgabe-Token pro Sekunde bei 0,57 Sekunden bis zum ersten Token, beides unabhängig gemessen, was zu den schnellsten Werten auf dem Board des Panels gehört.

Der eigene Direktvergleich des Anbieters, sorgfältig gelesen

N​VIDIAs Modellkarte für Bolt veröffentlicht eine Tabelle, in der Lightning eine von drei Baselines ist, und es lohnt sich, sie als Argument statt als Anzeigetafel zu lesen, weil das Unternehmen Benchmarks ausgewählt hat, bei denen sein neues Modell gewinnt.

• Terminal-Bench 2.1 — Bolt 50,98 gegenüber Lightnings 23,46. Beide vom Anbieter durchgeführt, beide auf dem BF16-Lightning-Build.

• GPQA Diamond — Bolt 86,43 gegenüber Lightning 75,57.

• BrowseComp — Bolt 66,75 gegenüber den 36,81 von Lightning.

• HLE ohne Tools — Bolt 25,30 gegen Lightnings 10,47.

• PinchBench — Bolt 87,82 gegenüber Lightning mit 83,43, ein viel knapperer Vorsprung als bei den anderen und im Einklang mit NVIDIAs Behauptung, dass Bolt bei diesem Benchmark das offene Modell Nummer eins seiner Klasse ist.

• AA-Omniscience-Nicht-Halluzination — Bolt 61,27 gegenüber Lightnings 68,81. Lightning gewinnt dieses Duell, und es ist die Zeile, die NVIDIA trotzdem veröffentlicht hat, was für die Tabelle spricht.

• AA-Omniscience-Genauigkeit — Bolt 16,90 gegenüber Lightnings 16,63. Praktisch ein Gleichstand und in absoluten Zahlen das schwächste Zahlenpaar in der Tabelle.

Jede Zahl in dieser Liste ist vom Anbieter auf der Modellkarte angegeben und nicht reproduziert. Artificial Analysis hat seither die beiden Indexwerte unabhängig gemessen – 21,4 und 12,9 –, und die Richtung stimmt überein, was das Äußerste ist, was sich heute sagen lässt.

Wo das kleinere Modell die bessere Antwort ist

Die Index-Lücke ist real, und sie ist nicht die einzige Achse. Lightning gewinnt drei Zeilen, die für bestimmte Deployments wichtig sind.

Es ist um einen Faktor schneller, den auf der Bolt-Seite niemand gemessen hat. 305 Ausgabe-Tokens pro Sekunde bei einer Zeit bis zum ersten Token von unter einer Sekunde sind eine andere Klasse von Reaktionsfähigkeit als alles, von dem derzeit angenommen werden kann, dass ein ungemessener 2-Bit-74B-Checkpoint es erreicht, und das ist gemessen. Der von Bolt selbst veröffentlichte Durchsatz, 83,99 Tokens pro Sekunde bei AIPerf SPEED-Bench-Coding mit aktivem LiLiCorr-Drafter, stammt von N​VIDIAs Forschungsseite auf einem Rechner der Laptop-Klasse und ist nicht mit dem Rig des Panels vergleichbar.

Es hat viermal so viel Kontext. Eine Million Tokens gegenüber 256.000, und der Unterschied zeigt sich im unabhängigen Long-Context-Retrieval-Score: Lightning erzielt 49,19 bei AA-LCR in NVIDIAs Tabelle, Bolt 64,06 — Bolt ist besser darin, langen Kontext zu nutzen, aber Lightning ist der Einzige der beiden, der mit einem Fenster von einer Million Tokens wirbt, also kann bei der Arbeitslast „das gesamte Repository lesen“ die Obergrenze wichtiger sein als die Retrieval-Qualität darin.

Es ist das einzige der beiden mit einem Preis. Lightning ist zu 0,06 $ pro Million Tokens für die Eingabe und 0,20 $ pro Million Tokens für die Ausgabe verfügbar, was es zu einer aufrufbaren Infrastruktur statt zu einem Hardwareprojekt macht. Niemand hat einen gehosteten Tarif für Bolt veröffentlicht, daher ist die einzige Möglichkeit, es zu betreiben, die Maschine zu besitzen.

Was Lightning nicht kann, ist sehen. Es ist textbasiert, und Bolt akzeptiert Bilder und Video über den C-RADIO v4-H-Encoder und erzielt 50,86 auf WebArena Vision, wo Lightning keinen Eintrag hat. Wenn der Agent Screenshots liest, PDFs öffnet oder einen Browser steuert, entscheidet allein diese Zeile die Wahl – und es ist die Zeile, die aus Bolts Super-VL-Abstammung stammt und nicht aus seiner Parameterzahl.

Was es tatsächlich kostet, Bolt zu betreiben

NVIDIAs Referenz-Serving-Rezept für den 24-GB-Checkpoint ist kein einzelner Befehl, den man einfach einfügt. Es pinnt ein bestimmtes vLLM-Nightly-Image, installiert das b12x-Kernel-Paket und lädt die Kernel herunter, holt eine Reasoning-Parser-Plugin-Datei separat und setzt dann den v2-Modell-Runner, die linearen und MoE-Backends auf b12x, die Attention- und Mamba-Backends auf FlashInfer, explizite Mamba-Cache-Dtypes, ein Chunked-Prefill-Flag und eine Speculative-Decoding-Konfiguration, die auf den LiLiCorr-Drafter mit sieben Draft-Tokens zeigt. Die Tool-Call- und Reasoning-Parser werden explizit benannt, und die Medienlimits begrenzen eine Anfrage auf ein Bild und ein Video mit einer Video-Pruning-Rate von 0,5.

Lightnings Deployment-Story ist ein Docker-Container, ein OpenAI-kompatibler Endpunkt und ein Modellname, den man auch bei einem Hosting-Anbieter für sechs Cent pro Million Token bekommen kann. In der Praxis ist dieser Unterschied der ganze Vergleich: Bolt ist ein Wochenende Arbeit und eine Maschine, die dir gehört, Lightning ist ein Nachmittag und eine Rechnung.

Wie man auswählt, und was es klären würde

Nehmen Sie Lightning, wenn Ihre Workload Text ist, Ihr Latenzbudget knapp ist und entweder Ihr Kontextbedarf groß ist oder Sie lieber pro Token bezahlen, statt Hardware zu kaufen. Sein unabhängiges Profil – die schnellste gemessene Ausgabegeschwindigkeit seiner Klasse, ein erstes Token in unter einer Sekunde, ein veröffentlichter Preis – macht es zur risikoärmsten Option der Familie, und der niedrigere Intelligenzwert schlägt sich entsprechend im Preis nieder. Es ist außerdem die richtige Standardwahl, wenn Sie einen kleinen lokalen Executor mit einem größeren gehosteten Planner kombinieren möchten – genau so positioniert N​VIDIA es.

Nimm Bolt, wenn dein Agent mit Pixeln zu tun hat oder ohne Netzwerk läuft. Die Vision-Zeile ist exklusiv bei Bolt, das Reasoning im 74B-Maßstab liegt acht Indexpunkte voraus, und das 24-GB-Budget ist das einzige in der Familie, das einen 74B-Checkpoint aus Teacher-Destillation auf einen einzelnen Beschleuniger der Consumer-Klasse bringt. Akzeptiere, dass du den GPU-gehosteten Planner lokal betreibst und dafür mit Latenz bezahlst, die du noch nicht vorhersagen kannst.

Für die gehostete Hälfte beider Architekturen setzt OrcaRouter die Modelle, die wir tatsächlich routen, hinter einen einzigen Schlüssel zum Listenpreis des Anbieters, mit 0 Prozent Aufschlag, und automatisches Failover über Anbieter hinweg bedeutet, dass ein Kapazitätsproblem stromaufwärts erneut versucht wird, statt nach außen zu dringen. Wir hosten kein N​emotron-Modell — der Katalog wurde geprüft und nicht einfach angenommen, und die Familie ist nicht darin enthalten —, sodass die lokale Seite dieses Vergleichs von nichts, was wir tun, betroffen ist. Was ein geroutetes Setup bietet, ist ein Plan B für den Planer, während Sie evaluieren, was hier wichtig ist, weil keiner dieser beiden Checkpoints ein veröffentlichtes unabhängiges Latenzprofil hat, an dem Sie einen Produktionspfad ausrichten könnten.

Was die Entscheidung klären würde, ist eine Zahl, die es noch nicht gibt: ein unabhängiger Durchsatz- und Latenztest auf dem 24GB-Checkpoint bei Batchgröße eins. Bis jemand ihn veröffentlicht, stützen sich die Argumente für Bolt voll und ganz auf die zwei Dinge, mit denen Lightning nicht mithalten kann – Parameterumfang und Sehfähigkeit –, und die Argumente für Lightning stützen sich auf vier unabhängig gemessene Zahlen.

Was die Zahlen Ihnen nicht sagen können, ist, ob irgendetwas davon im Praxiseinsatz schiefgegangen ist: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle rund um Modelle dieser Klasse sind gesammelt in dem OrcaRouter AI Incident Archive, wobei jeder Eintrag eigene Quellen, Schweregrad, Konfidenzstufe und Kennzeichnung als strittig enthält.