Nemotron 3.5 Bolt vs. Nemotron 3.5 Lightning: Was NVIDIAs eigene Tabelle sagt, wenn man beide Spalten liest

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB und NVIDIA Nemotron 3.5 Lightning 30B-A3B sind zwei Stufen derselben Familie, die zehn Wochen auseinander erschienen sind, und der Hersteller hat bereits eine Tabelle veröffentlicht, die sie direkt gegeneinander antreten lässt. Das ist ungewöhnlich und nützlich: Die meisten Direktvergleichstabellen, die man liest, werden von einem Journalisten oder einem Anbieter zusammengestellt, der schmeichelhafte Vergleiche auswählt, und diese hier stammt von einem Labor, das sein eigenes neueres Modell öffentlich gegen sein eigenes älteres benchmarkt, wobei das ältere als Baseline genannt wird. Sie ist weiterhin vom Anbieter berichtet, und niemand außerhalb von NVIDIA hat auch nur eine Zeile davon reproduziert – doch die Absicht dahinter steht außer Zweifel, und die Richtung des Ergebnisses ebenso. Bolt gewinnt zwölf der dreizehn Zeilen. Es lohnt sich, genau zu verstehen, welche eine es verliert und warum genau diese Zeile die interessante ist.

Die Familienstruktur zählt mehr als die Zahlen. Nemotron 3.5 Lightning wurde am 11. August 2026 als Ausführungsschicht eines Agent-Stacks veröffentlicht — ein Hybridmodell mit 30B Parametern insgesamt und 3B aktiven, das NVIDIA aus dem weit größeren Nemotron 3 Ultra eigens dafür destilliert hat, dass ein Frontier-Modell die Planung übernehmen kann, während Lightning auf einer einzigen GPU Tool-Aufrufe abarbeitet. Bolt stammt aus einer völlig anderen Linie: Es wurde aus dem 120B-A12B-Modell Nemotron 3.5 Super VL komprimiert, nicht aus Ultra, und existiert als Vision-Language-Generalist, der in 24GB passt. Beide sind Open-Weight unter OpenMDW-1.1, beide sind sparse Mixture-of-Experts auf Mamba-2-Hybrid-Backbones, und beide bringen spekulatives Decoding mit — Lightning mit Multi-Token-Prediction-Köpfen plus DFlash- und DSpark-Draftern, Bolt mit einem LiLiCorr-Drafter, der über DFlash läuft und sieben Token im Voraus vorschlägt.

Die gemeinsame Abstammung hört an dem Punkt auf, nützlich zu sein, an dem man sich entscheiden muss, denn die beiden Modelle beantworten unterschiedliche Fragen. Das eine ist ein billiger Ausführer. Das andere ist ein lokaler Generalist.

Die Tabelle nach Rolle lesen, nicht nach Punktzahl

Jede unten aufgeführte Zahl stammt aus NVIDIA's eigener Modellkarte für den Bolt 24GB-Checkpoint, in der Lightning als Baseline aufgeführt ist. Die Spalte Bolt ist IQ2, ein 2-Bit-quantisiertes Artefakt. Die Spalte Lightning ist BF16, unquantisiert. Diese Asymmetrie ist das Einzige, was man über die Tabelle am wichtigsten wissen muss, und sie fällt zu Bolts Gunsten aus – es gewinnt diese Zeilen, während es im Vergleich zu seinem Parent um etwa das Achtfache komprimiert ist.

• Allgemeines agentisches Reasoning — GDPVal-AA-V2: Bolt 28,47, Lightning 18,26. Eine Zehn-Punkte-Lücke – und die Zeile, die der Frage am nächsten kommt: „Wie gut ist das bei der alltäglichen büroähnlichen Arbeit, für die das Modell entwickelt wurde?“

• Terminal-Arbeit — Terminal-Bench 2.1: Bolt 50,98, Lightning 23,46. Dies ist der größte Abstand auf dem Leaderboard und er ist keine Überraschung, denn NVIDIAs eigene Empfehlung für Lightning besagt, dass es nicht der primäre Agent sein sollte. Eine unabhängige Evaluierung ermittelte für Lightning im selben Benchmark ungefähr 24,6, was nahe genug an den 23,46 des Anbieters liegt, um nahezulegen, dass die Zahl real ist.

• Wissenschaftliches und Wissensschlussfolgern — GPQA Diamond: Bolt 86,43, Lightning 75,57. SciCode: Bolt 41,02, Lightning 31,38. Humanity's Last Exam ohne Werkzeuge: Bolt 25,30, Lightning 10,47. Konsistenz über drei verschiedene Formen schwieriger Fragen.

• Langkontext-Reasoning — AA-LCR: Bolt 64,06, Lightning 49,19. Fünfzehn Punkte, und hier ist die Speicherbeschränkung für keines der beiden Modelle der limitierende Faktor.

• Handlungsfähigkeit im Web und beim Browsen — BrowseComp: Bolt 66,75, Lightning 36,81. Dreißig Punkte. Die größte einzelne Lücke in der Tabelle und diejenige, die der Vorstellung von Lightning als autonomem Ausführenden am direktesten widerspricht.

• Tool-Nutzungsdichte — MCP-Atlas: Bolt 52,20, Lightning 46,4. PinchBench: Bolt 87,82, Lightning 83,43. Beide liegen näher zusammen als die oben genannten Abstände, was mit dem tatsächlichen Design-Brief von Lightning übereinstimmt: kurze, hochfrequente Tool-Schritte.

• Vision — WebArena-Vision: Bolt 50,86, Lightning hat keinen Eintrag. Dies ist keine Berichtslücke. Lightning ist Text rein, Text raus; es hat keinen Vision-Encoder, der bewertet werden könnte.

Die eine Zeile, die Lightning gewinnt, und warum sie kein Rauschen ist

AA-Omniscience Nicht-Halluzination: Nemotron 3.5 Lightning 68,81, Nemotron 3.5 Bolt 61,27. In der Genauigkeitshälfte derselben Evaluation liegen die beiden innerhalb eines Drittelpunkts voneinander – 16,90 für Bolt gegenüber 16,63 für Lightning –, was die Lücke in der Nicht-Halluzinationshälfte zur eigentlichen Aussage statt zu einem Rundungsartefakt macht. Das kleinere, ältere, nicht quantisierte Modell ist messbar zurückhaltender darin, Dinge zu sagen, die es nicht weiß.

Das ist ein echter Befund, und er hat einen plausiblen Mechanismus. Bolt erreichte seinen Footprint durch aggressive 2-Bit-Quantisierung mit quantisierungsbewusster Destillation; der verlustbehaftete Teil dieser Pipeline ist genau der Teil, der die kalibrierte Unsicherheit steuert. Lightning ist kleiner, liegt aber bei voller BF16-Präzision, und sein Destillationsziel war ein Reasoning-Modell statt eine Kompressionsrate. Wenn der Fehlermodus deines Agenten eine selbstsichere falsche Antwort ist, die in eine Aktion weitergetragen wird, dann ist dies die Zeile, die am schwersten wiegen sollte – und keine noch so große Routing-Klugheit behebt ein Modell, das mehr erfindet.

Hersteller veröffentlichen selten eine Tabelle mit einer Zeile, in der ihr neues Modell unterliegt. Dass diese es tut, ist ein kleiner Beleg dafür, dass die Tabelle nicht rein werblich ist.

Die Serving-Kosten sind die eigentliche zweite Achse

Die oben genannten Werte sind nicht die ganze Entscheidung, denn diese beiden Modelle sind im Betrieb nicht gleich teuer.

• Aktive Parameter — Bolt aktiviert 9B pro Token; Lightning aktiviert ungefähr 3B. Dreimal so viel Rechenaufwand pro Token für das größere Modell, bei jedem Token, für immer.

• Speicherbedarf — Bolt ist eine 24-GB-Datei, in der bereits alles komprimiert ist; Lightning ist ein 30B-BF16-Checkpoint, der eine einzelne GPU benötigt und bequem auf eine RTX 5090, einen DGX Spark oder ein Jetson-Modul passt.

• Kontext — beide sind mit 1 Mio. Token spezifiziert, und beide sind in der Praxis enger. Lightning bedient 256K auf einer einzelnen H100, bevor die Speicherberechnung heikel wird; Bolts veröffentlichtes Fenster beträgt 262.144, und dieses Fenster teilt sich dieselben 24 GB mit dem KV-Cache, den Bildern und den Tool-Ergebnissen.

• Geschwindigkeitsangaben — NVIDIA behauptet für Lightning eine bis zu 4x höhere Ausgabegeschwindigkeit gegenüber Modellen ähnlicher Größe durch seine MTP- und DFlash/DSpark-Drafter sowie mindestens 80 Tokens pro Sekunde Dekodierung als Designziel für Bolt, wobei 84 im AIPerf SPEED-Bench auf RTX Spark gemessen wurden und 83,99 in einem llama.cpp-Lauf auf einem Surface Laptop Ultra mit 128 GB. Beides sind Herstellerangaben. Keine der beiden wurde von jemandem außerhalb von NVIDIA reproduziert.

• Messung — keines von beiden hat einen Hosted-Preis von uns oder von einer Plattform, auf die wir Sie verweisen können. Die Kosten sind so oder so Ihre Hardware, was genau der Grund dafür ist, dass die Anzahl der aktiven Parameter mehr zählt als in einem Hosted-Vergleich.

Was das Panel messen konnte und was nicht

Artificial Analysis hat einen Eintrag für Nemotron 3.5 Bolt 74B-A9B und bewertet es mit 21 auf dem Intelligence Index, Platz vier von 67 in seiner Footprint-Klasse gegenüber einem Klassenmedian von 8. Seine Geschwindigkeits- und Kosten-pro-Aufgabe-Felder zeigen N/A, weil es keinen gehosteten Endpunkt zum Aufrufen gibt. Diese beiden Leerstellen sind der ehrliche Zustand des Modells: Seine Intelligenzuntergrenze ist unabhängig verifiziert und seine Leistungsobergrenze nicht.

Zum Zeitpunkt des Verfassens gibt es keinen Artificial-Analysis-Eintrag für Nemotron 3.5 Lightning, wodurch der gesamte Vergleich auf NVIDIAs eigener Karte beruht. Der einzige unabhängige Datenpunkt, der existiert – eine LLM-Stats-Verifizierung von ungefähr 24,6 bei Terminal-Bench 2.1, konsistent mit den 23,46 des Anbieters – stützt die Zahlen des Anbieters, statt ihnen zu widersprechen. Das ist beruhigend hinsichtlich der Tabelle, aber kein Ersatz für einen zweiten Testaufbau.

Wie man tatsächlich auswählt

Die Designabsicht entscheidet die meisten Fälle, bevor die Benchmarks es tun. Lightning ist von seiner Konstruktion her ein Executor: NVIDIAs eigene Empfehlung lautet, ein Frontier-Modell planen zu lassen und Lightning die Schleife ausführen zu lassen, und seine besten Zeilen in der Tabelle sind die mit den hochfrequenten Tool-Aufrufen und nicht die der autonomen Agenten. Bolt ist von seiner Konstruktion her ein Generalist: Dieselbe Tabelle zeigt es weit vorne bei Browsing-Agency und Terminal-Arbeit, also den eher planerischen Aufgaben, die Lightning nie übernehmen sollte – und es ist das einzige der beiden, das sehen kann.

Die Komposition, für die beide Modelle gebaut wurden, ist ein Planer, ein Executor und ein lokaler Spezialist. Da für keinen der Checkpoints ein Hosting-Preis anfällt, landet die Aufteilung auf deiner eigenen Hardware und ein einziger Endpunkt davor erledigt die nützliche Arbeit: eine Routing-Regel, die kurze Tool-Call-Schleifen an ein Lightning-Deployment schickt, die visionstragenden und browsersteuernden Anfragen an Bolt und alles, was echtes Frontier-Reasoning braucht, hinaus an ein gehostetes Modell — alles hinter einem Schlüssel, mit Failover über vorgelagerte Anbieter hinweg, wenn ein gehosteter Zweig schlechter wird. Die Regel lebt in der Konfiguration statt in jedem einzelnen Dienst, was der Unterschied zwischen einer Routing-Schicht und einem Rewrite ist.

Die offene Frage ist ein einzelner unabhängiger Lauf. Wenn ein Dritter die Terminal-Bench- und BrowseComp-Lücken auf Bolt reproduziert, ist der 24-GB-Checkpoint tatsächlich der stärkere Generalist, und die Argumente für die 30B-Klasse verengen sich auf reine Durchsatzökonomie. Wenn nicht, ist die ehrliche Lesart, dass ein 2-Bit-quantisiertes 74B und ein BF16-30B näher beieinanderliegen, als die Tabelle eines Anbieters suggeriert – und dass die Nicht-Halluzinations-Zeile, die Lightning gewinnt, mehr Gewicht verdient, als ihre Position am unteren Ende der Karte vermuten lässt.