Nemotron 3.5 Bolt vs. Nemotron 3 Ultra: Was überlebt eine 7,4-fache Kompression?

Zwei Modelle desselben Anbieters, getrennt durch einen Faktor von 7,4 bei der Parameteranzahl und um etwa zwei Größenordnungen bei der Hardware, die für ihren Betrieb nötig ist. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB wurde am 15. Oktober 2026 als 24-GB-Datei veröffentlicht, die neben Ihren anderen Anwendungen auf einem Spark-Gerät oder einer Blackwell-GPU läuft. NVIDIA Nemotron 3 Ultra 550B-A55B ist seit dem 3. Juni 2026 auf Hugging Face verfügbar und verlangt mindestens sechzehn H100s in BF16.

Die interessante Frage ist nicht, welches stärker ist – die Antwort ist offensichtlich und denkbar eindeutig. Sie lautet, was konkret überlebt, wenn man ein großes Modell in ein kleines Speicherbudget presst, denn das sagt einem, welche Arbeitslasten das kleine verkraften kann und welche es bloßstellen werden. NVIDIAs eigene Forschungsnotiz beantwortet einen Teil dieser Frage direkt, und die Teile, die sie nicht beantwortet, sind der Punkt, an dem die eigentliche Entscheidung liegt.

Sie sind nicht Eltern und Kind, was auch immer die Benennung nahelegt

Die naheliegende Annahme ist, dass Bolt ein geschrumpftes Ultra ist. Das ist nicht der Fall, und wenn man das richtig versteht, ändert sich, was man von der Datei erwartet. Nemotron 3.5 Lightning, die 30B-A3B-Stufe vom 11. August 2026, wurde aus Ultra destilliert. Bolt nicht. Bolt ist aus Nemotron 3.5 Super VL, einem 120B-A12B Vision-Language-Modell, komprimiert, und zwar mithilfe einer router-gesteuerten Suche, die NVIDIA Star Elastic nennt, gefolgt von quantisierungsbewusster Destillation auf 2,0625 Bit pro Expertengewicht in einem IQ2_XXS-Format.

Diese Abstammungslinie erklärt den einen Unterschied, der mehr zählt als jede Benchmark-Zeile: Bolt besitzt einen C-RADIO v4-H-Vision-Encoder und akzeptiert Bilder und Videos. Ultra ist Text rein, Text raus, und das ist keine Berichtslücke – der Checkpoint hat keinen Vision-Tower, der bewertet werden könnte. Das kleinere, neuere, stark quantisierte Modell sieht; das größte Reasoning-Modell der Familie nicht.

Was die Kompression behielt

Bolt umfasst 74 Milliarden Parameter, von denen pro Token 9 Milliarden aktiv sind, auf einem hybriden Backbone aus Mamba-2 und Transformer. Ultra umfasst 550 Milliarden, davon 55 Milliarden aktiv. Das Verhältnis der aktiven Parameter beträgt 6,1 zu 1, und das Verhältnis der Gesamtparameter beträgt 7,4 zu 1, was bedeutet, dass die Komprimierung proportional mehr Gesamtkapazität als Rechenaufwand pro Token entfernte — das Modell wurde schneller schmaler als flacher.

Was das nach den vorliegenden Belegen ergibt:

• Unabhängige Intelligenz — Artificial Analysis bewertet Nemotron 3.5 Bolt mit 21 auf seinem Intelligence Index, Vierter von 67 in seiner nach Footprint gefilterten Klasse gegenüber einem Klassenmedian von 8. Ultra gehört nicht derselben Klasse an und erzielt auf derselben Indexversion deutlich höhere Werte. Dies sind die messbaren Kosten der Komprimierung.

• Unabhängige Geschwindigkeit — Artificial Analysis misst Ultra mit 156,1 Output-Tokens pro Sekunde, Platz zehn von 74 Modellen auf dieser Seite und im obersten Geschwindigkeitsband. Bei Bolt lauten dieselben Felder N/A, weil es keinen gehosteten Endpunkt gibt, den man aufrufen kann. NVIDIAs eigene Zahlen — 84 Tokens pro Sekunde bei AIPerf SPEED-Bench auf RTX Spark, 83,99 in llama.cpp auf einem Surface Laptop Ultra — sind vom Hersteller angegeben und nicht reproduziert.

• Instruktionsbefolgung – Ultra erreicht 82,9 bei IFBench. Das ist die Zeile, die man bei einem Agenten im Auge behalten sollte, der eine lange Tool-Policy befolgen muss, und es ist die Art von Fähigkeit, die quantisierungsbewusste Destillation ungleichmäßig bewahrt.

• Reasoning mit langem Kontext – Ultra erzielt 75,2 bei AA-LCR gegenüber einer 1M-Token-Spezifikation. Bolts veröffentlichtes Fenster umfasst 262.144 Tokens, wobei 24 GB gemeinsam mit dem KV-Cache, den Bildern und der Konversation genutzt werden. Ein breites deklariertes Fenster und die Fähigkeit, es zu nutzen, sind getrennte Eigenschaften; hier hat das größere Modell von beidem mehr.

• Faktische Zurückhaltung — Ultra erzielt 22,1 bei AA-Omniscience-Halluzination und 77,91 bei Nicht-Halluzination. Bolts eigene Karte verzeichnet 61,27 bei Nicht-Halluzination, die einzige Zeile, in der es gegen das deutlich kleinere Nemotron 3.5 Lightning verliert. Zwei unabhängige Anzeichen deuten in dieselbe Richtung: Hier kostet aggressive 2-Bit-Kompression am meisten, und kein Routing-Trick repariert ein Modell, das mehr hinzuerfindet.

Die Einsatzhülle, wo sich die beiden tatsächlich trennen.

Dies ist der Teil des Vergleichs, der sich nicht auf eine Punktzahl reduzieren lässt.

• Speicher — Bolt ist ein einzelnes 24-GB-Artefakt, bereits quantisiert und dafür gedacht, mit einem Browser und einer IDE auf einer Maschine zu koexistieren. Ultra in BF16 verlangt laut eigener Modellkarte sechzehn H100, acht H200 oder acht Knoten der GB200-Klasse; der NVFP4-Build reduziert das auf minimal acht H100. Der Unterschied zwischen diesen beiden Sätzen ist der Unterschied zwischen einer Bestellung und einem Beschaffungsprogramm.

• Kontextkonfiguration — Bolt stellt 262.144 Token direkt in seinem veröffentlichten vLLM-Rezept bereit. Ultras Rezepte verwenden standardmäßig 256K und erfordern ein Umgebungs-Flag, um die vollen 1.048.576 zu erreichen, weshalb das Panel für Ultra 262K verzeichnet, trotz einer 1M-Spezifikation. Lesen Sie die Spezifikation, dann lesen Sie das Rezept.

• Serving-Stack — Bolt läuft unter vLLM auf Ampere, Hopper und Blackwell oder unter llama.cpp auf RTX-Spark- und DGX-Spark-Hardware, unter der OpenMDW-1.1-Lizenz, die kommerzielle Nutzung erlaubt. Ultra läuft unter derselben Lizenz auf Parallelität der Rechenzentrumsklasse. Beide sind offene Gewichte; nur eines von ihnen ist portabel.

• Prompt-Kosten — Ultra wird mit 0,60 $ pro Million Input-Tokens und 2,50 $ pro Million Output-Tokens abgerechnet, mit einem Cache-Rabatt von 73 %, was etwa 0,60 $ kostet, um eine Intelligence-Index-Aufgabe auszuführen — wirklich günstig für ein Modell dieser Größe, und verfügbar, weil jemand anderes den Cluster betreibt. Bolt hat überhaupt keinen Preis: keinen gehosteten Endpunkt, keine Vendor-API, keine Preisliste und N/A in sowohl den Geschwindigkeits- als auch den Kostenfeldern des einzigen unabhängigen Panels, das es auflistet.

Die Ankündigung lesen und darauf achten, was sie sagt und was nicht.

Bolts Checkpoint war ab dem 7. Oktober 2026 auf Hugging Face, wobei nur eine Modellkarte beigefügt war. Die Anbieterankündigung, die ihn nennt – zusammen mit einem 4-GB-Schwestermodell, Nemotron 3.5 Bolt E4B, das auf Spielcharaktere ausgerichtet und auf den 23. Oktober datiert ist – kam am 15. Oktober. Die Gewichte acht Tage vor dem Ankündigungstext zu veröffentlichen, ist nicht ungewöhnlich, bedeutet aber, dass die öffentlichen Aufzeichnungen eine Woche lang keinerlei Erklärung des Modells enthalten und dass jeder Bericht, der in diesem Zeitfenster verfasst wurde, allein mit der Karte arbeitete.

Die Ankündigung ist auch die Stelle, an der man nach dem sucht, was fehlt. Es gibt keinen gehosteten Endpoint, keine API, keine Preisliste, keine Drittanbieterplattform, die Bolt messen würde – und keinen unabhängigen Benchmark, der von irgendjemandem mit den 24-GB-Gewichten durchgeführt wurde. Die Zahlen des Anbieters sind real und konkret, ermittelt mit llama.cpp auf einem Surface Laptop Ultra mit 128 GB; sie wurden schlicht außerhalb von NVIDIA nicht reproduziert.

Wohin jedes Modell gehört und wohin ein Router gehört

Keines dieser Modelle steht im Katalog von OrcaRouter. Wir hosten keinen NVIDIA-Checkpoint, es gibt keinen Bolt-Endpunkt und keinen Ultra-Endpunkt, und nichts hier ist ein Angebot, eines der beiden zu betreiben. Was ein einzelner Endpunkt tatsächlich bringt, wenn Sie eines oder beide selbst betreiben, ist eine Möglichkeit, die lokalen und die gehosteten Hälften eines Workflows unter einem Schlüssel zu halten — die über 200 Modelle in unserem Katalog stehen hinter einem API-Schlüssel und einer Rechnung, zu den Listenpreisen des jeweiligen Anbieters, durchgereicht mit 0 % Aufschlag, sodass eine Preisänderung eines Anbieters bei uns noch am selben Tag live ist und nicht erst bei der nächsten Verlängerung. Eine Anfrage, die ein volles Kontextfenster von einer Million Token oder einen Reasoner in Frontend-Größenordnung braucht, geht an ein gehostetes Modell; die lokale Datei behält die hochvolumige, datenschutzsensible Arbeit, die das Gebäude nie hätte verlassen dürfen. Automatisches Failover bedeutet, dass ein degradierter Upstream die Anfrage verschiebt, statt sie fehlschlagen zu lassen.

Die Platzierung ergibt sich aus der Deployment-Mathematik, nicht aus den Scores. Bolt gehört auf eine Workstation, wenn Daten nicht übertragen werden können, wenn die Workload Video enthält oder wenn das Volumen die Abrechnung pro Token zum dominierenden Rechnungsposten macht – und wenn ein 262K-Fenster und eine bereits sichtbare Lücke bei der faktischen Zurückhaltung akzeptabel sind. Ultra gehört an einen nutzungsabhängig abgerechneten Endpoint, wenn die Arbeit eine Reichweite von einer Million Token braucht, die stärkste Anweisungsbefolgung in der Familie und die niedrigste Halluzinationsrate, die NVIDIA derzeit veröffentlicht.

Wer sollte handeln, und wer sollte warten?

Handeln Sie jetzt, wenn die Workload lokal ist und Video enthält: Bolt ist das einzige Modell in dieser Familie, das sowohl in 24 GB passt als auch sehen kann, und kein anderer offener Checkpoint mit diesem Footprint erreicht 21 auf dem unabhängigen Index. Handeln Sie jetzt, wenn die Workload Long-Context-Textreasoning in großem Umfang umfasst: Ultra wird nach Verbrauch abgerechnet, ist gemessen und pro Aufgabe im Intelligence Index günstiger, als ein Modell seiner Größe es eigentlich sein dürfte.

Moment mal, wenn deine Entscheidung vom Durchsatz abhängt. Bolts Geschwindigkeit ist die einzige Dimension, für die es nirgendwo eine unabhängige Messung gibt, und bei einem lokal bereitgestellten Modell ist die Geschwindigkeit das, was du jede Sekunde jedes Tages spürst. Ein einziger Latenztest eines Drittanbieters auf den 24-GB-Gewichten würde mehr klären als die nächsten zehn Hersteller-Benchmark-Zeilen – und solange es ihn nicht gibt, ist Kapazitätsplanung für Bolt Planung um eine Behauptung herum.