Nemotron 3.5 Bolt 74B vs. Nemotron 3 Ultra: 1,5 Indexpunkte, siebenmal so viele Parameter

Die überraschendste Zahl in der N​VIDIA N​emotron 3.5-Familie ist nicht die Größe ihres Flaggschiffs. Vielmehr ist es so, dass N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB, ein auf 24 Gigabyte bei zwei Bit pro Gewicht gequetschter Checkpoint mit 74 Milliarden Parametern, innerhalb von 1,5 Punkten von N​emotron 3 Ultra, dem 550-Milliarden-Parameter-Modell, aus dem der Rest der Familie destilliert wurde, auf dem unabhängig durchgeführten Intelligence Index von Artificial Analysis landet — 21,4 gegenüber 22,9. Siebenmal so viele Parameter, sechsmal so viel aktive Rechenleistung pro Token und eine Lücke, die man in den Fehlerbalken eines Benchmarks verlieren könnte. Bolts Gewichte erschienen am 7. Oktober 2026 auf Hugging Face, N​VIDIAs Ankündigung folgte am 15. Oktober; Ultra wurde am 4. Juni 2026 ausgeliefert.

Die beiden Modelle sind nicht austauschbar, und die Stellen, an denen sie sich unterscheiden, sind aufschlussreicher als die Schlagzeilenbewertung. Was die Kompression bewahrt und was sie verworfen hat, ist beides in den veröffentlichten Zahlen sichtbar, und es sind nicht dieselben Zeilen.

Was jedes einzelne ist

Ultra ist das Flaggschiff der vorherigen Generation und der Teacher im Zentrum von N​VIDIAs Destillationspipeline. Es ist ein Mamba-2-Hybrid mit insgesamt 550B und 55B aktiven Parametern sowie Multi-Token Prediction, veröffentlicht unter OpenMDW-1.1 mit seinen Trainingsdaten und Rezepten, entwickelt für lang andauernde agentische Arbeit mit bis zu einer Million Token Kontext und einer Ausgabegrenze von 65.000 Token pro Anfrage. N​VIDIAs eigene Aussage dazu war, dass es das intelligenteste US-Open-Weights-Modell seines Veröffentlichungsfensters sei, und die unabhängige Bilanz stützt das weitgehend: Das Panel bewertet es mit 22,9 in seiner Reasoning-Konfiguration, mit gemessenen 156 Ausgabe-Token pro Sekunde, 1,29 Sekunden bis zum ersten Token und einer medianen Ende-zu-Ende-Antwortzeit von 19 Sekunden.

Bolt ist die Edge-Stufe der neueren Generation und kein destilliertes Ultra im direkten Sinne. Sein Elternmodell ist Nemotron 3.5 Super VL 120B-A12B, das multimodale Modell mit 120 Milliarden Parametern, das NVIDIA zusammen damit eingeführt hat. Die Kompression wurde von Star Elastic durchgeführt, NVIDIAs router-gesteuerter Architektursuche, die auf den niedrigsten Knowledge-Distillation-Verlust optimierte, der eine harte Footprint-Grenze von unter 24 GB bei Batchgröße 1 und 128K-Kontext erfüllte – wobei der Expert-Top-K von 22 auf 9 gesenkt und die Expertengewichte auf IQ2-XXS mit 2,0625 Bit pro Element quantisiert wurden, mit quantisierungsbewusster Destillation zur Wiederherstellung der Genauigkeit. Es verfügt über einen C-RADIO v4-H Vision-Encoder, weil sein Elternmodell multimodal war.

Die unabhängigen Zeilen, beide Seiten

Alles Folgende stammt von Artificial Analysis, sofern nicht anders gekennzeichnet, und genau das macht den Vergleich brauchbar: Beide Modelle wurden vom selben Evaluator unter derselben Harness ausgeführt.

• Intelligenz-Index — Bolt 21,4; Ultra 22,9. Unabhängig für beide gemessen.

• GDPval-AA (normalisiert) — Bolt 0,240; Ultra 0,257. Eine Lücke von 1,7 Punkten bei einem Benchmark, der auf realen beruflichen Arbeitsergebnissen basiert.

• SciCode — Bolt 0,397; Ultra 0,403. Praktisch gleichauf.

• Humanity's Last Exam, ohne Tools — Bolt 24,7 Prozent; Ultra 28,4 Prozent. Der Abstand von vier Punkten ist hier in relativer Hinsicht der größte auf dieser Liste.

• AA-LCR Long-Context-Retrieval — Bolt 69,7 Prozent; Ultra 79,3 Prozent. Zehn Punkte und der klarste Beleg dafür, was 2-Bit-Kompression kostet.

• AA-Omniscience — Bolt 17,1 Prozent Genauigkeit bei 56,3 Prozent Nicht-Halluzination; Ultra 22,6 Prozent Genauigkeit bei 70,3 Prozent Nicht-Halluzination. Das Flaggschiff ist sowohl kenntnisreicher als auch besser kalibriert, was das am wenigsten überraschende Ergebnis auf der Seite ist.

• Terminal-Bench 4.0 (schwereres Set) — beide erzielen null Punkte. Keines der Modelle löst diese Stufe, das Flaggschiff eingeschlossen.

• Kontextfenster — Bolt: laut Modellkarte bis zu 256.000 Token und 262.144 nach der Aufzeichnung des Panels. Ultra: laut NVIDIA bis zu 1.000.000, mit einer maximalen Ausgabe von 65.000 Token.

• Eingaben — Bolt: Text, Bilder und Video rein, Text raus. Ultra: Text rein, Text raus. Nichts in den Release-Materialien des Flaggschiffs behauptet einen Vision-Tower.

• Preis — Bolt: keiner. Für den 24-GB-Checkpoint gibt es keinen veröffentlichten nutzungsabhängigen Tarif, und das Panel führt dafür keine Eingabe- oder Ausgabewerte auf. Ultra: 0,60 $ pro Million Eingabe-Tokens und 2,50 $ pro Million Ausgabe, bei zwischengespeicherter Eingabe 0,16 $, sowie gemessene 0,60 $ Ausgaben pro Aufgabe des Intelligence Index.

• Geschwindigkeit — Bolt: keine unabhängige Messung. Ultra: 156,1 Ausgabe-Token pro Sekunde, 1,29 Sekunden bis zum ersten Token, median 14,6 Sekunden Denkzeit pro Antwort.

• Speicherbedarf — Bolt: 24 GB bei IQ2, auf einer A100-, H100- oder Blackwell-Komponente einsetzbar. Ultra: ein Multi-Beschleuniger-Deployment; NVIDIAs eigenes Rezept für die Teacher-Checkpoints in dieser Familie nennt vier B200s oder acht H100s als Untergrenze, und Ultra ist das größte Mitglied.

Warum die Indexlücke kleiner ist als die Größenlücke und was das bedeutet

Es gibt zwei ehrliche Erklärungen, und beide sind wahrscheinlich teilweise wahr.

Erstens ist der Intelligence Index ein zusammengesetztes Maß, das Verfahren stärker belohnt als Erinnerung. Bolt verlor seine gespeicherten Fakten durch 2-Bit-Quantisierung – man erkennt es in den Genauigkeitszeilen –, behielt aber genug vom Chain-of-Thought-, Tool-Calling- und Structured-Output-Verhalten, um bei den zusammengesetzten Aufgaben zu punkten. Beachten Sie, dass sich Ultras Vorteil genau dort konzentriert, wo Erinnerung zählt: Langkontext-Retrieval, Allwissenheits-Genauigkeit, Halluzinationsrate, schwierige Wissenschaftsfragen, die eine Tatsache statt einer Methode erfordern.

Das Zweite ist, dass Architektursuche auf einem starken Elternmodell eine bessere Nutzung eines festen Budgets ist als das Training kleiner Modelle von Grund auf, was NVIDIAs explizites Argument in der Bolt-Dokumentation ist. Einen 120B multimodalen Teacher zu nehmen und nach dem breitesten Studenten zu suchen, der in 24GB passt, ist eine andere Übung als das Vortraining eines 30B-Modells, und der resultierende 74B/9B-Checkpoint liegt dort, wo ein ungewöhnlich effizientes 74B-Modell liegen würde.

Was das nicht bedeutet, ist, dass Bolt Ultra ersetzt. Ein Modell, das häufiger Unsicherheit einräumt (56,3 gegenüber 70,3 Prozent Nicht-Halluzination, in die falsche Richtung) und aus langem Kontext weniger zuverlässig abruft, ist ein schlechterer Assistent für die Fragen, die Menschen tatsächlich stellen. Es ist ein besserer Assistent für Aufgaben, die überwiegend prozedural sind: Tools aufrufen, Formulare ausfüllen, Dateien bearbeiten, einen Screenshot lesen und auf das Richtige klicken.

Die zwei Dinge, die Ultra nicht kann

Bolts Vorteile sind gering, und beide sind eher struktureller als numerischer Natur.

Es passt. Ein 24 GB Checkpoint läuft auf Hardware, die eine Person besitzt, ohne Netzwerk, ohne Pro-Token-Abrechnung und ohne Kapazitätsverhandlung. Ultras Intelligenz ist nur über eine API erreichbar, zu $0,60 für Eingabe und $2,50 für Ausgabe pro Million Token und etwa $0,60 Kosten pro Index-Aufgabe. Dieser Preis ist für ein Modell seiner Klasse wirklich niedrig, weshalb die gehostete Route eine echte Option und kein Kompromiss ist – aber es ist immer noch eine Route, die Konnektivität und Vertrauen in die Verfügbarkeit eines anderen erfordert.

Es sieht. Bolts C-RADIO v4-H Vision-Encoder verleiht ihm Bild- und Videoeingabe, und NVIDIAs Modellkarte meldet 50,86 bei WebArena Vision und 66,75 bei BrowseComp. Ultra ist ein Textmodell. Wenn die Aufgabe des Agenten Screenshots, PDFs, das Lesen von Dashboards oder Browser-Automatisierung mit visuellem Zustand umfasst, kann das Flaggschiff der älteren Generation zu keinem Preis als Ersatz eingesetzt werden.

Wie man wählt

Wähle Ultra, wenn die Workload stark auf Reasoning ausgelegt und rein textbasiert ist: mehrstufige Analysen, lange Dokumentensätze, Programmieren über große Repositories hinweg oder alles, bei dem Fehler teuer sind. Seine unabhängigen Bewertungen schlagen Bolt fast überall, der Preis gehört zu den niedrigsten im High-Intelligence-Bereich, und sein Durchsatz wird gemessen statt angenommen.

Nehmen Sie Bolt, wenn die Arbeitslast auf Hardware läuft, die Sie kontrollieren, Zugriff benötigt oder weiterlaufen muss, wenn das Netzwerk nicht verfügbar ist. Die 1,5-Punkte-Lücke im Index ist real und schmal genug, dass die Entscheidung üblicherweise aufgrund des Deployments statt aufgrund der Qualität getroffen wird — und die Tatsache, dass NVIDIA eine 24-GB-Datei veröffentlicht hat, die nur zwei Punkte von seinem eigenen 550B-Flaggschiff entfernt liegt, ist die berichtenswertere Tatsache der beiden Veröffentlichungen.

Es gibt einen Mittelweg, der es wert ist, benannt zu werden, denn er beschreibt, wie N​VIDIA die Familie positioniert, und nicht, wie ein Käufer eines einzelnen Modells es tun würde: ein kleiner lokaler Executor, der Tool-Aufrufe ausführt und den Bildschirm liest, während ein größeres gehostetes Modell Planung und anspruchsvolles Reasoning übernimmt. Diese Architektur braucht einen zuverlässigen Weg, um die gehostete Hälfte über mehr als einen Anbieter zu erreichen, wofür das Failover von OrcaRouter gedacht ist — automatische Wiederholung über Anbieter hinweg hinter einem Endpoint, mit einem Schlüssel, der außerdem über 200 Modelle zum Listenpreis des Anbieters erreicht, mit 0 Prozent hinzugefügtem Aufschlag. Wir hosten kein N​VIDIA-Modell; die N​emotron-Familie ist nicht in unserem Katalog, und nichts hier ist eine Behauptung, sie bereitzustellen. Der Punkt ist nur, dass ein zweistufiges Agenten-Design die zweite Stufe routbar machen muss, und ein einzelner hartcodierter Anbieter-Endpoint ist die übliche Art, wie dieses Design scheitert.

Was würde diese Seite verändern?

Zwei Messungen. Die erste ist ein unabhängiger Durchsatz- und Latenztest auf dem 24-GB-Checkpoint, der entweder den Fall für den Einsatz als lokalen Executor mit interaktiver Geschwindigkeit bestätigen oder zunichtemachen würde; heute ist die einzige verfügbare Zahl NVIDIAs eigene 83,99 Token pro Sekunde auf AIPerf SPEED-Bench-Coding, gemessen auf einem Rechner der Laptop-Klasse und nicht vergleichbar mit dem Rig des Panels. Die zweite ist ein unabhängiger erneuter Durchlauf der agentischen Benchmarks auf den 2-Bit-Gewichten bei einer Quantisierung, die ein Dritter kontrolliert — in der Anbietertabelle schlägt Bolt Ultra auf Terminal-Bench 2.1 um fast 27 Punkte, und diese Behauptung leistet ohne Bestätigung von außen enorm viel Arbeit.

Nichts davon ist ein Grund, das Modell zu meiden, sondern nur ein Grund, die Geschichte zu kennen: Die dokumentierten KI-Vorfälle und Agentenfehler hinter Modellen dieser Klasse sind gesammelt in dem OrcaRouter AI Incident Archive, wobei jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und seine Kennzeichnung als umstritten enthält.