Nemotron 3.5 Bolt 74B vs. Qwen3.8-Max: Die größte Kluft auf der Rangliste

Jeder Vergleich in der Nemotron 3.5 Bolt Familie weist eine Lücke auf. Dieser hier hat die größte. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GBerreicht 21,4 Punkte im Artificial Analysis Intelligence Index; Qwen3.8-Max, Alibabas Flaggschiff und das Modell mit der höchsten Punktzahl in dieser Vergleichsreihe, erreicht 45,4 Punkte auf demselben unabhängig betriebenen Ranking. Das sind 24 Punkte, mehr als der gesamte Indexwert des kleineren Modells, und es ist der ehrliche Ausgangspunkt für jeden, der sich fragt, ob ein lokaler 24-GB-Agent die Frontier ersetzen kann.

Das kann es nicht. Was das Paar erwähnenswert macht, ist, dass die beiden Modelle in völlig unterschiedlichen Zeilen gewinnen und dass N​VIDIA's eigene Benchmark-Tabelle Bolt mit einem Q​wen-Modell vergleicht, bei dem es sich nicht um dieses handelt.

Zwei Modelle, die nichts gemeinsam haben außer Multimodalität.

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB ist ein Vision-Sprachmodell mit 74 Milliarden Parametern, das auf einen 2-Bit-Checkpoint komprimiert wurde und in 24 Gigabyte Speicher passt. Seine Gewichte wurden am 7. Oktober 2026 auf Hugging Face veröffentlicht; NVIDIA nannte es in einem Launch-Post am 15. Oktober. Es ist für lokale agentische Arbeit gebaut – Tool-Aufrufe, Web-Browsing, Terminal-Nutzung, das Lesen eines Bildschirms – und wird als Download statt als Dienst verkauft, wobei nirgends ein veröffentlichter nutzungsabhängiger Preis angegeben ist.

Qwen3.8-Max ist die entgegengesetzte Konstruktion. Alibabas Topmodell ist ein sparse Mixture-of-Experts, das das Unternehmen direkt gegen die stärksten geschlossenen Modelle seines Veröffentlichungsfensters positioniert und das über drei Wire-Formate bereitgestellt wird – eine OpenAI-kompatible Oberfläche, eine Anthropic-kompatible Oberfläche und Alibabas eigenes DashScope – in Regionen in Peking, Singapur, Tokio, Frankfurt und Virginia. Das gehostete Modell wurde am 3. August 2026 mit Bild- und Videoeingabe, einem Kontext von einer Million Token und einem Thinking-Toggle eingeführt; der Snapshot vom 2. September ist die Version, die derzeit auf den Leaderboards bewertet wird. Das Open-Weight-Geschwistermodell derselben Familie, Qwen3.8-2.4T-A95B, ist eine separate Veröffentlichung und nicht das hier gemessene Modell.

Das eine ist eine Datei. Das andere ist ein Dienst. Der Vergleich ist trotzdem nützlich, weil der Dienst einen Preis veröffentlicht und die Datei nicht, und genau dieser Unterschied ist es, den man bei einer lokalen Bereitstellung tatsächlich bezahlt.

• Intelligenzindex — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB: 21,4. Qwen3.8-Max: 45,4. Beide unabhängig gemessen von Artificial Analysis.

• Kontext — 262.144 Token für den N​VIDIA-Checkpoint im Vergleich zu etwa 983.000 für Qwen3.8-Max, mit einer maximalen Ausgabe von 131.072 Token auf der A​libaba-Seite.

• Parameter — 74B gesamt und 9B aktiv für Bolt; Alibabas Flaggschiff-Kategorie ist ein Sparse-Mixture-of-Experts völlig anderer Größenordnung, das in seiner Open-Weight-Form pro Token etwa 95B Parameter aktiviert.

• Eingaben — Text, Bilder und Video hinein, Text hinaus für beide. Dies ist die eine Dimension, in der sich die beiden wirklich ähneln.

• Preis — Qwen3.8-Max: 2,00 $ pro Million Eingabe-Tokens, 6,00 $ pro Million Ausgabe, 0,25 $ für zwischengespeicherte Eingabe. Bolt: nichts, da es keinen Endpunkt zum Kaufen gibt.

• Kosten pro Aufgabe des Intelligence Index — 5,41 $ für Qwen3.8-Max, gemessen. Keine Angabe für Bolt, aus demselben Grund.

• Geschwindigkeit — Qwen3.8-Max: 39,8 Ausgabe-Tokens pro Sekunde bei 3,06 Sekunden bis zum ersten Token und einer medianen Denkzeit von 50,3 Sekunden pro Antwort, alles unabhängig gemessen. Bolt: Es existiert keine unabhängige Durchsatzmessung.

Die Zeilen, aus denen die 24 Punkte stammen

Artificial Analysis hat beide getestet. Die zeilenweisen Details zu lesen ist nützlicher als der Gesamtwert, denn der Gesamtwert verdeckt die Tatsache, dass keines der beiden Modelle durchgängig überlegen ist.

• Terminal-Bench 2.1 — Qwen3.8-Max 88,8 Prozent, unabhängig gemessen. Bolt hat keinen unabhängigen Eintrag für diesen Benchmark; N​VIDIA gibt auf seiner Modellkarte 50,98 an.

• GPQA Diamond — Qwen3.8-Max 92,8 Prozent unabhängig. Bolts 86,43 ist eine eigene Zahl von N​VIDIA, und das Panel hat dafür keine unabhängige Zahl.

• Humanity's Last Exam, ohne Tools — Qwen3.8-Max 43,1 Prozent gegenüber Bolts 24,7 Prozent, beide unabhängig gemessen.

• Langkontext-Retrieval (AA-LCR) — 80,3 Prozent gegenüber 69,7 Prozent, beides gemessen.

• Wissenschaftliches Programmieren (SciCode) — 52,1 Prozent gegenüber 39,7 Prozent, beide gemessen.

• Multimodales Schlussfolgern (MMMU-Pro) — Qwen3.8-Max 82,8 Prozent, unabhängig gemessen. Bolt hat keinen unabhängigen Eintrag, was eine bemerkenswerte Auslassung für ein Modell ist, dessen Hauptverkaufsargument es ist, dass es sehen kann.

• Berufliche Arbeitsergebnisse (GDPval-AA) — Qwen3.8-Max 0,583 normalisiert gegen Bolts 0,240, beide gemessen.

• Agentische und IT-Operations — Qwen3.8-Max erzielt 42,4 Prozent bei APEX-Agents, 40,3 Prozent bei ITBench-SRE und 45,0 Prozent bei einer Analysten-Agent-Bewertung. Bolt hat in keiner dieser drei Spalten unabhängige Werte.

• Nicht-Halluzination (AA-Omniscience) — Qwen3.8-Max 71,2 Prozent gegenüber Bolts 56,3 Prozent, mit einer Genauigkeit von 31,7 Prozent gegenüber 17,1 Prozent. Anders als beim Bolt-gegen-Ultra-Vergleich, bei dem das komprimierte Modell die Kalibrierungszeile gewinnt, gewinnt hier das Flaggschiff beide.

• Kosten pro Index-Aufgabe — 5,41 $ für Qwen3.8-Max. Dies ist der höchste Kosten-pro-Aufgabe-Wert in der Vergleichsfamilie rund um dieses Modell, und es ist die Zahl, die die lokale Option selbst bei einem Rückstand von 24 Punkten interessant macht.

Was man für 5,41 $ pro Aufgabe bekommt – und was man stattdessen für 24 GB bekommt

Die Wirtschaftlichkeit von Qwen3.8-Max ist für ein Frontier-Modell ungewöhnlich: Der Preis pro Token von 2,00 $ für die Eingabe und 6,00 $ für die Ausgabe ist moderat, doch das Modell verbringt viel Zeit mit Nachdenken. Die mediane Denkzeit bei den Läufen des Panels beträgt 50,3 Sekunden, und die Ende-zu-Ende-Antwortzeit liegt im Durchschnitt bei 65,9 Sekunden. Eine Aufgabe, für die das Modell eine Minute interne Abwägung benötigt, erzeugt viele Ausgabe-Tokens, und die Kosten pro Index-Aufgabe sind die Kennzahl, die das offenlegt. Das ist keine Kritik am Modell — tiefes Reasoning ist das Produkt —, aber es ist der Grund, warum eine Agentenschleife mit hohem Volumen in dieser Tarifstufe schnell teuer wird.

Genau dafür ist Bolt gebaut. Ein lokaler Checkpoint hat überhaupt keinen Token-Zähler: Die Grenzkosten eines Tool-Aufrufs sind Strom, und die Fixkosten sind eine GPU. Für einen ständig laufenden Agenten, der Tausende kleiner prozeduraler Schritte ausführt – einen Bildschirm zu lesen, einen Endpunkt aufzurufen, eine Datei zu bearbeiten –, ist der Vergleich nicht 21,4 gegen 45,4, sondern eine Konstante gegen eine wachsende Rechnung. NVIDIAs eigene Darstellung ist, dass Bolt existiert, damit alltägliche agentische Aufgaben lokal ausgeführt werden können, ohne die Arbeitslast in die Cloud zu schicken, und es meldet 50,86 bei WebArena vision und 66,75 bei BrowseComp für genau diese Aufgaben.

Der Haken ist, dass die Fixkosten real sind und die Latenz unbekannt ist. N​VIDIAs Referenz-Serving-Rezept ist mehrstufig: ein gepinnter vLLM-Nightly-Build, das b12x-Kernel-Paket, ein separat heruntergeladenes Reasoning-Parser-Plugin, explizite Mamba- und Attention-Backends und eine Konfiguration für spekulatives Decoding mit dem LiLiCorr-Drafter und sieben Draft-Tokens. Der Durchsatz wird von N​VIDIA mit 83,99 Tokens pro Sekunde auf AIPerf SPEED-Bench-Coding auf einer Maschine der Laptop-Klasse veröffentlicht – eine Herstellerangabe auf einem Hersteller-Benchmark, ohne einen unabhängigen Durchlauf, mit dem man sie abgleichen könnte.

Die Baseline, die N​VIDIA gewählt hat

Es gibt noch etwas, das Beachtung verdient, und es ist eher eine Lektion im Lesen als eine technische. Die Benchmark-Tabelle auf Bolts Modellkarte enthält ein Q​wen-Modell als Vergleichspunkt – und dabei handelt es sich um Qwen3.6-35B-A3B, ein deutlich kleineres Modell als das auf dieser Seite gemessene Flaggschiff. Die Tabelle von N​VIDIA zeigt, dass Bolt gegen dieses Modell bei Terminal-Bench 2.1, GPQA Diamond, BrowseComp, GDPVal, Tau3 Banking, SciCode, AA-LCR und MCP-Atlas gewinnt, während es bei AA-Omniscience-Genauigkeit, AA-Omniscience-Nicht-Halluzination und PinchBench verliert.

Diese Vergleiche mögen durchaus korrekt sein. Doch wer aus der Tabelle „Bolt schlägt Qwen“ herausliest, vergleicht ein 74B-Edge-Modell mit einem 35B-MoE der Dense-Klasse, nicht mit Alibabas Frontier-Tier. Gegenüber Qwen3.8-Max verläuft der unabhängige Rekord in nahezu jeder gemeinsamen Zeile umgekehrt, und die Lücke wird bei den schwierigsten Benchmarks größer statt kleiner. Wenn ein Anbieter seine eigenen Baselines auswählt, ist der ehrliche Schritt, zu prüfen, was die Baseline ist.

Wie man entscheidet

Wählen Sie Qwen3.8-Max, wenn Korrektheit die Vorgabe ist. Wenn die Aufgabe eine mehrstufige Analyse, anspruchsvolles multimodales Reasoning, agentische Arbeit mit realen Konsequenzen oder irgendetwas ist, das anhand der Benchmarks gemessen wird, bei denen es 24 Punkte vorne liegt, kommt die lokale Option nicht infrage – und mit 2,00 $ und 6,00 $ pro Million Token ist es als Infrastruktur bepreist, nicht als Luxus. Es ist außerdem das Modell der Wahl, wenn der Workflow strukturierte Ausgaben, natives Tool-Calling und einen Kontext von einer Million Token in einem einzigen Aufruf erfordert – all das dokumentiert A​libaba als unterstützt.

Wählen Sie Bolt, wenn die Einschränkung darin liegt, wo die Arbeit stattfindet. Datenschutz, Offline-Betrieb, Latenz, die nicht von einem Netzwerk abhängt, und Kosten pro Aufruf, die nicht existieren, sind vier separate Argumente, und jedes einzelne ist für manche Teams für sich genommen ausreichend. Das Modell ist kompetent bei Prozeduren und schwach beim Erinnern; richten Sie es auf Erstere.

Für die gehostete Hälfte ist Qwen3.8-Max über OrcaRouter erreichbar als qwen/qwen3.8-max/ über denselben Schlüssel wie mehr als 200 andere Modelle, zu Alibabas Anbieter-Listenpreis ohne Aufschlag — was bedeutet, dass eine Preisänderung des Anbieters noch am selben Tag bei uns landet und nicht erst am Ende eines Abrechnungszyklus. Auf dieser Stufe wiegt das schwerer als auf einer günstigen, denn 5,41 $ pro Index-Aufgabe ist eine Zahl, die ein Finanzteam monatlich nachprüfen möchte. Wo das Routing die Form der Entscheidung verändert, ist das Volumenproblem: Eine Workload, die zu 90 Prozent aus kleinen prozeduralen Schritten und zu 10 Prozent aus anspruchsvollem Reasoning besteht, kann die 10 Prozent hierher schicken und den Rest lokal behalten, mit automatischem Failover über Anbieter hinweg, sodass die gehostete Stufe in einen Wiederholungsversuch statt in einen Ausfall übergeht.

Wir hosten kein N​VIDIA-Modell und haben keinen Bolt-Endpoint — die N​emotron-Familie ist nicht in unserem Katalog, und die lokale Hälfte dieses Vergleichs ist eine Hardware-Frage, die keine Routing-Schicht berührt.

Die ungelöste Nummer

Was niemand veröffentlicht hat, ist die Messung, die diesen Vergleich vollständig machen würde: ein unabhängiger Latenz- und Durchsatzlauf auf dem 24-GB-Checkpoint bei Batch Size eins, auf einer Maschine, die eine Person kaufen kann. Wenn sich herausstellt, dass ein 2-Bit-74B-Checkpoint interaktive Agent-Schritte mit brauchbarer Geschwindigkeit ausführt, wird aus der 24-Punkte-Lücke eine Lücke, die man umgehen kann – lokal für Prozeduren, gehostet fürs Reasoning. Wenn nicht, ist die lokale Option ein Batch-Werkzeug, und der Vergleich reduziert sich auf den Preis. So oder so ist die Antwort nur eine Veröffentlichung entfernt, und sie ist das, wonach man suchen sollte, bevor man einen Einsatz rund um dieses Modell plant.

Vergleiche wie dieser sind auch die Stellen, an denen die Fehlermodi sichtbar werden: Die dokumentierten KI-Vorfälle und Agentenfehler hinter Modellen dieser Klasse sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag seine eigenen Quellen, Schweregrad, Vertrauensstufe und Kennzeichnung als umstritten enthält.