Nemotron 3.5 Bolt 74B vs. Gemma 4 26B A4B: Acht Indexpunkte und ein Bitbreiten-Mismatch

Es gibt bereits einen direkten Vergleich zwischen N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB und G​oogle Gemma 4 26B A4B, und N​VIDIA hat ihn veröffentlicht. Er steht in der Benchmark-Tabelle auf der Bolt-Modellkarte, wo die G​emma-Spalte eine Baseline ist, die das Unternehmen gewählt hat. Diese Tabelle aufmerksam zu lesen ist der schnellste Weg, um zu verstehen, was diese beiden Modelle tatsächlich sind, denn die beiden Checkpoints konkurrieren nicht um dieselbe Aufgabe, und die eigene Darstellung des Anbieters sagt es laut und deutlich: Die Vergleichsmodelle wurden wegen ihrer Fähigkeit ausgewählt, mit 4-Bit-Quantisierung in 24GB Speicher zu passen. Bolt passt auf einem anderen Weg in 24GB – 2,0625 Bit pro Gewicht auf seinen Experten-Layern – und die Kluft zwischen diesen beiden Strategien ist die ganze Geschichte.

Beide Zahlen im Titel sind echt. Artificial Analysis hat Bolt mit 21 auf seinem Intelligence Index gemessen und Gemma 4 26B A4B in seiner Reasoning-Konfiguration mit 17. Keine der beiden Zahlen stammt von einem Anbieter, und beide waren zum Zeitpunkt dieses Textes live auf den Modellseiten des Panels zu sehen.

Der Vergleich, den N​VIDIA durchgeführt hat, und die Spalte, die sie ausgewählt hat

N​VIDIAs Tabelle für Bolt hat vier Spalten: Qwen3.6-35B-A3B in BF16, G​emma 4 26B-A4B in BF16, N​emotron 3.5 Lightning 30B-A3B in BF16 und Bolt in IQ2. Jede Zahl darin ist vom Anbieter angegeben und wurde von keiner unabhängigen Stelle reproduziert. Hier ist die G​emma-Spalte im Vergleich zur Bolt-Spalte, Benchmark für Benchmark.

• GDPVal-AA-V2 — G​emma 15,33, Bolt 28,47

• Terminal-Bench 2.1 — Gemma 37,22, Bolt 50,98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE ohne Tools — G​emma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — G​emma 79.61, Bolt 86.43

• AA-LCR Langkontext-Retrieval — G​emma 57.56, Bolt 64.06

• PinchBench — G​emma 74.70, Bolt 87.82

• WebArena Vision — G​emma 38.2, Bolt 50.86

• AA-Omniscience-Genauigkeit — G​emma 22,17, Bolt 16,90. G​emma gewinnt diese Zeile, und sie ist die einzige in der Tabelle, bei der das zutrifft.

• AA-Omniscience non-hallucination — G​emma 14,22, Bolt 61,27. Dies ist ein großer und spezifischer Verlust für G​emmas Modellfamilie, und es lohnt sich, kurz innezuhalten: Die Omniscience-Nicht-Halluzinationsmetrik bestraft ein Modell, das selbstsicher antwortet, wenn es etwas nicht weiß, und der hier erfasste G​emma-Build erzielt ungefähr ein Viertel von Bolts Wert.

Ein Vorbehalt gilt für den gesamten Block. N​VIDIA ließ alles, einschließlich der G​emma-Spalte, mit einem BF16-Build von G​emma gegen einen 2-Bit-Build seines eigenen Modells laufen und berichtete das Ergebnis dann auf seiner eigenen Modellkarte.

Zwei Checkpoints, zwei Kompressionsregime

Gemma 4 26B A4B ist ein veröffentlichtes Produkt, das bereits ein Jahr Nutzung hinter sich hat. Es erschien am 11. März 2026 unter Apache 2.0 auf Hugging Face, mit insgesamt 25,2 Milliarden Parametern und 3,8 Milliarden aktiven pro Token, mit einem hybriden Attention-Stack, der lokale Sliding-Window-Schichten mit globalen verschachtelt, 256K Kontext, nativer Unterstützung für System-Prompts und Vision bei jeder Größe der Familie. Es ist ein Modell, das man nehmen, selbst auf 4 Bit quantisieren und ausführen kann, und ein großes Ökosystem fertiger Quantisierungen existiert bereits.

Bolt ist ein Kompressionsergebnis im Gewand einer Modellkarte. NVIDIA nahm Nemotron 3.5 Super VL 120B-A12B – einen multimodalen Checkpoint aus derselben Generation – und führte Star Elastic darüber aus, eine routergesteuerte Architektursuche, die ein hartes Deployment-Budget erfüllen muss, in diesem Fall unter 24 GB bei Batch-Größe 1 und 128K-Kontext. Expert-Top-K fiel von 22 im Elternmodell auf 9. Die Expertengewichte wurden dann auf IQ2-XXS bei 2,0625 Bit pro Element quantisiert, mit quantisierungsbewusster Destillation, um Genauigkeit zurückzugewinnen; Mamba-Schichten blieben bei NVFP4, Embedding- und Ausgabeschichten bei Q8_0, und der Vision-Tower wurde anschließend wieder angehängt.

Das Ergebnis sind 74 Milliarden Parameter in einer 24-GB-Datei. Das ist keine Quantisierung eines veröffentlichten Modells; es ist ein anders geformtes Netzwerk, das unter einer Speicherbeschränkung gesucht und dann trainiert wurde, um sich zu erholen.

Warum die Bitbreite wichtiger ist als die Parameter

Stellt man die beiden nebeneinander, liegt die intuitive Lesart nahe, dass ein 74B-Modell ein 26B-Modell schlägt. Diese Lesart ist in diesem Fall wahrscheinlich richtig, und sie ist auch nicht der interessante Teil, denn die beiden Modelle werden gebeten, mit denselben 24GB unterschiedliche Dinge zu tun.

• Parameter — Bolt 74B insgesamt, 9B aktiv pro Token. Gemma 4 26B A4B: 25,2B insgesamt, 3,8B aktiv pro Token.

• Architektur — Bolt: Mamba-2–Transformer-Hybrid LatentMoE mit einem C-RADIO v4-H Vision-Encoder. G​emma: hybride lokale/globale Attention-MoE mit einem Vision-Tower und, bei anderen Größen der Familie, Audio.

• Gespeicherte Präzision — Bolt wird nativ mit 2,0625 Bit pro Expertengewicht ausgeliefert. G​emmas Repository ist 16-Bit, wobei 4-Bit-Builds und Builds mit quantisierungsbewusstem Training separat veröffentlicht werden.

• Kontext — Bolt bis zu 256.000 Token. Gemma 4 26B A4B: 256.000 Token. Diese Zeile ist ein Gleichstand, was Leute überrascht, die annehmen, dass das 2-Bit-Modell hier etwas aufgegeben hat. Das hat es nicht.

• Eingaben — Bolt akzeptiert Text, Bilder und Video. Gemma 4 26B A4B akzeptiert Text und Bilder; Video kommt als Frames an, und Audio ist auf die kleineren Familienmitglieder beschränkt.

• Lizenz — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, wobei Googles Richtlinie zur verbotenen Nutzung daneben steht.

• Spekulatives Decoding — Bolt liefert einen LiLiCorr-Drafter, der über DFlash mit sieben spekulativen Tokens in NVIDIAs Referenzrezept eingebunden ist. Gemma 4 26B A4B hat keinen vom Hersteller bereitgestellten Drafter; Multi-Token-Vorhersage findet sich in Community-Fine-Tunes statt im Basis-Release.

Die praktische Konsequenz der Präzisionszeile ist, dass Bolts Download bereits die kleine Version ist. Es gibt keinen weiteren 2-Bit-Build zu finden, denn der 2-Bit-Build ist das Modell. G​emmas 26B ist ein 16-Bit-Checkpoint, den man komprimieren soll, und die 4-Bit-Version, die die meisten tatsächlich servieren werden, ist jemandes Konvertierung davon.

Wo das kleinere Modell die bessere Wahl ist

NVIDIAs eigene Tabelle zeigt zwei Aspekte von Gemma, die es wert sind, ernst genommen zu werden. Die AA-Omniscience-Genauigkeit spricht mit 22,17 gegenüber 16,90 für Gemma, und die ehrliche Interpretation davon ist, dass die 2-Bit-Komprimierung selbst nach der Destillation den Faktenabruf messbar beeinträchtigt hat. Wer einen enzyklopädischen statt agentischen Workload hat, sollte diese Zeile stark gewichten.

Die Lizenzierung ist der zweite Punkt. Apache 2.0 ist die am wenigsten mit Auflagen belastete Option, die für den kommerziellen Einsatz verfügbar ist, und OpenMDW-1.1 ist – obwohl permissiv formuliert und von NVIDIA ausdrücklich für die kommerzielle Nutzung freigegeben – ein neueres Instrument, zu dem es weniger Literatur gibt und das noch durch keine Gerichtsentscheidung ausgelegt wurde. Rechtsteams haben eines davon schon gesehen und das andere nicht.

Drittens ist die Reife. Gemma 4 26B A4B ist seit März herunterladbar und seit dem Frühjahr über einen gehosteten Endpunkt aufrufbar. Quantisierte Builds, Fine-Tunes, Serving-Rezepte und Benchmark-Reproduktionen existieren alle. Bolts Repository ging im Oktober online. Über seine Latenz wurde nichts Unabhängiges veröffentlicht, und es gibt keine Community-Quantisierungen, auf die man zurückgreifen könnte, weil es nichts zu quantisieren gibt.

Viertens, und leicht zu übersehen: G​emmas Geschwistermodelle mit 21B und darunter unterstützen Audio nativ. Wenn die Pipeline Sprache umfasst, ist das 26B A4B das falsche Mitglied seiner eigenen Familie, und kein N​emotron-Modell ist das richtige.

Was jedes einzelne tatsächlich zu halten kostet

Bolt hat keinen Preis, und das ist kein Versehen in den Daten. Es gibt nirgends einen gehosteten Endpunkt dafür, keine verbrauchsbasierte Abrechnungsrate auf der Modellseite von Artificial Analysis dafür und keinen Anbieter, der es bereitstellt. Es auszuführen bedeutet, die Maschine selbst zu besitzen, und NVIDIAs Referenzrezept ist eher ein Wochenende als ein Nachmittag: ein gepinntes vLLM-Nightly-Image, das b12x-Kernel-Paket, ein Reasoning-Parser-Plugin, das als separate Datei abgerufen wird, dann explizite Einstellungen für den v2-Modell-Runner, die linearen und MoE-Backends, die Attention- und Mamba-Backends, Mamba-Cache-Dtypes, Chunked Prefill und eine Speculative-Decoding-Konfiguration, die auf den LiLiCorr-Drafter verweist.

Gemma 4 26B A4B hat an zwei Stellen einen Preis. Über den Katalog, den wir routen, ist google/gemma-4-26b-a4b-it mit 0,06 $ pro Million Input-Tokens und 0,33 $ pro Million Output-Tokens gelistet, bei einem Kontext von 262.144 Tokens, mit einer p50-Zeit bis zum ersten Token von etwa 2,8 Sekunden – das ist unser eigener gemessener Wert aus den letzten sieben Tagen, keine Angabe eines Anbieters. Artificial Analysis verfolgt für dasselbe Modell einen anderen Anbieter-Mix und listet 0,10 $ Input und 0,40 $ Output; das ist die Art von Spanne, die zeigt, dass der Preis eine Eigenschaft des Endpunkts und nicht der Gewichte ist. Beide Zahlen sind korrekt; sie sind Preise für unterschiedliche Dinge.

OrcaRouter stellt die Modelle, die wir tatsächlich routen, hinter einem einzigen Schlüssel zum Listenpreis des Anbieters bereit, mit 0 Prozent Aufschlag, sodass eine Preissenkung eines Anbieters bei einem gerouteten Modell noch am selben Tag bei uns live ist, und automatisches Failover über Anbieter hinweg bedeutet, dass ein Kapazitätsproblem weiter oben erneut versucht wird, statt bei Ihren Nutzern sichtbar zu werden. Wir hosten keinen N​emotron-Checkpoint – der Katalog wurde geprüft statt angenommen, und die Familie ist nicht darin enthalten –, daher decken diese Zusagen auf dieser Seite die G​emma-Hälfte des Vergleichs ab und sonst nichts. Was sie in der Praxis wert sind, ist eine Möglichkeit, das kleinere Modell mit echtem Traffic ohne einen zweiten Vertrag auszuprobieren, während Sie entscheiden, ob das größere die Hardware wert ist.

Wahl zwischen einer Datei und einem Dienst

Dieser Vergleich ist in Bezug auf die Fähigkeiten nicht annähernd ausgeglichen, und das soll er auch nicht sein. Bolt ist ein größeres, leistungsfähigeres Modell, das stark komprimiert wurde und nicht gemietet werden kann. Gemma 4 26B A4B ist ein etwas schwächeres Modell, das man heute mieten kann und dessen Schwächen von Leuten dokumentiert werden, die kein Eigeninteresse daran haben.

Nehmen Sie Bolt, wenn die Arbeitslast Screenshots, PDFs, Videoframes oder einen Browser umfasst, wenn sie ohne Netzwerk laufen muss und wenn bereits ein Rechner mit einem Beschleuniger der Blackwell-Klasse im Raum steht. Akzeptieren Sie, dass Sie derjenige sein werden, der seinen Durchsatz entdecken muss, denn niemand hat ihn veröffentlicht. Nehmen Sie Gemma 4 26B A4B, wenn Sie ein Text-und-Bild-Modell möchten, das Sie heute Nachmittag pro Million Token bezahlen können, wenn Sie Apache 2.0 benötigen oder wenn faktische Erinnerung bei einer breiten Fragenmenge wichtiger ist als die Erledigung agentischer Aufgaben.

Die Messung, die dies entscheiden würde, ist die, die niemand durchgeführt hat: ein unabhängiger Durchsatz- und Latenztest auf dem 24-GB-Checkpoint und eine unabhängige Wiederholung von NVIDIAs Tabelle mit Gemma, quantisiert auf dieselben 4 Bit, die der Anbieter nach eigenen Angaben gewählt hat. Solange es diese nicht gibt, stützt sich die Argumentation für Bolt auf eine Anbietertabelle und eine Parameteranzahl, und die Argumentation für Gemma stützt sich auf ein Jahr fremder Ergebnisse.

Vergleiche wie dieser sind auch der Punkt, an dem die Fehlermodi sichtbar werden: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse sind in the OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag seine eigenen Quellen, Schweregrad, Konfidenzstufe und eine Kennzeichnung als strittig mitführt.