Nemotron 3.5 Bolt 24GB vs. Nemotron 3.5 Bolt 74B: Ein Modell, zwei Artefakte

This is a comparison between a model and itself. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

Was die beiden Artefakte tatsächlich sind

The names describe the pipeline, not two designs. N​VIDIA took N​emotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

Beide sind auf ihren Modellkarten auf den 15. Oktober 2026 datiert. Beide tragen dieselbe OpenMDW-1.1-Lizenz, dasselbe Kontextfenster von 256.000 Token, dasselbe Mamba-2-Hybrid-LatentMoE-Backbone und denselben C-RADIO v4-H Vision-Encoder. Die Repository-Metadaten machen die Beziehung in einem einzigen Feld explizit: Die Karte des 24GB-Checkpoints listet base_model_relation: quantisiert gegenüber der BF16-Version.

Was sich unterscheidet, ist der jeweilige Verwendungszweck. Die 24GB-Karte gibt als Anwendungsfall lokale Agent-Harnesses an – Tool-Aufrufe, Browsing, Terminal-Arbeit – und als Deployment vLLM auf Ampere, Hopper oder Blackwell. Die BF16-Karte gibt als Anwendungsfall Post-Training mit NeMo RL und NeMo Gym, Domänenanpassung, Destillation und das Erstellen eigener quantisierter Varianten an und warnt im selben Absatz, dass Sie für latenz- und durchsatzoptimierte Inferenz stattdessen die 24GB-Version verwenden sollten. Wenn ein Anbieter Ihnen sagt, einen gerade heruntergeladenen Checkpoint nicht auszuführen, sollte man das wörtlich nehmen.

Der Größenunterschied, abgelesen aus den Dateiauflistungen

• BF16 — insgesamt 149,8 GB verteilt auf 63 Safetensors-Shards, größter Shard 3,71 GB, dazu ein 228 MB großer Vision-Tower.

• 24GB safetensors — 24,12GB verteilt auf 90 Shards im vLLM-fähigen Build, was geringfügig über der Zahl im Namen des Modells liegt.

• 24 GB GGUF — 22,02 GB in einer einzigen Datei, plus ein separater 1,73 GB Vision-Projektor, insgesamt 23,75 GB.

• Verhältnis — grob sechs zu eins in Bytes, von 16-Bit-Experten zu 2-Bit-Experten plus Mixed-Precision-Behandlung von allem anderen.

Dreiundsechzig Shards gegenüber neunzig sind ebenfalls ein Unterschied in der Form, nicht nur in der Größe. Die BF16-Version ist dafür gebaut, von einem Trainingsframework über jedes beliebige parallele Layout, das du einsetzt, geladen zu werden; die 24GB-Version ist dafür gebaut, von einer einzigen GPU oder von llama.cpp auf einer einzigen Maschine geladen zu werden, und die Anzahl der Shards spiegelt die unterschiedliche Aufgabe wider.

Drei Gigabyte der 24-GB-Spanne sind es wert, verstanden zu werden, bevor du deinen Speicher planst. Der Vision-Projector ist im GGUF-Build eine separate Datei, weil llama.cpp multimodale Eingaben so verarbeitet, und wer nur die Gewichte herunterlädt und sich dann fragt, warum Bilder nicht funktionieren, hat ihn ausgelassen. Im safetensors-Build befindet sich der Vision-Tower in den Shards, und die Gesamtgröße überschreitet die 24-GB-Marke.

What the quantisation cost, on N​VIDIA's own numbers

Die BF16-Karte veröffentlicht beide Spalten nebeneinander, was ungewöhnlich auskunftsfreudig ist: Dieselbe Benchmark-Tabelle enthält die IQ2 24GB-Werte und die BF16-Werte für dieselben dreizehn Evaluierungen. Vom Anbieter angegeben, nicht reproduziert und dennoch der direkteste verfügbare Beleg dafür, was zwei Bits pro Experte kosten.

• Terminal-Bench 2.1 — 50,98 bei IQ2 gegenüber 53,93 bei BF16, ein Verlust von 2,95 Punkten.

• BrowseComp — 66,75 gegenüber 70,00, ein Verlust von 3,25.

• GPQA Diamond — 86,43 gegenüber 88,83, ein Verlust von 2,40.

• AA-LCR Langkontext-Reasoning — 64,06 gegenüber 67,38, ein Verlust von 3,32.

• HLE ohne Tools – 25,30 gegenüber 28,73, ein Verlust von 3,43.

• AA-Omniscience-Genauigkeit — 16,90 gegenüber 21,80, ein Verlust von 4,90, der größte in der Tabelle.

• PinchBench — 87,82 gegenüber 90,35, ein Verlust von 2,53.

• GDPVal-AA-V2 — 28,47 gegenüber 31,13, ein Verlust von 2,66.

Zwei Zeilen durchbrechen das Muster, und sie sind die interessanten. Bei AA-Omniscience Non-Hallucination erzielt das quantisierte Modell höhere Werte, 61,27 gegenüber 56,14 — die Kompression der Experten führte dazu, dass das Modell seltener selbstsicher antwortet, wenn es etwas nicht weiß, und das ist genau die Art von Befund, die eine Tabelle eine vollständige Veröffentlichung wert macht. Bei WebArena Vision liegen beide gleichauf, 50,86 gegenüber 50,25, was darauf hindeutet, dass der Vision-Pfad die Kompression mehr oder weniger unbeschadet überstanden hat, und das im Model Card beschriebene Neutraining des Vision-Adapters ist vermutlich der Grund dafür.

Zusammengenommen: ein Abzug von zwei bis fünf Punkten bei den meisten Fähigkeitszeilen, nahezu null bei der visuellen Verankerung und eine Verbesserung bei einer Kalibrierungsmetrik. Das ist ein günstiges Ergebnis für eine Kompression von sechs zu eins, und es bleibt ein Abzug, den man einkalkulieren sollte, statt ihn wegzuwischen.

Welche kannst du tatsächlich servieren?

Das 24-GB-Artefakt hat eine Runtime-Story und das BF16-Artefakt hat eine Trainings-Story, und das ist nicht dieselbe Story mit einem anderen Flag.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

Die Serving-Story des BF16-Checkpoints ist dein Problem, das du lösen musst. Er benötigt grob sechsmal so viel Speicher wie der quantisierte Build, noch bevor überhaupt ein KV-Cache hinzukommt, wodurch ein einzelner 80-GB-Beschleuniger außer Reichweite gerät und Multi-GPU oder Multi-Node zur Standardannahme werden. Das ist der richtige Kompromiss für Post-Training und der falsche für Inferenz – genau das sagt die Karte.

Die Entscheidung, klar gesagt

Wenn Sie heute einen Agenten auf eigener Hardware betreiben möchten, laden Sie den 24-GB-Build herunter, akzeptieren Sie den Zwei-bis-fünf-Punkte-Aufschlag und kalkulieren Sie den Drafter und den Projektor zusätzlich zu den Gewichten ein.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

Wo ein Gateway in einen lokalen Stack passt

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

Das ist die Ebene, die wir betreiben. Ein Schlüssel für mehr als 200 gehostete Modelle zum Listenpreis des Anbieters mit keinem hinzugefügten Aufschlag; automatisches Failover, wenn ein Anbieter mitten in einer Anfrage beeinträchtigt wird; eine Routing-DSL, die „Bolt lokal ausprobieren, zu einem gehosteten Modell eskalieren, wenn die Aufgabe seine Kapazität übersteigt“ in Konfiguration statt Code verwandelt. Die 24-GB-Hälfte des Stacks wird von Ihrer Hardware und Ihrer Toleranz gegenüber einem nächtlichen Container bestimmt. Die Hälfte auf der anderen Seite der Eskalation wird von demjenigen bestimmt, der den Schlüssel hält.

Was würde dieses Bild verändern?

Zwei Dinge, und beide sind vorhersehbar.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

Der zweite Punkt ist jede unabhängige Evaluierung eines der beiden Artefakte. Das Artificial Analysis Panel hat das 24-GB-Modell mit 21 auf seinem Intelligence Index gemessen, wobei weder Geschwindigkeit noch Kosten veröffentlicht wurden, weil es nichts gibt, woran sich ein Preis messen ließe. Niemand hat überhaupt einen reproduzierbaren Lauf des BF16-Checkpoints veröffentlicht, was für einen 150-GB-Download, der für das Training gedacht ist, nicht überraschend ist. Bis jemand das tut, ist die Lücke zwischen den beiden obigen Spalten die Darstellung eines Anbieters über seine eigene Kompression, und die ehrliche Art, sie zu lesen, ist als eine Behauptung, die zufällig ungewöhnlich gut durch die Beschaffenheit der Belege gestützt wird.

Ein Ergebnis wie dieses ist auch eine Erinnerung daran, dass Modellfehler bereits dokumentiert sind: Die KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse werden im OrcaRouter AI Incident Archive gesammelt, wobei jeder Eintrag eigene Quellen, einen Schweregrad, eine Konfidenzstufe und eine Kennzeichnung als umstritten trägt.