Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B: één model, twee artefacten

This is a comparison between a model and itself. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA Nemotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

Wat de twee artefacten eigenlijk zijn

The names describe the pipeline, not two designs. N​VIDIA took Nemotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

Beide zijn op hun modelkaarten gedateerd op 15 oktober 2026. Beide hebben dezelfde OpenMDW-1.1-licentie, hetzelfde contextvenster van 256.000 tokens, dezelfde Mamba-2 hybride LatentMoE-backbone en dezelfde C-RADIO v4-H vision-encoder. De metadata van de repository maakt de relatie expliciet in één veld: de kaart van de 24GB-checkpoint vermeldt base_model_relation: quantized tegenover de BF16-release.

Wat verschilt, is waar elk van de twee voor dient. De 24GB-kaart noemt als gebruiksscenario lokale agent-harnassen — het aanroepen van tools, browsen, werk in de terminal — en als inzet vLLM op Ampere, Hopper of Blackwell. De BF16-kaart noemt als gebruiksscenario post-training met NeMo RL en NeMo Gym, domeinaanpassing, distillatie en het produceren van je eigen gekwantiseerde varianten, en waarschuwt in dezelfde alinea dat je voor op latentie en doorvoer geoptimaliseerde inferentie in plaats daarvan de 24GB-versie moet gebruiken. Een leverancier die tegen je zegt dat je een checkpoint die je net hebt gedownload niet moet draaien, kun je maar beter letterlijk nemen.

Het verschil in grootte, afgelezen uit de bestandslijsten

• BF16 — in totaal 149,8 GB verdeeld over 63 safetensors-shards, grootste shard 3,71 GB, plus een vision tower van 228 MB.

• 24GB safetensors — 24,12GB verdeeld over 90 shards in de vLLM-ready build, wat marginaal boven het getal in de naam van het model ligt.

• 24GB GGUF — 22,02GB in één bestand, plus een aparte vision projector van 1,73GB, voor 23,75GB in totaal.

• Ratio — ongeveer zes op één in bytes, van 16-bits experts naar 2-bits experts plus mixed-precision-behandeling van al het overige.

Drieënzestig shards tegenover negentig is ook een vormverschil, niet alleen een grootteverschil. De BF16-release is gebouwd om door een trainingsframework te worden geladen, ongeacht welke parallelle indeling je hebt; de 24GB-release is gebouwd om door één GPU te worden geladen, of door llama.cpp op één machine, en het aantal shards weerspiegelt de verschillende taak.

Drie gigabytes van de 24GB-verdeling zijn het begrijpen waard voordat je opslag plant. De visieprojector is een apart bestand in de GGUF-build, omdat llama.cpp zo multimodale invoer verwerkt, en wie alleen de gewichten downloadt en zich dan afvraagt waarom afbeeldingen niet werken, heeft hem overgeslagen. In de safetensors-build zit de visietoren in de shards en overschrijdt het totaal de 24GB-grens.

Wat kost de kwantisatie, volgens NVIDIA's eigen cijfers?

De BF16-kaart publiceert beide kolommen naast elkaar, wat ongewoon openhartig is: dezelfde benchmarktabel bevat de IQ2 24GB-cijfers en de BF16-cijfers voor dezelfde dertien evaluaties. Door de leverancier gerapporteerd, niet gereproduceerd, en toch het meest directe bewijs dat beschikbaar is over wat twee bits per expert kosten.

• Terminal-Bench 2.1 — 50,98 bij IQ2 tegenover 53,93 bij BF16, een verlies van 2,95 punten.

• BrowseComp — 66,75 tegen 70,00, een verlies van 3,25.

• GPQA Diamond — 86,43 tegen 88,83, een verlies van 2,40.

• AA-LCR redeneren met lange context — 64,06 tegenover 67,38, een verlies van 3,32.

• HLE zonder tools — 25,30 tegen 28,73, een verlies van 3,43.

• AA-Omniscience-nauwkeurigheid — 16,90 tegenover 21,80, een verlies van 4,90, het grootste in de tabel.

• PinchBench — 87,82 tegen 90,35, een verlies van 2,53.

• GDPVal-AA-V2 — 28,47 tegen 31,13, een verlies van 2,66.

Twee rijen doorbreken het patroon, en het zijn de interessante. Op AA-Omniscience non-hallucinatie scoort het gekwantiseerde model hoger, 61,27 tegen 56,14 — het comprimeren van de experts maakte dat het model minder geneigd was zelfverzekerd te antwoorden wanneer het iets niet weet, wat precies het soort bevinding is dat een tabel het waard maakt om volledig te publiceren. Op WebArena vision staan de twee op gelijke hoogte, 50,86 tegen 50,25, wat suggereert dat het vision-pad de compressie min of meer intact heeft doorstaan, en de hertraining van de vision-adapter die in de modelkaart wordt beschreven, is vermoedelijk de reden.

Samen gelezen: een heffing van twee tot vijf punten op de meeste capaciteitsrijen, bijna nul op visuele grounding, en een verbetering op één kalibratiemetriek. Dat is een gunstige uitkomst voor een zes-op-één-compressie, en het is nog steeds een heffing die je moet meetellen in plaats van weg te wuiven.

Welke je daadwerkelijk kunt serveren

Het 24GB-artefact heeft een runtimeverhaal en het BF16-exemplaar heeft een trainingsverhaal, en het zijn niet hetzelfde verhaal met een andere flag.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

Het serveren van de BF16-checkpoint is jouw probleem om op te lossen. Het heeft ongeveer zes keer het geheugen van de gekwantiseerde build nodig voordat er ook maar een KV-cache is, waardoor een enkele 80GB-accelerator buiten bereik komt en multi-GPU of multi-node de standaardaanname wordt. Dat is de juiste afweging voor post-training en de verkeerde afweging voor inferentie, precies wat de kaart zegt.

De beslissing, simpelweg gesteld

Als je vandaag een agent wilt draaien op hardware die je bezit, download dan de 24GB-build, accepteer de heffing van twee tot vijf punten, en begroot naast de gewichten ook de drafter en de projector.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

Waar een gateway past in een lokale stack

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

Dat is de laag die wij beheren. Eén sleutel voor meer dan 200 gehoste modellen tegen de listprijs van de provider, met geen opslag toegevoegd; automatische failover wanneer een provider tijdens een verzoek verslechtert; een routing-DSL die "probeer Bolt lokaal, schakel over naar een gehost model wanneer de taak het te boven gaat" omzet in configuratie in plaats van code. De 24GB-helft van de stack wordt bepaald door je hardware en je tolerantie voor een nachtelijke container. De helft aan de andere kant van de escalatie wordt bepaald door wie de sleutel bezit.

Wat zou deze afbeelding veranderen?

Twee dingen, en beide zijn voorspelbaar.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

Het tweede is elke onafhankelijke evaluatie van een van beide artefacten. Het panel van Artificial Analysis heeft het 24GB-model op zijn Intelligence Index op 21 gemeten, zonder dat er een snelheid of kosten zijn gepubliceerd, omdat er niets is om een prijs tegen af te zetten. Niemand heeft überhaupt een reproduceerbare run van het BF16-checkpoint gepubliceerd, wat niet verrassend is voor een download van 150GB die bedoeld is voor training. Totdat iemand dat doet, is het gat tussen de twee kolommen hierboven het verslag van een leverancier over zijn eigen compressie, en de eerlijke manier om het te lezen is als een bewering die toevallig ongewoon goed wordt ondersteund door de vorm van het bewijs.

Een resultaat zoals dit is ook een herinnering eraan dat modelfouten al gedocumenteerd zijn: de AI-incidenten en agentfouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, zekerheidsgraad en betwistingsmarkering bevat.