Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Bolt 74B: En modell, två artefakter

This is a comparison between a model and itself. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA Nemotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

Vad de två artefakterna faktiskt är

The names describe the pipeline, not two designs. N​VIDIA took Nemotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

Båda är daterade 15 oktober 2026 på sina modellkort. Båda har samma OpenMDW-1.1-licens, samma kontextfönster på 256 000 token, samma Mamba-2-hybrid-LatentMoE-backbone och samma C-RADIO v4-H visionskodare. Repository-metadatan gör relationen explicit i ett enda fält: 24 GB-checkpointens kort listar base_model_relation: kvantiserad gentemot BF16-utgåvan.

Det som skiljer är vad var och en är till för. 24GB-kortet anger sitt användningsområde som lokala agentramverk — verktygsanrop, webbläsning, terminalarbete — och sin driftsättning som vLLM på Ampere, Hopper eller Blackwell. BF16-kortet anger sitt användningsområde som efterträning med NeMo RL och NeMo Gym, domänanpassning, destillation och att ta fram egna kvantiserade varianter, och varnar i samma stycke för att om du vill ha latens- och genomströmningsoptimerad inferens bör du använda 24GB-versionen i stället. Att en leverantör säger åt dig att inte köra en checkpoint som du just laddat ner är värt att läsa bokstavligt.

Storleksskillnaden, avläst från filförteckningarna

• BF16 — 149,8 GB totalt fördelat över 63 safetensors-shards, största sharden 3,71 GB, plus ett 228 MB visionstorn.

• 24 GB safetensors — 24,12 GB fördelat på 90 shardar i det vLLM-färdiga bygget, vilket är marginellt högre än siffran i modellens namn.

• 24 GB GGUF — 22,02 GB i en enda fil, plus en separat visionsprojektor på 1,73 GB, totalt 23,75 GB.

• Förhållande — ungefär sex till ett i byte, från 16-bitars experter till 2-bitars experter plus blandad precision för allt annat.

Sextiotre shards mot nittio är också en skillnad i form, inte bara i storlek. BF16-versionen är byggd för att laddas av ett träningsramverk oavsett vilken parallell layout du än har; 24GB-versionen är byggd för att laddas av en GPU, eller av llama.cpp på en maskin, och antalet shards återspeglar den annorlunda uppgiften.

Tre gigabyte av 24 GB-spridningen är värda att förstå innan du planerar lagring. Visionprojektorn är en separat fil i GGUF-bygget eftersom det är så llama.cpp hanterar multimodala indata, och den som bara laddar ner vikterna och sedan undrar varför bilder inte fungerar har hoppat över den. I safetensors-bygget ligger visionstornet inuti shardarna och totalen passerar 24 GB-gränsen.

Vad kvantiseringen kostar, enligt NVIDIAs egna siffror

BF16-kortet publicerar båda kolumnerna sida vid sida, vilket är ovanligt öppet: samma benchmark-tabell innehåller IQ2 24GB-siffrorna och BF16-siffrorna för samma tretton utvärderingar. Leverantörsrapporterat, inte reproducerat, och fortfarande det mest direkta beviset som finns för vad två bitar per expert kostar.

• Terminal-Bench 2.1 — 50,98 vid IQ2 mot 53,93 vid BF16, en förlust på 2,95 poäng.

• BrowseComp — 66,75 mot 70,00, en förlust på 3,25.

• GPQA Diamond — 86,43 mot 88,83, ett tapp på 2,40.

• AA-LCR långkontextresonemang — 64,06 mot 67,38, en förlust på 3,32.

• HLE utan verktyg — 25,30 mot 28,73, en förlust på 3,43.

• AA-Omniscience-noggrannhet — 16,90 mot 21,80, en förlust på 4,90, den största i tabellen.

• PinchBench — 87,82 mot 90,35, en förlust på 2,53.

• GDPVal-AA-V2 — 28,47 mot 31,13, en förlust på 2,66.

Två rader bryter mönstret, och de är de intressanta. På AA-Omniscience non-hallucination får den kvantiserade modellenhögre, 61,27 mot 56,14 – att komprimera experterna gjorde modellen mindre benägen att svara självsäkert när den inte vet, vilket är den sorts fynd som gör en tabell värd att publicera i sin helhet. På WebArena vision är de två jämnstarka, 50,86 mot 50,25, vilket tyder på att visionsvägen klarade komprimeringen mer eller mindre intakt, och den omträning av visionsadaptern som beskrivs i modellkortet är förmodligen anledningen.

Läst tillsammans: en skatt på två till fem punkter på de flesta kapacitetsrader, nära noll på visuell grundning, och en förbättring av ett kalibreringsmått. Det är ett gynnsamt utfall för en kompression på sex till ett, och det är fortfarande en skatt du bör räkna med snarare än vifta bort.

Vilken kan du faktiskt servera?

24GB-artefakten har en runtime-berättelse och BF16-varianten har en träningsberättelse, och de är inte samma berättelse med en annan flagga.

The 24GB GGUF is listed for llama.cpp, and N​VIDIA points the same model at Ollama, LM Studio and Unsloth. The vLLM path is stricter than it sounds: the reference recipe pins a nightly container by commit hash, requires a separate kernel package fetched at runtime, sets the v2 model runner explicitly, names b12x for the linear and MoE backends with FlashInfer for attention and Mamba, pins the KV cache to fp8, and sets max-num-seqs 1. That last flag is the one to notice — the published serving configuration is a single concurrent sequence, which is a laptop-shaped configuration, not a serving-shaped one.

The drafter is a third download. LiLiCorr is a 1.13B companion checkpoint whose card states in as many words that it is not a standalone language model, that it proposes draft tokens and the 24GB target verifies them, and that the target produces the visible text. N​VIDIA's reported 83.99 tokens per second on AIPerf SPEED-Bench-Coding assumes it is attached, with seven drafted tokens per step and mean acceptance lengths of 4.68 under greedy decoding and 4.25 with sampling at concurrency 64.

Hur BF16-checkpointen ska servas är ditt problem att lösa. Den behöver ungefär sex gånger så mycket minne som den kvantiserade versionen redan innan någon KV-cache, vilket sätter en enskild 80 GB-accelerator utom räckhåll och gör multi-GPU eller multi-node till standardantagandet. Det är rätt avvägning för efterträning och fel avvägning för inferens, vilket är precis vad kortet säger.

Beslutet, klart uttryckt

Om du vill köra en agent i dag på hårdvara du äger, ladda ner 24GB-bygget, acceptera skatten på två till fem punkter och budgetera för såväl draftern och projektorn som vikterna.

If you want to change the model — fine-tune on your own data, distil it into something smaller, or compress it differently for hardware N​VIDIA did not optimise for — download the BF16 build and treat the 24GB release as documentation of one possible outcome.

The interesting middle case is the one the BF16 card invites explicitly: producing your own quantised variant. Someone with a different accelerator, or an appetite for four-bit weights, or a workload that needs more concurrency than the reference recipe allows, can take the full-precision weights and build the artifact N​VIDIA did not. The quantisation tax above is then the number to beat, and it is now a published target rather than a mystery.

Var en gateway passar in i en lokal stack

Neither of these checkpoints is hosted anywhere, including by us — the OrcaRouter catalogue carries no N​emotron model, so there is no endpoint and no price to quote for either. Local inference is also only ever half of an agent architecture: the machine that runs Bolt still needs to reach models it cannot download, whether that is a frontier model for the hard cases, a vision model for something Bolt handles badly, or a second opinion on a decision that matters.

Det är lagret vi driver. En nyckel för över 200+ hostade modeller till leverantörens listpris med inget påslag tillagt; automatisk failover när en leverantör försämras mitt i en begäran; ett routnings-DSL som förvandlar ”prova Bolt lokalt, eskalera till en hostad modell när uppgiften överstiger den” till konfiguration i stället för kod. 24GB-halvan av stacken avgörs av din hårdvara och din tolerans för en nattlig container. Halvan på andra sidan eskaleringen avgörs av den som håller nyckeln.

Vad skulle förändra den här bilden?

Två saker, och båda är förutsägbara.

The first is a four-bit or FP4 build of Bolt from N​VIDIA or from the community, given that the parent family already ships NVFP4 checkpoints and the BF16 release exists precisely so that such variants can be made. A four-bit Bolt that recovered half the gap above while still fitting in a 24GB envelope would make the quantisation tax argument considerably less interesting.

Det andra är varje oberoende utvärdering av endera artefakten. Artificial Analysis-panelen har uppmätt 24GB-modellen till 21 på sitt Intelligence Index, utan publicerad hastighet eller kostnad, eftersom det inte finns något att mäta ett pris mot. Ingen har över huvud taget publicerat en reproducerbar körning av BF16-checkpointen, vilket inte är förvånande för en 150GB-nedladdning avsedd för träning. Tills någon gör det är gapet mellan de två kolumnerna ovan en leverantörs redogörelse för sin egen komprimering, och det ärliga sättet att läsa det är som ett påstående som råkar vara ovanligt väl underbyggt av bevisningens form.

Ett resultat som detta är också en påminnelse om att modellmisstag redan är dokumenterade: AI-incidenterna och agentfelen bakom modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omtvistat.