Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: Acht indexpunten en een mismatch in bitbreedte

Er is al een rechtstreekse vergelijking tussen N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB en G​oogle Gemma 4 26B A4B, en N​VIDIA heeft die gepubliceerd. Die staat in de benchmarktabel op de Bolt-modelkaart, waar de G​emma-kolom een baseline is die het bedrijf heeft gekozen. Die tabel aandachtig lezen is de snelste manier om te begrijpen wat deze twee modellen werkelijk zijn, want de twee checkpoints concurreren niet om dezelfde taak, en de eigen framing van de leverancier zegt dat expliciet: de vergelijkingsmodellen zijn gekozen vanwege hun vermogen om binnen 24GB geheugen te passen met 4-bit kwantisering. Bolt past op een andere manier binnen 24GB — 2,0625 bits per gewicht op zijn expertlagen — en het verschil tussen die twee strategieën is het hele verhaal.

Beide getallen in de titel zijn echt. Artificial Analysis heeft Bolt op zijn Intelligence Index op 21 gemeten, en Gemma 4 26B A4B, in zijn reasoning-configuratie, op 17. Geen van beide getallen is afkomstig van een leverancier, en beide stonden live op de modelpagina's van het panel toen dit werd geschreven.

De vergelijking die NVIDIA uitvoerde, en de kolom die het koos

De tabel van N​VIDIA voor Bolt heeft vier kolommen: Qwen3.6-35B-A3B in BF16, Gemma 4 26B-A4B in BF16, N​emotron 3.5 Lightning 30B-A3B in BF16, en Bolt in IQ2. Elk getal erin is door de leverancier gerapporteerd en is door geen enkele onafhankelijke partij gereproduceerd. Hier is de G​emma-kolom vergeleken met die van Bolt, benchmark voor benchmark.

• GDPVal-AA-V2 — G​emma 15,33, Bolt 28,47

• Terminal-Bench 2.1 — G​emma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE zonder tools — Gemma 17.42, Bolt 25.30

• SciCode — G​emma 40,28, Bolt 41,02

• GPQA Diamond — Gemma 79,61, Bolt 86,43

• AA-LCR retrieval met lange context — G​emma 57,56, Bolt 64,06

• PinchBench — G​emma 74,70, Bolt 87,82

• WebArena vision — G​emma 38.2, Bolt 50.86

• AA-Omniscience-nauwkeurigheid — G​emma 22,17; Bolt 16,90. G​emma wint deze rij, en het is de enige in de tabel waar dat gebeurt.

• AA-Omniscience non-hallucinatie — Gemma 14,22, Bolt 61,27. Dit is een groot en specifiek verlies voor de productfamilie van Gemma, en het is de moeite waard om er even bij stil te staan: de Omniscience non-hallucinatiemetriek bestraft een model dat zelfverzekerd antwoordt wanneer het iets niet weet, en de hier geregistreerde Gemma-build scoort ongeveer een kwart van het cijfer van Bolt.

Voor het hele blok geldt één voorbehoud. N​VIDIA draaide alles, inclusief de G​emma-kolom, op een BF16-build van G​emma tegen een 2-bit-build van zijn eigen model, en rapporteerde het resultaat vervolgens op zijn eigen modelkaart.

Twee checkpoints, twee compressieregimes

Gemma 4 26B A4B is een uitgebracht product met een jaar gebruik achter zich. Het verscheen op 11 maart 2026 op Hugging Face onder Apache 2.0, met 25,2 miljard totale parameters en 3,8 miljard actieve per token, met een hybride attention-stack die lokale sliding-windowlagen afwisselt met globale lagen, 256K context, native ondersteuning voor system-prompts en vision op elke modelgrootte in de familie. Het is een model dat je zelf kunt oppakken, naar 4 bits kunt kwantiseren en kunt draaien, en er bestaat al een groot ecosysteem van kant-en-klare kwantisaties.

Bolt is een compressieresultaat met een modelkaart om. NVIDIA nam Nemotron 3.5 Super VL 120B-A12B — een multimodale checkpoint uit dezelfde generatie — en voerde Star Elastic erop uit, een routergestuurde architectuurzoektocht die aan een strikt deploymentbudget moet voldoen, in dit geval onder 24GB bij batchgrootte 1 en 128K-context. De expert-top-K daalde van 22 in het bovenliggende model naar 9. De expertgewichten werden vervolgens gekwantiseerd naar IQ2-XXS op 2,0625 bits per element, met kwantisatiebewuste distillatie om nauwkeurigheid terug te winnen; Mamba-lagen bleven op NVFP4, embeddings en outputlagen op Q8_0, en de visietoren werd daarna weer aangekoppeld.

Het resultaat is 74 miljard parameters in een 24GB-bestand. Dat is geen kwantisatie van een uitgebracht model; het is een netwerk met een andere vorm waarnaar onder een geheugenbeperking is gezocht en dat vervolgens is getraind om te herstellen.

Waarom de bitbreedte meer uitmaakt dan de parameters

Zet de twee naast elkaar en de intuïtieve interpretatie is dat een 74B-model een 26B-model verslaat. Die interpretatie is in dit geval waarschijnlijk correct, en het is ook niet het interessante deel, omdat van de twee modellen wordt gevraagd om verschillende dingen te doen met dezelfde 24GB.

• Parameters — Bolt 74B totaal, 9B actief per token. Gemma 4 26B A4B: 25,2B totaal, 3,8B actief per token.

• Architectuur — Bolt: Mamba-2–Transformer hybride LatentMoE met een C-RADIO v4-H visie-encoder. Gemma: hybride MoE met lokale/globale attention en een visietoren, en bij andere formaten in de familie ook audio.

• Opgeslagen precisie — Bolt wordt native geleverd op 2,0625 bits per expertgewicht. De repository van G​emma is 16-bit, met 4-bit- en kwantisatiebewuste-trainingsbuilds die apart zijn gepubliceerd.

• Context — Bolt tot 256.000 tokens. Gemma 4 26B A4B: 256.000 tokens. Deze rij is een gelijkspel, wat mensen verrast die aannemen dat het 2-bitmodel hier iets heeft opgegeven. Dat deed het niet.

• Invoer — Bolt accepteert tekst, afbeeldingen en video. Gemma 4 26B A4B accepteert tekst en afbeeldingen; video wordt als frames aangeleverd, en audio is voorbehouden aan de kleinere familieleden.

• Licentie — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, met daarnaast het verboden-gebruikbeleid van G​oogle.

• Speculatieve decoding — Bolt wordt geleverd met een LiLiCorr-drafter, via DFlash gekoppeld met zeven speculatieve tokens in NVIDIA's referentierecept. Gemma 4 26B A4B heeft geen door de leverancier geleverde drafter; multi-tokenvoorspelling komt voor in community-finetunes, niet in de basisrelease.

Het praktische gevolg van de precisierij is dat de download van Bolt al de kleine is. Er is geen verdere 2-bits build te vinden, omdat de 2-bits build het model is. G​emma's 26B is een 16-bits checkpoint dat je wordt geacht te comprimeren, en de 4-bits versie die de meeste mensen daadwerkelijk zullen serveren is iemands conversie ervan.

Waar het kleinere model de betere koop is

NVIDIA's eigen tabel geeft Gemma twee dingen die het waard zijn om serieus te nemen. De AA-Omniscience-nauwkeurigheid pleit voor Gemma met 22,17 tegen 16,90, en de eerlijke interpretatie daarvan is dat de 2-bitcompressie een meetbare tol heeft geëist van het ophalen van feiten, zelfs na distillatie. Wie een encyclopedische in plaats van agentische werklast heeft, zou die rij zwaar moeten laten meewegen.

Licentiëring is het tweede. Apache 2.0 is de minst belaste optie die beschikbaar is voor commerciële inzet, en OpenMDW-1.1, hoewel opgesteld om permissief te zijn en expliciet door NVIDIA vrijgegeven voor commercieel gebruik, is een nieuwer instrument met minder literatuur erover en geen rechterlijke uitspraken die het interpreteren. Juridische teams hebben een van deze eerder gezien en de andere niet.

Ten derde: volwassenheid. Gemma 4 26B A4B is sinds maart downloadbaar en sinds het voorjaar aanroepbaar vanaf een gehoste endpoint. Gekwantiseerde builds, fine-tunes, servingrecepten en benchmarkreproducties bestaan allemaal. De repository van Bolt ging in oktober online. Over de latentie ervan is niets onafhankelijks gepubliceerd, en er zijn geen communitykwantisaties om op terug te vallen, omdat er niets te kwantiseren valt.

Ten vierde, en makkelijk over het hoofd te zien: de modellen van 21B en kleiner uit de G​emma-familie hebben native audio-ondersteuning. Als de pipeline spraak omvat, is de 26B A4B het verkeerde lid van zijn eigen familie, en geen enkel N​emotron-model is het juiste.

Wat elk ervan kost om daadwerkelijk te houden

Bolt heeft geen prijs, en dit is geen omissie in de data. Er is nergens een gehost endpoint voor, geen verbruikstarief voor op de modelpagina van Artificial Analysis, en geen provider die het aanbiedt. Het draaien ervan betekent de machine bezitten, en het referentierecept van N​VIDIA is een weekend in plaats van een middag: een gepinde vLLM nightly-image, het b12x-kernelpakket, een reasoning-parser-plugin die als apart bestand wordt opgehaald, en dan expliciete instellingen voor de v2 model runner, de linear- en MoE-backends, de attention- en Mamba-backends, Mamba-cache-dtypes, chunked prefill en een speculative-decoding-config die naar de LiLiCorr-drafter verwijst.

Gemma 4 26B A4B heeft op twee plaatsen een prijs. Via de catalogus waarlangs wij routeren, staat google/gemma-4-26b-a4b-it vermeld tegen $0,06 per miljoen inputtokens en $0,33 per miljoen output, bij een context van 262.144 tokens, met een p50-tijd tot het eerste token van ongeveer 2,8 seconden — dat is onze eigen gemeten waarde over de afgelopen zeven dagen, geen claim van een leverancier. Artificial Analysis volgt een andere mix van providers voor hetzelfde model en vermeldt $0,10 in en $0,40 uit, wat het soort spreiding is dat aangeeft dat prijs een eigenschap van het endpoint is en niet van de gewichten. Beide getallen zijn eerlijk; het zijn prijzen van verschillende dingen.

OrcaRouter zet de modellen die wij routeren achter één enkele sleutel tegen de lijstprijs van de provider, met 0 procent opslag, dus een prijsverlaging van een leverancier voor een gerouteerd model is dezelfde dag nog actief aan onze kant, en automatische failover tussen providers betekent dat een capaciteitsprobleem upstream opnieuw wordt geprobeerd in plaats van aan uw gebruikers wordt getoond. Wij hosten geen enkel N​emotron-checkpoint — de catalogus is gecontroleerd in plaats van aangenomen, en de familie zit er niet in — dus op deze pagina dekken die garanties de G​emma-helft van de vergelijking en niets anders. Wat ze in de praktijk waard zijn, is een manier om het kleinere model op echte traffic uit te proberen zonder een tweede contract, terwijl u beslist of het grotere model de hardware waard is.

Kiezen tussen een bestand en een service

Deze vergelijking is qua capaciteiten niet in de buurt, en dat is ook niet de bedoeling. Bolt is een groter, capabeler model dat stevig is gecomprimeerd en niet te huur is. Gemma 4 26B A4B is een iets zwakker model dat je vandaag kunt huren, en waarvan de zwakke punten worden gedocumenteerd door mensen die er geen belang bij hebben.

Kies Bolt als de workload screenshots, pdf's, videoframes of een browser omvat, als het zonder netwerk moet kunnen draaien, en als er al een machine met een accelerator uit de Blackwell-klasse in de ruimte staat. Accepteer dat jij degene bent die de doorvoer ervan zal ontdekken, want niemand heeft die gepubliceerd. Kies Gemma 4 26B A4B als je een tekst-en-beeldmodel wilt waarvoor je vanmiddag per miljoen tokens kunt betalen, als je Apache 2.0 nodig hebt, of als feitelijke recall op een brede set vragen belangrijker is dan het voltooien van agentische taken.

De meting die dit zou beslechten, is de meting die niemand heeft verricht: een onafhankelijke doorvoer- en latentietest op het 24GB-checkpoint, en een onafhankelijke herhaling van de tabel van N​VIDIA met G​emma gekwantiseerd naar dezelfde 4 bits waarvoor de leverancier zegt te hebben gekozen. Zolang die niet bestaan, berust het argument voor Bolt op een leverancierstabel en een parameteraantal, en het argument voor G​emma op een jaar aan resultaten van anderen.

Vergelijkingen zoals deze zijn ook waar de faalmodi naar voren komen: de gedocumenteerde AI-incidenten en agent-fouten achter modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwistingsmarkering bevat.