Nemotron 3.5 Bolt 74B vs Gemma 4 26B A4B: Åtta indexpunkter och en bitbreddsmissmatchning

Det finns redan en direkt jämförelse mellan N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB och G​oogle Gemma 4 26B A4B, och N​VIDIA publicerade den. Den finns i benchmark-tabellen på Bolt-modellkortet, där G​emma-kolumnen är en baslinje som företaget valde. Att läsa den tabellen noggrant är det snabbaste sättet att förstå vad dessa två modeller egentligen är, eftersom de två checkpoints inte tävlar om samma jobb, och leverantörens egen inramning säger det rakt ut: jämförelsemodellerna valdes för sin förmåga att rymmas inom 24 GB minne med 4-bitars kvantisering. Bolt ryms inom 24 GB via en annan väg — 2,0625 bitar per vikt på dess expertlager — och klyftan mellan dessa två strategier är hela historien.

Båda siffrorna i rubriken är verkliga. Artificial Analysis har uppmätt Bolt till 21 på sitt Intelligence Index och Gemma 4 26B A4B, i sin resonemangskonfiguration, till 17. Ingen av siffrorna kommer från en leverantör, och båda var live på panelens modellsidor när detta skrevs.

Jämförelsen som N​VIDIA körde, och kolumnen som den valde

NVIDIAs tabell för Bolt har fyra kolumner: Qwen3.6-35B-A3B i BF16, Gemma 4 26B-A4B i BF16, Nemotron 3.5 Lightning 30B-A3B i BF16 och Bolt i IQ2. Varje siffra i den är leverantörsrapporterad och har inte reproducerats av någon oberoende part. Här är Gemma-kolumnen mot Bolts, benchmark för benchmark.

• GDPVal-AA-V2 — G​emma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37,22, Bolt 50,98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE utan verktyg — Gemma 17,42; Bolt 25,30

• SciCode — G​emma 40,28, Bolt 41,02

• GPQA Diamond — Gemma 79,61; Bolt 86,43

• AA-LCR långkontextsretrieval — G​emma 57,56, Bolt 64,06

• PinchBench — Gemma 74.70, Bolt 87.82

• WebArena vision — G​emma 38.2, Bolt 50.86

• AA-Omniscience-noggrannhet — G​emma 22,17, Bolt 16,90. G​emma vinner den här raden, och det är den enda i tabellen där den gör det.

• AA-Omniscience icke-hallucination — G​emma 14,22, Bolt 61,27. Detta är en stor och specifik förlust för G​emmas familjelinje, och det är värt att stanna upp vid: Omniscience icke-hallucinationsmått bestraffar en modell som svarar självsäkert när den inte vet något, och den G​emma-version som registreras här uppnår ungefär en fjärdedel av Bolts siffra.

Ett förbehåll gäller för hela blocket. NVIDIA körde allt, inklusive Gemma-kolumnen, på en BF16-version av Gemma mot en 2-bitarsversion av sin egen modell, och rapporterade sedan resultatet på sitt eget modellkort.

Två kontrollpunkter, två komprimeringsregimer

Gemma 4 26B A4B är en lanserad produkt med ett års användning bakom sig. Den landade på Hugging Face den 11 mars 2026 under Apache 2.0, med 25,2 miljarder parametrar totalt och 3,8 miljarder aktiva per token, med en hybridstack för attention som varvar lokala lager med glidande fönster och globala sådana, 256K kontext, inbyggt stöd för systemprompt och vision i alla storlekar i familjen. Det är en modell du kan hämta, kvantisera till 4 bitar själv och köra, och ett stort ekosystem av färdiga kvantiseringar finns redan.

Bolt är ett komprimeringsresultat utklädd till ett modellkort. NVIDIA tog Nemotron 3.5 Super VL 120B-A12B – en multimodal checkpoint från samma generation – och körde Star Elastic över den, en routerstyrd arkitektursökning som måste uppfylla en hård driftsättningsbudget, i det här fallet under 24 GB vid batchstorlek 1 och 128K kontext. Expert-top-K sjönk från 22 i föräldramodellen till 9. Expertvikterna kvantiserades sedan till IQ2-XXS vid 2,0625 bitar per element med kvantiseringsmedveten destillation för att vinna tillbaka noggrannhet, Mamba-lager lämnades i NVFP4, inbäddningar och utdatalager i Q8_0, och visionstornet återanslöts efteråt.

Resultatet är 74 miljarder parametrar i en 24 GB fil. Det är inte en kvantisering av en släppt modell; det är ett annorlunda format nätverk som söktes fram under en minnesbegränsning och sedan tränades för att återhämta sig.

Varför bitbredden spelar större roll än parametrarna

Ställ de två sida vid sida och den intuitiva tolkningen är att en 74B-modell slår en 26B-modell. Den tolkningen är förmodligen korrekt i det här fallet, och det är inte heller den intressanta delen, eftersom de två modellerna ombeds göra olika saker med samma 24 GB.

• Parametrar — Bolt 74B totalt, 9B aktiva per token. Gemma 4 26B A4B: 25,2B totalt, 3,8B aktiva per token.

• Arkitektur — Bolt: Mamba-2–Transformer-hybrid LatentMoE med en C-RADIO v4-H visionskodare. G​emma: hybrid MoE med lokal/global attention och ett visionstorn samt, på andra storlekar i familjen, ljud.

• Lagrad precision – Bolt levereras inbyggt vid 2,0625 bitar per expertvikt. G​emmas repository är 16-bitars, med 4-bitars- och kvantiseringsmedvetna träningsbyggen publicerade separat.

• Kontext — Bolt upp till 256 000 tokens. Gemma 4 26B A4B: 256 000 tokens. Den här raden är oavgjord, vilket förvånar folk som antar att 2-bitarsmodellen offrade något här. Det gjorde den inte.

• Indata – Bolt tar emot text, bilder och video. Gemma 4 26B A4B tar emot text och bilder; video kommer in som bildrutor, och ljud är begränsat till de mindre familjemedlemmarna.

• Licens — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, med G​oogles policy för förbjuden användning vid sidan om.

• Spekulativ avkodning — Bolt levererar en LiLiCorr-draftmodell, kopplad via DFlash med sju spekulativa tokens i NVIDIAs referensrecept. Gemma 4 26B A4B har ingen leverantörstillhandahållen draftmodell; prediktion av flera tokens förekommer i community-fintunade modeller snarare än i basutgåvan.

Den praktiska konsekvensen av precisionsraden är att Bolts nedladdning redan är den lilla. Det finns ingen ytterligare 2-bitarsversion att hitta, eftersom 2-bitarsversionen är modellen. Gemmas 26B är en 16-bitars checkpoint som du förväntas komprimera, och 4-bitarsversionen som de flesta faktiskt kommer att serva är någons konvertering av den.

Där den mindre modellen är det bättre köpet

NVIDIAs egen tabell ger Gemma två saker värda att ta på allvar. AA-Omniscience-noggrannheten gynnar Gemma med 22,17 mot 16,90, och den ärliga tolkningen av det är att 2-bitarskomprimeringen hade en mätbar negativ inverkan på faktamässig återkallning även efter destillering. Den som har en encyklopedisk snarare än agentisk arbetsbelastning bör lägga stor vikt vid den raden.

Licensiering är den andra. Apache 2.0 är det minst belastade alternativet som finns för kommersiell driftsättning, och OpenMDW-1.1, även om den är skriven för att vara permissiv och uttryckligen godkänd av NVIDIA för kommersiellt bruk, är ett nyare instrument med mindre litteratur kring det och inga domstolsavgöranden som tolkar det. Juridiska team har sett en av dessa tidigare men inte den andra.

Det tredje är mognad. Gemma 4 26B A4B har varit nedladdningsbar sedan mars och anropbar från en hostad slutpunkt sedan i våras. Kvantiserade byggen, finjusteringar, serveringsrecept och benchmark-reproduktioner finns alla. Bolts repository lades upp i oktober. Inget oberoende har publicerats om dess latens, och det finns inga community-kvantiseringar att falla tillbaka på eftersom det inte finns något att kvantisera.

För det fjärde, och lätt att missa: G​emmas syskonmodeller på 21B och lägre har inbyggt ljudstöd. Om pipelinen involverar tal är 26B A4B fel medlem i sin egen familj, och ingen N​emotron-modell är den rätta.

Vad var och en kostar att faktiskt hålla

Bolt har inget pris, och detta är inte ett förbiseende i data. Det finns ingen hostad slutpunkt för den någonstans, ingen mätbaserad avgift på Artificial Analysis modellsida för den, och ingen leverantör som tillhandahåller den. Att köra den innebär att äga maskinen, och NVIDIAs referensrecept är en helg snarare än en eftermiddag: en fastnaglad vLLM nightly-avbildning, b12x-kärnpaketet, en plugin för reasoning-parser som hämtas som en separat fil, och sedan explicita inställningar för v2-modellköraren, de linjära och MoE-backendarna, attention- och Mamba-backendarna, Mamba-cache-dtyper, chunkad prefill och en speculative-decoding-konfiguration som pekar på LiLiCorr-draftaren.

Gemma 4 26B A4B har ett pris på två ställen. Via den katalog vi routar listas google/gemma-4-26b-a4b-it till $0,06 per miljon input-tokens och $0,33 per miljon output, vid ett kontextfönster på 262 144 tokens, med en p50-tid till första token på omkring 2,8 sekunder — det är vår egen uppmätta siffra under de senaste sju dagarna, inte en leverantörs påstående. Artificial Analysis följer en annan leverantörsmix för samma modell och listar $0,10 in och $0,40 ut, vilket är den typ av spridning som säger att priset är en egenskap hos endpointen och inte hos vikterna. Båda siffrorna är ärliga; de är priser på olika saker.

OrcaRouter lägger modellerna vi dirigerar bakom en enda nyckel till leverantörens listpris med 0 procents påslag, så en leverantörsprissänkning på en dirigerad modell slår igenom hos oss samma dag, och automatisk redundansväxling mellan leverantörer innebär att ett kapacitetsproblem uppströms görs om i stället för att exponeras för dina användare. Vi är inte värd för någon N​emotron-checkpoint – katalogen kontrollerades i stället för att antas, och familjen finns inte med i den – så på den här sidan täcker dessa garantier G​emma-halvan av jämförelsen och inget annat. Vad de är värda i praktiken är ett sätt att prova den mindre modellen på verklig trafik utan ett andra avtal, medan du bestämmer om den större är värd hårdvaran.

Att välja mellan en fil och en tjänst

Den här jämförelsen är inte jämn kapacitetsmässigt, och det är inte meningen att den ska vara det. Bolt är en större, mer kapabel modell som har komprimerats hårt och inte går att hyra. Gemma 4 26B A4B är en något svagare modell som du kan hyra idag, och vars svagheter dokumenteras av personer som inte har något att vinna på den.

Välj Bolt om arbetsbelastningen omfattar skärmdumpar, PDF-filer, videobildrutor eller en webbläsare, om den måste köras utan nätverk, och om en maskin med en accelerator av Blackwell-klass redan finns i rummet. Acceptera att det är du som kommer att upptäcka dess genomströmning, eftersom ingen har publicerat den. Välj Gemma 4 26B A4B om du vill ha en text- och bildmodell som du kan betala för per miljon tokens i eftermiddag, om du behöver Apache 2.0, eller om faktamässig återgivning över en bred uppsättning frågor spelar större roll än att slutföra agentiska uppgifter.

Mätningen som skulle avgöra saken är den som ingen har gjort: en oberoende körning av genomströmning och latens på 24GB-checkpointen, och en oberoende omkörning av N​VIDIAs tabell med G​emma kvantiserat till samma 4 bitar som leverantören säger sig ha valt. Tills dessa finns vilar argumentet för Bolt på en leverantörstabell och ett parameterantal, och argumentet för G​emma vilar på ett års resultat från andra.

Jämförelser som den här är också där fellägena visar sig: de dokumenterade AI-incidenterna och agentfelen bakom modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensgrad och flagga för omstridd status.