Nanbeige4.3-33B vs Gemma 4 31B: Vad en 33-poängskillnad i leverantörstabellen egentligen innebär

I Nanbeige4.3-33B:s egen benchmarktabell får Gemma 4 31B 0,0 på Terminal-Bench 4.0. Det är raden man ska börja med, eftersom den visar hur man ska läsa alla andra siffror i den här jämförelsen. Gemma 4 31B är Google DeepMinds släpp med öppna vikter på 30,7 miljarder parametrar, nedladdningsbart under Apache 2.0 sedan 2 april 2026, och Googles eget material tillskriver den 86,4 på τ²-bench tool use och 80,0 på LiveCodeBench v6. Det är inte så att en sådan modell misslyckas med varje terminaluppgift som finns. En nolla är vad man får när ett benchmark inte kan skilja på "kunde inte" och "fick aldrig en fungerande verktygsloop".

Nanbeige4.3-33B är däremot två dagar gammal. Dess repository skapades den 24 oktober 2026 kl. 02:49 UTC, dess modellkort är det enda tillkännagivande Nanbeige har gjort, och tabellen med 20 rader på det kortet är den enda källan till varje siffra som för närvarande cirkulerar om den. Gemma 4 31B förekommer i den tabellen som en av tre jämförelsekolumner. Inget oberoende labb har kört dessa två modeller mot varandra, och ingen av leverantörerna har benchmarkat den andra utanför denna enda tabell. Så den ärliga versionen av denna matchning är inte en resultattavla. Det är ett argument om vilka rader som klarar granskning och vilka som mäter testriggen.

Vad varje modell faktiskt är

De två releaserna ligger sex och en halv månad ifrån varandra, och designantagandena visar det.

• Parametrar — Nanbeige4.3-33B är 33,1B dense (33 118 977 024 i BF16), varje parameter aktiv på varje token. Gemma 4 31B är 30,7B dense. Ingen av dem är en mixture of experts, så genomströmningen skalas med det fulla antalet vikter på båda sidor.

• Kontext — Nanbeige4.3-33B levereras med 524 288 token inbyggt. Gemma 4 31B levereras med 262 144. Båda är ovanligt stora för parameterklassen; Nanbeiges är dubbelt så stor.

• Modalitet – Nanbeige4.3-33B har text som indata och text som utdata, på engelska och kinesiska. Gemma 4 31B tar emot både bilder och text, är förtränad på över 140 språk och levereras med inbyggt funktionsanrop och ett konfigurerbart tankeläge.

• Licens — båda är Apache 2.0. Detta är den sällsynta jämförelsen där licensfrågan är avgjord innan du börjar.

• Vikter på disk – Nanbeige4.3-33B är cirka 66 GB i BF16 och ungefär 20 GB vid 4-bit. Gemma 4 31B ligger i samma intervall. Ingen av dem är en laptopmodell; båda är modeller för en enskild arbetsstation eller en enda nod.

Det enda som inte är i närheten är distributionen. Gemma 4 31B har ett hanterat API, en endpoint som Artificial Analysis för närvarande listar till nollkostnad, och oberoende bevakning. Nanbeige4.3-33B har vikter, ett modellkort och – med kortets egna ord – ingen inferensleverantör som distribuerar det. Den asymmetrin är inte en bedömning av kvalitet, men den förändrar vad det kostar att ”prova det”.

Leverantörskolumnen och Googles eget kort stämmer inte överens

Två rader i Nanbeiges tabell kan kontrolleras mot Googles publicerade siffror, och endast en av dem stämmer.

• AIME 2026 — Nanbeige tillskriver Gemma 4 31B 89,2. Google rapporterar 89,2. Exakt matchning.

• GPQA Diamond — Nanbeige tillskriver Gemma 4 31B 91,3, och det är den enda raden där Gemma slår Nanbeiges egen 89,5. Googles publicerade siffra för modellen är 84,3. Det är en skillnad på sju punkter, och inget av korten förklarar vilken konfiguration som ligger bakom den.

Den andra raden förtjänar uppmärksamhet eftersom det är den enda platsen där leverantörens tabell ger motståndaren en vinst. Om siffran kommer från en ny körning med maximal tankeansträngning är det ett legitimt resultat och Gemma leder genuint när det gäller naturvetenskapliga frågor på forskarutbildningsnivå. Om den kommer från en utvärdering med annan konfiguration jämför tabellen två olika Gemma-modeller. Hur som helst vilar formuleringen "Gemma vinner GPQA", som har upprepats i alla sekundära artiklar den här veckan, på en siffra som Google inte publicerar.

Resten av Gemma-kolumnen är svårare att granska eftersom Google rapporterar andra benchmarkresultat. Nanbeiges tabell anger Gemma till 18,6 på Tau3-Bench; Googles modellkort anger 86,4 på τ²-bench. Det är olika versioner av benchmarkfamiljen, så de motsäger inte varandra – men de är inte heller en jämförelse, och gapet på 68 punkter mellan dem är en rimlig uppskattning av hur mycket valet av harness och version kan förändra en enskild modells resultat.

Att läsa nollorna korrekt

Tre rader i Gemma-kolumnen ligger nära noll: 0,0 på Terminal-Bench 4.0, 2,7 på DeepSWE och 3,3 på SWE-Atlas-QnA. Det är dessa rader som sprids på sociala medier, och de är de minst informativa siffrorna i tabellen.

Ett nästan nollresultat på ett agentiskt benchmark har minst tre möjliga orsaker: modellen kan inte slutföra uppgiften, modellen kan inte styra de verktyg som testramen tillhandahåller, eller så var testramen inställd för en annan chattmall och ett annat verktygsanropsformat. Nanbeiges modellkort är explicit med att dess egna resultat använde Terminus 2 för Terminal-Bench 2.1 och mini-swe-agent v2.4.6 för Terminal-Bench 4.0, DeepSWE och SWE-Atlas-QnA. Det står inte om Gemma 4 31B fick samma scaffold med sitt eget verktygsanropsformat, eller placerades i Nanbeiges XML-orienterade variant. Dessa ger mycket olika siffror, och bara en av dem handlar om modellen.

Detta är inte ett skäl att avfärda Nanbeiges resultat. Nanbeige4.3-33B byggdes kring agentisk kodning – dess modellkort rekommenderar ett XML-format för verktygsanrop, preserve_thinking=true för verktygsanvändning över flera turer och en temperatur på 1,0 för agentiska uppgifter – så det är inte förvånande att den presterar bra i en harness byggd för den. Det är ett skäl att behandla Gemma-kolumnen som en nedre gräns snarare än en dom.

Asymmetribenchmarkarna prissätter inte: bilder

Gemma 4 31B tar emot bilder. Nanbeige4.3-33B gör det inte. Den där enda meningen avgör fler verkliga driftsättningar än någon rad i tabellen.

Om din agent läser skärmbilder, fakturor, diagram, skannade formulär eller UI-tillstånd är Nanbeige4.3-33B inte en kandidat oavsett benchmarkpoäng. Du skulle behöva en separat extraktionsmodell framför den, med egen latens, kostnad och egna felmoder, och då skulle pipelinens kvalitet vara extraktionsmodellens kvalitet i stället för 33B:ans. Gemma gör det steget inbyggt, och Googles publicerade MMMU-Pro på 76,9 och MATH-Vision på 85,6 tyder på att den gör det kompetent snarare än ceremoniellt.

Omvänt, om arbetet enbart är text — kod, loggar, långa dokument, verktygsspår över flera turer — är bildkapaciteten död vikt som du betalar för i varje framåtpassning. Det är just ett sådant fall som Nanbeige är byggt för, och det utgör en stor del av agentiskt arbete.

512K mot 256K, och vad ett fönster är till för

Nanbeiges 524 288-tokenfönster är dubbelt så stort som Gemmas 262 144, och båda siffrorna är tillräckligt stora för att skillnaden bara ska spela roll i specifika typer av arbete.

Ett fönster på 256K rymmer ungefär lika mycket källkod som ett medelstort kodförråd, eller flera hundra sidor text. Ett fönster på 512K rymmer dubbelt så mycket. För ett enda långt dokument plus ett långt svar räcker båda; för en agent som samlar verktygsutdata över hundratals turer ger det större fönstret dig fler turer innan sammanfattning eller utträngning. Nanbeiges kort rekommenderar upp till 262 144 nya tokens för resonemang och chatt, vilket antyder att den praktiska resonemangsbudgeten ligger närmare 256K än hela 512K. Gemmas utdatatak konfigureras vanligen till 131 072.

Ingen av leverantörerna publicerar något benchmark för återkallning i långa kontexter här, så det finns inget ärligt sätt att säga vems 512K eller 256K som utnyttjas bättre. Kontextstorlek är ett kapacitetspåstående, inte ett kvalitetspåstående, och båda korten nöjer sig med det.

Vad det kostar att ringa var och en

Gemma 4 31B är den enda av dessa två som du kan anropa som en tjänst idag. På OrcaRouter kostar den $0.13 per miljon indatatoken och $0.38 per miljon utdatatoken, med cachad indata på $0.02 – en direkt vidarebefordran av leverantörens listpris utan påslag, vilket också är anledningen till att en prisändring från leverantören når vår katalog samma dag som den annonseras. Artificial Analysis listar för närvarande Googles egen slutpunkt till $0.00 in och $0.00 ut, vilket nästan säkert återspeglar en kampanj- eller gratisnivå snarare än ett hållbart pris; betrakta det som en testkanal, inte en budgetpost.

Nanbeige4.3-33B har inget pris per token att ange. Vikterna är gratis under Apache 2.0, och modellkortet anger att ingen inferensleverantör driftsätter modellen. Att köra den innebär fyra GPU:er med tensor-parallell storlek 4 enligt modellkortets egna recept för vLLM och SGLang, hållna öppna oavsett om förfrågningar anländer. Marginalkostnaden för en token är då din el och din utnyttjandegrad, inte en prislista. Den som jämför "$0.13 för indata" mot "gratis" jämför en räkning med en kapitalutgift.

Detta är också det praktiska argumentet för att behålla en router i loopen även när den nya modellen är självhostad. Beslutet som de flesta team faktiskt står inför är inte "ersätt Gemma" utan "skicka 5 % av trafiken till det nya och se vad som händer". Att hålla den befintliga lösningen nåbar via en enda nyckel, med automatisk failover om experimentets endpoint läggs ned, gör det till en routingändring i stället för en migrering.

När Gemma 4 31B helt enkelt är rätt svar

Fyra villkor avgör detta utan en jämförelsetabell.

Arbetsbelastningen omfattar bilder, PDF-filer eller skärmbilder. Gemma, utan diskussion.

• Du behöver mer än engelska och kinesiska. Gemma var förtränad på 140+ språk; Nanbeige listar två.

• Du vill inte äga GPU:er. Gemma har en hanterad slutpunkt i dag; Nanbeige har vikter och ett recept för driftsättning.

• Du behöver en andra åsikt om kvaliteten. Gemma har ett Artificial Analysis Intelligence Index på 15, vilket är blygsamt men oberoende. Nanbeige har ingen post där alls, så varje siffra om det är leverantören som rättar sin egen läxa.

Omvänt är Nanbeige-fallet lika tydligt: textbaserat agentiskt arbete, ett långt verktygsspår, ett team med GPU:er och en vilja att köra dess rekommenderade XML-verktygsformat. För den typen av arbete hävdar Nanbeiges egen tabell en ledning på 33,7 punkter i Terminal-Bench 2.1 – 80,9 mot 47,2 – och en ledning på 62,8 punkter i DeepSWE. Marginalerna är tillräckligt stora för att de förmodligen innehåller en verklig signal även efter att man justerat för fördelar i testramverket. De är inte tillräckligt stora för att satsa en produktionsväg på dem utan att själv köra en.

En bakningstävling på eftermiddagen slår det här bordet

Om du verkligen väljer mellan dem är testet billigt och det kräver inte att du tror på någon av leverantörerna. Ta tjugo verkliga uppgifter från dina egna agentloggar. Kör varje modell med sitt eget rekommenderade format för verktygsanrop och sina egna inställningar för tänkande – XML för Nanbeige, inbyggt funktionsanrop för Gemma – och poängsätt uppgiftslösning, inte likhet med benchmark. Logga token som förbrukas per slutförd uppgift, eftersom en dense 33B och en dense 30.7B kommer att skilja sig i ordrikedom även vid identiska priser per token.

Det du får veta under en eftermiddag är huruvida Nanbeiges agentiska marginal överlever dess egen harness-fördel. Till dess att någon publicerar det är den försvarbara sammanfattningen snävare än rubrikerna: Gemma 4 31B är den mer driftsättningsbara modellen och den enda med en oberoende poäng; Nanbeige4.3-33B är den mer ambitiösa, med ett inbyggt 512K-fönster och en uppsättning självrapporterade agentiska siffror som är slående, ogranskade och två dagar gamla.