Nanbeige4.3-33B vs Gemma 4 31B: Wat een kloof van 33 punten in de leverancierstabel echt betekent

In Nanbeige4.3-33B's eigen benchmarktabel scoort Gemma 4 31B 0,0 op Terminal-Bench 4.0. Dat is de rij om mee te beginnen, want die vertelt je hoe je elk ander getal in deze vergelijking moet lezen. Gemma 4 31B is Google DeepMind's open-weight release met 30,7 miljard parameters, sinds 2 april 2026 downloadbaar onder Apache 2.0, en in Google's eigen materiaal krijgt het 86,4 op τ²-bench tool use en 80,0 op LiveCodeBench v6. Zo'n model faalt niet bij elke terminaltaak die bestaat. Een nul is wat je krijgt wanneer een benchmark geen onderscheid kan maken tussen 'kon niet' en 'kreeg nooit een werkende tool-loop aangereikt'.

Nanbeige4.3-33B is daarentegen twee dagen oud. De repository ervan is aangemaakt op 24 oktober 2026 om 02:49 UTC, de modelkaart is de enige aankondiging die Nanbeige heeft gedaan, en de tabel met 20 rijen op die kaart is de enige bron voor elk getal dat er momenteel over circuleert. Gemma 4 31B staat in die tabel als een van drie vergelijkingskolommen. Geen enkel onafhankelijk lab heeft deze twee modellen tegen elkaar laten draaien, en geen van beide leveranciers heeft de ander gebenchmarkt buiten deze ene tabel. De eerlijke versie van deze onderlinge vergelijking is dus geen scorebord. Het is een betoog over welke rijen de toets der kritiek doorstaan en welke eigenlijk het testharnas meten.

Wat elk model daadwerkelijk is

De twee releases liggen zes en een halve maand uit elkaar, en dat is aan de ontwerpaannames te zien.

• Parameters — Nanbeige4.3-33B is 33,1B dense (33.118.977.024 in BF16), elke parameter actief op elke token. Gemma 4 31B is 30,7B dense. Geen van beide is een mixture of experts, dus de doorvoer schaalt aan beide kanten met het volledige aantal gewichten.

• Context — Nanbeige4.3-33B levert native 524.288 tokens. Gemma 4 31B levert 262.144. Beide zijn ongewoon groot voor deze parameterklasse; die van Nanbeige is dubbel zo groot.

• Modaliteit — Nanbeige4.3-33B is tekst in, tekst uit, Engels en Chinees. Gemma 4 31B accepteert zowel afbeeldingen als tekst, is voorgetraind op 140+ talen en wordt geleverd met native functieaanroepen en een configureerbare denkmodus.

• Licentie — beide zijn Apache 2.0. Dit is de zeldzame vergelijking waarbij de licentievraag al is beslecht voordat je begint.

• Gewichten op schijf — Nanbeige4.3-33B is ongeveer 66GB in BF16 en ruwweg 20GB bij 4-bit. Gemma 4 31B zit in dezelfde band. Geen van beide is een laptopmodel; beide zijn modellen voor één workstation of één node.

Het enige dat niet vergelijkbaar is, is distributie. Gemma 4 31B heeft een beheerde API, een endpoint dat Artificial Analysis momenteel als kosteloos vermeldt, en onafhankelijke coverage. Nanbeige4.3-33B heeft gewichten, een modelkaart en — in de woorden van de kaart zelf — geen inferenceprovider die het inzet. Die asymmetrie is geen kwaliteitsoordeel, maar ze verandert wat "het uitproberen" kost.

De leverancierskolom en Google's eigen kaart komen niet overeen.

Twee rijen in de tabel van Nanbeige kunnen worden vergeleken met de gepubliceerde cijfers van Google, en slechts één ervan komt overeen.

• AIME 2026 — Nanbeige schrijft Gemma 4 31B 89,2 toe. Google rapporteert 89,2. Exacte overeenkomst.

• GPQA Diamond — Nanbeige schrijft Gemma 4 31B een score van 91.3 toe, en dat is de enige rij waarop Gemma Nanbeige's eigen 89.5 verslaat. Het door Google gepubliceerde cijfer voor het model is 84.3. Dat is een verschil van zeven punten, en geen van beide modelkaarten verklaart de configuratie erachter.

Die tweede rij verdient aandacht, want het is de enige plek waar de leverancierstabel de tegenstander een overwinning schenkt. Als het getal afkomstig is uit een nieuwe run met maximale denkinspanning, is het een legitiem resultaat en leidt Gemma echt op het gebied van wetenschapsvragen op masterniveau. Als het afkomstig is uit een anders geconfigureerde evaluatie, vergelijkt de tabel twee verschillende Gemma's. Hoe dan ook: de regel "Gemma wint GPQA" die deze week in elk secundair artikel is herhaald, berust op een cijfer dat Google niet publiceert.

De rest van de Gemma-kolom is moeilijker te controleren omdat Google andere benchmarks rapporteert. Nanbeiges tabel plaatst Gemma op 18,6 op Tau3-Bench; de kaart van Google plaatst het op 86,4 op τ²-bench. Dat zijn verschillende versies van de benchmarkfamilie, dus ze zijn niet met elkaar in tegenspraak — maar het is ook geen vergelijking, en het gat van 68 punten ertussen is een redelijke schatting van hoeveel de keuze van de harness en de versie de score van één model kan beïnvloeden.

De nullen correct lezen

Drie rijen in de Gemma-kolom liggen bijna op nul: 0,0 op Terminal-Bench 4.0, 2,7 op DeepSWE en 3,3 op SWE-Atlas-QnA. Dit zijn de rijen die de ronde doen op sociale media, en het zijn de minst informatieve getallen in de tabel.

Een bijna-nul op een agentbenchmark heeft minstens drie mogelijke oorzaken: het model kan de taak niet voltooien, het model kan de tools die de harness biedt niet aansturen, of de harness was afgestemd op een andere chattemplate en een ander tool-callformaat. De modelkaart van Nanbeige vermeldt expliciet dat de eigen resultaten Terminus 2 gebruikten voor Terminal-Bench 2.1 en mini-swe-agent v2.4.6 voor Terminal-Bench 4.0, DeepSWE en SWE-Atlas-QnA. Er staat niet in of Gemma 4 31B hetzelfde scaffold kreeg met zijn eigen tool-callformaat, of in Nanbeige's XML-georiënteerde variant werd gedropt. Die leveren heel verschillende cijfers op, en slechts één daarvan gaat over het model.

Dit is geen reden om Nanbeige's resultaat terzijde te schuiven. Nanbeige4.3-33B was gebouwd rond agentisch coderen — de kaart ervan adviseert een XML-tool-callformaat, preserve_thinking=true voor meerbeurtig toolgebruik, en een temperatuur van 1.0 voor agentische taken — dus het is niet verrassend dat het goed presteert binnen een harness die ervoor gebouwd is. Het is een reden om de Gemma-kolom als een ondergrens te beschouwen in plaats van als een eindoordeel.

De asymmetriebenchmarks prijzen niet: afbeeldingen

Gemma 4 31B verwerkt afbeeldingen. Nanbeige4.3-33B niet. Die ene zin is bepalender voor meer daadwerkelijke implementaties dan welke rij in de tabel dan ook.

Als je agent screenshots, facturen, grafieken, gescande formulieren of UI-statussen leest, is Nanbeige4.3-33B bij geen enkele benchmarkscore een kandidaat. Je zou er een apart extractiemodel voor nodig hebben, met zijn eigen latency, kosten en faalmodi, en de kwaliteit van de pipeline zou dan die van het extractiemodel zijn in plaats van die van de 33B. Gemma doet die stap native, en de door Google gepubliceerde scores van 76.9 op MMMU-Pro en 85.6 op MATH-Vision suggereren dat het dat bekwaam doet in plaats van ceremonieel.

Omgekeerd: als het werk alleen tekst is — code, logs, lange documenten, tooltraces over meerdere rondes — dan is de beeldcapaciteit dood gewicht dat je bij elke forward pass betaalt. Dat is precies het geval waarvoor Nanbeige is gebouwd, en dat is een groot deel van agentisch werk.

512K tegenover 256K, en waarvoor een venster dient

Nanbeige's 524.288-tokenvenster is twee keer zo groot als Gemma's 262.144, en beide getallen zijn groot genoeg dat het verschil alleen uitmaakt bij specifieke vormen van werk.

Een 256K-venster bevat ongeveer de hoeveelheid broncode van een middelgrote repository, of enkele honderden pagina's tekst. Een 512K-venster bevat twee keer zoveel. Voor één lang document plus een lang antwoord zijn beide voldoende; voor een agent die tool-output over honderden beurten verzamelt, levert het grotere venster meer beurten op voordat er samengevat of verdrongen wordt. De kaart van Nanbeige raadt tot 262.144 nieuwe tokens aan voor redeneren en chat, wat suggereert dat het praktische redeneerbudget dichter bij 256K dan bij de volledige 512K ligt. Het uitvoerplafond van Gemma wordt doorgaans ingesteld op 131.072.

Geen van beide leveranciers publiceert hier een long-context recall-benchmark, dus er is geen eerlijke manier om te zeggen wiens 512K of 256K beter wordt benut. Contextgrootte is een capaciteitsclaim, geen kwaliteitsclaim, en beide kaarten laten het daarbij.

Wat het kost om elk te bellen

Gemma 4 31B is de enige van deze twee die je vandaag als service kunt aanroepen. Bij OrcaRouter kost het $0,13 per miljoen inputtokens en $0,38 per miljoen outputtokens, met gecachte input voor $0,02 — een doorrekening van de lijstprijs van de provider zonder extra opslag, wat ook de reden is dat een prijswijziging van een leverancier onze catalogus bereikt op dezelfde dag dat deze wordt aangekondigd. Artificial Analysis vermeldt momenteel het eigen endpoint van Google op $0,00 voor input en $0,00 voor output, wat vrijwel zeker wijst op een promotie- of gratis tier in plaats van een duurzame prijs; behandel het als een proefkanaal, niet als een budgetpost.

Nanbeige4.3-33B heeft geen prijs per token om te noemen. De gewichten zijn gratis onder Apache 2.0, en de modelkaart vermeldt dat geen enkele inferentieprovider het model inzet. Het draaien ervan betekent vier GPU's met tensor-parallelgrootte 4 volgens de eigen vLLM- en SGLang-recepten van de modelkaart, continu opengehouden of er nu wel of geen verzoeken binnenkomen. De marginale kosten van een token zijn dan je elektriciteit en je benuttingsgraad, niet een tariefkaart. Wie "$0,13 invoer" met "gratis" vergelijkt, vergelijkt een rekening met een kapitaaluitgave.

Dit is ook het praktische argument om een router in de keten te houden, zelfs wanneer het nieuwe model self-hosted is. De beslissing waar de meeste teams feitelijk voor staan is niet "Gemma vervangen", maar "5% van het verkeer naar het nieuwe ding sturen en kijken wat er gebeurt". Door de gevestigde partij bereikbaar te houden via één sleutel, met automatische failover als het experimentele endpoint uitvalt, wordt dat een routeringswijziging in plaats van een migratie.

Wanneer Gemma 4 31B simpelweg het juiste antwoord is

Vier voorwaarden beslechten dit zonder een benchmarktabel.

• De werklast omvat afbeeldingen, pdf's of schermafbeeldingen. Gemma, zonder discussie.

• Je hebt meer nodig dan alleen Engels en Chinees. Gemma is vooraf getraind op meer dan 140 talen; Nanbeige vermeldt er twee.

• Je wilt geen GPU's bezitten. Gemma heeft vandaag een beheerd endpoint; Nanbeige heeft gewichten en een deploymentrecept.

• Je hebt een tweede mening nodig over kwaliteit. Gemma heeft een Artificial Analysis Intelligence Index van 15, wat bescheiden maar onafhankelijk is. Nanbeige staat daar helemaal niet in, dus elk cijfer erover is de leverancier die zijn eigen huiswerk nakijkt.

Keer die om, en de Nanbeige-case is net zo duidelijk: agentisch werk met alleen tekst, een lange tooltrace, een team met GPU's en de bereidheid om het aanbevolen XML-toolformaat te draaien. Op dat type werk claimt de eigen tabel van Nanbeige een voorsprong van 33,7 punt op Terminal-Bench 2.1 — 80,9 tegen 47,2 — en een voorsprong van 62,8 punt op DeepSWE. Die marges zijn groot genoeg om waarschijnlijk een echt signaal te bevatten, zelfs nadat je corrigeert voor het voordeel van de harness. Ze zijn niet groot genoeg om er een productiepad op te wedden zonder er zelf een te draaien.

Een bakwedstrijd in de middag is beter dan deze tafel

Als je echt tussen beide kiest, is de test goedkoop en vereist hij niet dat je een van beide leveranciers gelooft. Neem twintig echte taken uit je eigen agentlogs. Voer elk model uit met zijn eigen aanbevolen tool-call-indeling en denkinstellingen — XML voor Nanbeige, native functieaanroepen voor Gemma — en scoor taakvoltooiing, niet gelijkenis met benchmarks. Log de tokens die per voltooide taak worden verbruikt, want een dense 33B en een dense 30.7B verschillen in breedsprakigheid, zelfs bij identieke prijzen per token.

Wat je in een middag leert, is of de agentische marge van Nanbeige standhoudt tegenover het voordeel van zijn eigen harness. Totdat iemand dat publiceert, is de verdedigbare samenvatting beperkter dan de koppen: Gemma 4 31B is het beter inzetbare model en het enige met een onafhankelijke score; Nanbeige4.3-33B is het ambitieuzere model, met een native contextvenster van 512K en een reeks zelfgerapporteerde agentische cijfers die opvallend, niet geaudit en twee dagen oud zijn.