ZoomGain-9B vs Gemma 4 12B: de rij die ontbreekt in de benchmark

Bij de release werden achtentwintig modellen gescoord op de ZoomGain-benchmark. Vier closed-source-frontiersystemen, vier agentische visiemodellen, vier fijnmazige specialisten en zestien open generalisten. G​emma zit daar niet bij — niet G​emma 4 12B, niet Gemma 4 31B, en geen model uit de E-serie. Dat ontbreken is veruit het meest bruikbare feit bij het vergelijken van ZoomGain-9B en G​emma 4 12B, want het betekent dat elke "ZoomGain vs G​emma"-tabel die je zou kunnen bouwen een gat heeft, en dit stuk gaat over wat de twee modellen werkelijk zijn in plaats van over een getal dat niet bestaat.

De twee liggen qua grootte dicht genoeg bij elkaar om de vergelijking uit te lokken, maar qua doel ver genoeg uit elkaar om die misleidend te maken. ZoomGain-9B is een 9B visie-taal-checkpoint van inclusionAI, verder getraind met reinforcement learning op 9.000 crop-mined vragen, uitgebracht op 10 november 2026 met een paper maar zonder aankondiging. G​emma 4 12B is het 11,95B encoder-vrije uniforme multimodale model van G​oogle DeepMind, gepubliceerd op 23 mei 2026, Apache 2.0, met 1,8 miljoen downloads en 1.730 likes in de afgelopen maand. De ene is een onderzoeksinstrument met één gedemonstreerde capaciteit. De andere is een product met een licentie, een documentatieset, zes kwantisaties en een half jaar communitygebruik.

Wat elk ervan eigenlijk is

Gemma 4 12B is het interessante architecturale lid van de Gemma 4-familie. De E2B-, E4B- en 31B-modellen gebruiken speciale encoders — een visiontoren van ongeveer 150M parameters op de kleine modellen, ongeveer 550M op de 31B — en geven embeddings door aan het taalmodel. De 12B doet dat niet. Het projecteert ruwe afbeeldingspatches en audiogolfvormen rechtstreeks in de embeddingruimte van de decoder via lichtgewicht lineaire lagen, wat "Unified" betekent in zijn naam, en dat is de reden dat audio-ondersteuning op dit model bestaat en niet op de 31B.

Zijn vorm: 48 lagen, verborgen grootte 3.840, tussenliggende 15.360, 16 query-heads tegenover 8 KV-heads bij head-dimensie 256, een vocabulaire van 262.144 tokens en 262.144 maximale posities. Veertig van zijn achtenveertig lagen zijn sliding-window-attention bij 1.024 tokens; acht zijn full attention, en de laatste laag is altijd globaal. Drie invoermodaliteiten, tekstuitvoer, 256K-context en een native systeemrol.

ZoomGain-9B is andersom gebouwd. De teksttrunk is Qwen3.5-9B — 32 lagen, hidden 4.096, intermediate 12.288, een 3:1-schema van lineaire naar volledige attention, 262.144 maximale posities — met een vision tower die door het basismodel is aangebouwd in plaats van hier te zijn bedacht. Bovenop die trunk hebben de auteurs GRPO gedraaid op 9.000 vragen waarvan de antwoorden afhangen van details die alleen zichtbaar zijn als je inzoomt op een regio. Het model is niet getraind als algemene assistent en wordt ook niet als zodanig gepresenteerd.

• Parameters — G​emma 4 12B 11.95B vs ZoomGain-9B ongeveer 9,4B (18,82 GB in BF16 tegenover de bestandsgrootte van de 12B).

• Modaliteiten — Gemma 4 12B ondersteunt tekst, afbeelding, video en audio; ZoomGain-9B ondersteunt tekst en afbeelding. Audio is geen hiaat in de implementatie van ZoomGain; het ontbreekt in de configuratie ervan.

• Context — G​emma 4 12B documenteert 256K. De kaart van ZoomGain-9B documenteert niets; de config erft 262.144 posities van de Qwen3.5-9B-trunk, wat niet hetzelfde is als een geteste eigenschap van het fijn afgestemde checkpoint.

• Licentie — G​emma 4 12B Apache 2.0 met een genoemd licentiebestand. ZoomGain-9B: code Apache 2.0, checkpointvoorwaarden uitgesteld naar een kaart die geen licentietag heeft.

• Distributie — Gemma 4 12B wordt geleverd als BF16, QAT q4_0 GGUF van 6,98 GB met een projector van 0,18 GB, en builds van ggml-org, unsloth en litert; ZoomGain-9B wordt geleverd als BF16 plus GGUF in F16, Q8_0 en Q4_K_M vanaf 11 november.

• Documentatie — G​emma 4 12B heeft een lanceringsblog, een technisch rapport, cookbooks voor frameworks en een licentepagina. ZoomGain-9B heeft een paper, een repository en een kaart waarin geen contextlengte wordt vermeld.

Waarom de ontbrekende rij geen vergissing is die je weg kunt wuiven

De ZoomGain-benchmark is ontworpen om één falen bloot te leggen: een model dat een klein detail binnen een groot kader niet kan onderscheiden. De auteurs beoordelen attribuutherkenning, tellen en OCR op 1.000 vragen en 941 afbeeldingen, in het Engels en Chinees, met exacte overeenkomst bij meerkeuzevragen en bij gehele getallen, en ANLS met een ondergrens van 0,7 voor OCR. Op die test haalt het beste van achtentwintig modellen 61,08, en slechts vijf komen boven de 50 uit.

Gemma 4 12B is er niet op gedraaid. Ook geen andere Gemma. Dat laat je met twee opties achter, en slechts één daarvan is eerlijk. Je kunt Gemma's MMMU Pro 69.1 en MATH-Vision 79.7 naast het held-out-gemiddelde van 66.10 van ZoomGain zetten en dat een vergelijking noemen, maar dan vergelijk je een brede multimodale suite met een gemiddelde van dertien perceptiebenchmarks, wat een getal oplevert zonder betekenis. Of je kunt zeggen wat waar is: niemand heeft deze twee op dezelfde meetlat gelegd, en als de vraag voor jou ertoe doet, de benchmark is downloadbaar en je kunt hem zelf in een middag draaien.

De tweede optie is goedkoper dan ze klinkt. ZoomGainBench wordt geleverd als annotaties, afbeeldingen en een evaluator; de evaluatie gebruikt een OpenAI-compatibel endpoint of een lokaal checkpoint, draait op temperatuur 0 met denken uitgeschakeld, en rapporteert resultaten per vraag. G​emma 4 12B draait onder vLLM of llama.cpp. Dat is een echte rechtstreekse vergelijking die je zou kunnen produceren, en het feit dat de auteurs van de benchmark geen G​emma hebben opgenomen, is op zichzelf informatief — het model was zes maanden beschikbaar voordat deze benchmark werd gepubliceerd.

Waar Gemma 4 12B de cijfers heeft, en wat ze betekenen

Dit zijn Googles eigen cijfers uit de modelkaart, niet gereproduceerd door een neutraal lab:

• MMMU Pro 69.1 — de multimodale redeneersuite, en het dichtst bij een claim over visuele competentie dat op G​emma's kaart staat.

• MATH-Vision 79.7 — wiskundig redeneren over diagrammen en afbeeldingen.

• OmniDocBench 1.5 gemiddelde bewerkingsafstand 0,164 — documentparsering, waarbij lager beter is; de 31B bereikt 0,131.

• MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 77.5 zonder hulpmiddelen — de tekstkant, waarop ZoomGain-9B helemaal geen aanspraak maakt.

• τ² gemiddelde 69,0 en native functieaanroepen — agentisch toolgebruik.

• MRCR v2 eight-needle bij 128K, 43,4% — retrieval over lange context, en het cijfer dat de 256K-headline het meest ondergraaft.

De laatste verdient nadruk. Een contextvenster van 256K is geen 256K aan bruikbare attention, en het feit dat Google een retrievalscore publiceert die bij 128K daalt tot 43,4%, getuigt van meer openhartigheid dan de meeste modelkaarten bieden. Als je werklast erin bestaat om 'één feit in een groot document te vinden', is het venster van Gemma 4 12B echt, maar de recall op diepte is matig, en er bestaat geen equivalente meting voor ZoomGain-9B, omdat er geen lang-context-evaluatie op is uitgevoerd.

Waar ZoomGain-9B de cijfers heeft, en het voorbehoud dat aan elk daarvan kleeft

Alles door de auteurs gerapporteerd, op de vrijgegeven harness:

• HR-Bench 4K 90,25, een stijging ten opzichte van 82,13 voor de Qwen3.5-9B waarvan het afkomstig is. Perceptie op hoge resolutie, en de belangrijkste claim van deze release.

• V*Bench 93,19, een stijging van 86,91. Detectie van kleine objecten in rommelige scènes.

• MMVP 70,00, tegenover 60,00. De test met gepaarde afbeeldingen waarbij twee bijna identieke foto's verschillende juiste antwoorden hebben — het dichtstbijzijnde bestaande equivalent van waarop ZoomGain is getraind.

• ZoomGainBench 55,48, een stijging ten opzichte van 32,13. De held-in-kolom is door de opzet opgeblazen, en dat zeggen de auteurs ook.

• Hold-outgemiddelde van 66,10 op dertien benchmarks, tegen 59,75 daarvoor. Het getal dat ertoe doet.

De kanttekeningen, gerangschikt naar hoeveel zorgen ze je zouden moeten baren. Ten eerste heeft niemand buiten de auteurslijst ook maar iets ervan gereproduceerd. Ten tweede komen de benchmark en de trainingsdata uit één pipeline, en daarom sluit het artikel zijn eigen benchmark uit van het gemiddelde op de held-outset — een discipline die lof verdient. Ten derde bestaat de trainingsset uit 9.000 records, klein genoeg dat de verbeteringen beperkt kunnen zijn, zelfs waar ze echt zijn. Ten vierde heeft het model geen gehost endpoint en, op het moment van schrijven, een lege provider mapping op de Hub.

Kosten, in de termen die er echt over beslissen

Gemma 4 12B bij QAT q4_0 is 6,98 GB plus een projector van 0,18 GB. Dat past met ruimte over op een 16 GB-laptop en met enige inspanning op een 8 GB-kaart. ZoomGain-9B bij Q4_K_M is 5,63 GB plus 0,52 GB projector; bij Q8_0 is het 9,53 GB plus 0,62 GB. De 9B is bij elke precisie de kleinere download, omdat het het kleinere model is, en de stam met veel lineaire aandacht betekent een kortere KV-cache bij lange sequentielengtes, wat uitmaakt als je er afbeeldingen met hoge resolutie in stopt in plaats van lange tekst.

Geen van beide kan vandaag via ons worden aangeroepen. G​emma 4 12B staat niet in de OrcaRouter-catalogus, en ZoomGain-9B ook niet, dus eerlijk gezegd zijn het beide beslissingen voor self-hosting of een leveranciers-API. Wat we wél hosten is Gemma 4 26B A4B voor $0,06 per miljoen inputtokens en $0,33 per miljoen output met een contextvenster van 262K — dezelfde familie, vier keer het actieve parameterbudget, en een legitieme manier om uit te zoeken of G​emma's profiel voor documentparsing bij je pipeline past voordat je iets downloadt. Eén sleutel dekt dat en meer dan 200 andere modellen tegen lijstprijs zonder opslag, dus een bake-off tussen een vision-endpoint en een goedkoop tekstmodel kost één middag in plaats van drie contracten.

Kies op functie, niet op rang

Als de taak een klein detail in een grote afbeelding is — een serienummer op een apparaat, de tekst op een verafgelegen bord, de kleur van één object tussen veertig, het tellen van de ramen op een gevel — dan is ZoomGain-9B degene die daarvoor is gebouwd, met de kanttekening dat het bewijs dat het levert zelfgerapporteerd is en dat de licentie aandachtig gelezen moet worden. De architectuur is geoptimaliseerd voor precies de faalmodus die u tegenkomt.

Als de taak iets anders visueels is — een document van meerdere pagina's lezen, een scène beschrijven, een vraag over een grafiek beantwoorden, audio én afbeeldingen verwerken, daarna een functie aanroepen — is G​emma 4 12B het afgewerkte product, en is de vergelijking niet meer close. Het heeft pretraining in 140 talen, native tool calling, een venster van 256K met een gepubliceerde retrievalcurve, zes kwantisaties en een licentie die je zonder uitleg aan de juridische afdeling kunt overhandigen.

Als de taak beide is, is het eerlijke antwoord dat deze twee lagen van één pijplijn zijn in plaats van alternatieven. De realistische documentagent van 2026 parseert met een algemeen multimodaal model en escaleert de uitsneden die ertoe doen naar een perceptiespecialist — en in die escalatie zit de interessante engineering, want dat betekent beslissen wanneer een detail een tweede aanroep waard is. Dat is een routeringsprobleem, en daarom vinden we het belangrijk: een regel die de goedkope aanroep naar het goedkope model stuurt en de escalatie naar welk endpoint dan ook dat aan uw eisen voldoet, is één configuratiewijziging, en failover betekent dat een vastgelopen specialist de pijplijn niet blokkeert.

Het oordeel, verwoord in de vorm die het bewijs ondersteunt

G​emma 4 12B is de veiligere aankoop volgens elke maatstaf die geen perceptiebenchmark is: licentie, documentatie, distributie, breedte, community, en het feit dat G​oogle cijfers publiceert waar je over kunt discussiëren. ZoomGain-9B is het interessantere model, en waarschijnlijk het betere hulpmiddel voor één specifieke taak, op basis van bewijs dat nog niet is gecontroleerd door iemand die de paper niet heeft geschreven.

De juiste volgende stap hangt ervan af met welke van die zinnen je het eens bleek te zijn. Als het de eerste was, download de QAT GGUF en stop met lezen. Als het de tweede was, download ZoomGainBench samen met de gewichten — 941 afbeeldingen, 1.000 vragen, een evaluator en een getal dat je zelf kunt produceren — en laat G​emma erdoorheen lopen. Je zou dan de eerste persoon zijn die dat heeft gedaan, en je zou iets over beide modellen weten wat geen van beide leveranciers momenteel weet.