ZoomGain-9B vs Gemma 4 12B: Raden som saknas i benchmarken

Tjugoåtta modeller poängsattes på ZoomGain-benchmarken vid lanseringen. Fyra slutna frontier-system, fyra agentiska visionsmodeller, fyra specialister på finmaskiga uppgifter och sexton öppna generalister. G​emma finns inte bland dem – varken G​emma 4 12B, G​emma 4 31B eller någon i E-serien. Att den saknas är det enskilt mest användbara faktumet för jämförelsen mellan ZoomGain-9B och G​emma 4 12B, eftersom det innebär att varje ”ZoomGain vs G​emma”-tabell du skulle kunna bygga har ett hål i sig, och den här texten handlar om vad de två modellerna faktiskt är snarare än om en siffra som inte finns.

De två ligger tillräckligt nära varandra i storlek för att inbjuda till jämförelsen och tillräckligt långt ifrån varandra i syfte för att göra den missvisande. ZoomGain-9B är en 9B vision-språk-checkpoint från inclusionAI, eftertränad med förstärkningsinlärning på 9 000 crop-mined-frågor, släppt den 10 november 2026 med ett paper men utan tillkännagivande. Gemma 4 12B är Google DeepMinds encodersfria enhetliga multimodala modell på 11,95B, publicerad den 23 maj 2026, Apache 2.0, med 1,8 miljoner nedladdningar och 1 730 gillningar under den senaste månaden. Den ena är ett forskningsinstrument med en enda demonstrerad förmåga. Den andra är en produkt med licens, dokumentation, sex kvantiseringar och ett halvårs användning i communityt.

Vad var och en faktiskt är

Gemma 4 12B är den intressanta arkitektoniska medlemmen i Gemma 4-familjen. E2B-, E4B- och 31B-modellerna använder dedikerade kodare – ett visuellt torn på cirka 150M parametrar på de små, cirka 550M på 31B – och skickar embeddingar till språkmodellen. 12B gör det inte. Den projicerar råa bildpatcher och ljudvågformer direkt in i dekodarens embeddingutrymme via lätta linjära lager, vilket är vad "Unified" betyder i namnet, och det är anledningen till att ljudstöd finns på den här modellen och inte på 31B.

Dess form: 48 lager, dold storlek 3 840, mellanliggande storlek 15 360, 16 query-huvuden mot 8 KV-huvuden med huvuddimension 256, ett ordförråd på 262 144 token och 262 144 maximala positioner. Fyrtio av dess fyrtioåtta lager är sliding-window-attention vid 1 024 token; åtta är full attention, och det sista lagret är alltid globalt. Tre indatamodaliteter, textutdata, 256K kontext och en inbyggd systemroll.

ZoomGain-9B är byggd på omvänt sätt. Dess textstomme är Qwen3.5-9B – 32 lager, dold dimension 4 096, mellanliggande dimension 12 288, en 3:1-fördelning mellan linjär och full attention, maximalt 262 144 positioner – med ett visionstorn som basmodellen har monterat på i efterhand, snarare än uppfunnet här. Ovanpå den stommen körde författarna GRPO på 9 000 frågor vars svar beror på detaljer som bara syns när man zoomar in i en region. Modellen tränades inte som en allmän assistent och presenteras inte som en sådan.

• Parametrar — G​emma 4 12B 11,95B jämfört med ZoomGain-9B på ungefär 9,4B (18,82 GB i BF16 mot 12B-modellens filstorlek).

• Modaliteter — G​emma 4 12B hanterar text, bild, video och ljud; ZoomGain-9B hanterar text och bild. Ljud är inte en brist i ZoomGains implementering, det saknas i dess konfiguration.

• Kontext — G​emma 4 12B:s dokumentation anger 256K. ZoomGain-9B:s modellkort anger ingenting; dess konfiguration ärver 262 144 positioner från Qwen3.5-9B-stommen, vilket inte är samma sak som en testad egenskap hos den finjusterade checkpointen.

• Licens — Gemma 4 12B Apache 2.0 med en namngiven licensfil. ZoomGain-9B: kod under Apache 2.0, checkpoint-villkor hänvisas till ett kort som inte har någon licenstagg.

• Distribution — G​emma 4 12B levereras som BF16, QAT q4_0 GGUF på 6,98 GB med en projektor på 0,18 GB, och byggs från ggml-org, unsloth och litert; ZoomGain-9B levereras som BF16 plus GGUF i F16, Q8_0 och Q4_K_M från och med den 11 november.

• Dokumentation — Gemma 4 12B har en lanseringsblogg, en teknisk rapport, cookbooks för ramverk och en licenssida. ZoomGain-9B har en artikel, ett kodarkiv och ett modellkort som inte anger någon kontextlängd.

Varför den saknade raden inte är ett förbiseende som du bara kan vifta bort

ZoomGain-benchmarken är byggd för att blottlägga ett enda misslyckande: en modell som inte kan lösa en liten detalj i en stor bildruta. Författarna poängsätter attributigenkänning, räkning och OCR över 1 000 frågor och 941 bilder, på engelska och kinesiska, med exakt matchning på flervalsfrågor och på heltal, samt ANLS med en undre gräns på 0,7 för OCR. I det testet når den bästa av tjugoåtta modeller 61,08, och endast fem passerar 50.

G​emma 4 12B har inte körts på den. Inte heller någon annan G​emma. Det lämnar dig med två alternativ, och bara ett av dem är ärligt. Du kan ställa G​emmas MMMU Pro 69,1 och MATH-Vision 79,7 mot ZoomGains held-out-genomsnitt på 66,10 och kalla det en jämförelse, vilket är att jämföra en bred multimodal svit mot ett genomsnitt av tretton perceptionsbenchmark och ger en siffra utan betydelse. Eller så kan du säga vad som är sant: ingen har mätt dessa två med samma måttstock, och om frågan är viktig för dig går benchmarken att ladda ner och du kan köra den själv på en eftermiddag.

Det andra alternativet är billigare än det låter. ZoomGainBench levereras som annoteringar, bilder och en utvärderare; utvärderingen tar en OpenAI-kompatibel endpoint eller en lokal checkpoint, körs vid temperatur 0 med tänkande inaktiverat och rapporterar resultat per fråga. G​emma 4 12B körs under vLLM eller llama.cpp. Det är en riktig direktjämförelse som du skulle kunna ta fram, och att benchmarkens författare inte inkluderade en G​emma är i sig informativt — modellen hade varit tillgänglig i sex månader innan denna benchmark publicerades.

Var Gemma 4 12B har siffrorna, och vad de betyder

Detta är G​oogles egna siffror från modellkortet, inte reproducerade av ett neutralt laboratorium:

• MMMU Pro 69.1 — den multimodala resonemangssviten, och det närmaste på G​emmas kort som liknar ett påstående om visuell kompetens.

• MATH-Vision 79.7 — matematiskt resonemang över diagram och bilder.

• OmniDocBench 1.5 genomsnittligt redigeringsavstånd 0.164 — dokumenttolkning, där lägre är bättre; 31B når 0.131.

• MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 77,5 utan verktyg — textsidan, som ZoomGain-9B inte alls gör anspråk på.

• τ² genomsnitt 69,0 och inbyggt funktionsanrop — agentisk verktygsanvändning.

• MRCR v2 med åtta nålar vid 128K, 43,4 % – långkontextsåtervinning, och siffran som mest undergräver 256K-rubriken.

Den sista punkten förtjänar att framhållas. Ett fönster på 256K är inte 256K användbar uppmärksamhet, och att G​oogle publicerar en retrieval-poäng som sjunker till 43,4 % vid 128K är mer uppriktighet än de flesta modellkort erbjuder. Om din arbetsbelastning är "hitta ett faktum i ett stort dokument" är G​emma 4 12B:s fönster verkligt, men dess recall på djupet är medelmåttig, och ingen motsvarande mätning finns för ZoomGain-9B eftersom ingen utvärdering av lång kontext kördes på den.

Där ZoomGain-9B har siffrorna, och förbehållet som hör till var och en

Allt enligt författarnas rapporter, på det släppta testramverket:

• HR-Bench 4K 90,25, upp från 82,13 för Qwen3.5-9B som den utgick från. Högupplöst perception, och lanseringens huvudpåstående.

• V*Bench 93,19, upp från 86,91. Detektion av små objekt i röriga scener.

• MMVP 70,00, upp från 60,00. Det parade bildtestet där två nästan identiska bilder har olika rätta svar – den närmaste befintliga motsvarigheten till det som ZoomGain tränades för.

• ZoomGainBench 55,48, upp från 32,13. Held-in-kolumnen, uppblåst av konstruktionen, och det säger författarna själva.

• Held-out-genomsnitt 66,10 över tretton benchmarks, upp från 59,75. Siffran som betyder något.

Förbehållen, i ordning efter hur mycket de borde oroa dig. För det första har ingen utanför författarlistan replikerat något av det. För det andra kommer benchmarken och träningsdatan från en och samma pipeline, vilket är anledningen till att artikeln utesluter sin egen benchmark från genomsnittet för held-out-data – en disciplin värd att berömma. För det tredje är träningssetet 9 000 poster, tillräckligt litet för att vinsterna kan vara begränsade även där de är reella. För det fjärde har modellen ingen hostad endpoint och, vid tidpunkten för skrivandet, en tom leverantörsmappning på Hub.

Kostnad, i de termer som faktiskt avgör den

Gemma 4 12B med QAT q4_0 är 6,98 GB plus en projektor på 0,18 GB. Det får plats på en 16 GB-laptop med marginal och på ett 8 GB-kort med viss ansträngning. ZoomGain-9B vid Q4_K_M är 5,63 GB plus 0,52 GB projektor; vid Q8_0 är det 9,53 GB plus 0,62 GB. 9B är den mindre nedladdningen vid varje precision eftersom det är den mindre modellen, och dess stam som till stor del bygger på linjär attention innebär en kortare KV-cache vid långa sekvenslängder, vilket spelar roll om du matar den med högupplösta bilder i stället för lång text.

Ingen av dem kan anropas via oss i dag. Gemma 4 12B finns inte i OrcaRouter-katalogen, och det gör inte ZoomGain-9B heller, så det ärliga beskedet är att båda är beslut om egen drift eller leverantörs-API. Det vi däremot tillhandahåller är Gemma 4 26B A4B för 0,06 USD per miljon indatatoken och 0,33 USD per miljon utdatatoken med ett fönster på 262K – samma familj, fyra gånger den aktiva parameterbudgeten, och ett fullt legitimt sätt att ta reda på om Gemmas dokumenttolkning passar er pipeline innan ni laddar ner något. En enda nyckel täcker det och över 200 andra modeller till listpris utan påslag, så ett jämförelsetest mellan en vision-endpoint och en billig textmodell kostar en eftermiddag i stället för tre avtal.

Välj efter uppgift, inte efter rang

Om uppgiften är en liten detalj i en stor bild – ett serienummer på en enhet, texten på en avlägsen skylt, färgen på ett objekt bland fyrtio, antalet fönster på en fasad – är ZoomGain-9B den som är byggd för det, med förbehållet att dess bevis är självrapporterade och att licensen behöver läsas igenom. Dess arkitektur är optimerad för exakt det felmod du stöter på.

Om uppgiften är något annat visuellt – att läsa ett dokument på flera sidor, beskriva en scen, svara på en fråga om ett diagram, ta emot ljud såväl som bilder, anropa en funktion efteråt – är G​emma 4 12B den färdiga produkten, och jämförelsen är inte längre nära. Den har förträning på 140 språk, inbyggt verktygsanrop, ett 256K-fönster med en publicerad retrieval-kurva, sex kvantiseringar och en licens som du kan lämna till juridiken utan en förklaring.

Om uppgiften är båda är det ärliga svaret att dessa två är lager i en och samma pipeline snarare än alternativ. Den realistiska dokumentagenten 2026 parsar med en allmän multimodal modell och eskalerar de utsnitt som spelar roll till en perceptionsspecialist – och det är i eskaleringen som det intressanta ingenjörsarbetet ligger, eftersom det innebär att avgöra när en detalj är värd ett andra anrop. Det är ett routingproblem, och det är därför vi bryr oss om det: en regel som skickar det billiga anropet till den billiga modellen och eskaleringen till vilken endpoint som helst som klarar din ribba är en enda konfigurationsändring, och failover innebär att en specialist som har fastnat inte stoppar pipelinen.

Domen, uttalad i den form som bevisningen stöder

G​emma 4 12B är det säkrare köpet enligt alla mått som inte är ett perceptionsbenchmark: licens, dokumentation, distribution, bredd, community och det faktum att G​oogle publicerar siffror som går att argumentera emot. ZoomGain-9B är den mer intressanta modellen, och troligen det bättre verktyget för en specifik uppgift, utifrån evidens som ännu inte har granskats av någon som inte skrev artikeln.

Rätt nästa steg beror på vilken av de meningarna du upptäckte att du höll med om. Om det var den första, ladda ner QAT GGUF och sluta läsa. Om det var den andra, ladda ner ZoomGainBench tillsammans med vikterna – 941 bilder, 1 000 frågor, en utvärderare och ett tal som du själv kan ta fram – och kör G​emma genom det. Du skulle då vara den första personen som har gjort det, och du skulle veta något om båda modellerna som ingen av leverantörerna för närvarande vet.