ZoomGain-9B vs. Gemma 4 12B: Die Zeile, die im Benchmark fehlt

Achtundzwanzig Modelle wurden zum Veröffentlichungszeitpunkt auf dem ZoomGain-Benchmark bewertet. Vier Closed-Source-Frontiersysteme, vier agentische Vision-Modelle, vier feingranulare Spezialisten und sechzehn offene Generalisten. G​emma ist nicht darunter – weder G​emma 4 12B noch Gemma 4 31B noch irgendeines aus der E-Serie. Dieses Fehlen ist die einzige wirklich nützliche Tatsache beim Vergleich von ZoomGain-9B und G​emma 4 12B, denn es bedeutet, dass jede „ZoomGain vs. G​emma“-Tabelle, die man erstellen könnte, ein Loch hat; und in diesem Beitrag geht es darum, was die beiden Modelle tatsächlich sind, und nicht um eine Zahl, die es nicht gibt.

Die beiden sind von der Größe her nah genug beieinander, um den Vergleich nahezulegen, und vom Zweck her weit genug voneinander entfernt, um ihn irreführend zu machen. ZoomGain-9B ist ein 9B-Vision-Language-Checkpoint von inclusionAI, nachtrainiert durch Reinforcement Learning auf 9.000 aus Bildausschnitten gewonnenen Fragen, veröffentlicht am 10. November 2026 mit einem Paper, aber ohne Ankündigung. G​emma 4 12B ist G​oogle DeepMinds encoderfreies, vereinheitlichtes multimodales Modell mit 11,95B Parametern, veröffentlicht am 23. Mai 2026, Apache 2.0, mit 1,8 Millionen Downloads und 1.730 Likes im letzten Monat. Das eine ist ein Forschungsinstrument mit einer demonstrierten Fähigkeit. Das andere ist ein Produkt mit einer Lizenz, einem Dokumentationspaket, sechs Quantisierungen und einem halben Jahr Community-Nutzung.

Was jedes einzelne tatsächlich ist

Gemma 4 12B ist das architektonisch interessante Mitglied der Gemma-4-Familie. Die Modelle E2B, E4B und 31B verwenden spezielle Encoder – einen Vision-Tower mit etwa 150 Mio. Parametern bei den kleinen Modellen und etwa 550 Mio. beim 31B – und übergeben Embeddings an das Sprachmodell. Beim 12B ist das nicht der Fall. Es projiziert rohe Bild-Patches und Audiosignale direkt über leichtgewichtige lineare Schichten in den Embedding-Raum des Decoders. Das ist es, was „Unified“ im Namen bedeutet, und der Grund, warum Audio-Unterstützung bei diesem Modell und nicht beim 31B vorhanden ist.

Sein Aufbau: 48 Schichten, versteckte Größe 3.840, Zwischengröße 15.360, 16 Query-Heads gegenüber 8 KV-Heads bei Head-Dimension 256, ein Vokabular von 262.144 Token und 262.144 maximale Positionen. Vierzig seiner achtundvierzig Schichten sind Sliding-Window-Attention mit 1.024 Token; acht sind Full Attention, und die letzte Schicht ist immer global. Drei Eingabemodalitäten, Textausgabe, 256K Kontext und eine native Systemrolle.

ZoomGain-9B ist umgekehrt aufgebaut. Sein Texttrunk ist Qwen3.5-9B – 32 Schichten, Hidden-Dimension 4.096, Intermediate-Dimension 12.288, ein 3:1-Schema von linearer zu voller Aufmerksamkeit, maximal 262.144 Positionen –, wobei ein Vision-Tower vom Basismodell angeflanscht wurde, statt hier erfunden zu werden. Auf diesem Trunk ließen die Autoren GRPO auf 9.000 Fragen laufen, deren Antworten von Details abhängen, die nur sichtbar sind, wenn man in eine Region hineinzoomt. Das Modell wurde nicht als allgemeiner Assistent trainiert und wird auch nicht als solcher präsentiert.

• Parameter — G​emma 4 12B 11,95B vs. ZoomGain-9B ungefähr 9,4B (18,82 GB in BF16 gegenüber der Dateigröße des 12B).

• Modalitäten — G​emma 4 12B verarbeitet Text, Bild, Video und Audio; ZoomGain-9B verarbeitet Text und Bild. Audio ist keine Lücke in ZoomGains Implementierung, es fehlt in seiner Konfiguration.

• Kontext — G​emma 4 12B dokumentiert 256K. Die Modellkarte von ZoomGain-9B dokumentiert nichts; ihre Konfiguration erbt 262.144 Positionen vom Qwen3.5-9B-Trunk, was nicht dasselbe ist wie eine getestete Eigenschaft des feinabgestimmten Checkpoints.

• Lizenz — G​emma 4 12B Apache 2.0 mit einer benannten Lizenzdatei. ZoomGain-9B: Code Apache 2.0, Checkpoint-Bedingungen auf eine Karte verschoben, die kein Lizenz-Tag trägt.

Vertrieb — G​emma 4 12B wird als BF16, QAT q4_0 GGUF mit 6,98 GB und einem 0,18 GB großen Projektor ausgeliefert und ist als Build von ggml-org, unsloth und litert verfügbar; ZoomGain-9B wird ab dem 11. November als BF16 plus GGUF in F16, Q8_0 und Q4_K_M ausgeliefert.

• Dokumentation — Gemma 4 12B verfügt über einen Launch-Blog, einen technischen Bericht, Framework-Cookbooks und eine Lizenzseite. ZoomGain-9B hat ein Paper, ein Repository und eine Model Card, die keine Kontextlänge angibt.

Warum die fehlende Zeile kein Versehen ist, das man einfach abtun kann

Der ZoomGain-Benchmark wurde entwickelt, um ein Versagen aufzudecken: ein Modell, das ein kleines Detail innerhalb eines großen Rahmens nicht auflösen kann. Die Autoren bewerten Attributererkennung, Zählen und OCR über 1.000 Fragen und 941 Bilder, auf Englisch und Chinesisch, mit exakter Übereinstimmung bei Multiple-Choice und bei Ganzzahlen sowie ANLS mit einer Untergrenze von 0,7 für OCR. In diesem Test erreicht das beste von achtundzwanzig Modellen 61,08, und nur fünf überschreiten 50.

Gemma 4 12B wurde nicht darauf ausgeführt. Auch kein anderes Gemma. Das lässt Ihnen zwei Möglichkeiten, und nur eine davon ist ehrlich. Sie können Gemmas MMMU Pro 69.1 und MATH-Vision 79.7 dem Held-out-Durchschnitt von ZoomGain von 66,10 gegenüberstellen und es einen Vergleich nennen – dabei wird eine breite multimodale Testsuite mit dem Durchschnitt aus dreizehn Wahrnehmungs-Benchmarks verglichen, was eine Zahl ohne Bedeutung ergibt. Oder Sie sagen, was wahr ist: Niemand hat diese beiden auf derselben Messlatte gemessen, und wenn die Frage für Sie wichtig ist, ist der Benchmark herunterladbar und Sie können ihn selbst an einem Nachmittag ausführen.

Die zweite Option ist günstiger, als sie klingt. ZoomGainBench wird als Annotationen, Bilder und ein Evaluator ausgeliefert; die Evaluation nimmt einen OpenAI-kompatiblen Endpoint oder einen lokalen Checkpoint entgegen, läuft bei Temperatur 0 mit deaktiviertem Denken und meldet Ergebnisse pro Frage. G​emma 4 12B läuft unter vLLM oder llama.cpp. Das ist ein echter direkter Vergleich, den Sie erstellen könnten, und die Tatsache, dass die Autoren des Benchmarks kein G​emma aufgenommen haben, ist für sich genommen aufschlussreich — das Modell war sechs Monate lang verfügbar, bevor dieser Benchmark veröffentlicht wurde.

Wo G​emma 4 12B die Zahlen hat und was sie bedeuten

Dies sind Googles eigene Zahlen aus der Modellkarte, nicht von einem neutralen Labor reproduziert:

• MMMU Pro 69.1 — die Multimodal-Reasoning-Suite und das, was auf G​emmas Model Card einer Aussage zur visuellen Kompetenz am nächsten kommt.

• MATH-Vision 79.7 — mathematisches Schlussfolgern über Diagramme und Bilder.

• OmniDocBench 1.5 durchschnittliche Editierdistanz 0,164 — Dokumentenparsing, wobei niedriger besser ist; das 31B-Modell erreicht 0,131.

• MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 77,5 ohne Tools — die Textseite, die ZoomGain-9B überhaupt nicht beansprucht.

• τ² Durchschnitt 69,0 und natives Function Calling — agentische Tool-Nutzung.

• MRCR v2 Eight-Needle bei 128K, 43,4 % — Long-Context-Retrieval, und die Zahl, die die 256K-Schlagzeile am stärksten untergräbt.

Der letzte Punkt verdient Nachdruck. Ein 256K-Fenster entspricht nicht 256K nutzbarer Aufmerksamkeit, und dass Google einen Retrieval-Score veröffentlicht, der bei 128K auf 43,4 % sinkt, ist mehr Offenheit, als die meisten Modellkarten bieten. Wenn Ihre Arbeitslast darin besteht, „einen Fakt in einem großen Dokument zu finden“, ist das Fenster von Gemma 4 12B real, aber seine Trefferquote in der Tiefe ist mittelmäßig, und für ZoomGain-9B gibt es keine entsprechende Messung, weil mit ihm keine Long-Context-Evaluierung durchgeführt wurde.

Wo ZoomGain-9B die Zahlen hat – und welcher Vorbehalt jeweils daran geknüpft ist

Alle vom Autor gemeldet, auf dem veröffentlichten Harness:

• HR-Bench 4K 90,25, gegenüber 82,13 für das Qwen3.5-9B, von dem es abstammt. Hochauflösende Wahrnehmung und die zentrale Aussage der Veröffentlichung.

• V*Bench 93,19, gestiegen von 86,91. Erkennung kleiner Objekte in unübersichtlichen Szenen.

• MMVP 70,00, gegenüber 60,00. Der Bildpaar-Test, bei dem zwei nahezu identische Bilder unterschiedliche richtige Antworten haben – das engste bestehende Analogon zu dem, worauf ZoomGain trainiert wurde.

• ZoomGainBench 55,48, gegenüber 32,13 zuvor. Die Held-in-Spalte ist konstruktionsbedingt aufgebläht, und das sagen die Autoren auch.

• Zurückgehaltener Durchschnitt von 66,10 über dreizehn Benchmarks, gegenüber 59,75. Die Zahl, die etwas bedeutet.

Die Vorbehalte, geordnet danach, wie sehr sie Ihnen Sorgen bereiten sollten. Erstens: Niemand außerhalb der Autorenliste hat irgendetwas davon reproduziert. Zweitens: Der Benchmark und die Trainingsdaten stammen aus einer einzigen Pipeline, weshalb das Paper seinen eigenen Benchmark aus dem Held-out-Durchschnitt ausschließt — eine Disziplin, die Anerkennung verdient. Drittens: Der Trainingssatz umfasst 9.000 Datensätze, klein genug, dass die Zugewinne selbst dort, wo sie real sind, gering ausfallen können. Viertens: Das Modell hat keinen gehosteten Endpoint und zum Zeitpunkt des Schreibens ein leeres Provider-Mapping auf dem Hub.

Kosten – in den Begriffen, die tatsächlich darüber entscheiden.

Gemma 4 12B mit QAT q4_0 belegt 6,98 GB plus einen 0,18 GB großen Projektor. Das passt in einen 16-GB-Laptop mit reichlich Reserve und mit Mühe auf eine 8-GB-Karte. ZoomGain-9B belegt mit Q4_K_M 5,63 GB plus 0,52 GB Projektor; mit Q8_0 sind es 9,53 GB plus 0,62 GB. Das 9B-Modell ist bei jeder Präzision der kleinere Download, weil es das kleinere Modell ist, und sein stark auf lineare Attention setzender Trunk bedeutet einen kürzeren KV-Cache bei langen Sequenzlängen, was zählt, wenn man ihm hochauflösende Bilder statt langen Text zuführt.

Keines der beiden lässt sich heute über uns aufrufen. Gemma 4 12B ist nicht im OrcaRouter-Katalog, und ZoomGain-9B ebenfalls nicht – die ehrliche Aussage lautet also: Beides sind Entscheidungen für Self-Hosting oder eine Vendor-API. Was wir hosten, ist Gemma 4 26B A4B zu $0,06 pro Million Input-Tokens und $0,33 pro Million Output bei einem 262K-Fenster – dieselbe Familie, das Vierfache an aktivem Parameterbudget und ein legitimer Weg, herauszufinden, ob Gemmas Profil für die Dokumentenanalyse zu Ihrer Pipeline passt, bevor Sie irgendetwas herunterladen. Ein einziger Schlüssel deckt das und über 200 weitere Modelle ab zum Listenpreis ohne Aufschlag, sodass ein Vergleichstest zwischen einem Vision-Endpunkt und einem günstigen Textmodell einen Nachmittag statt drei Verträge kostet.

Nach Aufgabe wählen, nicht nach Rang

Wenn die Aufgabe ein kleines Detail in einem großen Bild ist – eine Seriennummer auf einem Gerät, der Text auf einem weit entfernten Schild, die Farbe eines Objekts unter vierzig, die Anzahl der Fenster an einer Fassade –, dann ist ZoomGain-9B das dafür gebaute Modell, mit dem Vorbehalt, dass seine Belege selbst angegeben sind und seine Lizenz gelesen werden muss. Seine Architektur ist genau auf den Fehlermodus optimiert, auf den Sie stoßen.

Wenn es sich um eine andere visuelle Aufgabe handelt – ein mehrseitiges Dokument lesen, eine Szene beschreiben, eine Frage zu einem Diagramm beantworten, Audio ebenso wie Bilder verarbeiten, anschließend eine Funktion aufrufen –, dann ist Gemma 4 12B das fertige Produkt, und der Vergleich fällt nicht mehr knapp aus. Es bietet Pretraining in 140 Sprachen, natives Tool-Calling, ein 256K-Fenster mit veröffentlichter Retrieval-Kurve, sechs Quantisierungen und eine Lizenz, die man der Rechtsabteilung ohne Erklärung aushändigen kann.

Wenn die Aufgabe beides ist, dann ist die ehrliche Antwort, dass diese beiden Schichten einer einzigen Pipeline sind und keine Alternativen. Der realistische Dokumenten-Agent von 2026 parst mit einem allgemeinen multimodalen Modell und eskaliert die relevanten Ausschnitte an einen Perception-Spezialisten – und in der Eskalation steckt die interessante Ingenieursarbeit, denn das bedeutet zu entscheiden, wann ein Detail einen zweiten Aufruf wert ist. Das ist ein Routing-Problem, und deshalb ist es uns wichtig: Eine Regel, die den günstigen Aufruf an das günstige Modell schickt und die Eskalation an welchen Endpunkt auch immer Ihre Anforderungen erfüllt, ist eine einzige Konfigurationsänderung, und Failover bedeutet, dass ein stockender Spezialist die Pipeline nicht blockiert.

Das Urteil, in der Form dargelegt, die die Beweislage stützt.

G​emma 4 12B ist der sicherere Kauf – gemessen an jedem Kriterium, das kein Wahrnehmungs-Benchmark ist: Lizenz, Dokumentation, Verbreitung, Breite, Community und die Tatsache, dass G​oogle Zahlen veröffentlicht, über die man streiten kann. ZoomGain-9B ist das interessantere Modell und plausibel das bessere Werkzeug für eine ganz bestimmte Aufgabe – gestützt auf Evidenz, die noch von niemandem geprüft wurde, der das Paper nicht geschrieben hat.

Der richtige nächste Schritt hängt davon ab, welchem dieser Sätze Sie sich beim Lesen zustimmend wiedergefunden haben. Wenn es der erste war, laden Sie das QAT GGUF herunter und hören Sie auf zu lesen. Wenn es der zweite war, laden Sie ZoomGainBench zusammen mit den Gewichten herunter – 941 Bilder, 1.000 Fragen, ein Evaluator und eine Zahl, die Sie selbst erzeugen können – und lassen Sie Gemma damit durchlaufen. Dann wären Sie die erste Person, die das getan hat, und Sie wüssten etwas über beide Modelle, das derzeit keiner der beiden Anbieter weiß.