ZoomGain-9B vs Gemma 4 12B : la ligne qui manque au benchmark

Vingt-huit modèles ont été évalués sur le benchmark ZoomGain lors de leur publication. Quatre systèmes de pointe à code source fermé, quatre modèles de vision agentiques, quatre spécialistes à granularité fine et seize généralistes ouverts. Gemma n’en fait pas partie — ni Gemma 4 12B, ni Gemma 4 31B, ni aucun modèle de la série E. Cette omission est l’élément le plus utile pour comparer ZoomGain-9B et Gemma 4 12B, car elle signifie que tout tableau « ZoomGain vs Gemma » que l’on pourrait construire comporte une lacune, et cet article porte sur ce que sont réellement les deux modèles, plutôt que sur un chiffre qui n’existe pas.

Les deux sont suffisamment proches en taille pour inviter à la comparaison et suffisamment éloignés en objectif pour la rendre trompeuse. ZoomGain-9B est un checkpoint vision-langage de 9B d’inclusionAI, post-entraîné par apprentissage par renforcement sur 9 000 questions extraites par recadrage, publié le 10 novembre 2026 avec un article mais sans annonce. Gemma 4 12B est le modèle multimodal unifié sans encodeur de 11,95B de Google DeepMind, publié le 23 mai 2026, sous Apache 2.0, avec 1,8 million de téléchargements et 1 730 likes au cours du dernier mois. L’un est un instrument de recherche doté d’une seule capacité démontrée. L’autre est un produit avec une licence, un ensemble de documentation, six quantisations et un demi-an d’usage communautaire.

Ce que chacun est réellement

G​emma 4 12B est le membre architectural intéressant de la famille G​emma 4. Les modèles E2B, E4B et 31B utilisent des encodeurs dédiés — une tour de vision d'environ 150 M de paramètres sur les petits, environ 550 M sur le 31B — et transmettent des embeddings au modèle de langage. Ce n'est pas le cas du 12B. Il projette directement des patches d'images brutes et des formes d'onde audio dans l'espace d'embedding du décodeur via de légères couches linéaires, ce que signifie « Unified » dans son nom, et c'est la raison pour laquelle la prise en charge de l'audio existe sur ce modèle et non sur le 31B.

Sa forme : 48 couches, taille cachée de 3 840, taille intermédiaire de 15 360, 16 têtes de requête pour 8 têtes KV avec une dimension de tête de 256, un vocabulaire de 262 144 jetons et 262 144 positions maximales. Quarante de ses quarante-huit couches utilisent une attention à fenêtre glissante de 1 024 jetons ; huit utilisent une attention complète, et la couche finale est toujours globale. Trois modalités d'entrée, sortie textuelle, contexte de 256K et un rôle système natif.

ZoomGain-9B est construit dans l’autre sens. Son tronc textuel est Qwen3.5-9B — 32 couches, dimension cachée 4 096, intermédiaire 12 288, une répartition 3:1 entre attention linéaire et attention complète, 262 144 positions maximales — avec une tour de vision ajoutée par le modèle de base plutôt qu’inventée ici. Sur ce tronc, les auteurs ont exécuté GRPO sur 9 000 questions dont les réponses dépendent de détails visibles uniquement lorsqu’on zoome sur une région. Le modèle n’a pas été entraîné comme assistant généraliste et n’est pas présenté comme tel.

• Paramètres — G​emma 4 12B 11.95B contre ZoomGain-9B, environ 9,4B (18,82 Go en BF16 contre la taille du fichier du 12B).

• Modalités — Gemma 4 12B prend en charge le texte, l’image, la vidéo et l’audio ; ZoomGain-9B prend en charge le texte et l’image. L’audio n’est pas une lacune dans l’implémentation de ZoomGain, il est absent de sa configuration.

• Contexte — G​emma 4 12B documente 256K. La fiche de ZoomGain-9B ne documente rien ; sa configuration hérite de 262 144 positions du tronc Qwen3.5-9B, ce qui n’est pas la même chose qu’une propriété testée du checkpoint affiné.

• Licence — G​emma 4 12B Apache 2.0 avec un fichier de licence nommé. ZoomGain-9B : code sous Apache 2.0, conditions du checkpoint renvoyées à une fiche qui ne porte aucune étiquette de licence.

• Distribution — G​emma 4 12B est livré en BF16, en GGUF QAT q4_0 à 6,98 Go avec un projecteur de 0,18 Go, et se compile depuis ggml-org, unsloth et litert ; ZoomGain-9B est livré en BF16 ainsi qu’en GGUF en F16, Q8_0 et Q4_K_M à partir du 11 novembre.

• Documentation — G​emma 4 12B dispose d’un blog de lancement, d’un rapport technique, de cookbooks pour frameworks et d’une page de licence. ZoomGain-9B dispose d’un article, d’un dépôt et d’une fiche qui n’indique pas de longueur de contexte.

Pourquoi la ligne manquante n'est pas un oubli que l'on peut balayer d'un revers de main

Le benchmark ZoomGain est conçu pour mettre en évidence un échec : un modèle incapable de résoudre un petit détail dans une grande image. Les auteurs évaluent la reconnaissance d’attributs, le comptage et l’OCR sur 1 000 questions et 941 images, en anglais et en chinois, avec correspondance exacte sur les choix multiples et sur les entiers, et ANLS avec un plancher de 0,7 pour l’OCR. Sur ce test, le meilleur des vingt-huit modèles atteint 61,08, et seuls cinq dépassent 50.

G​emma 4 12B n'a pas été exécuté dessus. Aucun autre G​emma non plus. Cela vous laisse deux options, et une seule est honnête. Vous pouvez aligner les MMMU Pro 69,1 et MATH-Vision 79,7 de G​emma face à la moyenne de 66,10 de ZoomGain sur son jeu de validation et appeler cela une comparaison, ce qui revient à comparer une large suite multimodale à une moyenne de treize benchmarks de perception et produit un nombre dénué de sens. Ou vous pouvez dire la vérité : personne n'a mesuré ces deux modèles avec la même règle, et si la question vous importe, le benchmark est téléchargeable et vous pouvez l'exécuter vous-même en un après-midi.

La deuxième option est moins coûteuse qu’il n’y paraît. ZoomGainBench est fourni sous forme d’annotations, d’images et d’un évaluateur ; l’évaluation accepte un point de terminaison compatible OpenAI ou un checkpoint local, s’exécute à température 0 avec le raisonnement désactivé et produit des résultats par question. G​emma 4 12B s’exécute sous vLLM ou llama.cpp. Il s’agit d’une comparaison directe que vous pourriez réaliser, et le fait que les auteurs du benchmark n’aient pas inclus de G​emma est en soi instructif — le modèle était disponible six mois avant la publication de ce benchmark.

Où Gemma 4 12B contient les chiffres, et ce qu'ils signifient

Ce sont les propres chiffres de G​oogle, issus de la fiche du modèle, non reproduits par un laboratoire neutre :

• MMMU Pro 69.1 — la suite de raisonnement multimodal, et ce qui, sur la fiche de G​emma, se rapproche le plus d’une affirmation de compétence visuelle.

• MATH-Vision 79.7 — raisonnement mathématique sur des diagrammes et des images.

• OmniDocBench 1.5 distance d’édition moyenne 0,164 — analyse de documents, où une valeur plus faible est préférable ; le 31B atteint 0,131.

• MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 77,5 sans outils — le côté texte, que ZoomGain-9B ne revendique pas du tout.

• τ² moyenne 69,0 et appel natif de fonctions — utilisation agentique d’outils.

• MRCR v2 à huit aiguilles sur 128K, 43,4 % — récupération en contexte long, et le chiffre qui sape le plus l’argument phare des 256K.

Le dernier point mérite d’être souligné. Une fenêtre de 256K ne représente pas 256K d’attention exploitable, et le fait que G​oogle publie un score de récupération qui chute à 43,4 % à 128K est plus franc que ce que la plupart des fiches techniques offrent. Si votre charge de travail consiste à « trouver un fait dans un grand document », la fenêtre de G​emma 4 12B est réelle, mais son rappel en profondeur est médiocre, et aucune mesure équivalente n’existe pour ZoomGain-9B, car aucune évaluation sur contexte long n’a été menée dessus.

Là où ZoomGain-9B dispose des chiffres, et la mise en garde attachée à chacun.

Tous les résultats rapportés par les auteurs, sur le harness publié :

• HR-Bench 4K : 90,25, contre 82,13 pour le Qwen3.5-9B dont il est issu. Perception haute résolution, et la revendication phare de cette version.

• V*Bench 93,19, contre 86,91 auparavant. Détection de petits objets dans des scènes encombrées.

• MMVP 70,00, contre 60,00 auparavant. Le test d’images appariées où deux images presque identiques ont des réponses correctes différentes — l’équivalent existant le plus proche de ce pour quoi ZoomGain a été entraîné.

• ZoomGainBench 55,48, contre 32,13 auparavant. La colonne « held-in », gonflée par construction, et les auteurs le reconnaissent.

• Moyenne hors échantillon de 66,10 sur treize benchmarks, contre 59,75 auparavant. Le chiffre qui compte vraiment.

Les réserves, par ordre d’importance de l’inquiétude qu’elles devraient vous inspirer. Premièrement, personne en dehors de la liste des auteurs n’a reproduit quoi que ce soit. Deuxièmement, le benchmark et les données d’entraînement proviennent d’un même pipeline, ce qui explique pourquoi l’article exclut son propre benchmark de la moyenne sur les données non vues — une rigueur à saluer. Troisièmement, l’ensemble d’entraînement compte 9 000 enregistrements, ce qui est assez petit pour que les gains soient peut-être limités même lorsqu’ils sont réels. Quatrièmement, le modèle n’a pas de point de terminaison hébergé et, au moment de la rédaction, dispose d’un mappage de fournisseurs vide sur le Hub.

Le coût, dans les termes qui le déterminent réellement

Gemma 4 12B en QAT q4_0 fait 6,98 Go plus un projecteur de 0,18 Go. Cela tient dans un ordinateur portable de 16 Go avec de la marge et, avec un peu d’effort, dans une carte de 8 Go. ZoomGain-9B en Q4_K_M fait 5,63 Go plus 0,52 Go de projecteur ; en Q8_0, il fait 9,53 Go plus 0,62 Go. Le 9B est le téléchargement le plus petit à toutes les précisions parce que c’est le modèle le plus petit, et son tronc à forte dominante d’attention linéaire implique un cache KV plus court sur de longues longueurs de séquence, ce qui compte si vous lui fournissez des images haute résolution plutôt que du texte long.

Ni l’un ni l’autre ne peut être appelé via nous aujourd’hui. G​emma 4 12B ne figure pas au catalogue OrcaRouter, et ZoomGain-9B non plus ; pour être honnête, les deux relèvent donc d’un choix d’auto-hébergement ou d’API fournisseur. Ce que nous hébergeons, en revanche, c’est Gemma 4 26B A4B à 0,06 $ par million de tokens d’entrée et 0,33 $ par million de tokens de sortie avec une fenêtre de 262K — la même famille, quatre fois le budget de paramètres actifs, et un moyen légitime de vérifier si le profil d’analyse de documents de G​emma convient à votre pipeline avant de télécharger quoi que ce soit. Une seule clé couvre ce modèle et plus de 200 autres modèles au prix catalogue, sans majoration, de sorte qu’un comparatif entre un endpoint de vision et un modèle texte bon marché coûte un après-midi plutôt que trois contrats.

Choisissez en fonction du poste, pas du grade.

Si la tâche est un petit détail dans une grande image — un numéro de série sur un appareil, le texte d'un panneau éloigné, la couleur d'un objet parmi quarante, un décompte de fenêtres sur une façade — ZoomGain-9B est celui conçu pour cela, avec la réserve que ses preuves sont auto-déclarées et que sa licence doit être lue. Son architecture est optimisée exactement pour le mode de défaillance que vous rencontrez.

Si la tâche est d’une autre nature visuelle — lire un document de plusieurs pages, décrire une scène, répondre à une question sur un graphique, prendre en entrée de l’audio en plus des images, appeler une fonction ensuite — G​emma 4 12B est le produit fini, et la comparaison n’a plus rien de serré. Il bénéficie d’un pré-entraînement sur 140 langues, d’un appel natif d’outils, d’une fenêtre de 256K avec une courbe de récupération publiée, de six quantifications et d’une licence que vous pouvez transmettre au service juridique sans explication.

Si la tâche est les deux, la réponse honnête est que ces deux éléments sont des couches d’un même pipeline plutôt que des alternatives. L’agent documentaire réaliste de 2026 analyse avec un modèle multimodal général et escalade les zones recadrées qui comptent vers un spécialiste de la perception — et c’est dans l’escalade que se trouve l’ingénierie intéressante, car cela implique de décider quand un détail mérite un second appel. C’est un problème de routage, et c’est pourquoi cela nous importe : une règle qui envoie l’appel peu coûteux au modèle peu coûteux et l’escalade vers l’endpoint qui satisfait vos exigences est un simple changement de configuration, et le basculement automatique signifie qu’un spécialiste bloqué ne bloque pas le pipeline.

Le verdict, énoncé sous la forme que les éléments de preuve étayent

Gemma 4 12B est l’achat le plus sûr selon tous les critères qui ne relèvent pas des benchmarks de perception : licence, documentation, distribution, étendue, communauté, et le fait que Google publie des chiffres que l’on peut contester. ZoomGain-9B est un modèle plus intéressant, et peut-être le meilleur outil pour une tâche précise, sur la base de preuves que personne n’a encore vérifiées, hormis les auteurs de l’article.

La bonne prochaine étape dépend de celle de ces phrases avec laquelle vous vous êtes retrouvé d’accord. Si c’était la première, téléchargez le QAT GGUF et arrêtez de lire. Si c’était la seconde, téléchargez ZoomGainBench ainsi que les poids — 941 images, 1 000 questions, un évaluateur et un nombre que vous pouvez produire vous-même — et faites tourner G​emma dessus. Vous seriez alors la première personne à l’avoir fait, et vous sauriez quelque chose sur les deux modèles que ne connaît actuellement aucun des deux fournisseurs.