ZwZ2-9B vs Gemma 4 12B : Un modèle, une fiche de modèle, et lequel d'entre eux vous pouvez réellement déployer

Gemma 4 12B est public depuis le 23 mai 2026. Il est livré avec une fiche de modèle, un rapport technique, une suite d'évaluation publiée, cinq tailles sœurs, et un nombre de téléchargements sur le Hub qui a dépassé les 79 000 rien qu'au cours du dernier mois. ZwZ2-9B est public depuis le 16 octobre 2026 — aujourd'hui — sous la forme de huit fichiers dans un dépôt sans README, sans champ de licence et sans balise de pipeline. Les deux sont à peu près de la même taille. Les deux acceptent des images. Les deux déclarent le même plafond de contexte de 262 144 positions. Et ils sont loin d'être au même stade de préparation, ce qui est la seule comparaison qui compte si vous décidez où dépenser un GPU.

La réponse courte : Gemma 4 12B est un produit fini de Google DeepMind, avec cinq mois de recul et d’autres personnes ayant déjà testé ses limites. ZwZ2-9B est un checkpoint d’inclusionAI que personne en dehors du laboratoire n’a encore décrit, y compris le laboratoire. Si vous devez livrer quelque chose ce mois-ci, le choix ne se discute pas, et ce n’est pas un jugement sur les poids. Si vous décidez sur quoi prototyper le mois prochain, lisez les chiffres ci-dessous, puis lancez votre propre évaluation, car un seul de ces deux modèles vous a donné de quoi lire.

Les deux piles, dimension par dimension

• Paramètres — ZwZ2-9B : 9 409 813 744 en bfloat16. Gemma 4 12B : 11,95 milliards.

• Architecture — qwen3_5, un hybride d’attention linéaire et complète. Gemma : gemma4_unified, sans encodeur et unifié entre les modalités.

• Couches — 32 pour ZwZ2-9B (24 à attention linéaire, 8 à attention complète). 48 pour Gemma 4 12B (40 à fenêtre glissante sur 1 024 tokens, 8 à attention complète).

• Plafond de contexte — 262 144 positions déclarées par les deux.

• Vocabulaire — 248 320 contre 262 144, celui de Gemma étant réservé aux identifiants de tokens d'image, d'audio et de vidéo.

• Modalités prises en charge — texte, image et vidéo pour ZwZ2-9B. Texte, image, audio et vidéo pour Gemma 4 12B, dont la configuration embarque une tour audio de 640 dimensions.

• Licence — aucune déclarée vs Apache-2.0.

• Bilan — zéro téléchargement et deux mentions J’aime contre 79 565 téléchargements et 790 mentions J’aime au cours du dernier mois.

Deux de ces lignes méritent qu’on s’y attarde, car elles inversent une intuition. La première est le programme d’attention : ZwZ2-9B est un modèle à 32 couches avec 8 couches d’attention complète, et Gemma 4 12B est un modèle à 48 couches avec 8 couches d’attention complète. Les deux parient que la partie coûteuse de l’attention doit être rare ; ils ne sont simplement pas d’accord sur le degré de rareté, à une couche sur quatre contre une sur six. La seconde est le plafond de contexte, où un checkpoint de 9.4B sans documentation et un modèle phare de 11.95B de DeepMind tombent exactement sur le même nombre 262,144 — ce qui est une coïncidence de cibles de conception plutôt qu’une relation entre les deux.

Là où Gemma 4 12B n’est pas seulement en avance, mais dans une catégorie à part

L'audio vient en premier. Le modèle de Google prend le son en entrée nativement, avec une tour audio dédiée et des identifiants de tokens audio au sein de son vocabulaire. Le tokenizer de ZwZ2-9B réserve lui aussi <|audio_start|>, <|audio_end|> et <|audio_pad|> — mais sa configuration ne contient aucune configuration audio, quelle qu'elle soit, si bien que ces tokens relèvent d'un vocabulaire hérité plutôt que d'une capacité qu'il possède. Si votre charge de travail inclut la parole, c'est ici que la comparaison s'arrête, et il vaut la peine d'être précis sur le pourquoi : non pas parce que ZwZ2-9B a obtenu un moins bon score, mais parce qu'il n'y a rien dans le checkpoint qui puisse traiter une forme d'onde.

La documentation vient en deuxième, et c'est celle qui produit des effets cumulés. Gemma 4 12B est accompagné d'un rapport technique (arXiv 2607.02770), d'un ensemble d'évaluations publié couvrant tout, du raisonnement de type GPQA aux benchmarks de vision, d'une licence déclarée, et d'une note indiquant que le modèle est disponible en cinq tailles, ce qui permet d'arbitrer entre capacité et empreinte sans quitter la famille. Autour, le Hub recense 83 fine-tunes publiés, 49 quantisations et 15 Spaces construits sur lui. Cet écosystème n'est pas décoratif. C'est un corpus de preuves sur la manière dont le modèle échoue, produites par des personnes qui ne travaillent pas chez Google, et rien ne peut le remplacer.

Les licences viennent en troisième position : c’est le point le moins glamour et le plus décisif. Gemma 4 12B est sous Apache-2.0. ZwZ2-9B ne déclare aucune licence — ni ouverte, ni personnalisée, rien dans les métadonnées du dépôt. En l’absence de déclaration, l’interprétation prudente est que l’éditeur s’est réservé tous ses droits, et ce n’est pas une question sur laquelle vous voulez découvrir, lors de l’approvisionnement, que vous vous êtes trompé. Un checkpoint que vous ne pouvez pas utiliser légalement n’est pas plus économique qu’un checkpoint que vous pouvez utiliser.

Le seul endroit où ZwZ2-9B dispose d'un argument structurel

Ce n’est pas une question de qualité, que personne ne peut encore mesurer. C’est une question de la façon dont la chose dépense du calcul, et la config est étonnamment explicite à ce sujet.

Les trois quarts des couches de ZwZ2-9B sont de l’attention linéaire — 24 sur 32 — chacune portant un état récurrent de taille fixe plutôt qu’un cache clé-valeur qui s’allonge avec la conversation. La configuration nomme le mécanisme : 16 têtes de clé et 32 têtes de valeur de dimension 128, un noyau de convolution de largeur 4, et un état conservé en float32 pour la stabilité numérique. Seule une couche sur quatre effectue une attention complète. Gemma 4 12B fait un pari similaire avec un mécanisme différent — 40 de ses 48 couches utilisent une fenêtre glissante plafonnée à 1 024 jetons — donc les deux modèles sont conçus pour cesser de payer le coût de l’attention complète sur la plupart des couches. Ils diffèrent par le degré et par la technique, et sans tests de référence, il n’y a pas de façon honnête de dire lequel l’emporte. L’intention de conception est lisible ; le résultat n’est pas mesuré.

L'empreinte, c'est la partie simple. 9,41 milliards de paramètres contre 11,95 milliards, c'est à peu près un cinquième de poids en moins à porter avant même de quantifier quoi que ce soit, et la tour de vision est petite — 27 couches pour une dimension cachée de 1 152 projetant vers 4 096 — ce qui explique pourquoi le modèle tient confortablement dans la même catégorie de matériel que celui qui ferait tourner Gemma 4 12B.

The behavioural difference worth knowing is the reasoning default. ZwZ2-9B's chat template emits an empty <think></think> block unless you explicitly ask for thinking, so it answers directly out of the box. Gemma 4 12B offers thinking modes you configure. For extraction, classification or routing — the jobs where a second pass of reasoning is latency you did not want to pay for — only one of these is cheap by default.

Ce que ZwZ2-9B ne peut pas vous dire, et pourquoi cela détermine la comparaison

Vous ne pouvez pas savoir s'il s'agit d'un modèle ajusté aux instructions ou d'un checkpoint de base, car son dépôt n'a ni README ni tag de pipeline, et les deux le diraient normalement. Le prompt système intégré pointant vers les balises <answer> est une preuve solide d'un modèle d'instructions entraîné, mais c'est une preuve, pas une affirmation.

Vous ne pouvez pas savoir sur quoi il a été entraîné, si la recette de perception fine qui a fait la renommée de la famille ZwZ a été reconduite, ni à quoi il est censé exceller. Vous ne pouvez pas connaître sa licence. Et vous ne pouvez pas savoir comment il se comporte aux limites, parce que personne en dehors d’inclusionAI ne l’a exécuté.

Mettez cela à côté de Gemma 4 12B, et l'asymétrie n'est plus une question de degré. Un modèle arrive avec un rapport technique et huit mois d'utilisation publique ; l'autre arrive avec un config.json et un réglage par défaut de réflexion inversé. C'est une raison de prototyper, pas une raison de rejeter — les checkpoints non documentés sont là où beaucoup de travaux intéressants apparaissent d'abord —, mais c'est une raison d'admettre honnêtement que l'évaluation, c'est vous qui la ferez.

Une règle de décision qui ne dépend pas des éléments de preuve manquants

Prenez Gemma 4 12B si l’une des affirmations suivantes est vraie : vous avez besoin d’une entrée audio, vous avez besoin d’une licence que vous pouvez montrer à un avocat, vous devez livrer en moins d’un trimestre, ou vous avez besoin de tailles sœurs pour que la même suite d’évaluation se transfère vers le haut et vers le bas au sein d’une famille. Ces quatre points sont réglés.

Prenez ZwZ2-9B au sérieux si vous avez une question précise à laquelle un modèle de vision à attention hybride de 9,4 B, avec un mode par défaut sans raisonnement, pourrait mieux répondre que celui que vous payez déjà, et si vous êtes prêt à l’évaluer vous-même. La première chose à tester n’est pas son intelligence. C’est de savoir s’il accepte les images que vous lui envoyez réellement, s’il renvoie le format dont vous avez réellement besoin, et s’il le fait sans qu’un problème de licence ne plane sur le résultat.

Et ne les comparez pas dans un tableau de benchmark, car le tableau n’a qu’une seule colonne. Vous pourriez mettre les chiffres publiés de Gemma 4 12B à côté d’un espace vide et appeler cela une comparaison, mais l’espace vide est le résultat. Quiconque présente cette semaine un verdict de qualité en face-à-face sur ZwZ2-9B l’invente.

Aucun des deux checkpoints ne figure dans notre catalogue aujourd'hui, donc aucun des deux n'est quelque chose que vous pouvez appeler via nous pour l'instant — Gemma 4 12B est un téléchargement Hugging Face et votre propre pile de service, et ZwZ2-9B aussi. Ce que nous servons, en revanche, c'est le frère qui rend la comparaison Gemma exécutable sans changer votre façon d'évaluer quoi que ce soit : Gemma 4 26B A4B, le membre mixture-of-experts de la même famille, sur un endpoint hébergé à 0,06 $ par million de tokens d'entrée et 0,33 $ par million de tokens de sortie, avec le même contexte de 262K tokens. Parce que OrcaRouter répercute les prix catalogue des fournisseurs avec 0 % de marge, une modification de prix côté fournisseur arrive ici le jour même plutôt qu'à la prochaine actualisation du catalogue — ce qui compte quand ce que vous faites est une comparaison de coûts entre un modèle que vous hébergez et un modèle que vous louez. De l'autre côté du tableau, le substitut hébergé le plus proche de ce que ZwZ2-9B cherche à être est qwen/qwen3-vl-8b-instruct, un modèle vision-langage de 8B avec un contexte de 131K à 0,18 $ et 0,70 $, qui est documenté, sous licence et disponible dès maintenant.

Qu’est-ce qui changerait cet article ?

Une fiche de modèle. Plus précisément : une licence, un paragraphe sur les données d’entraînement, et un tableau d’évaluation produit par quelqu’un qui n’a pas entraîné le modèle. D’ici là, le résumé honnête de ZwZ2-9B face à Gemma 4 12B n’est pas que l’un est meilleur. C’est que l’un existe en tant que produit et l’autre en tant que liste de fichiers, et l’écart entre ces deux choses est la distance la plus coûteuse en apprentissage automatique.

Les comparaisons comme celle-ci sont également le lieu où se manifestent les modes de défaillance : les incidents d'IA documentés et les défaillances d'agents derrière les modèles de cette classe sont collectés dans l'Archive des incidents d'IA d'OrcaRouter, où chaque entrée comporte ses propres sources, sa gravité, sa note de confiance et son indicateur de contestation.