ZwZ2-27B vs ZwZ2-9B : ce que trois fois plus de paramètres apporte réellement

Sur exactement un benchmark du tableau de 25 tests d'inclusionAI, le plus petit modèle l'emporte. Chartography — lire des valeurs sur des graphiques — donne à ZwZ2-9B un score de 13,00 et à ZwZ2-27B un score de 12,00. Les deux sont faibles. Aucun n'est bon. Mais la direction est la partie intéressante, car ces deux modèles sont la même expérience à deux tailles : une seule recette d'entraînement, un seul jeu de données, une seule méthode issue de l'article, appliquée respectivement à un corps Qwen3.5-9B et à un corps Qwen3.6-27B. Si la recette est identique et que le modèle plus grand vaut trois fois le nombre de paramètres, l'arithmétique de l'endroit où cette taille se manifeste réellement est plus surprenante que ne le suggèrent les scores globaux annoncés.

Il convient également de préciser d’emblée que les deux modèles sont apparus de la même manière discrète. Le dépôt de ZwZ2-9B a été créé à 03:42 UTC le 16 octobre 2026 ; celui de ZwZ2-27B à 05:42 le même matin. Pendant dix jours, tous deux n’ont proposé que des poids, sans documentation, et tous deux ont été dotés de fiches de modèle avec des tableaux de benchmarks complets le 26 octobre. Aucun des deux ne déclare de licence. Aucun des deux n’a d’article publié — les fiches contiennent encore l’espace réservé PAPER_URL.

Une recette, deux corps

La méthode d’entraînement n’est pas simplement similaire entre les deux modèles : c’est la même méthode appliquée à deux backbones, ce qui rend leur comparaison exceptionnellement propre. EvidenceConnect regroupe de trois à sept régions liées issues d’images SA-1B, génère des questions à l’aide de recadrages zoomés privilégiés, filtre ces questions selon l’accord entre modèles et un test de retrait d’une région, convertit les questions retenues en tâches à quatre options, puis entraîne avec GRPO — sans étape de fine-tuning supervisé. Les deux modèles utilisent environ 20 000 exemples d’entraînement.

Les corps diffèrent de la manière habituelle :

• Échelle — 9B paramètres répartis sur 32 couches avec une taille cachée de 4 096, contre 27B répartis sur 64 couches avec une taille cachée de 5 120.

• Attention — 16 têtes de requête et 4 têtes KV de dimension 256 pour le 9B, contre 24 têtes de requête et 4 têtes KV à la même dimension pour le 27B.

• Propagation avant — taille intermédiaire de 12 288 contre 17 408.

• Vision — la même tour dans les deux : 27 couches d'une taille cachée de 1 152, projetant vers 4 096 et 5 120 respectivement.

• Contexte et vocabulaire — identiques à 262 144 positions et 248 320 tokens.

• Prédiction multi-jetons — supprimée des deux, avec mtp_num_hidden_layers à 0.

• Modèles de base — Qwen3.5-9B pour le petit modèle, Qwen3.6-27B pour le grand modèle. C'est là le détail qui complique la comparaison, et la section suivante explique pourquoi.

D'où vient réellement l'écart global de 3,92 points

Voici le constat auquel je ne m’attendais pas avant d’effectuer la soustraction. Les moyennes globales sont de 60,51 pour ZwZ2-27B et de 56,59 pour ZwZ2-9B — un écart de 3,92 points. Regardez maintenant ce que chaque recette a ajouté à sa propre base, publiée dans les mêmes tableaux, par le même laboratoire, sur le même banc d’évaluation :

• ZwZ2-27B — modèle de base Qwen3.6-27B à 55,52, affiné à 60,51. Gain de 4,99.

• ZwZ2-9B — Qwen3.5-9B de base à 51,63, affiné à 56,59. Gain de 4,96.

La recette produit presque exactement la même amélioration aux deux échelles. Trois fois plus de paramètres n’ont apporté que 0,03 point de bénéfice d’entraînement supplémentaire. Et les modèles de base étaient déjà séparés de 3,89 points avant que l’un ou l’autre ne soit touché.

Ainsi, sur l’écart de 3,92 points entre les modèles finis, 3,89 points étaient hérités des checkpoints dont ils étaient partis. La spécialisation n’a pas créé cet écart. Elle l’a préservé presque parfaitement.

Il s’agit d’une comparaison au sein d’un seul laboratoire et sur un seul harnais, de sorte que la soustraction est légitime d’une manière que les comparaisons entre fournisseurs ne le sont jamais — chacun de ces quatre nombres provient de la même table, produite par le même code d’évaluation, sur le même jeu de référence. L’arrondi est suffisamment grossier pour que 0,03 ne doive pas être lu comme une précision ; la lecture honnête est « indiscernables ».

Concrètement, cela signifie que choisir entre ces deux modèles revient presque à choisir entre Qwen3.5-9B et Qwen3.6-27B, avec en plus un ajustement perceptuel fixe. Si vous n'auriez pas retenu le modèle de base plus grand pour votre charge de travail, l'entraînement ZwZ2 ne changera pas cette décision.

Domaine par domaine : la taille s'affiche à un seul endroit

Les moyennes masquent la structure, et ici la structure est déséquilibrée. En comparant les deux modèles ajustés sur les six domaines :

• Perception fine — 67,57 pour le 27B contre 66,02 pour le 9B. Un écart de 1,55, le plus faible des six.

• Perception spatiale — 55,98 contre 52,33. Un écart de 3,65.

• Raisonnement visuel général — 53,71 contre 49,83. Un écart de 3,88.

Raisonnement spatial incarné — 55,71 contre 51,11. Un écart de 4,60.

• Compréhension des contextes longs — 68,77 contre 64,08. Un écart de 4,69.

• Agents multimodaux — 51,81 contre 42,43. Un écart de 9,38.

Le schéma est constant : l’avantage du modèle plus grand double approximativement lorsque la tâche passe de l’observation d’une image à l’action sur celle-ci. Sur les huit benchmarks de perception fine — ceux pour lesquels la méthode a été explicitement conçue —, les deux modèles se tiennent à un point et demi l’un de l’autre, Chartography allant à rebours.

Le domaine agentique est celui où le 27B justifie son empreinte mémoire, et l’essentiel de cet écart provient d’un seul test. UI-Vision obtient 66,66 pour ZwZ2-27B et 45,48 pour ZwZ2-9B — un écart de 21,18 points, plus important que tout autre dans le tableau. ScreenSpot-Pro et AgentVista apportent des contributions plus modestes, à 70,59 contre 66,98 et 18,18 contre 14,83.

UI-Vision est un benchmark d’ancrage d’interface, et le résultat dit quelque chose de précis plutôt que de général : si votre charge de travail consiste à lire et à manipuler une interface logicielle, le 27B fait quelque chose que le 9B, la plupart du temps, ne peut pas faire. Si votre charge de travail consiste à comparer des zones marquées sur une photographie ou une page de document, le 9B fait presque la même chose pour un tiers des poids.

Le seul test que le petit modèle remporte, et à quel point cela devrait compter

Chartography mérite qu’on s’y attarde précisément parce que c’est l’exception qui prouve à quel point la spécialisation est étroite. Les deux scores sont catastrophiques — 13,00 et 12,00 sur 100, contre une base Qwen3.6-27B de 8,00 et une base Qwen3.5-9B de 7,00. L’entraînement a fait progresser les deux modèles d’environ cinq à six points sur une tâche qu’ils ne peuvent toujours pas accomplir de manière fiable, et le gain du 9B s’est trouvé supérieur d’un point.

La conclusion correcte n’est pas que le 9B est meilleur pour les graphiques. C’est que, sur une tâche aussi éloignée de la distribution d’entraînement, la différence entre les deux modèles relève du bruit, et que le comportement raisonnable consiste à orienter la lecture de graphiques vers une tout autre solution. Un modèle qui obtient 12 ou 13 à un benchmark de graphiques n’a pas de capacité de lecture de graphiques entre laquelle choisir.

La même prudence s’applique aux autres scores absolus faibles. ZwZ2-9B obtient en moyenne 42,43 dans les agents multimodaux et 18,18 sur AgentVista ; ZwZ2-27B obtient en moyenne 51,81 et 18,18. Tous deux sont faibles dans le travail agentique en termes absolus, et le fait que le plus grand soit bien moins faible ne le rend pas fort.

À quoi ressemble vraiment l’empreinte mémoire

La différence de paramètres, c’est la partie que vous payez chaque jour. ZwZ2-9B est un unique fichier safetensors de 9,41 milliards de paramètres, d’environ 19 Go en bf16. ZwZ2-27B est réparti sur deux fragments pour environ 54 Go. Ajoutez les activations de la tour vision et un budget KV de 262 144 positions, et la répartition pratique est la suivante :

• ZwZ2-9B — tient confortablement sur un seul accélérateur grand public de 24 Go en bf16, c’est juste mais exploitable ; aucune version quantifiée n’existe, donc vous restez en pleine précision, sauf si vous quantifiez vous-même.

• ZwZ2-27B — une carte de 80 Go avec de la marge, ou deux cartes de 40 Go sur une répartition serrée en parallélisme tensoriel. Rien en dessous ne le fait tourner en bf16.

• Prise en charge du service — aucun des deux dépôts ne fournit de recette vLLM ou SGLang. Les deux épinglent transformers==5.13.1 dans le guide de démarrage rapide, et tous deux ne sont documentés qu’en mode sans réflexion, avec des réponses encapsulées dans des balises <answer>. Aucun ne déclare de licence, ce qui, pour un déploiement en production, constitue un obstacle plus important que l’un ou l’autre des chiffres de mémoire.

Ce dernier point mérite sa propre phrase, car il est identique des deux côtés : il n’y a aucune licence à lire. Les cartes renvoient à « la licence accompagnant les poids publiés », et les poids n’en comportent aucune. Quelle que soit la taille que vous choisissez, la question commerciale reste sans réponse.

Utiliser les deux, plutôt que de choisir

Le tableau des domaines suggère davantage un schéma à deux niveaux qu’un vainqueur. La perception fine ne varie presque pas entre les tailles, donc le 9B constitue une première passe raisonnable dans ce cas ; le travail d’interface agentique évolue de plus de neuf points sur la moyenne des domaines et de vingt et un points sur UI-Vision, donc ce trafic revient au 27B. Un routeur qui aiguille selon le type de tâche dépenserait la plupart de ses tokens sur le modèle bon marché et réserverait le modèle coûteux aux écrans.

Aucune des deux tailles de ZwZ2 ne figure dans notre catalogue, donc ce schéma implique aujourd’hui d’exécuter deux checkpoints sur votre propre matériel et d’écrire vous-même la répartition. OrcaRouter se situe du côté généraliste de la même pile : Qwen3.8-27B et Qwen3.5-27B sont tous deux routables ici derrière une seule clé au prix catalogue du fournisseur, sans marge, de sorte que la charge de travail qui n’a pas besoin de comparer les régions peut aller vers un modèle hébergé avec basculement automatique, tandis que le trafic spécialisé reste en local. C’est une affirmation plus modeste que « router ZwZ2 via nous », que nous ne pouvons pas proposer — mais c’est la partie de l’architecture qui est réellement disponible aujourd’hui.

Le résumé honnête est sans éclat. Deux points de contrôle, même recette, même silence, même licence manquante, et un écart de performance qui est presque entièrement l’écart préexistant des modèles de base, plus une véritable spécialisation en haut de gamme pour le travail d’interface. Si vous avez besoin des chiffres d’interface du 27B, il vous faut le 27B et la carte de 80 Go. Sinon, le 9B vous amène à un point et demi près sur la tâche que tout le projet visait à améliorer, et il tient sur du matériel que vous possédez probablement déjà.