ZwZ2-4B vs ZwZ2-9B : même profondeur, deux fois plus de poids, un écart de 1,8 point

L'hypothèse évidente concernant un modèle 4B et un modèle 9B de la même famille est que le plus petit est moins profond. ZwZ2-4B et ZwZ2-9B ne le sont pas. Les deux annoncent exactement 32 couches Transformer. Les deux utilisent 16 têtes de requête pour 4 têtes clé-valeur, avec une dimension de tête de 256. Les deux embarquent le même vocabulaire de 248 320 jetons et le même plafond de contexte de 262 144 positions, et les deux appliquent le même schéma d'attention linéaire/complète de 3:1. Le 9B n'est pas plus profond que le ZwZ2-4B ; c'est un modèle plus large, et une fois que l'on voit cela, le reste de cette comparaison — y compris l'écart de score du fournisseur lui-même — cesse de ressembler à une ligne droite.

Les deux checkpoints sont également proches dans le temps et par leur origine. ZwZ2-4B a été créé le 15 octobre 2026, ZwZ2-9B le 16 octobre, tous deux par inclusionAI, tous deux entraînés avec le même pipeline sur le même jeu de données de 20 662 questions à choix multiples, et aucun des deux n’a été annoncé. Ils diffèrent par leurs modèles de base — Qwen3.5-4B et Qwen3.5-9B respectivement — et par la largeur de chaque bloc qui en découle.

Le diff de configuration, et ce qu’il implique

Une lecture couche par couche des deux fichiers de configuration révèle une véritable différence structurelle et plusieurs autres qui en découlent mécaniquement.

• Profondeur — 32 couches dans les deux, identiques

• Largeur cachée — 2 560 pour le 4B contre 4 096 pour le 9B, soit un facteur de 1,6

• Largeur feed-forward — taille intermédiaire 9 216 vs 12 288

• Géométrie de l’attention — 16 têtes de requête, 4 têtes clé-valeur, dimension de tête 256, dans les deux

• Schéma d’attention — 24 couches linéaires et 8 couches d’attention complète, dans les deux

• Contexte — 262 144 positions dans les deux, M-RoPE à 11/11/10, rotation partielle 0,25

• Vocabulaire — 248 320 jetons dans les deux, embeddings liés dans le 4B et non liés dans le 9B

• Tour de vision — 24 couches avec une dimension cachée de 1 024, contre 27 couches avec une dimension cachée de 1 152

• Prédiction multi-token — zéro couche MTP dans les deux, la tête spéculative retirée de chaque base

• Paramètres — 4 539 265 536 contre 9 409 813 744, soit un facteur de 2,07

Deux de ces lignes méritent une remarque. Les embeddings non liés du 9B signifient que ses matrices d’entrée et de sortie sont des copies distinctes d’une table de 248 320 × 4 096 ; cela représente à lui seul environ deux milliards de paramètres, ce qui explique en grande partie pourquoi le ratio de paramètres (2,07) dépasse le ratio de largeur (1,6). Et la tour de vision croît avec la pile linguistique — 27 couches à 1 152 dimensions cachées contre 24 à 1 024 — de sorte que le 9B voit l’image à travers un encodeur plus large, et pas seulement un décodeur plus large.

Les chiffres : un gain plus important, un plafond plus bas

inclusionAI publie un agrégat par modèle : la précision globale sur 25 benchmarks dans six domaines, à pondération égale. D'après les chiffres de la fiche elle-même, la famille se présente comme suit.

• ZwZ2-4B — base 49,41, ajusté 54,79, soit un gain de 5,38 points

• ZwZ2-9B — base 51,63, ajusté 56,59, soit un gain de 4,96 points

• ZwZ2-27B — base 55,52, affiné 60,51, soit un gain de 4,99 points

Ainsi, le 4B progresse le plus et termine dernier. Le 9B progresse moins et termine 1,80 point plus haut. Les deux affirmations sont vraies, et celle qui importe dépend entièrement de la question que l’on pose. Si la question est « combien cette recette d’entraînement apporte-t-elle », la réponse est la plus élevée pour le 4B. Si la question est « quel modèle est le plus précis », la réponse est le 9B, avec 1,80 point de plus, et aucune façon de présenter les choses n’y change rien.

Tous ces chiffres sont déclarés par le fournisseur sur un ensemble de benchmarks choisi par le fournisseur. Personne n’a évalué de manière indépendante aucun membre de cette famille, et le détail par benchmark se trouve dans des figures plutôt que dans le texte — un SVG et un PNG sur chaque carte. L’écart de 1,80 point est le résumé honnête de ce qui est publié ; ce n’est pas une mesure que ni vous ni moi n’avons vue reproduite.

Pourquoi le gain diminue à mesure que le modèle grandit

Le schéma — 5,38 à 4B, 4,96 à 9B, 4,99 à 27B — mérite d’être pris au sérieux plutôt que balayé d’un revers de main. Une recette d’entraînement qui ajoute des capacités à un petit modèle comble une lacune : le modèle de base n’avait ni la capacité ni le signal d’entraînement nécessaires pour prêter attention à des indices régionaux fins, et 20 000 questions à choix multiples soigneusement filtrées lui enseignent une compétence qui lui manquait. Un modèle de base plus grand possède déjà davantage de cette capacité, de sorte que le même programme d’entraînement a moins à apporter. Le rendement marginal des données diminue à mesure que le modèle de base s’améliore.

C’est là la lecture charitable, et c’est celle que les chiffres appuient. La lecture peu charitable est que la suite de benchmarks a un plafond ou que la forme de tâche à quatre options récompense de manière disproportionnée les petits modèles. Les deux lectures sont compatibles avec les chiffres publiés, ce qui explique pourquoi l’écart de 1,80 point devrait être traité comme une direction plutôt qu’une magnitude.

Il existe une troisième possibilité qui compte davantage pour l’adoption : le gain peut être concentré. « Amélioré sur chaque benchmark » est ce qu’affirme la fiche, mais une moyenne sur 25 tâches pondérées à parts égales peut masquer deux victoires importantes et vingt petites. Sans le tableau par benchmark — et il ne figure pas dans le texte —, impossible de savoir si le 5,38 du 4B est uniforme ou concentré précisément dans les tâches de perception fine que cible la recette. S’il est concentré, le petit modèle est un spécialiste et le 9B est le généraliste, et la moyenne est la mauvaise statistique pour choisir entre eux.

Le 27B est l’expérience de contrôle.

La troisième taille permet de tester l’argument de la famille. ZwZ2-27B est construit sur Qwen3.6-27B — une génération de base différente de celle de ses deux homologues — et il affiche un gain de 4,99 points, essentiellement le même que les 4,96 du 9B et bien inférieur aux 5,38 du 4B. Si la valeur de la recette tenait uniquement à la qualité des données, on s’attendrait à un gain constant d’une taille à l’autre. Au lieu de cela, le 4B est l’anomalie. Cela est cohérent avec la thèse du déficit de capacité et incompatible avec une thèse selon laquelle les données d’entraînement seraient simplement uniformément excellentes.

Le 27B tranche aussi une question pratique concernant la sortie de la famille. Les trois dépôts sont apparus à 23 heures d'intervalle, le 4B en premier et le 27B en dernier, ce qui est la signature d'un envoi groupé plutôt que d'un déploiement progressif. Le jeu de données a suivi le 19 octobre. Les téléchargements indiquent où s'est portée l'attention : zéro pour le 4B, 147 pour le 9B, sept pour le 27B. Personne n'a encore choisi de favori, et la taille intermédiaire est la seule que quiconque ait téléchargée.

Service : 9 Go contre 18,8 Go

L’arithmétique ici est simple et constitue l’argument le plus fort en faveur du plus petit modèle. Les poids de ZwZ2-4B représentent un fichier BF16 de 9,08 Go ; ceux de ZwZ2-9B atteignent environ 18,8 Go à la même précision. Sur une carte de 24 Go, le 4B laisse de la place pour un cache KV généreux et un batch ; le 9B en laisse très peu. Sur une carte de 16 Go, le 4B tient et le 9B ne tient pas du tout sans quantification.

Aucun des deux modèles n’est servi par un fournisseur hébergé — les pages Hugging Face n’indiquent aucun fournisseur d’inférence pour l’un comme pour l’autre —, donc les deux relèvent de décisions d’auto-hébergement. Si vous choisissez entre eux pour des raisons matérielles, le 9B appartient à une autre catégorie de machine, et non à un téléchargement légèrement plus volumineux. C’est là la signification pratique du ratio de paramètres de 2,07×, et c’est votre carte qui le détermine, pas l’écart de précision de 1,80 point.

Pour les équipes qui veulent le comportement de perception sans avoir à assumer la gestion du service, l’offre intermédiaire hébergée du catalogue est qwen/qwen3-vl-8b-instruct à 0,18 $ par million de jetons d’entrée et 0,70 $ par million de jetons de sortie, avec un contexte de 131 K. Ce n’est pas le même modèle, et cet article ne prétendra pas le contraire — mais c’est la comparaison dont la plupart des équipes ont réellement besoin, et il fonctionne avec la même clé que tout ce qu’OrcaRouter achemine, avec un basculement automatique si un service en amont se dégrade.

Si vous construisez un pipeline à plusieurs niveaux plutôt que de choisir un seul checkpoint, la couche de routage est l'endroit où l'exprimer : envoyez d'abord chaque image à un modèle bon marché, et ne faites remonter vers un modèle plus grand que celles dont la confiance est faible. Le DSL de routage compose les modèles en un seul appel, de sorte que l'escalade est une règle dans la route plutôt qu'une seconde intégration. Aucun des checkpoints ZwZ2 ne peut être le niveau bon marché aujourd'hui — ils ne sont pas hébergés — mais c'est le schéma dont ces deux modèles discutent implicitement.

Lequel prendre ?

• Choisissez le 4B si votre carte dispose de 16 ou 24 Go, si votre tâche consiste à produire des preuves visuelles ancrées dans des régions et si vous voulez la plus grande amélioration mesurée par rapport à un modèle de base de cette famille.

• Prenez le 9B si vous avez de la marge mémoire et que vous voulez la meilleure précision jamais publiée pour un checkpoint ZwZ2 de moins de 27B. Les 1,80 point ne sont pas négligeables.

• Ne prenez encore ni l’un ni l’autre si vous avez besoin d’une licence que votre service juridique signera. Aucun des deux dépôts ne déclare de licence, et les fiches renvoient à un fichier de licence qui n’est pas présent.

• Ne prenez ni l’un ni l’autre si vous avez besoin d’un article. La méthode v2 ne fait l’objet d’aucune documentation publique ; l’identifiant arXiv figurant sur les deux cartes appartient aux travaux ZwZ de première génération, sur une famille de base différente.

L’expérience vraiment utile n’est pas 4B contre 9B sur les 25 benchmarks de quelqu’un d’autre. C’est d’exécuter les deux — ou d’exécuter le 4B contre sa propre base — sur quelques centaines d’images issues de votre charge de travail réelle, et de voir si le 5,38 se transfère. Tant que personne ne le fait, les chiffres publiés de la famille décrivent le comportement d’une recette sur un ensemble de tâches, pas une décision que vous pouvez prendre pour votre propre pipeline. Le 4B est celui qui est intéressant précisément parce que son gain est le plus important et ses preuves sont les plus minces.