ZoomGain-4B vs Qwen3.8-27B : les 11 points d'avance tiennent à un jeu de données, pas à un modèle

Le chiffre qui rend ce duel digne d’un article est 55,81 contre 44,81. Sur ZoomGainBench, le benchmark de détails fins à 1 000 questions publié aux côtés de ZoomGain-4B, un modèle visuel de 4,54 milliards de paramètres obtient onze points de plus que Qwen3.8-27B, un modèle dense de 27,78 milliards de paramètres qu’A​libaba a publié sous Apache 2.0 en août et qui lit les images et les vidéos aussi bien que le texte. Six fois les paramètres, et il perd de onze points. Lisez l’article qui a produit les deux chiffres et l’écart cesse d’être une affirmation sur la vision : ZoomGainBench a été construit par le même pipeline automatisé qui a généré les données d’entraînement de ZoomGain-4B, les auteurs le disent eux-mêmes dans leur étude d’ablation, et le modèle qu’ils cherchaient réellement à battre n’est pas Qwen3.8-27B du tout — c’est un autre jeu de données.

Ce n’est pas une réfutation. C’est l’élément le plus utile de la version publiée, et c’est ce qui rend la comparaison décidable : cela vous indique auquel des deux modèles recourir, et quel chiffre citer quand quelqu’un vous demande de justifier ce choix. Ce qui suit dissocie les trois affirmations qui se trouvent amalgamées ici — qu’un petit spécialiste surpasse un grand généraliste, qu’un pipeline de données en surpasse un autre, et que l’une ou l’autre de ces affirmations constitue une raison de changer votre stack ce mois-ci.

Ce qui fut lancé, et dans quel silence

Le dépôt de ZoomGain-4B a été créé sur Hugging Face le 10 novembre 2026 à 11:38 UTC et a été modifié pour la dernière fois le 11 novembre. L'article, arXiv 2611.14076, a été soumis le 10 novembre. Le dépôt GGUF a été mis à jour à 03:13 UTC le 11 novembre. Au moment de la rédaction, les deux dépôts affichent zéro téléchargement et zéro like, aucun fournisseur d'inférence n'est associé au modèle, et il n'existe pour celui-ci aucun article de lancement du fournisseur, aucune entrée de blog ni communiqué de presse. La liste Updates de la fiche du modèle elle-même, datée du 11 novembre, constitue la seule annonce : trois lignes indiquant que l'article, le benchmark, le jeu de données RL et les checkpoints sont disponibles.

Donc, pour être honnête, il est sorti discrètement et n’a pas été annoncé. Tout ce qui suit et provient d’un dépôt est vérifiable aujourd’hui ; tout ce qui concerne le comportement du modèle en dehors du harnais des auteurs n’est pas encore confirmé, car personne en dehors d’Ant Group et de l’Université du Zhejiang ne l’a exécuté et n’a rapporté de résultats.

Deux détails du dépôt valent la peine d’être connus avant le début de la comparaison, car tous deux limitent ce que vous pouvez en faire.

• Architecture. Un dérivé de Qwen3.5-4B — 32 couches, taille cachée 2 560, 16 têtes de requête pour 4 têtes KV avec une dimension de tête de 256, une répartition 3:1 entre DeltaNet linéaire et attention complète, 262 144 positions maximales, un vocabulaire de 248 320 jetons, et un encodeur visuel de 24 couches avec une taille cachée de 1 024. Le total, encodeur et projecteur inclus, est de 4 539 265 536 paramètres.

• Licence. La section Licence de la fiche couvre le code, qui est sous Apache 2.0, puis renvoie ailleurs : « Consultez les fiches Hugging Face pour connaître les conditions de chaque jeu de données et de chaque checkpoint. » La fiche du checkpoint ne porte aucune étiquette de licence. Qwen3.8-27B est sous Apache 2.0 sans ambiguïté. Si vous avez besoin d’une licence que vous pouvez présenter à un avocat, cette asymétrie est la première chose que vous rencontrez, et rien dans la publication ne la résout.

La seule liste où les deux modèles apparaissent côte à côte

ZoomGainBench est un benchmark bilingue de 1 000 questions portant sur 941 images : 472 questions de reconnaissance d’attributs avec quatre à six options, 94 questions de comptage et 434 questions d’OCR, chacune en version anglaise et chinoise, soit 2 000 instances d’évaluation. Vingt-huit modèles y ont été exécutés dans un même harnais — même prompt système, température 0, réflexion désactivée pour chaque point de contrôle Qwen, 2 048 jetons de sortie pour les modèles non agentiques. Le meilleur résultat du domaine est GPT-5.6-Sol avec 61,08, et seuls cinq modèles dépassent 50.

Qwen3.8-27B obtient 44,81 au global : 43,84 en anglais, avec 40,25 en attribut, 54,26 en comptage et 45,49 en OCR, et 45,78 en chinois. ZoomGain-4B, qui figure dans le tableau d’entraînement plutôt que dans le tableau de référence, obtient 55,81. Les deux chiffres correspondent au résultat global sur les deux langues selon les mêmes règles d’évaluation ; il s’agit donc de l’appariement contrôlé le plus proche que propose cette publication, et sur celui-ci, le 4B l’emporte de 11,00 points.

• Paramètres. 4,54 Md contre 27,78 Md — un écart de 6,1× dans le sens qui rend le résultat surprenant.

• Ce pour quoi chacun a été conçu. ZoomGain-4B est Qwen3.5-4B soumis à une époque de GRPO sur 9 000 questions extraites, 140 étapes, lot de 64, huit rollouts par question, taux d’apprentissage de 1e-6, sans terme KL. Qwen3.8-27B est un modèle dense généraliste doté d’un mode raisonnement, d’appel d’outils et d’un chemin vidéo.

• Données d’entraînement. 9 000 questions pour l’un. Pour l’autre, l’intégralité du corpus de pré-entraînement et de post-entraînement d’Alibaba, dont la taille n’est pas divulguée.

• Disponibilité. ZoomGain-4B : trois précisions GGUF et un fichier de projecteur séparé, sans point de terminaison hébergé. Qwen3.8-27B : poids sous Apache 2.0, une version FP8, 7,4 millions de téléchargements et des points de terminaison que vous pouvez appeler dès aujourd'hui.

La comparaison que l’article établit réellement

Voici la partie qui se perd lorsque la publication se résume à « 4B bat 27B ». L'article avait besoin d'une base de référence pour ses propres données, et il en a utilisé une : ZwZ, un jeu de données de perception fine d'ICML 2026 construit par distillation région-vers-image. Les deux côtés ont reçu un traitement identique. Douze mille images ont été échantillonnées et 23 610 questions générées ; le benchmark en a retenu 1 000 ; le reste a donné 8 746 paires de questions appariées aux images, et 254 ont été dupliquées des deux côtés pour porter chaque ensemble à 9 000. Mêmes images, mêmes checkpoints de base, mêmes hyperparamètres, mêmes 140 étapes. La seule variable réside dans les questions.

Les données ZoomGain surpassent les données ZwZ sur tous les axes rapportés dans l’article. Sur Qwen3.5-4B, le score sur les données d’entraînement passe de 40,99 à 55,81 et la moyenne hors entraînement sur treize benchmarks passe de 58,94 à 63,96 ; sur Qwen3.5-9B, la même paire de chiffres passe de 44,07 à 55,48 et de 62,53 à 66,10. C’est un résultat réel et bien contrôlé sur la façon dont on génère la supervision, et c’est la contribution qu’annonce le titre de l’article.

Qwen3.8-27B n’apporte rien à cet argument. Il n’apparaît qu’une fois, comme une seule ligne parmi 27 autres modèles évalués. C’est une référence — un généraliste compétent mesuré sur une distribution pour laquelle personne ne l’a entraîné — et non un concurrent. Le texte même de l’article précise explicitement que l’écart qu’il exploite est partagé : les distracteurs d’erreur de vue globale représentent 71,7 % de toutes les réponses incorrectes parmi les 28 modèles, au-dessus des 54,5 % qu’un choix aléatoire parmi les options produirait, et les quatre modèles à source fermée qui n’ont pris aucune part à la construction du benchmark présentent le même comportement, à 75,7 % contre 57,4 % attendus.

L’ablation est l’argument le plus solide contre le titre.

Les auteurs ont effectué sur eux-mêmes le contrôle de bon sens qui s'imposait, et le résultat est le tableau le plus instructif de l'article. Ils ont réentraîné deux fois sur les mêmes 9 000 questions, en retirant chaque fois l'un des deux choix de conception qui définissent leur pipeline : la règle selon laquelle les questions ne peuvent être construites qu'à partir de détails invisibles dans l'image complète, et l'étape dédiée à la génération de distracteurs.

• Pipeline complet. ZoomGainBench 55,81 ; moyenne sur les dix benchmarks de validation rapportés par l’ablation, 60,96.

• Distracteurs dédiés supprimés. ZoomGainBench 46,85 — une perte de 8,96 points sur le test retenu — et la moyenne des dix benchmarks 59,14, une perte de 1,82.

• Preuves incrémentielles supprimées. ZoomGainBench 49,71, une perte de 6,10 — et la moyenne des dix benchmarks 58,57, une perte de 2,39.

Les deux choix de conception valent entre six et neuf points sur ZoomGainBench et environ deux points sur tout le reste. Les auteurs en donnent clairement la raison : supprimer les distracteurs dédiés « provoque la plus forte baisse sur le ZoomGainBench conservé », car « les options du benchmark sont construites à l’aide du même pipeline ». Autrement dit, environ les trois quarts du gain phare sur le benchmark qui a produit le chiffre phare tiennent au fait que le modèle apprend à répondre au type de question que rédige le pipeline, et non à apprendre à mieux voir.

Ce qui subsiste reste substantiel. Sur les treize benchmarks que l’entraînement n’a jamais touchés, Qwen3.5-4B passe de 57,86 à 63,96 — 6,10 points à partir de 9 000 échantillons — avec les plus grands gains exactement dans la famille que cible le pipeline : HR-Bench 4K de 81,25 à 87,25, V*Bench de 81,68 à 90,05, VisualProbe de 43,30 à 57,28, O3-Bench de 54,20 à 63,19. Un benchmark régresse : TreeBench, de 49,38 à 49,14, un cinquième de point. MMStar, une suite multimodale générale, passe de 66,80 à 72,53, et BabyVision reste faible à 21,13.

Ce profil est la signature d’une intervention ciblée, et c’est le profil dont vous devez tenir compte dans votre planification. Le modèle est devenu meilleur pour résoudre de petits éléments dans une scène. Il n’est pas devenu un meilleur généraliste, et l’arithmétique qui prétend le contraire est une arithmétique faite sur son propre benchmark.

Ce que le benchmark demande réellement, puisque c’est ce que vous achèteriez.

Si l’usage prévu est la vérification de détails fins, la composition du test compte davantage que le score global, et l’analyse des erreurs de l’article est inhabituellement concrète à ce sujet.

• Les petites ancres dominent. La précision augmente avec la fraction de l’image qu’occupe le détail interrogé, pour chaque groupe de modèles : en moyenne sur l’ensemble des 28, elle passe de 28,9 % sur le plus petit quartile, où l’ancre couvre moins de 0,4 % de l’image, à 55,2 % sur le plus grand.

• Le comptage consiste à compter de petits nombres. 67 des 94 questions de comptage ont une vérité terrain d’au plus trois, et 71,6 % des réponses numériques erronées s’écartent d’exactement un. La difficulté consiste à résoudre quelques petites instances, et non à en énumérer beaucoup.

• La reconnaissance d’attributs est la catégorie difficile. Elle produit le score le plus bas pour 23 des 28 modèles, et deviner uniformément parmi les options donnerait déjà environ 21,5 %.

• Le mode de défaillance est la substitution plausible au regard de la scène. Dans un cas documenté, 46 évaluations sur 56 qualifient d'orange un objet blanc sur le tableau de bord d'un camion — vraisemblablement la couleur du gilet porté par le travailleur qui se tient devant celui-ci. Dans un autre, presque toutes les évaluations nomment une marque d'équipement de hockey au lieu du logo réellement imprimé sur le vêtement. Les modèles ne disent pas « Je ne le vois pas » ; ils répondent à partir du contexte.

Ce mode de défaillance constitue l’argument pratique en faveur de ce type d’entraînement, car c’est le même qui fait qu’un pipeline documentaire devient silencieusement erroné sur une facture scannée. C’est aussi l’argument pour le mesurer : un modèle qui substitue une réponse plausible produit une sortie assurée, si bien que rien en aval ne le détecte.

Où Qwen3.8-27B se trouve dans une autre pièce

Le 44,81 est réel, et c’est aussi le seul chiffre de cet article sur lequel Qwen3.8-27B est évalué ici. Sa propre fiche rapporte un ensemble de choses entièrement différent, et aucune d’elles ne peut être comparée aux chiffres de ZoomGain, car les deux modèles n’ont jamais été exécutés sur le même harnais pour ces éléments.

• Codage agentique. Terminal Bench 2.1 à 73,0, SWE-bench Pro 61,7, LiveCodeBench v6 90,3, QwenSWEBench 79,0 — tous rapportés par le fournisseur sur la propre fiche de Q​wen, avec les notes de harnais publiées en parallèle.

• Raisonnement et utilisation de l’ordinateur. GPQA Diamond 89.2, HLE 30.8, OSWorld-Verified 84.3, WebArena-Verified 64.8.

• Travail multimodal. OmniDocBench 1.5 à 91,1, raisonnement CharXiv 83,7 sans injection de chaîne de raisonnement et 90,2 avec, RealWorldQA 85,9, MathVision 90,0.

• Surface de capacités. Réflexion activée par défaut avec reasoning_effort à xhigh, medium ou low, réflexion conservée entre les tours, appel d’outils natif, sorties structurées, entrée vidéo, 262 144 positions nativement et extensible à un million.

ZoomGain-4B n'a été évalué sur aucun de ces éléments et on ne s'attendrait pas à ce qu'il obtienne de bons résultats sur l'un d'entre eux : son entraînement n'a jamais porté sur le code, les tâches en terminal, les documents ou les graphiques. Il ne dispose pas non plus d'évaluation publiée en mode de réflexion — le harnais propre à la version s'exécute avec la réflexion désactivée à température 0, si bien que tout ce qui a été publié à son sujet décrit son comportement en réponse directe. Le score de 44,81 de Qwen3.8-27B a été mesuré de la même manière, avec enable_thinking=false, ce qui est la seule chose qui rend la comparaison équitable et la seule chose qui laisse le meilleur mode de Q​wen non testé.

Pour le dire simplement : sur l’axe pour lequel ZoomGain-4B a été entraîné, il gagne, et sur les axes pour lesquels Qwen3.8-27B a été conçu, le 4B n’est pas de la partie. Ni l’un ni l’autre n’est une surprise, et traiter l’un ou l’autre comme toute l’histoire, c’est comme ça qu’une page de comparaison devient inutile.

Combien coûte la mise en place de chacun, et celui que vous pouvez appeler dès aujourd’hui

C'est ici que les deux divergent d'une manière qui détermine le déploiement plutôt que le benchmark.

ZoomGain-4B n’a aucun point de terminaison hébergé, où que ce soit. Ce qui existe, c’est le dépôt BF16, 4,54 milliards de paramètres répartis entre un modèle de langage et un encodeur visuel distinct, ainsi que trois builds GGUF : Q4_K_M à 2,71 Go, Q8_0 à 4,48 Go et F16 à 8,42 Go, chacun associé à son propre mmproj projecteur — 0,23 Go, 0,36 Go et 0,67 Go respectivement — dont la fiche GGUF indique qu’il est requis pour l’entrée d’images. L’exécuter implique llama-mtmd-cli ou llama-server à partir d’une build llama.cpp suffisamment récente pour prendre en charge le multimodal de Qwen3.5 ; l’exécuter en pleine précision implique vLLM 0.19.1 avec transformers 5.7.0. Il n’existe pas de build MLX, ni d’ONNX, ni de modèle draft pour le décodage spéculatif, et aucun fournisseur vers lequel se rabattre si votre build casse.

Qwen3.8-27B figure au catalogue d'OrcaRouter, et nous exécutons ces poids sur notre propre infrastructure plutôt que de revendre l'endpoint de quelqu'un d'autre — c'est pourquoi le prix affiché sur la page de notre modèle est le prix, sans marge ajoutée par-dessus ni prix catalogue de fournisseur majoré au passage. Il est proposé à 0,33 $ par million de jetons d'entrée et 2,40 $ par million de jetons de sortie, avec texte, image et vidéo en entrée, 262 144 jetons de contexte et une seule clé. La même clé donne aussi accès à Qwen3.8-Flash à 0,15 $ et 0,47 $ par million avec une fenêtre d'un million de jetons, ainsi qu'à Qwen3.8-Max à 2,00 $ et 6,00 $, de sorte qu'une charge de travail qui dépasse le 27B ou a besoin d'une fenêtre plus longue migre sans second contrat ni modification de code. Le basculement est le point qui compte pour tout ce qui a une forme de production : un fournisseur bloqué réessaie avant que la réponse ne démarre, plutôt qu'après l'expiration de votre requête.

ZoomGain-4B ne figure pas dans ce catalogue et ne peut pas être appelé par notre intermédiaire. C’est un dossier de poids que vous servez vous-même, et la version honnête de la recommandation doit commencer par là.

Qui doit agir, et ce qui reste encore à confirmer

Si vous avez un travail à forte composante visuelle où la réponse repose sur un petit détail — un numéro de référence sur une étiquette, une couleur à l'écran, la présence de deux vis ou de trois —, un modèle de 4,54 B qui a fait l'objet d'un RL spécifiquement sur ce point, tournant en local à 2,71 Go en Q4_K_M, constitue un deuxième avis crédible et bon marché à faire tourner en parallèle d'un généraliste hébergé. Pas à la place de celui-ci. Le profil d'échec du spécialiste, c'est la substitution confiante, exactement l'échec qu'une vérification par un généraliste permet d'attraper, et inversement.

Si votre charge de travail comprend des documents, des graphiques, des captures d’écran, de la vidéo, du code ou des agents, c’est le 27B qu’il faut appeler, et le 44.81 obtenu sur un benchmark de détails fins pour lequel personne ne l’a entraîné n’est pas une raison d’en penser autrement.

Ce qui demeure non confirmé, et qu'il vaut mieux surveiller que présumer :

• La licence des poids. Apache 2.0 couvre le code. Le checkpoint ne porte aucune étiquette de licence et la fiche renvoie aux « conditions de chaque jeu de données et checkpoint » sans les énoncer. Tant que ce point n'est pas résolu, un déploiement commercial relève d'une discussion avec un avocat, pas d'une simple case à cocher.

• Toute reproduction. Chaque chiffre ci-dessus est déclaré par les auteurs et produit sur leur propre banc d’essai. Le benchmark et l’évaluateur sont publics, donc c’est vérifiable, mais personne en dehors d’Ant Group et de Zhejiang University ne l’a vérifié.

• Que le gain se généralise au-delà du pipeline. Les chiffres sur données tenues à l’écart sont ceux auxquels se fier, ils sont modestes — 6,10 points au-dessus de la moyenne sur treize benchmarks du modèle de base — et ils penchent fortement vers la famille à granularité fine ciblée par l’entraînement. Savoir si cela se transfère à vos images est une question ouverte à laquelle la publication ne répond pas.

• S'il tient la route en Q4. La fiche GGUF prévient que la quantification peut affecter la précision, et rien de publié ne compare les versions quantifiées au checkpoint BF16 sur ZoomGainBench. Pour un modèle dont toute la valeur réside dans les détails fins, c'est l'expérience à mener avant de faire confiance à un fichier de 2.71 GB.