ZoomGain-9B vs MathForm 8B : deux checkpoints 9B qui ne peuvent pas faire le travail l’un de l’autre

Une question piégée se cache derrière ZoomGain-9B et MathForm-8B : tous deux sont des fine-tunes d'environ neuf milliards de paramètres publiés dans la même fenêtre de quatre-vingts jours, tous deux sont des publications de recherche quasi Apache-2.0 issues de laboratoires chinois avec un article joint, tous deux ont été post-entraînés par apprentissage par renforcement sur quelques milliers d'exemples, et tous deux affichent un score de benchmark qui semble impossible pour leur taille. La tentation est de les classer. Le problème, c'est que l'un d'eux n'a jamais vu une image et l'autre n'a jamais vu une preuve Lean, si bien que ce classement n'a aucun axe.

ZoomGain-9B est le checkpoint vision-langage d’inclusionAI du 10 novembre 2026, entraîné par GRPO sur 9 000 questions extraites de détails d’images recadrées, et son meilleur résultat rapporté est de 90,25 sur HR-Bench 4K. MathForm-8B est l’autoformaliseur d’OpenBMB du 14 août 2026, entraîné par ajustement supervisé suivi d’apprentissage par renforcement sur environ 367 000 exemples Lean 4, et son meilleur résultat rapporté est une moyenne de réussite pass@8 au contrôle syntaxique de 88,06 % sur six benchmarks d’autoformalisation. Aucun de ces deux chiffres ne dit quoi que ce soit de l’autre modèle. Ce qui les relie est plus utile qu’un classement : les deux publications avancent des affirmations étonnamment similaires sur la façon dont un petit modèle ajusté peut surpasser un généraliste bien plus grand, et les façons dont elles justifient ces affirmations diffèrent suffisamment pour vous indiquer à laquelle faire confiance, et pour quoi.

Les colonnes vides, nommées

ZoomGainBench ne contient aucun modèle uniquement textuel. Il s'agit d'un ensemble de questions portant sur des photographies — reconnaissance d'attributs, comptage et OCR — de sorte qu'un modèle dépourvu d'encodeur visuel ne peut pas y être inscrit, et MathForm-8B ne l'a pas été. Inversement, les six benchmarks d'évaluation de MathForm sont FormalMATH, ProverBench, CombiBench et trois sous-ensembles FATE, tous des tâches de traduction de mathématiques en langage naturel vers Lean 4. ZoomGain-9B n'a jamais été exécuté sur aucun d'entre eux et il n'y a aucune raison de croire qu'il s'en sortirait bien, puisque rien dans son entraînement n'impliquait de langages formels.

Ce n’est pas un détail technique concernant les benchmarks. C’est toute la structure de la décision. Si votre tâche produit une image et consomme une réponse factuelle courte, MathForm-8B est un modèle textuel qui ne peut pas s’y atteler. Si votre tâche consomme un énoncé mathématique et produit une preuve Lean 4 vérifiable par machine, ZoomGain-9B est un modèle de vision auquel la question n’a jamais été posée. Il n’y a aucun chevauchement à mesurer, ce qui signifie que la comparaison honnête porte sur la construction, les éléments de preuve et le coût opérationnel — et ces aspects s’avèrent très différents.

Deux recettes RL, toutes deux petites, et ce qui les différencie

L’ensemble d’entraînement de ZoomGain compte 9 000 enregistrements sur 7 713 images sources. Une époque, taille de lot de 64, huit rollouts par question, GRPO avec une récompense qui vérifie si l’option sélectionnée correspond à la réponse de référence. Les données ont été générées, et non annotées : plusieurs modèles localisent une région, les recadrages sont légendés et comparés à des légendes de scène complète, et les détails révélés par le recadrage deviennent des questions sur l’image complète. L’intervention humaine s’est limitée au filtrage — l’article précise explicitement qu’aucune modification manuelle des questions-réponses n’a eu lieu.

Le jeu d'entraînement de MathForm est FormalVerse, environ 367 000 exemples Lean 4 vérifiés. D'abord un ajustement supervisé, puis un apprentissage par renforcement avec les retours de la compilation Lean et un contrôle de cohérence sémantique. La construction des données a utilisé la recherche dans Mathlib avant la génération et un raffinement itératif après celle-ci, les diagnostics du compilateur orientant les révisions.

• Modèle de base — ZoomGain-9B est post-entraîné à partir de Qwen3.5-9B (32 couches, dimension cachée 4 096, intermédiaire 12 288, 262 144 positions, un schéma d'attention linéaire/complète 3:1). MathForm-8B est post-entraîné à partir de Qwen3-8B (36 couches, toutes en attention complète, dimension cachée 4 096, intermédiaire 12 288, 40 960 positions, 32 têtes de requête pour 8 têtes KV avec une dimension de tête de 128, rope theta 1e6).

• Dimensions partagées — les deux héritent d’une largeur cachée de 4 096 et d’une largeur intermédiaire de 12 288 de leurs parents Q​wen, ce qui constitue la coïncidence la plus frappante entre eux et est une propriété de la famille, non du fine-tuning.

• Vocabulaire — 248 320 jetons pour ZoomGain-9B contre 151 936 pour MathForm-8B. Celui de MathForm est un vocabulaire de génération Qwen3, et cela compte : le code Lean 4, les symboles mathématiques Unicode et les jetons de preuve se tokenisent différemment dans l'un et l'autre.

• Contexte — La fiche de ZoomGain-9B n’indique rien et sa configuration déclare 262 144 ; la configuration de MathForm-8B déclare 40 960, et sa commande de service recommandée est plafonnée à 16 384 avec un max_new_tokens de 16 384 tokens. Pour l’autoformalisation, la longueur de sortie est la contrainte déterminante, et non l’entrée.

• Modalité — image et texte en entrée, texte en sortie pour l’un ; texte en entrée, texte en sortie pour l’autre.

• Licence — ZoomGain-9B : code Apache 2.0, conditions du checkpoint différées et aucune étiquette de licence dans les métadonnées du Hub. MathForm-8B : Apache 2.0 avec un fichier LICENSE dans le dépôt.

• Distribution — ZoomGain-9B est disponible en BF16 ainsi qu’en GGUF en F16, Q8_0 et Q4_K_M. MathForm-8B est disponible en safetensors BF16 répartis en quatre shards totalisant environ 16,4 Go, ainsi que des versions GGUF et MLX communautaires, mais aucune quantification propre fournie par le fournisseur.

Les chiffres de MathForm-8B, et pourquoi ils sont plus faciles à vérifier qu'ils n'en ont l'air

OpenBMB rapporte un pass@8 moyen de 88,06 % au contrôle de syntaxe et de 72,37 % au contrôle de cohérence sur ses six benchmarks. Dans le même tableau, ReForm-8B atteint 81,76 et 66,21, Goedel-Formalizer-V2-32B atteint 78,28 et 63,74, et StepFun-Formalizer-32B atteint 63,65 et 44,47. Les trois découpages FATE sont ceux où les modèles spécialisés s'effondrent et où MathForm ne s'effondre pas : FATE-X atteint 54,00 en syntaxe et 37,00 en cohérence, contre 45,00 et 21,00 pour ReForm-8B.

Deux choses rendent ces chiffres plus crédibles qu’un tableau de fournisseur typique. Premièrement, les tâches sont mécaniques d’une manière que les tâches de perception ne sont pas — un énoncé Lean 4 compile ou non, et la vérification de cohérence compare le sens à la proposition source. Un benchmark partiellement vérifiable par machine est plus difficile à noter de manière optimiste. Deuxièmement, l’article indique que le modèle SFT uniquement est moins bon : MathForm-8B-SFT obtient 84,38 en syntaxe et 66,53 en cohérence, donc l’étape RL fait un travail mesurable plutôt que de décorer un modèle déjà terminé.

Il y a aussi une comparaison qui vaut la peine d’être citée, car elle va à l’encontre du cadrage adopté par le modèle lui-même. Sur les mêmes six benchmarks, Qwen3.7-Plus — un point de terminaison commercial généraliste — obtient 86,33 en syntaxe et 83,38 en cohérence. MathForm-8B le bat de 1,7 point en syntaxe et perd 11 points en cohérence. Le fine-tune spécialisé remporte la tâche de correspondance exacte et perd celle qui exige que la formalisation signifie la même chose que la source. Si votre pipeline a besoin d’un énoncé qui compile, un petit spécialiste est une bonne affaire. S’il a besoin d’un énoncé fidèle, un modèle généraliste avec récupération peut encore rester devant.

Les chiffres de ZoomGain-9B, avec la même comptabilisation

Les auteurs rapportent 90,25 sur HR-Bench 4K contre 82,13 pour le modèle de base, 93,19 sur V*Bench contre 86,91, 56,31 sur VisualProbe contre 44,66, 70,00 sur MMVP contre 60,00 et 68,12 sur O3-Bench contre 56,52. La moyenne held-out sur treize benchmarks est de 66,10 contre 59,75. Sur ZoomGainBench — le benchmark construit selon le même pipeline que les données d’entraînement — le modèle obtient 55,48, et l’article intitule cette colonne « Held-in » plutôt que de dissimuler cette distinction.

La différence structurelle avec les preuves de MathForm est que le benchmark de ZoomGain n’est pas vérifiable par machine de la même manière. Les réponses à choix multiples sont à correspondance exacte, le comptage est à correspondance exacte sur un entier, et l’OCR est évalué par ANLS — mais les questions elles-mêmes sont générées, et le contrôle effectué par les auteurs eux-mêmes consiste à vérifier que les réponses peuvent l’être sur la vue recadrée. Une question générée avec une réponse vérifiée reste une question générée.

Les deux versions ont été produites en partie avec des modèles comme annotateurs. L'annexe de ZoomGain précise les rôles : Qwen3.5-397B-A17B pour le légendage de scènes, l'ancrage et la vérification finale des QCM ; Qwen3-VL-235B-A22B-Instruct et Kimi-K2.6 pour la vérification par recadrage et la réponse en aveugle ; DeepSeek-V4-Pro pour le regroupement des distracteurs. FormalVerse de MathForm a été construit par un pipeline qui récupère des éléments depuis Mathlib, puis laisse le compilateur rejeter les générations incorrectes. Un pipeline s'appuie sur un vérificateur que l'on ne peut pas amener à donner son accord ; l'autre s'appuie sur des modèles qui vérifient le travail d'autres modèles, avec seulement un filtrage humain.

Les servir, dans les termes sur lesquels votre équipe ops posera des questions.

ZoomGain-9B fait 18,82 Go en BF16 et fonctionne sous vLLM 0.19.1 avec transformers 5.7.0 — les versions exactes des auteurs — ou sous une compilation de llama.cpp avec prise en charge multimodale de Q​wen3.5, en utilisant les fichiers GGUF plus un projecteur. Son tronc à dominante d’attention linéaire maintient un cache KV modeste sur de longues longueurs de séquence, ce qui est la propriété qui compte lorsqu’une requête unique transporte une image haute résolution plutôt qu’un long document.

MathForm-8B fait environ 16,4 Go en BF16, servi par vLLM avec une longueur maximale de modèle de 16 384, ou par SGLang avec le même contexte, à une température de 0,6 et top-p de 0,95 avec un budget de sortie de 16 384 tokens. Son évaluation nécessite un serveur Kimina Lean en cours d’exécution et Lean 4.21.0, ce qui est la partie que les gens sous-estiment : vous ne déployez pas seulement un modèle, vous déployez une chaîne d’outils Lean à côté. Le retour de compilation est le signal de récompense pendant l’entraînement et le test d’acceptation pendant l’évaluation, donc un pipeline sans Lean ne peut pas mesurer si ce modèle fonctionne.

Ni l'un ni l'autre ne figure aujourd'hui dans le catalogue OrcaRouter, et cet article ne prétend pas le contraire. Ce que nous pouvons faire, c'est acheminer le travail qui les entoure. Un pipeline documentaire qui lit une page numérisée puis vérifie les calculs qui y figurent comporte deux moitiés : l'appel de vision et l'appel de raisonnement. Une seule clé pour plus de 200 modèles au prix catalogue du fournisseur, sans marge ajoutée, une règle de routage qui envoie chaque moitié vers un point de terminaison qui répond à vos critères, et un basculement automatique si l'une ou l'autre se bloque — voilà la couche sous-jacente aux deux moitiés, et c'est pourquoi un pipeline à deux modèles n'implique pas nécessairement deux fournisseurs et deux contrats.

Lequel télécharger ?

Choisissez MathForm-8B si votre problème est formel et que votre chaîne d’outils est déjà Lean. Les preuves sont plus solides, la licence est sans ambiguïté, la sortie est vérifiable par machine, et le déficit de cohérence de 11 points par rapport à un modèle général est une limitation réelle que vous devez connaître avant de vous engager. Choisissez-le surtout pour les splits FATE, où les références spécialisées tombent à 21 % de cohérence et où il maintient 37 %.

Choisissez ZoomGain-9B si votre problème porte sur un détail à l’intérieur d’une image et que votre réponse est courte. Ses gains sur données retenues sont crédibles pour 9 000 échantillons, son benchmark est téléchargeable afin que vous puissiez vérifier vous-même l’affirmation, et sa licence est la seule chose que vous devez lire avant de livrer. Ne le choisissez pas en vous attendant à un assistant visuel général ; rien dans la version publiée ne teste cela.

Et si vous espériez un verdict sur lequel est le meilleur modèle à neuf milliards de paramètres, les notes de version y répondent mieux que ne pourrait le faire n’importe quel classement : ils ont été conçus pour être confrontés à différents types de vérité terrain, et une seule de ces vérités terrain se compile.