AesCode-8B vs MathForm-8B : deux modèles affinés de 8B dont la sortie peut être vérifiée par une machine

AesCode-8B et MathForm-8B sont apparus à huit semaines d'intervalle, tous deux issus de dépôts de code plutôt que de communiqués de presse, et cette coïncidence est plus intéressante qu'elle n'en a l'air. Tous deux partent d'un checkpoint de la famille Qwen3. Tous deux consacrent l'intégralité de leur budget d'entraînement à une forme de sortie étroite. Et tous deux ont été construits autour d'un vérificateur : MathForm-8B est entraîné en fonction du verdict d'un compilateur Lean 4, et AesCode-8B est évalué en rendant chaque page candidate dans un navigateur isolé, puis en relisant le DOM, les styles calculés et une capture d'écran. Ni l'un ni l'autre n'est un chatbot, et ni l'un ni l'autre ne cherche à le devenir. Ce qui les sépare, c'est ce qu'une machine peut vérifier et ce qu'elle ne peut pas — et, dans le cas du plus récent des deux, ce qui se passe quand la moitié du score provient d'un juge que personne n'a nommé.

Les registres de publication ne sont pas symétriques. MathForm-8B provient d'OpenBMB et sa fiche de modèle date la sortie au 2026-08-14 ; il est construit sur Qwen3-8B et entraîné sur FormalVerse, un corpus d'environ 367 000 exemples Lean 4 vérifiés, avec un affinage supervisé suivi d'un apprentissage par renforcement qui utilise la compilation Lean et des contrôles de cohérence sémantique comme signal de récompense. AesCode-8B ne porte aucune date de sortie nulle part dans ses fichiers. Microsoft a créé le dépôt Hugging Face le 2026-09-29, a commité les poids à 03:35 UTC le 2026-10-07 sous le message « Release AesCode-8B », et a publié le code d'entraînement sur GitHub le 2026-10-08. Aucune annonce n'a accompagné l'un ou l'autre de ces événements, la citation de la fiche de modèle indique « Under review, 2027 », et le dépôt affichait deux téléchargements au moment de la rédaction. Il est affiné à partir de Qwen3-VL-8B-Instruct, ce qui mérite d'être souligné précisément parce que ce n'est pas le même ancêtre que celui de MathForm-8B.

L’ascendance explique la majeure partie de la séparation

Qwen3-8B et Qwen3-VL-8B-Instruct partagent une génération et un nom de famille, mais pas une fonction. Qwen3-8B est un généraliste purement textuel : environ 8,2 milliards de paramètres au total, dont environ 7 milliards non-embedding, une attention à requêtes groupées, un contexte natif de 32K tokens extensible à 131K grâce à YaRN, et un entraînement sur 119 langues et dialectes. Qwen3-VL-8B-Instruct est le modèle frère vision-langage, et c'est le checkpoint à partir duquel démarre AesCode-8B — la configuration AesCode publiée est directement une recette Qwen3-VL avec 36 couches cachées, une taille cachée de 4 096, 32 têtes d'attention avec 8 têtes clé-valeur et un vocabulaire de 151 936 tokens.

Cette bifurcation détermine le côté entrée des deux spécialistes avant que l’un ou l’autre n’ait été entraîné. MathForm-8B prend du texte et émet du texte dans une syntaxe formelle. AesCode-8B prend du texte ainsi qu’une image de référence facultative et émet un document.

• Base — MathForm-8B : Qwen3-8B, texte uniquement. AesCode-8B : Qwen3-VL-8B-Instruct, image et texte en entrée.

• Paramètres — MathForm-8B : environ 8,2 Md. AesCode-8B : environ 8,8 Md en bf16 sur quatre shards, que Hugging Face arrondit à 9 Md.

• Données d'entraînement — MathForm-8B : FormalVerse, environ 367 K exemples Lean 4 vérifiés. AesCode-8B : 3 000 démonstrations de démarrage à froid, puis apprentissage par renforcement GDPO sur 7 408 invites pendant 400 étapes.

• Ce qui vérifie la sortie — MathForm-8B : un compilateur Lean 4, plus une vérification de cohérence sémantique par rapport au problème d'origine. AesCode-8B : un rendu Playwright en environnement isolé avec six vérificateurs déterministes et une grille d'évaluation notée par un modèle.

• Licence — toutes deux sous Apache 2.0, toutes deux en accès libre, toutes deux héritant du socle de la famille Qwen3.

• Hébergé n'importe où — ni l'un ni l'autre, pour autant que nous puissions en juger.

Deux significations différentes de « verifiable »

Voilà une distinction qui mérite qu'on prenne son temps, car « vérifiable par machine » est employé pour les deux et ne signifie pas la même chose.

Le vérificateur de MathForm-8B est un assistant de preuve. Lean 4 accepte ou non un énoncé, et le verdict n’est pas une question d’opinion, de grille d’évaluation ou de goût d’un juge. La boucle d’entraînement est orientée vers ce signal : l’étape SFT sur FormalVerse enseigne la correspondance entre un problème informel et un énoncé de théorème formel avec un en-tête d’imports et un théorème nommé, et l’étape RL l’affine en s’appuyant sur la compilation ainsi que sur une vérification de cohérence qui demande si la formalisation dit encore ce que disait le problème d’origine. La compilation est binaire et reproductible par quiconque dispose de la même version de Lean. La vérification de cohérence est la moitié la plus souple, et c’est la moitié où les chiffres rapportés faiblissent — ce que montrent exactement les résultats publiés.

Le vérificateur d'AesCode-8B est un moteur de rendu. Les candidats sont rendus dans un navigateur Playwright sandboxé avec les requêtes externes bloquées, et le harnais relit le DOM, les styles calculés, les boîtes englobantes, l'état de la console et une capture d'écran. Six canaux déterministes notent les éléments analysables — exécution, texte exact, comportement aux limites, données de tableaux et de graphiques, mise en page sémantique, espaces blancs — et un septième, le Visual Graph Rubric, note la géométrie et le placement via des questions fermées (oui/non) liées au graphe. Les tableaux doivent être de vrais tableaux HTML et les graphiques doivent être des spécifications ECharts, ce qui est une contrainte qui fait un vrai travail : elle force la sortie dans une forme qu'un vérificateur peut analyser. La moitié déterministe est véritablement reproductible. La moitié visuelle est jugée par un modèle vision-langage dont la documentation ne nomme pas l'identité, ce qui signifie que personne en dehors du laboratoire ne peut la reproduire.

Donc, la comparaison honnête n’est pas « l’un est vérifié et l’autre ne l’est pas ». C’est que le signal principal de MathForm-8B est un compilateur et son signal secondaire est une vérification de cohérence, tandis que le signal principal d’AesCode-8B est un ensemble d’assertions DOM déterministes et son signal secondaire est l’opinion d’un modèle, le tout intégré dans le même score global.

Ce que chacun rapporte, et ce que cela vaut

MathForm-8B rapporte un Pass@8 moyen de 88,06 % au contrôle syntaxique et de 72,37 % au contrôle de cohérence, sur six benchmarks. La dispersion par benchmark est la partie intéressante : 95,06 % de cohérence sur FormalIMATH et 94,83 % sur ProverBench, puis 63 % sur FATE-H et 37 % sur FATE-X. Ces deux derniers sont les énoncés difficiles et réalistes, et la chute des environs de 95 % à ceux de 35 % représente la forme honnête de la capacité. Tous ces chiffres sont rapportés par le fournisseur et non reproduits, et l'éventail de benchmarks penche vers les ensembles les plus faciles.

AesCode-8B annonce un score global de 82,94 sur la grille d'évaluation d'infographies à 300 échantillons de Microsoft — Texte 94,06, Limites 88,36, Graphique 87,79, Règle 90,07, Contenu 86,41, Mise en page 87,80, Style 53,21, Visuel 75,80 — avec trois générations par invite et aucune sélection. Microsoft indique également qu'il dépasse GPT-5.5 conditionné par référence, à 81,28, et Claude Opus 4.8, à 80,39, sur la même grille ; qu'une grave défaillance de débordement du canevas se reproduit sur 4,3 % des 300 échantillons ; et que 22,4 points Visuel séparent le compagnon 32B de son propre backbone. Chaque chiffre provient du fournisseur, sur la tâche du fournisseur, et est mesuré selon des canaux que le fournisseur a lui-même conçus.

Les deux ensembles de nombres ne peuvent pas du tout être comparés l'un à l'autre. Il n'y a ni tâche commune, ni métrique commune, ni juge commun. Mettre 88,06 % à côté de 82,94 % reviendrait à comparer un taux de réussite de formalisation Lean à un score global d'infographie, et aucun des deux modèles n'a jamais été évalué sur ce que fait l'autre.

Une asymétrie mérite d'être nommée, car elle va à l'encontre du modèle plus récent. La métrique phare de MathForm-8B intègre un arbitre externe : n'importe qui peut installer Lean, charger les mêmes benchmarks et vérifier si les énoncés se compilent. La métrique phare d'AesCode-8B, elle, n'en a pas — les vérificateurs déterministes pourraient être réexécutés par une personne extérieure déterminée, mais la moitié visuelle du score dépend d'un juge que l'article n'a pas identifié. Un taux de réussite à la compilation non reproduit est une affirmation plus faible qu'un tableau de benchmarks, et reste une affirmation plus forte qu'un score de grille d'évaluation non reproduit avec un correcteur anonyme à l'intérieur.

Le fait de les exécuter est une question différente de l’un ou l’autre score.

Les deux relèvent aujourd'hui d'une décision d'auto-hébergement. MathForm-8B est le moins coûteux, et de loin : un checkpoint texte uniquement d'environ 8,2 milliards de paramètres, avec un budget de génération d'environ 16 K tokens de sortie Lean, qui se quantifie sur une seule carte de milieu de gamme. AesCode-8B est un modèle vision-langage de 8,8 milliards de paramètres dont le chemin de service transporte des images en plus du texte ; la commande propre à la carte est vllm serve microsoft/AesCode-8B --limit-mm-per-prompt image=2 --max-model-len 24576, et 17,5 Go de poids bf16 plus un cache KV pour 24 576 tokens et deux images signifie qu'une carte de 24 Go est juste et que 40-48 Go constitue le plancher réaliste. Prévoyez aussi une pile de rendu si vous voulez noter vous-même vos sorties, car c'est ainsi qu'a été établie chaque affirmation de qualité concernant le modèle.

Le coût caché plus important, c'est que ces deux modèles sont des spécialistes que vous adopteriez définitivement. Une équipe qui a besoin de formalisation et de génération de documents fait désormais tourner deux chemins de service 8B, deux ensembles de formats de prompts, deux profils de défaillance, et aucun des deux modèles ne peut absorber le travail de l'autre. C'est exactement le cas pour lequel une couche de routage existe : garder les spécialistes là où l'économie et le traitement des données justifient de posséder un GPU, et envoyer le trafic général vers quelque chose hébergé derrière le même point de terminaison. Concrètement, les équivalents généralistes de ces deux bases sont appelables — Qwen3-VL-8B-Instruct à 0,18 $ par million de jetons d'entrée et 0,70 $ par million de jetons de sortie sur un contexte de 131 072 jetons, aux côtés de la famille Qwen 3.8 et d'autres checkpoints ouverts — le tout via l'API unique d'OrcaRouter couvrant plus de 200 modèles, avec le prix catalogue des fournisseurs répercuté à 0 % de marge et un basculement automatique entre fournisseurs. Aucun des deux spécialistes n'est routable ici, ni nulle part ailleurs où nous avons pu en trouver ; ce qui est routable, c'est le généraliste vers lequel vous vous repliez une fois le travail étroit terminé, ce qui fait la différence entre tester un checkpoint de recherche et en faire une dépendance porteuse.

Choisir entre eux, si vous devez vraiment le faire.

Choisissez MathForm-8B lorsque l’artefact doit compiler. Conversion de banques de problèmes, corpus formels pour un prouveur, préformatage d’énoncés pour des outils basés sur Lean — voilà toute la description du poste, et c’est le seul des deux qui a été entraîné pour cela. Prenez les chiffres FATE au sérieux quand vous définissez le périmètre : sur les énoncés réalistes les plus difficiles, environ un tiers s’avèrent cohérents, et vous devrez de toute façon mettre en place une étape de relecture humaine.

Choisissez AesCode-8B lorsque l’artefact doit être rendu. Un brief entre, un document HTML éditable sort, les tableaux sont des tableaux et les graphiques sont des spécifications de graphiques, et le tout produit un diff dans Git. Acceptez le plafond Style — 53,21, une dimension définie comme n’exigeant aucune révision visuelle supplémentaire avant livraison — comme la mesure honnête du travail d’édition restant, et acceptez que le contexte de 24 576 tokens n’ait été validé que sur des pages infographiques uniques plutôt que sur les présentations à plusieurs diapositives que les gens veulent réellement.

Le choix auquel la plupart des équipes seront en réalité confrontées n’est cependant ni l’un ni l’autre. Il s’agit de savoir si l’un de ces spécialistes de niche vaut ne serait-ce qu’un déploiement, ou si le généraliste qui le sous-tend, appelé via une API, est suffisamment proche pour le volume dont vous disposez. Cela représente un après-midi de tests de prompts plutôt qu’un achat de GPU, et les chiffres propres aux deux fiches vous donnent la raison de le faire : la cohérence sur l’ensemble difficile de MathForm-8B est de 37 %, et le score Style d’AesCode-8B est de 53 %, donc aucun des deux n’est un modèle que vous mettriez dans un pipeline sans supervision.

Ce que les deux versions vous disent sur la façon dont les modèles sont livrés aujourd’hui

Deux fine-tunings de 8B, à huit semaines d'intervalle, issus de deux laboratoires différents, publiés sans annonce, sans page produit et sans évaluation indépendante, tous deux construits autour d'une boucle de vérification, tous deux sous Apache 2.0, aucun des deux n'étant servi par quiconque. C'est ce schéma qui fait l'histoire, bien plus que l'un ou l'autre des modèles. La méthode de recherche a migré vers la fonction de récompense — le signal de compilateur d'OpenBMB, les canaux intermodaux découplés de Microsoft — et les artefacts publiés sont devenus la recette d'entraînement plus les poids, l'article arrivant plus tard, voire jamais.

Ce que cela signifie pour quiconque lit une comparaison comme celle-ci, c'est que les chiffres du fournisseur sont tout ce que vous aurez pendant un moment, et la question utile n'est pas de savoir s'ils sont élevés, mais s'ils sont vérifiables. Le taux de débordement d'AesCode-8B et son plafond Style sont des affirmations vérifiables déguisées en échecs. Le chiffre de cohérence FATE-X de MathForm-8B est exactement la même chose. Voilà les chiffres à lire, et ceux à reprendre et à réexécuter vous-même dès que les vérificateurs seront reproductibles de bout en bout.