HiRO-ACEv2 vs MathForm 8B : deux modèles étroits, deux types de vérité terrain

Ni HiRO-ACEv2 ni MathForm-8B ne cherchent à être un modèle général, et tous deux ont été conçus par des équipes qui ont jugé que le problème intéressant était plus restreint que celui d'un chatbot. HiRO-ACEv2 est l'émulateur climatique de deuxième génération d'Ai2, publié sur Hugging Face le 12 octobre 2026 sous forme d'un dépôt de 10,9 Go, sans annonce, accompagné d'une prépublication datée du lendemain. MathForm-8B est le modèle d'autoformalisation d'OpenBMB, créé le 14 août 2026 sur un socle Qwen3-8B, qui transforme les mathématiques en langage naturel en énoncés Lean 4. L'un produit une atmosphère maillée à 3 km ; l'autre produit une obligation de preuve formelle. La raison de les comparer n'est pas la capacité — leurs usages ne se recoupent pas —, mais ce qu'ils prétendent tous deux, et qui se révèle signifier quelque chose de très différent dans chaque cas : qu'une machine peut déterminer si la sortie est correcte.

Ce que chaque modèle émet réellement

HiRO-ACEv2 exécute un pipeline en deux étapes. Un émulateur autorégressif génère X-SHIELD, le modèle global à résolution de tempêtes, ramené à une résolution grossière de 100 km ; un modèle de diffusion entraîné séparément réduit ensuite cet état grossier à 3 km, produisant des taux de précipitation de surface moyennés sur six heures, des vents instantanés à 10 mètres vers l'est et vers le nord, ainsi que la pression au niveau de la mer. Le dépôt contient le modèle de descente d'échelle sous le nom HiROv2.ckpt, pour environ 1,28 Gio, et l'émulateur grossier sous le nom ACE2S-X-SHIELD.ckpt, pour environ 2,98 Gio, ainsi que dix ans de données de forçage NetCDF, deux fichiers de conditions initiales et les configurations YAML qui les relient.

MathForm-8B produit du texte, mais d'un type très particulier : un énoncé de théorème Lean 4. La fiche le décrit comme un modèle d'autoformalisation entraîné sur le jeu de données FormalVerse d'OpenBMB, d'abord par affinage supervisé, puis par apprentissage par renforcement dont la récompense provient de la compilation Lean et de retours de cohérence sémantique. Il est dense de 8B, sous Apache 2.0, et il hérite son échelle de son modèle de base — Qwen3-8B — plutôt que d'un nombre de paramètres publié qui lui soit propre. Les paramètres de génération recommandés sont une température de 0,6, un top-p de 0,95 et 16 384 nouveaux tokens, sur un serveur Transformers, vLLM ou SGLang ; l'évaluation nécessite un Kimina Lean Server en cours d'exécution et Lean 4.21.0.

Les deux sont étroits par conception. C'est la première véritable similitude, et c'est aussi là que les similitudes s'arrêtent pour l'essentiel.

Deux types de vérification, et pourquoi une seule d’entre elles permet de trancher un différend

Le côté Lean dispose d’un vérificateur décisif. Un énoncé de théorème soit compile sous Lean 4, soit il ne compile pas, et le vérificateur de types est un calcul fixe — il n’a pas de bons et de mauvais jours, et il n’a pas besoin d’être calibré. C’est pourquoi la boucle d’entraînement de MathForm-8B peut utiliser la compilation comme signal de récompense. Les chiffres publiés sont des taux Pass@8 dans deux régimes, la vérification syntaxique et la vérification de cohérence, évalués sur six benchmarks ; la valeur obtenue avec vérification syntaxique s’élève à 88,06 % et celle avec vérification de cohérence à 72,37 %. Ce sont les chiffres des auteurs eux-mêmes, non reproduits ici, et l’écart de seize points entre eux est l’élément le plus instructif de la fiche : un énoncé qui compile n’est pas la même chose qu’un énoncé qui exprime ce que le problème d’origine voulait dire.

Du côté du climat, il n’existe pas de tel vérificateur. La fiche de modèle de HiRO-ACEv2 ne contient aucun tableau de benchmarks. Sa seule affirmation quantitative est que le downscaler reproduit les distributions de référence des précipitations, du vent à 10 mètres et de la pression au niveau de la mer jusqu’au 99,9999e percentile, et qu’il suit globalement la distribution de référence de l’intensité des cyclones tropicaux. L’article ajoute que l’inférence coûte plus de 300 fois moins qu’un modèle numérique mondial conventionnel résolvant les tempêtes.

Chacune de ces affirmations est une affirmation distributionnelle par rapport à une référence, et non un test de réussite ou d’échec face à un calcul. Cette distinction détermine combien de temps chaque affirmation survit sans être contestée. On peut falsifier le chiffre de MathForm-8B en exécutant le modèle sur les benchmarks avec un serveur Lean et un GPU. Falsifier le chiffre de HiRO-ACEv2 nécessite un jeu de données de forçage sur dix ans, une simulation de référence à laquelle se comparer, et un analyste prêt à travailler dans la queue extrême. La première est une semaine de travail pour un étudiant de cycle supérieur. La seconde est un article.

Ce que les fournisseurs vous diront et ne vous diront pas

Les deux fiches de modèle ont des tempéraments opposés, et les lire côte à côte est instructif quant à ce à quoi sert une fiche.

La carte d'OpenBMB est une fiche de revendications dotée d'une section consacrée aux limitations. Elle fournit le corpus d'entraînement, la structure de récompense, les paramètres d'échantillonnage recommandés, la version exacte de Lean, ainsi qu'une figure rapportant les résultats Pass@8 sur six benchmarks — bien que, fait notable, les chiffres résident dans une image plutôt que dans le texte, si bien que quiconque extrait la page par programme trouvera la méthode soigneusement décrite, et pas du tout les résultats. Ce qu'elle ne donne pas, c'est une date de publication ; le seul indice de date, où que ce soit dans les métadonnées, est l'identifiant arXiv 2608.14221 et l'horodatage de création du dépôt, le 15 août 2026.

La fiche d'Ai2 est essentiellement une liste de contraintes. Neuf ans de données d'entraînement, de 2014 à 2022, pour les deux points de contrôle. Des sorties qui reproduisent X-SHIELD plutôt que des observations, de sorte qu'elles portent les biais de la simulation de référence. Aucune attente de généralisation en dehors des conditions de forçage d'entraînement — un point que l'article v2 accentue en notant que le cadre n'est pas testé au-delà de 66°S à 70°N et ne peut pas fonctionner au-delà de 88°S ou 88°N. Des discontinuités de chevauchement de patchs dans les régions plus grandes que la tuile d'entraînement de 16 par 16 à un degré. Une note indiquant que le point de contrôle ACE2S-X-SHIELD fourni est testé moins rigoureusement que la ligne ACE2-ERA5 précédente, et qu'il n'est pas destiné à la prévision météorologique. Et une licence — Apache 2.0 — portant les Responsible Use Guidelines d'Ai2 et un cadre de recherche et d'éducation.

Une fiche vous dit ce que le modèle obtient comme score. L’autre vous dit ce qu’il ne peut pas faire. Ni l’une ni l’autre ne cache quoi que ce soit, et un lecteur qui prend la seconde pour une version plus faible a mal compris à quoi servent ces artefacts.

La partie qui est véritablement comparable : ce que vaut un fork

Voici le seul axe sur lequel les deux versions peuvent être mesurées de la même manière, et il va dans des directions opposées.

• D'où vient le backbone — MathForm-8B est un fine-tuning complet de Qwen3-8B, sa lignée est donc documentée dans les métadonnées Hugging Face et son ancêtre est un modèle ouvert largement déployé ; les composants de HiRO-ACEv2 sont entraînés au sein du pipeline propre à Ai2, avec des données d'entraînement attribuées à X-SHIELD, fournies par GFDL, et aucun checkpoint ouvert en amont en dessous.

• Combien de runtimes peuvent le charger — MathForm-8B fonctionne sur Transformers, vLLM ou SGLang, et la communauté a déjà produit des quantifications GGUF et MLX pour llama.cpp et Apple silicon ; HiRO-ACEv2 passe par le paquet Python fme d'Ai2 avec des configurations pointant vers le dépôt ai2cm/ace, et il n'existe aucune alternative.

• À quelle vitesse l'écosystème a évolué — en l'espace de quatre jours après l'apparition du dépôt de MathForm-8B, les builds GGUF de la communauté étaient en ligne, et les conversions MLX en 4 bits, 6 bits et 8 bits ont suivi en deux semaines ; le dépôt de HiRO-ACEv2 n'a qu'un seul like et aucun téléchargement deux jours après son dernier commit.

• Ce que les poids vous coûtent à obtenir — MathForm-8B se télécharge comme un checkpoint de modèle standard et se quantifie pour tourner sur du matériel grand public ; HiRO-ACEv2 est un dépôt de 10,9 Go, dont l’essentiel est constitué de données de forçage et de conditions initiales plutôt que de poids, et il ne se réduit pas.

Le schéma est qu’un modèle de langage spécifique à une application hérite d’un écosystème de son backbone, tandis qu’un émulateur physique spécifique à une application n’hérite de rien. Pour MathForm-8B, le travail pour le faire fonctionner était en grande partie fait avant même qu’il existe. Pour HiRO-ACEv2, cela commence au README.

Où une couche de routage a sa place, et où elle ne l’a pas

La réponse honnête ici est asymétrique, et il vaut la peine de le dire franchement plutôt que de présenter les deux modèles sur un pied d'égalité. MathForm-8B lui-même ne figure pas dans notre catalogue — le checkpoint affiné provient de la distribution d'OpenBMB et doit s'exécuter sur votre propre serveur, à côté de l'installation Lean qu'il appelle. Son ancêtre ne figure pas non plus dans notre catalogue, ce qu'il vaut la peine de préciser, car l'hypothèse va dans l'autre sens : le checkpoint Qwen3-8B spécifique à partir duquel il a été affiné est une version de 2025 et ne fait pas partie des identifiants Qwen que nous servons. Ce que nous routons, c'est la génération Qwen actuelle autour de lui — les niveaux Qwen3.8 et Qwen3.5, et le checkpoint Qwen3-VL-8B-Instruct qui partage l'échelle 8B et la même lignée familiale, à 0,18 $ par million de jetons d'entrée et 0,70 $ par million de jetons de sortie sur un contexte de 131 072 jetons.

C'est la couche dont un pipeline de formalisation a réellement besoin. Découper un manuel en énoncés candidats, extraire le théorème informel d'un article avant qu'il ne passe à l'autoformaliseur, ou transformer un message d'erreur Lean en un appel ordinaire à un modèle de langage : tout cela peut passer par la même clé que le reste. HiRO-ACEv2 n'est pas routable et ne le sera jamais sous sa forme actuelle, car il n'y a aucune requête mesurée en tokens à router — 10,9 gigaoctets de checkpoints et un script shell, ce n'est pas un point de terminaison.

Ce qu'une seule clé pour plus de deux cents modèles routés vous apporte, dans un pipeline construit autour de l'un ou l'autre, c'est que le travail périphérique devient un simple appel au lieu d'un projet : le prix catalogue du fournisseur est répercuté sans marge ajoutée, le basculement entre fournisseurs est automatique, et un script qui pilote un ensemble ou une exécution de formalisation n'a pas besoin d'un second contrat fournisseur pour résumer sa propre sortie.

Ce qu’il faut surveiller de chaque côté

Un chiffre qui compte du côté de Lean serait une reproduction indépendante des valeurs 88,06 et 72,37 par un groupe n'ayant aucun intérêt dans la recette d'entraînement, idéalement désagrégée par benchmark plutôt que moyennée en un seul Pass@8 — car les échecs d'autoformalisation se regroupent par domaine mathématique, et une moyenne masque exactement le motif dont un praticien a besoin. Un chiffre qui compte du côté du climat serait une comparaison avec un modèle numérique à résolution de tempêtes exécuté sur le même matériel par quelqu'un d'autre que les auteurs de l'émulateur, puisque c'est l'affirmation d'une inférence 300 fois plus rapide qui décide si cette technique sera adoptée de manière opérationnelle.

D'ici là, les deux modèles se lisent au mieux de la façon dont leurs propres fiches de modèle invitent à les lire. MathForm-8B est un puissant autoformaliseur, avec un compilateur qui se tient derrière sa sortie, et la question intéressante à son sujet est de savoir à quelle fréquence l'énoncé compilé dit la bonne chose plutôt qu'une chose simplement vraie. HiRO-ACEv2 est un émulateur de recherche qui vient tout juste d'ajouter le vent et la pression à ce qui n'était auparavant qu'une sortie de précipitations, et la question intéressante est de savoir si les champs ajoutés sont physiquement cohérents avec les précipitations qu'ils accompagnent — ce qu'aucun tableau de benchmark n'aurait pu vous dire, même si un tel tableau avait existé.

C'est aussi dans des comparaisons comme celle-ci que les modes de défaillance apparaissent : les incidents d'IA et les défaillances d'agents documentés derrière les modèles de cette classe sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, sa note de confiance et un indicateur de contestation.