HiRO-ACEv2 vs Gemma 4 12B : La comparaison n'a de sens qu'une fois qu'on arrête de compter les paramètres

HiRO-ACEv2 et Gemma 4 12B sont tous deux des téléchargements Apache 2.0 avec un numéro dans le nom et un rapport technique derrière eux, et c'est à peu près là que s'arrête la ressemblance. Gemma 4 12B est le modèle de langage multimodal à 11,95 milliards de paramètres de Google — texte, images et audio en entrée, texte en sortie, une fenêtre de contexte de 256 K tokens, publié en juin 2026 et téléchargé bien plus d'un million de fois. HiRO-ACEv2 est l'émulateur climatique de deuxième génération d'Ai2, téléversé sur un dépôt Hugging Face le 12 octobre 2026 avec environ 10,9 Go de points de contrôle et de données de forçage, sans annonce, et un article paru le lendemain. L'un est un modèle généraliste que vous appelez ; l'autre est un framework de physique que vous installez et exécutez sur votre propre machine.

Présentée comme un duel sur la qualité, cette confrontation n’a aucun sens, et prétendre le contraire serait l’échec facile d’une page comme celle-ci. Posée comme une question sur ce que les poids ouverts vous apportent réellement en 2026, elle est véritablement instructive — car les deux sorties se situent aux extrémités opposées du spectre de l’ouverture bien qu’elles portent toutes deux la même étiquette de licence, et les différences apparaissent dès la première heure où l’on tente d’utiliser l’une ou l’autre.

À quoi sert chacun, en une phrase chacun.

Gemma 3 12B prend une invite — du texte, une image, un extrait audio ou une combinaison de ceux-ci — et produit du texte. Il dispose d'une architecture sans tour de vision et sans encodeur qui projette directement les patchs d'image et les formes d'onde audio dans l'espace de plongement du modèle de langage via des couches linéaires, 48 couches, un vocabulaire de 262 K, une fenêtre glissante de 1024 jetons combinée à une attention globale, et environ 11,95 milliards de paramètres en bf16. Il s'agit explicitement d'un modèle dense, et la sortie inclut un tableau complet de benchmarks du fournisseur.

HiRO-ACEv2 prend un état climatique à une résolution de 100 km et produit des champs à 3 km — précipitations, composantes est et nord du vent à 10 mètres, et pression moyenne au niveau de la mer — à une fréquence de six heures. C'est un système en deux étapes : un émulateur autorégressif de X-SHIELD dont la résolution est réduite à 100 km, suivi d'un modèle de diffusion qui applique une descente d'échelle au résultat pour le porter à 3 km. Il produit des champs maillés de type NetCDF, et non du texte, et il ne contient absolument aucun tableau de référence.

Voilà toute la comparaison en termes structurels. L’un établit une correspondance de langue à langue. L’autre établit une correspondance entre une atmosphère grossière et une atmosphère fine.

La seule dimension où les deux sont réellement comparables

Les paramètres ne sont pas le bon axe, et la longueur de contexte n'a aucun sens pour l'un d'entre eux. La dimension qui, elle, se transpose, c'est la part de la version qui est terminée.

• Les frameworks qui peuvent le charger — Gemma 4 12B s’exécute sur Transformers, vLLM, SGLang, llama.cpp, MLX et une longue traîne de versions communautaires quantifiées ; HiRO-ACEv2 passe par le paquet Python fme propre à Ai2, avec des configurations ciblant le dépôt ai2cm/ace et rien d’autre.

• Prix d'une réponse — Gemma 4 12B est proposé à environ 0,10 $ par million de jetons d'entrée et 0,30 $ par million de jetons de sortie par les fournisseurs qui le prennent en charge ; HiRO-ACEv2 n'a pas de grille tarifaire, car rien n'y est facturé à la requête. Son coût correspond à des heures de GPU sur votre propre matériel, et l'article affirme que ces heures coûtent plus de 300 fois moins cher qu'un modèle numérique mondial de résolution des tempêtes conventionnel.

• Qui l’a reproduit — Les chiffres de Gemma 4 12B sont déclarés par le fournisseur, mais son déploiement ne l’est pas : des centaines de milliers de téléchargements et un vaste ensemble de travaux de praticiens indépendants sous-tendent chaque affirmation sur son comportement ; les chiffres de HiRO-ACEv2 proviennent des auteurs eux-mêmes, datent de deux jours, et le dépôt ne compte aucun téléchargement à l’heure où nous écrivons.

• Ce à quoi l'étiquette de licence se rattache — les deux sont sous Apache 2.0. L'octroi de Gemma 4 12B correspond à la licence ordinaire ; celui de HiRO-ACEv2 s'accompagne des Responsible Use Guidelines d'Ai2, qui mentionnent une intention de recherche et d'éducation, ainsi que de ses propres conditions d'utilisation applicables qui s'y superposent.

• Une sortie qui peut être vérifiée mécaniquement — une réponse de Gemma 4 12B est vérifiée en la lisant, ou par une suite de tests que vous écrivez ; un champ HiRO-ACEv2 est vérifié par rapport à une distribution, c'est pourquoi l'article porte sur le 99,9999e centile plutôt que sur un score moyen.

Le tableau des benchmarks est la différence la plus criante.

Google a publié un tableau complet pour Gemma 4 12B Unified. MMLU Pro à 77,2 %, AIME 2026 sans outils à 77,5 %, LiveCodeBench v6 à 72,0 %, un ELO Codeforces de 1659, GPQA Diamond à 78,8 %, MMMLU à 83,4 %, MMMU Pro à 69,1 %, MATH-Vision à 79,7 %, et un chiffre de 43,4 % pour MRCR v2 à huit aiguilles à 128k. Ce sont les propres chiffres du fournisseur, non reproduits par les concurrents de Google, et la mise en garde habituelle s'applique : un benchmark de fiche de modèle est une affirmation sur une configuration, pas une mesure du modèle que vous exécuterez. Mais chacune de ces lignes est un nombre qu'un tiers peut tenter de falsifier en un après-midi, et plusieurs d'entre elles mesurent des capacités qui apparaissent dans l'usage ordinaire.

La fiche de HiRO-ACEv2 ne contient aucun tableau de ce type. Elle formule une seule affirmation quantitative — à savoir que le modèle de descente d'échelle reproduit le taux de précipitations de surface, les vents à 10 mètres et les distributions de pression au niveau de la mer jusqu'au 99,9999e percentile — puis énumère des limites plus instructives que la plupart des tableaux de référence. Neuf années de données d'entraînement, de 2014 à 2022. Des sorties qui reproduisent X-SHIELD plutôt que des observations. Aucune applicabilité en dehors de 66° S à 70° N, et aucune possibilité d'exécution au-delà de 88° S ou 88° N. Des discontinuités aux limites des patchs dans les régions plus grandes que le patch d'entraînement de 16 par 16 à un degré. Une note indiquant que le checkpoint ACE2S-X-SHIELD inclus est testé moins rigoureusement que la lignée ACE2-ERA5 antérieure.

Aucune des deux postures n’est malhonnête. Google vend un modèle, donc il met en avant les scores que ce modèle obtient. Ai2 publie un artefact de recherche, donc il met en avant ce que cet artefact ne peut pas faire. Un lecteur qui voit dans l’absence de tableau de benchmarks la preuve d’un modèle faible raisonne à l’envers — la bonne lecture est que l’évaluation dont ce cadre a besoin est distributionnelle et qu’aucun classement public ne la met en œuvre.

Là où ils se rencontrent dans un pipeline réel

Il existe un endroit où ces deux éléments ont véritablement leur place dans le même système, et ce n’est pas une rivalité. Un flux de travail d’émulation climatique produit une grande quantité de texte et de code autour du modèle : des scripts qui pilotent des ensembles sur des décennies de temps simulé, des outils qui valident les formes NetCDF avant qu’une exécution ne consomme des heures de GPU, l’agrégation de statistiques de distribution sur des centaines de rollouts, et le travail ordinaire consistant à transformer un article en liste de contrôle. Rien de tout cela n’est de la réduction d’échelle, et tout cela relève du travail sur les modèles de langage — le genre où appeler un modèle par requête, plutôt que d’en héberger un, est la valeur par défaut raisonnable.

C'est la couche que couvre OrcaRouter. HiRO-ACEv2 ne figure pas dans notre catalogue et ne pourrait pas y figurer — il n'existe aucun point de terminaison facturé au token pour un downscaler de diffusion — donc rien ici ne doit être interprété comme une affirmation de disponibilité à son sujet. Gemma 4 12B ne fait pas non plus partie des modèles G​emma que nous servons actuellement ; notre catalogue contient les checkpoints Gemma 4 26B-A4B et 31B, et le chemin d'inférence du 12B proviendrait de là où vous l'hébergez. Ce que nous proposons, c'est la couche environnante : une seule clé API pour plus de deux cents modèles, le prix catalogue du fournisseur répercuté sans marge ajoutée, et un basculement automatique entre fournisseurs afin qu'un pipeline de plusieurs décennies qui appelle aussi un modèle de langage ne se bloque pas parce qu'un amont a connu une mauvaise heure.

Comment décider en moins d'une minute

Demandez-vous quelle forme prend votre réponse. Si la sortie est du texte, une extraction structurée, une modification de code ou une légende, il vous faut Gemma 4 12B — ou l’un de ses modèles plus grands — et le 12B en particulier est le bon choix lorsqu’il vous faut du multimodal d’une taille qui tient sur un seul accélérateur, avec de la place pour un contexte long. Si la sortie est un champ maillé de 3 km décrivant les précipitations, le vent et la pression sur des décennies de climat simulé, aucun modèle de langage ne le produira et Gemma 4 n’a aucun rapport avec votre problème ; il vous faut HiRO-ACEv2, 10,9 Go de téléchargement, un environnement Python et un GPU.

Le piège dans cette comparaison particulière, c’est le nombre de paramètres. Gemma 4 12B en a un ; HiRO-ACEv2 n’en publie pas, et les 10,9 Go de stockage du dépôt correspondent principalement à des données de forçage et à des conditions initiales plutôt qu’à des poids — les deux checkpoints réunis représentent environ 4,3 Gio. Juger ces deux modèles côte à côte sur la taille, ou sur n’importe quel chiffre isolé, produit une réponse assurée à une question que personne n’a posée.

C'est aussi dans des comparaisons comme celle-ci que les modes de défaillance apparaissent : les incidents d'IA et les défaillances d'agents documentés derrière les modèles de cette classe sont recueillis dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, sa note de confiance et un indicateur de contestation.