Une carte de titre générée indiquant « Aion-1.0-Instruct-2.3B vs Gemma 4 12B » avec le sous-titre « Cinq fois plus de poids et dix fois plus de preuves », au-dessus d’une comparaison à barres horizontales de 2,29 B contre 11,95 B de paramètres et de trois badges : « 1 jour de preuves communautaires », « 7 mois de preuves communautaires » et « Les deux déclarés par le fournisseur ».
Guides & Insights

Aion-1.0-Instruct-2.3B vs Gemma 4 12B : cinq fois plus de poids et dix fois plus de preuves

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Placez Aion-1.0-Instruct-2.3Bà côté de G​emma 4 12B et l’écart de paramètres est ce qu’il y a de moins intéressant chez eux. Le checkpoint de Microsoft compte 2,29 milliards de paramètres et a été mis en ligne sur Hugging Face le 18 novembre 2026 sans annonce ; celui de G​oogle DeepMind en compte 11,95 milliards, sous Apache 2.0, et est téléchargeable depuis mai 2026 avec une fiche modèle qui affiche un tableau d’évaluation complet et une communauté qui a déjà téléchargé les poids plus d’un million de fois. L’écart intéressant, c’est que l’un de ces modèles a été examiné par des inconnus et l’autre n’a été examiné par personne.

Il s'agit d'une comparaison de deux versions ouvertes plutôt que de deux API, de sorte que chaque affirmation ci-dessous peut être vérifiée en téléchargeant quelque chose. Les chiffres d'Aion-1.0-Instruct-2.3B proviennent de la fiche de modèle et du fichier config.json de son dépôt, tous deux consultés directement aujourd'hui. Les chiffres de G​emma 4 12B proviennent de la fiche de modèle de G​oogle, et ses résultats de benchmark sont ceux du fournisseur — rapportés, et non reproduits indépendamment, une distinction qui compte pour les deux modèles ici.

Le tableau comparatif que personne ne parvient à remplir équitablement

Six dimensions, les deux côtés, et une note là où un côté n’a tout simplement rien à mettre dans la cellule.

• Paramètres — Aion-1.0-Instruct-2.3B est un modèle dense d’environ 2,29 B avec embeddings liés ; G​emma 4 12B est un modèle dense de 11,95 B réparti sur 48 couches.

• Licence — MIT pour Aion, Apache 2.0 pour G​emma. Sur le plan commercial, les deux sont en pratique sans restriction ; MIT est légèrement plus simple à respecter, car il ne comporte aucune concession de brevet à prendre en compte.

• Contexte — 32 768 jetons contre 256 K, une différence d’un facteur huit qui détermine si un dépôt entier tient dans une seule invite.

• Entrées — texte uniquement versus texte, image et audio, la particularité déterminante de G​emma 4 12B étant qu’il n’a pas d’encodeurs séparés : les patches d’image et les formes d’onde audio se projettent directement dans l’espace d’embedding du décodeur.

• Langues — huit pour Aion (anglais, allemand, espagnol, portugais, italien, français, chinois, japonais, avec des données multilingues représentant environ 6 % de l’entraînement) ; plus de 140 revendiquées pour G​emma.

• Évaluation publiée — Aion : 11 benchmarks sur un harnais nommé, tous exécutés par le fournisseur. G​emma : plus de 15 benchmarks ainsi que des lignes vision, audio et contexte long, tous exécutés par le fournisseur.

Ce que disent les onze chiffres de Microsoft

La fiche d’Aion est plus franche que la plupart des sorties discrètes. Elle précise que les benchmarks ont été exécutés sur lm-evaluation-harness d’EleutherAI lorsqu’une implémentation de tâche existait, et sur le dépôt propre à chaque benchmark sinon, que GPT-4o a servi de juge pour celles qui dépendent d’un juge, puis elle affiche les scores : MMLU 55.15, MMLU-Pro 33.35, MMMLU 45.51, GPQA 28.18, GSM8K 74.91, GSMPlus 49.56, MATH-500 48.00, IFEval 83.90, IFBench 32.00, Multi-IF 64.70, chrF++ 43.18.

Deux d’entre eux portent un qualificatif dans la colonne des notes — GSM8K est « correspondance approximative », IFBench est « approximatif au niveau du prompt » — et la fiche ne les masque pas. C’est le genre de mention qu’une équipe marketing supprime et qu’une équipe d’évaluation laisse. Cela signifie aussi que les chiffres doivent être lus comme un plancher plutôt qu’un argumentaire : un 33,35 sur MMLU-Pro et un 28,18 sur GPQA ne sont pas des chiffres que quiconque choisirait de mettre en avant.

La fiche est tout aussi directe sur ce que le modèle ne peut pas faire. Sa section limitations indique qu’un petit modèle de cette taille « peut manquer de détails fins, fournir des déclarations erronées ou montrer une incapacité à suivre un raisonnement complexe en plusieurs étapes », et sa section recommandations indique que le modèle « n’a pas été entraîné à exceller en connaissances du monde ». Ce sont les mots du fournisseur, pas les nôtres, et ils concordent avec les scores plutôt que de les contredire.

Où vont réellement les neuf milliards de paramètres supplémentaires de Gemma

La fiche de Gemma 4 12B liste MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 sans outils 77.5, LiveCodeBench v6 72.0, Codeforces ELO 1659, Tau2 avec une moyenne sur trois exécutions de 69.0, BigBench Extra Hard 53.0 et MMMLU 83.4. Elle affiche également MMMU Pro 69.1 et MATH-Vision 79.7 pour la vision, CoVoST 38.5 et FLEURS 0.069 pour l’audio, ainsi que 55.3 sur RULER à 128K.

Comparer ces chiffres directement à ceux du tableau d'Aion serait malhonnête, car presque aucun des benchmarks n'est commun, les harnais diffèrent, et l'un est un modèle exclusivement textuel évalué face à un modèle multimodal sur des tâches qui récompensent un entraînement différent. Ce que l'on peut dire est indicatif et sans détour : sur les deux lignes où les noms des benchmarks coïncident, MMLU-Pro et MMMLU, G​emma annonce respectivement 43,8 et 37,9 points de plus. Ce n'est pas une bizarrerie de notation. C'est ce que rapportent 9,7 milliards de paramètres supplémentaires et sept mois de post-entraînement en plus.

L’observation la plus utile est ce que G​emma fait de sa taille. Son attention hybride alterne des couches locales à fenêtre glissante de 1 024 tokens avec une attention globale complète, et les couches globales partagent clés et valeurs et appliquent un RoPE proportionnel — une ingénierie visant précisément à maintenir à plat la mémoire de contexte long. Aion fait le même genre de chose à plus petite échelle avec une fenêtre glissante de 2 048 tokens sur 21 de ses 28 couches. Les deux modèles résolvent le même problème ; l’un dispose d’un budget cinq fois supérieur pour le résoudre.

L’empreinte est la seule colonne où Aion l’emporte haut la main.

En bfloat16, Aion-1.0-Instruct-2.3B fait environ 4,6 Go. G​emma 4 12B fait environ 24 Go avant même de toucher à un quantiseur, ce qui le place sur un GPU de station de travail ou sur un ordinateur portable fortement quantisé, et l'exclut totalement d'un téléphone. Ce n'est pas une critique de G​emma — il n'a jamais été destiné à un téléphone — mais c'est toute la raison d'être du modèle de Microsoft. Le positionnement de la carte est Windows sur l'appareil : des tâches de texte et de système d'exploitation, sur la machine, les données ne la quittant jamais.

La mise en garde honnête est que la fenêtre de 32K est atteinte par mise à l’échelle, et non par un entraînement sur de longues séquences. La configuration enregistre original_max_position_embeddings à 2 048 avec un facteur YaRN de 16 uniquement sur les couches d’attention complète, et aucune évaluation du modèle sur de longs contextes n’a été publiée. Ainsi, « 32K » est un plafond configuré, pas une capacité démontrée. La fenêtre de 256K de G​emma a au moins une ligne RULER derrière elle, exécutée par le fournisseur et à 55,3 — modeste, mais présente.

La décision de factorisation, et non la décision du modèle

Ces deux modèles appartiennent à des couches différentes d’un même produit, et c’est généralement ainsi que les équipes finissent par les utiliser. Aion-1.0-Instruct-2.3B se charge de la passe sur l’appareil : caviarder, résumer, réécrire, classer, garder le document en local. G​emma 4 12B se charge des cas qui nécessitent la lecture d’une capture d’écran, la transcription d’un extrait audio, une base de code de 100 K jetons maintenue en contexte, ou une langue hors des huit langues d’Aion. Aucun des deux ne remplace l’autre, et l’erreur à éviter est de choisir le petit modèle pour une tâche qui exige le grand sous prétexte que le petit est gratuit à télécharger.

Lorsque les deux sont appelés depuis une même base de code, le coût opérationnel ne réside pas dans les tokens — il réside dans le second SDK, la seconde politique de nouvelles tentatives et le second jeu d'identifiants. C'est là qu'un routeur trouve sa place : OrcaRouter place plus de 200 modèles derrière une seule clé, à 0 % de marge au-dessus du prix catalogue du fournisseur, avec un basculement automatique et un DSL de routage capable d'envoyer une requête le long d'une chaîne de modèles plutôt que vers un seul. Pour être précis sur ce qui figure ou non dans notre catalogue aujourd'hui : la famille G​emma 4 est partiellement présente — les variantes 26B A4B et 31B sont répertoriées — tandis que G​emma 4 12B et Aion-1.0-Instruct-2.3B ne le sont pas, car la première est une publication de poids auto-hébergée et la seconde n'a aucun point de terminaison hébergé nulle part. L'argument du routage s'applique aux éventuels frères et sœurs de ces modèles que vous finissez par mélanger avec eux, et non à ces deux checkpoints eux-mêmes.

Un ordre de déploiement qui échoue en toute sécurité

Commencez par Gemma 4 12B sur la charge de travail que vous avez déjà, parce que vous pouvez la mesurer. Sa fiche vous donne un dénominateur, ses poids sont stables, et toute régression que vous constatez est votre régression plutôt qu’un artefact d’un téléversement vieux de trois jours.

Ensuite, prenez Aion-1.0-Instruct-2.3B et évaluez-le sur le segment restreint que vous comptez déployer sur l’appareil — par exemple, la synthèse de fils d’e-mails ou le caviardage de documents — avec vos propres données et votre propre seuil d’exactitude. N’utilisez pas son score MMLU comme substitut pour votre tâche ; la fiche du modèle prévient elle-même qu’il n’a pas été entraîné pour les connaissances générales, et un 55,15 sur MMLU vous renseigne davantage sur les anecdotes que sur la capacité de vos résumés à résister à la relecture.

Ne décidez qu’ensuite si la passe locale remplace un appel hébergé ou se place devant celui-ci. Le schéma qui fonctionne est le plus banal : un petit modèle effectue la première passe localement, avec un filtrage par seuil de confiance, et les cas difficiles sont escaladés vers quelque chose de plus gros. Cela vous assure la propriété de confidentialité sur la majorité du trafic et maintient le plafond de qualité là où il doit être.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

La fiche de G​oogle affiche les chiffres auxquels la fiche d’Aion ne peut pas encore être comparée équitablement : MMLU Pro 77,2, GPQA Diamond 78,8, MMMU Pro 69,1 et une fenêtre de 256K, tous rapportés par le fournisseur.

Qu’est-ce qui en ferait un article différent ?

Une exécution indépendante du banc de test de Aion-1.0-Instruct-2.3B suffirait. Au moment de la rédaction, le dépôt comptait trois likes et zéro téléchargement enregistré, donc il n’existe absolument aucune preuve d’intérêt de la communauté — aucun fil de forum, aucune version quantifiée, aucune évaluation tierce. La fiche promet que des versions quantifiées suivront ; lorsqu’un GGUF sera disponible, le scénario local cessera d’être théorique et les compteurs de téléchargements commenceront à avoir un sens.

D’ici là, la comparaison en reste là : G​emma 4 12B est une valeur connue avec un coût réel, et Aion-1.0-Instruct-2.3B est un modèle très petit, très récent, documenté honnêtement, dont la propriété la plus précieuse est qu’il fonctionne là où le réseau ne passe pas.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

La fiche de Microsoft est la source du nombre de 2,29 Md de paramètres, des huit langues prises en charge et de la date limite de connaissances de 2025-12 ; ses horodatages sont le seul signal de publication qui existe.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Côte à côte : la dimension où Aion l’emporte (l’empreinte) et celles où il ne l’emporte pas (le contexte, les modalités, les langues et la profondeur des preuves derrière les chiffres).