Een gegenereerde titelkaart met de tekst 'Aion-1.0-Instruct-2.3B vs Gemma 4 12B' en de ondertitel 'Vijf keer zoveel gewichten en tien keer zoveel bewijs', boven een horizontale staafvergelijking van 2,29B tegen 11,95B parameters en drie badges: '1 dag communitybewijs', '7 maanden communitybewijs' en 'Beide door de leverancier gerapporteerd'.
Guides & Insights

Aion-1.0-Instruct-2.3B vs Gemma 4 12B: vijf keer zoveel gewichten en tien keer zoveel bewijs

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Zet Aion-1.0-Instruct-2.3B naast G​emma 4 12B en het parameterverschil is het minst interessante aspect ervan. Microsofts checkpoint telt 2,29 miljard parameters en verscheen op 18 november 2026 op Hugging Face zonder enige aankondiging; dat van G​oogle DeepMind telt 11,95 miljard, is Apache 2.0 en is sinds mei 2026 te downloaden, met een modelkaart die een volledige evaluatietabel afdrukt en een community die de weights al meer dan een miljoen keer heeft gedownload. Het interessante verschil is dat een van deze modellen door buitenstaanders is onderzocht en het andere door niemand.

Dit is een vergelijking van twee open releases in plaats van twee API's, dus elke bewering hieronder is te controleren door iets te downloaden. De cijfers voor Aion-1.0-Instruct-2.3B komen uit de modelkaart en de config.json in de bijbehorende repository, die beide vandaag rechtstreeks zijn gelezen. De cijfers voor Gemma 4 12B komen uit de modelkaart van Google, en de benchmarkcijfers zijn die van de leverancier zelf — gerapporteerd, niet onafhankelijk gereproduceerd, een onderscheid dat hier voor beide modellen van belang is.

De vergelijkingstabel die niemand gelijkmatig kan invullen

Zes dimensies, beide zijden, en een opmerking waar één zijde eenvoudigweg niets heeft om in de cel te zetten.

• Parameters — Aion-1.0-Instruct-2.3B is ~2,29B dense met gekoppelde embeddings; Gemma 4 12B is 11,95B dense over 48 lagen.

• Licentie — MIT voor Aion, Apache 2.0 voor Gemma. Commercieel gezien zijn beide feitelijk onbeperkt; MIT is iets eenvoudiger om aan te voldoen, omdat er geen octrooilicentie is om over na te denken.

• Context — 32.768 tokens tegenover 256K, een achtvoudig verschil dat bepaalt of een volledige repository in één prompt past.

• Invoer — alleen tekst versus tekst, afbeelding en audio, waarbij de bepalende truc van G​emma 4 12B is dat het geen aparte encoders heeft: afbeeldingspatches en audiogolven projecteren rechtstreeks in de embeddingruimte van de decoder.

• Talen — acht voor Aion (Engels, Duits, Spaans, Portugees, Italiaans, Frans, Chinees, Japans, met meertalige data op ongeveer 6% van de training); meer dan 140 geclaimd voor G​emma.

• Gepubliceerde evaluatie — Aion: 11 benchmarks op een genoemd harness, allemaal door de leverancier uitgevoerd. G​emma: 15-plus benchmarks plus vision-, audio- en long-contextrijen, allemaal door de leverancier uitgevoerd.

Wat de elf cijfers van Microsoft zeggen

De Aion-kaart is openhartiger dan de meeste stille releases. Er staat in dat de benchmarks werden uitgevoerd op EleutherAI's lm-evaluation-harness waar een taakimplementatie bestond en anders op de eigen repository van elke benchmark, dat GPT-4o de judge-afhankelijke benchmarks beoordeelde, en vervolgens worden de scores weergegeven: MMLU 55.15, MMLU-Pro 33.35, MMMLU 45.51, GPQA 28.18, GSM8K 74.91, GSMPlus 49.56, MATH-500 48.00, IFEval 83.90, IFBench 32.00, Multi-IF 64.70, chrF++ 43.18.

Twee daarvan hebben een kwalificatie in de notitiekolom — GSM8K is "loose matching", IFBench is "prompt-level loose" — en de kaart verbergt ze niet. Dat is het soort openbaarmaking dat een marketingteam verwijdert en een evaluatieteam laat staan. Het betekent ook dat de cijfers als een ondergrens moeten worden gelezen, niet als een verkooppraatje: een 33,35 op MMLU-Pro en een 28,18 op GPQA zijn niet de cijfers waarmee iemand zou willen uitpakken.

De modelkaart is even direct over wat het model niet kan. In de sectie met beperkingen staat dat een klein model van deze omvang 'fijne details kan missen, onjuiste beweringen kan doen of blijk kan geven van een onvermogen om complexe redeneringen in meerdere stappen te volgen', en in de sectie met aanbevelingen staat dat het model 'niet is getraind om uit te blinken in wereldkennis'. Dat zijn de woorden van de leverancier, niet de onze, en ze stroken met de scores in plaats van deze tegen te spreken.

Waar de extra negen miljard parameters van G​emma eigenlijk naartoe gaan

De kaart van G​emma 4 12B vermeldt MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 zonder tools 77,5, LiveCodeBench v6 72,0, Codeforces ELO 1659, Tau2 gemiddeld over drie runs op 69,0, BigBench Extra Hard 53,0 en MMMLU 83,4. Ook worden MMMU Pro 69,1 en MATH-Vision 79,7 voor vision weergegeven, CoVoST 38,5 en FLEURS 0,069 voor audio, en 55,3 op RULER bij 128K.

Het zou oneerlijk zijn om die rechtstreeks met de tabel van Aion te vergelijken, omdat bijna geen van de benchmarks gedeeld wordt, de testharnassen verschillen, en het ene een tekst-only model is dat tegen een multimodaal model wordt afgezet op taken die verschillende training belonen. Wat wel gezegd kan worden, is richtinggevend en onverbloemd: op de twee rijen waar de benchmarknamen samenvallen, MMLU-Pro en MMMLU, rapporteert Gemma respectievelijk 43,8 en 37,9 punten meer. Dat is geen artefact van de scoring. Het is wat een extra 9,7 miljard parameters en zeven extra maanden post-training opleveren.

De nuttigere observatie is wat G​emma met zijn omvang doet. De hybride aandacht wisselt lokale sliding-windowlagen van 1.024 tokens af met volledige globale aandacht, en de globale lagen delen sleutels en waarden en passen proportionele RoPE toe — engineering die er ronduit op gericht is het geheugen voor lange contexten vlak te houden. Aion doet iets soortgelijks op kleinere schaal met een sliding window van 2.048 tokens over 21 van zijn 28 lagen. Beide modellen lossen hetzelfde probleem op; het ene heeft vijf keer zoveel budget om dat te doen.

Voetafdruk is de enige kolom waarin Aion overtuigend wint.

In bfloat16 is Aion-1.0-Instruct-2.3B ongeveer 4,6 GB. G​emma 4 12B is ruwweg 24 GB voordat je ook maar een quantizer aanraakt, waardoor het op een workstation-GPU of een zwaar gequantiseerde laptop belandt en helemaal niet op een telefoon. Dat is geen kritiek op G​emma — het was nooit op een telefoon gericht — maar het is precies de reden dat Microsofts model bestaat. De kaart positioneert het als on-device Windows: tekst- en besturingssysteemtaken, op de machine, waarbij de gegevens het toestel nooit verlaten.

Het eerlijke voorbehoud is dat het 32K-venster wordt bereikt door opschaling, niet door op lange contexten te trainen. De config registreert original_max_position_embeddings van 2,048 met YaRN-factor 16, alleen op de full-attention-lagen, en er is geen evaluatie van de lange context van het model gepubliceerd. Dus "32K" is een geconfigureerd plafond, geen aangetoonde capaciteit. Gemma's 256K heeft ten minste een RULER-rij erachter, door de leverancier uitgevoerd en op 55,3 — bescheiden, maar aanwezig.

De factoringbeslissing, niet de modelbeslissing

Deze twee horen bij verschillende lagen van hetzelfde product, en zo gebruiken teams ze meestal ook. Aion-1.0-Instruct-2.3B verzorgt de verwerking op het apparaat: redigeren, samenvatten, herschrijven, classificeren, het document lokaal houden. G​emma 4 12B behandelt de gevallen waarin een screenshot moet worden gelezen, een audioclip moet worden getranscribeerd, een codebase van 100K tokens in context moet worden gehouden, of een taal buiten de acht van Aion valt. Geen van beide vervangt de andere, en de fout die je moet vermijden is het kleine model kiezen voor een taak die het grote nodig heeft, omdat het kleine model gratis te downloaden is.

Wanneer beide vanuit één codebase worden aangeroepen, zijn de operationele kosten niet de tokens — het zijn de tweede SDK, het tweede retrybeleid en de tweede set inloggegevens. Daar verdient een router zijn plek: OrcaRouter zet 200+ modellen achter één sleutel tegen 0% opslag bovenop de lijstprijs van de provider, met automatische failover en een routing-DSL waarmee je een verzoek door een keten van modellen kunt sturen in plaats van naar één model. Om precies te zijn over wat vandaag wel en niet in onze catalogus staat: de G​emma 4-familie is gedeeltelijk aanwezig — de 26B A4B- en 31B-varianten staan vermeld — terwijl G​emma 4 12B en Aion-1.0-Instruct-2.3B dat niet zijn, omdat de eerste een self-hosted weight-release is en de tweede nergens een gehost endpoint heeft. Het routingargument geldt voor alle zustermodellen van deze modellen die je er uiteindelijk mee combineert, niet voor deze twee checkpoints zelf.

Een uitrolopdracht die veilig faalt

Begin met G​emma 4 12B op de workload die je al hebt, want je kunt die meten. De kaart ervan geeft je een noemer, de gewichten zijn stabiel, en elke regressie die je ziet is jouw regressie in plaats van een artefact van een drie dagen oude upload.

Neem dan Aion-1.0-Instruct-2.3B en laat het draaien op het smalle onderdeel dat je naar het apparaat wilt verplaatsen — bijvoorbeeld het samenvatten van e-mailthreads of het redigeren van documenten — met je eigen data en je eigen nauwkeurigheidsdrempel. Gebruik de MMLU niet als proxy voor je taak; de modelkaart zelf waarschuwt dat het model niet is getraind voor wereldkennis, en een 55,15 op MMLU zegt je meer over trivia dan over of je samenvattingen de beoordeling doorstaan.

Beslis pas dan of de lokale pass een gehoste aanroep vervangt of ervoor komt te staan. Het patroon dat werkt, is het saaie patroon: een klein model doet de eerste pass lokaal, met een betrouwbaarheidsdrempel, en de moeilijke gevallen worden geëscaleerd naar iets groters. Dat levert je de privacy-eigenschap op voor het merendeel van het verkeer en houdt het kwaliteitsplafond waar het moet zijn.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

G​oogle's kaart drukt de cijfers af waarmee Aion's kaart nog niet eerlijk kan worden vergeleken: MMLU Pro 77,2, GPQA Diamond 78,8, MMMU Pro 69,1 en een venster van 256K, allemaal door de leverancier gerapporteerd.

Wat zou dit een ander artikel maken?

Een onafhankelijke harness-run van Aion-1.0-Instruct-2.3B zou volstaan. Op het moment van schrijven had de repository drie likes en nul geregistreerde downloads, dus er is helemaal geen communitybewijs — geen forumthreads, geen gequantiseerde builds, geen evaluaties door derden. De kaart belooft dat er gequantiseerde versies volgen; zodra er een GGUF verschijnt, is het lokale verhaal niet langer theoretisch en beginnen de downloadcijfers iets te betekenen.

Tot dan blijft de vergelijking staan waar ze staat: G​emma 4 12B is een bekende grootheid met een reële kostprijs, en Aion-1.0-Instruct-2.3B is een zeer klein, zeer nieuw, eerlijk gedocumenteerd model waarvan de meest waardevolle eigenschap is dat het draait waar het netwerk niet reikt.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

De kaart van Microsoft is de bron voor het aantal parameters van 2,29 miljard, de acht ondersteunde talen en de kennisafsluitdatum van 2025-12; de tijdstempels ervan zijn het enige releasesignaal dat bestaat.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Naast elkaar: de dimensie waarin Aion wint (voetafdruk) en de dimensies waarin het dat niet doet (context, modaliteiten, talen en de diepte van het bewijs achter de cijfers).