Ett genererat titelkort med texten "Aion-1.0-Instruct-2.3B vs Gemma 4 12B" och undertexten "Fem gånger vikterna och tio gånger bevisen", ovanför en horisontell stapeljämförelse av 2,29B mot 11,95B parametrar och tre märken: "1 dag av community-bevis", "7 månader av community-bevis" och "Båda leverantörsrapporterade".
Guides & Insights

Aion-1.0-Instruct-2.3B vs Gemma 4 12B: Fem gånger så många vikter och tio gånger så mycket bevisning

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Sätt Aion-1.0-Instruct-2.3B bredvid G​emma 4 12B och parameterklyftan är det minst intressanta med dem. Microsofts checkpoint är 2,29 miljarder parametrar och lades upp på Hugging Face den 18 november 2026 utan något tillkännagivande; G​oogle DeepMinds är 11,95 miljarder, Apache 2.0, och har varit nedladdningsbar sedan maj 2026 med ett modellkort som visar en fullständig utvärderingstabell och en community som redan har hämtat vikterna mer än en miljon gånger. Den intressanta skillnaden är att en av dessa modeller har granskats av främlingar och en har inte granskats av någon.

Detta är en jämförelse av två öppna modellutgåvor snarare än två API:er, så varje påstående nedan går att kontrollera genom att ladda ner något. Siffrorna för Aion-1.0-Instruct-2.3B kommer från modellkortet och config.json i dess repository, båda lästa direkt i dag. Siffrorna för G​emma 4 12B kommer från G​oogles modellkort, och dess benchmarkvärden är leverantörens egna – rapporterade, inte oberoende reproducerade, vilket är en åtskillnad som spelar roll för båda modellerna här.

Jämförelsetabellen som ingen kan fylla i jämnt

Sex dimensioner, båda sidorna, och en anteckning där den ena sidan helt enkelt inte har något att fylla cellen med.

• Parametrar — Aion-1.0-Instruct-2.3B är ~2,29B tät med delade embeddings; Gemma 4 12B är 11,95B tät över 48 lager.

• Licens — MIT för Aion, Apache 2.0 för G​emma. Kommersiellt sett är båda i praktiken obegränsade; MIT är marginellt enklare att uppfylla eftersom det inte innebär någon patentlicens att ta ställning till.

• Kontext — 32 768 tokens mot 256K, en åttafaldig skillnad som avgör om ett helt kodförråd får plats i en enda prompt.

• Indata – endast text kontra text, bild och ljud, där G​emma 4 12B:s utmärkande knep är att den inte har några separata kodare: bildutsnitt och ljudvågformer projiceras direkt in i avkodarens inbäddningsutrymme.

• Språk — åtta för Aion (engelska, tyska, spanska, portugisiska, italienska, franska, kinesiska, japanska, med flerspråkig data på ungefär 6 % av träningen); över 140 uppges för G​emma.

• Publicerad utvärdering – Aion: 11 benchmarks i en namngiven testmiljö, alla körda av leverantören. G​emma: fler än 15 benchmarks plus rader för vision, ljud och lång kontext, alla körda av leverantören.

Vad Microsofts elva siffror säger

Aion-kortet är mer uppriktigt än de flesta tystlåtna lanseringar. Det anger att benchmarkarna kördes på EleutherAI:s lm-evaluation-harness där en uppgiftsimplementation fanns och annars i varje benchmarks eget repository, att GPT-4o bedömde de domarberoende, och sedan skriver det ut poängen: MMLU 55,15, MMLU-Pro 33,35, MMMLU 45,51, GPQA 28,18, GSM8K 74,91, GSMPlus 49,56, MATH-500 48,00, IFEval 83,90, IFBench 32,00, Multi-IF 64,70, chrF++ 43,18.

Två av dem har en kvalificering i anteckningskolumnen – GSM8K är "lös matchning", IFBench är "promptnivå-lös" – och kortet döljer dem inte. Det är den typen av upplysning som ett marknadsföringsteam tar bort och ett utvärderingsteam låter stå kvar. Det innebär också att siffrorna bör läsas som en lägstanivå snarare än ett säljargument: 33,35 på MMLU-Pro och 28,18 på GPQA är inte siffror som någon skulle välja att inleda med.

Kortet är lika rakt på sak om vad modellen inte kan göra. I avsnittet om begränsningar står det att en liten modell av den här storleken "kan missa fina detaljer, ge felaktiga uppgifter eller visa oförmåga att följa komplexa resonemang i flera steg", och i rekommendationsavsnittet står det att modellen "inte tränades för att vara stark på världskunskap". Det är leverantörens ord, inte våra, och de stämmer överens med poängen snarare än motsäger dem.

Vart Gemmas extra nio miljarder parametrar faktiskt tar vägen

G​emma 4 12B:s kort listar MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 utan verktyg 77,5, LiveCodeBench v6 72,0, Codeforces ELO 1659, Tau2 i genomsnitt över tre körningar på 69,0, BigBench Extra Hard 53,0 och MMMLU 83,4. Det visar också MMMU Pro 69,1 och MATH-Vision 79,7 för bild, CoVoST 38,5 och FLEURS 0,069 för ljud, samt 55,3 på RULER vid 128K.

Att jämföra dem direkt med Aions tabell vore oärligt, eftersom nästan inga av benchmarkarna är gemensamma, testramverken skiljer sig och en av dem är en textbaserad modell som poängsätts mot en multimodal sådan på uppgifter som belönar olika träning. Vad som kan sägas är riktningsgivande och rakt på sak: på de två rader där benchmarknamnen sammanfaller, MMLU-Pro och MMMLU, rapporterar G​emma 43,8 respektive 37,9 poäng mer. Det är inte en egenhet i poängsättningen. Det är vad 9,7 miljarder extra parametrar och sju månader mer efterträning köper.

Den mer användbara observationen är vad G​emma gör med sin storlek. Dess hybriduppmärksamhet varvar lokala lager med glidande fönster på 1 024 token med fullständig global uppmärksamhet, och de globala lagren delar nycklar och värden och tillämpar proportionell RoPE – ett ingenjörsarbete som syftar direkt på att hålla minnesanvändningen för långa kontexter konstant. Aion gör något liknande i mindre skala med ett glidande fönster på 2 048 token över 21 av sina 28 lager. Båda modellerna löser samma problem; den ena har fem gånger så stor budget att lösa det med.

Fotavtryck är den enda kolumnen som Aion vinner helt.

Med bfloat16 ligger Aion-1.0-Instruct-2.3B på cirka 4,6 GB. G​emma 4 12B är ungefär 24 GB innan man ens rör en kvantiserare, vilket placerar den på en arbetsstations-GPU eller en kraftigt kvantiserad laptop och helt bort från en telefon. Det är ingen kritik av G​emma – den var aldrig avsedd för en telefon – men det är hela anledningen till att Microsofts modell finns. Kortets positionering är Windows på enheten: text- och operativsystemuppgifter, på maskinen, med data som aldrig lämnar den.

Det ärliga förbehållet är att fönstret på 32K nås genom skalning, inte genom träning över långa sekvenser. Konfigurationen anger original_max_position_embeddings på 2 048 med YaRN-faktor 16 endast på full-attention-lagren, och ingen utvärdering av modellen för lång kontext har publicerats. Så "32K" är ett konfigurerat tak, inte en demonstrerad förmåga. G​emmas 256K har åtminstone en RULER-rad bakom sig, körd av leverantören och på 55,3 – blygsamt, men befintligt.

Faktoriseringsbeslutet, inte modellbeslutet

Dessa två hör hemma i olika lager av samma produkt, och det är vanligtvis så team till slut använder dem. Aion-1.0-Instruct-2.3B hanterar passet på enheten: maska, sammanfatta, skriva om, klassificera och hålla dokumentet lokalt. G​emma 4 12B hanterar de fall som kräver att en skärmbild läses av, att ett ljudklipp transkriberas, att en kodbas på 100K token hålls i kontexten eller ett språk utanför Aions åtta. Ingen av dem ersätter den andra, och misstaget att undvika är att välja den lilla modellen för ett jobb som behöver den stora eftersom den lilla är gratis att ladda ner.

När båda anropas från en och samma kodbas är den operativa kostnaden inte tokens – det är det andra SDK:et, den andra återförsökspolicyn och den andra uppsättningen autentiseringsuppgifter. Det är där en router förtjänar sin plats: OrcaRouter sätter 200+ modeller bakom en enda nyckel till 0 % påslag över leverantörens listpris, med automatisk failover och ett routing-DSL som kan skicka en förfrågan genom en kedja av modeller i stället för till en. För att vara exakt om vad som finns och inte finns i vår katalog i dag: G​emma 4-familjen är delvis med – varianterna 26B A4B och 31B finns listade – medan G​emma 4 12B och Aion-1.0-Instruct-2.3B inte finns med, eftersom den första är en självhostad viktversion och den andra inte har någon hostad endpoint någonstans. Routingargumentet gäller vilka syskon till dessa modeller du än blandar dem med, inte dessa två checkpoints i sig.

En utrullningsorder som misslyckas säkert

Börja med Gemma 4 12B på den arbetsbelastning du redan har, eftersom du kan mäta den. Dess modellkort ger dig en nämnare, dess vikter är stabila, och varje regression du ser är din egen regression snarare än en artefakt av en tre dagar gammal uppladdning.

Ta sedan Aion-1.0-Instruct-2.3B och kör den mot det smala segment som du avser att flytta till enheten – säg sammanfattning av e-posttrådar eller dokumentmaskning – med dina egna data och ditt eget noggrannhetskrav. Använd inte dess MMLU som en proxy för din uppgift; modellens eget modellkort varnar för att den inte tränades för världskunskap, och ett 55,15 på MMLU säger dig mer om trivialkunskaper än om huruvida dina sammanfattningar klarar granskning.

Först då bör du avgöra om den lokala genomkörningen ersätter ett hostat anrop eller ligger framför ett. Mönstret som fungerar är det tråkiga: en liten modell gör första passet lokalt, konfidensstyrt, med de svåra fallen eskalerade till något större. Det ger dig integritetsegenskapen för majoriteten av trafiken och håller kvalitetstaket där det behöver vara.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

Googles kort anger siffrorna som Aions kort ännu inte kan jämföras rättvist med: MMLU Pro 77.2, GPQA Diamond 78.8, MMMU Pro 69.1 och ett 256K-fönster, alla rapporterade av tillverkaren.

Vad skulle göra detta till en annan artikel

En oberoende harnesskörning av Aion-1.0-Instruct-2.3B skulle räcka. Vid tidpunkten för skrivandet hade repot tre gillningar och noll registrerade nedladdningar, så det finns inga gemenskapsbevis alls – inga forumtrådar, inga kvantiserade byggen, inga tredjepartsutvärderingar. Modellkortet lovar att kvantiserade versioner ska följa; när en GGUF väl landar slutar den lokala berättelsen att vara teoretisk och nedladdningssiffrorna börjar betyda något.

Fram till dess står jämförelsen kvar där den är: G​emma 4 12B är en känd storhet med en verklig kostnad, och Aion-1.0-Instruct-2.3B är en mycket liten, mycket ny, ärligt dokumenterad modell vars mest värdefulla egenskap är att den körs där nätverket inte når.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

Microsofts modellkort är källan till parametrantalet på 2,29 miljarder, de åtta språk som stöds och kunskapsgränsen i december 2025; dess tidsstämplar är den enda releasesignal som finns.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Sida vid sida: dimensionen där Aion vinner (fotavtryck) och de där det inte gör det (kontext, modaliteter, språk och djupet av evidens bakom siffrorna).