Eine generierte Titelkarte mit der Aufschrift „Aion-1.0-Instruct-2.3B vs. Gemma 4 12B“ und dem Untertitel „Fünfmal so viele Gewichte und zehnmal so viele Belege“, über einem horizontalen Balkenvergleich von 2,29B gegenüber 11,95B Parametern sowie drei Badges: „1 Tag Community-Belege“, „7 Monate Community-Belege“ und „Beide vom Anbieter angegeben“.
Guides & Insights

Aion-1.0-Instruct-2.3B vs. Gemma 4 12B: Fünfmal so viele Gewichte und zehnmal so viele Belege

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Stellen Sie Aion-1.0-Instruct-2.3B neben G​emma 4 12B – und die Parameterlücke ist das am wenigsten Interessante an ihnen. Microsofts Checkpoint umfasst 2,29 Milliarden Parameter und wurde am 18. November 2026 ohne Ankündigung auf Hugging Face veröffentlicht; das Modell von G​oogle DeepMind umfasst 11,95 Milliarden, steht unter Apache 2.0 und ist seit Mai 2026 mit einer Modellkarte herunterladbar, die eine vollständige Evaluierungstabelle enthält, sowie mit einer Community, die die Gewichte bereits mehr als eine Million Mal heruntergeladen hat. Die interessante Lücke ist, dass eines dieser Modelle von Fremden untersucht wurde und das andere von niemandem.

Dies ist ein Vergleich zweier offener Releases und nicht zweier APIs, daher lässt sich jede der folgenden Aussagen durch das Herunterladen von etwas überprüfen. Die Zahlen zu Aion-1.0-Instruct-2.3B stammen aus der Model Card und der config.json in seinem Repository, die beide heute direkt eingesehen wurden. Die Zahlen zu Gemma 4 12B stammen aus Googles Model Card, und seine Benchmark-Zahlen sind die des Anbieters selbst – berichtet, nicht unabhängig reproduziert, was hier für beide Modelle eine relevante Unterscheidung ist.

Die Vergleichstabelle, die niemand gleichmäßig ausfüllen kann

Sechs Dimensionen, beide Seiten, und eine Anmerkung dort, wo eine Seite einfach nichts hat, was sie in die Zelle schreiben könnte.

• Parameter — Aion-1.0-Instruct-2.3B ist mit ~2,29B dense und gebundenen Embeddings; G​emma 4 12B ist mit 11,95B dense über 48 Schichten.

• Lizenz — MIT für Aion, Apache 2.0 für G​emma. Kommerziell sind beide praktisch uneingeschränkt; MIT ist etwas einfacher einzuhalten, da es keine Patentgewährung enthält, über die man nachdenken müsste.

• Kontext — 32.768 Token gegenüber 256K, ein achtfacher Unterschied, der entscheidet, ob ein ganzes Repository in einen Prompt passt.

• Eingaben — nur Text gegenüber Text, Bild und Audio, wobei der entscheidende Kniff von G​emma 4 12B darin besteht, dass es keine separaten Encoder hat: Bild-Patches und Audiowellenformen werden direkt in den Embedding-Raum des Decoders projiziert.

• Sprachen — acht für Aion (Englisch, Deutsch, Spanisch, Portugiesisch, Italienisch, Französisch, Chinesisch, Japanisch, mit mehrsprachigen Daten bei etwa 6 % des Trainings); über 140 für G​emma angegeben.

• Veröffentlichte Evaluierung — Aion: 11 Benchmarks auf einem genannten Harness, alle vom Anbieter durchgeführt. Gemma: mehr als 15 Benchmarks plus Vision-, Audio- und Long-Context-Zeilen, alle vom Anbieter durchgeführt.

Was Microsofts elf Zahlen sagen

Die Aion-Karte ist freimütiger als die meisten stillen Veröffentlichungen. Sie gibt an, dass die Benchmarks auf EleutherAIs lm-evaluation-harness liefen, sofern eine Aufgabenimplementierung vorhanden war, und andernfalls im eigenen Repository des jeweiligen Benchmarks, dass GPT-4o die Judge-abhängigen bewertete, und anschließend druckt sie die Scores aus: MMLU 55,15, MMLU-Pro 33,35, MMMLU 45,51, GPQA 28,18, GSM8K 74,91, GSMPlus 49,56, MATH-500 48,00, IFEval 83,90, IFBench 32,00, Multi-IF 64,70, chrF++ 43,18.

Zwei davon tragen in der Hinweisspalte einen einschränkenden Zusatz – GSM8K ist „loose matching“, IFBench ist „prompt-level loose“ – und die Karte verschweigt sie nicht. Das ist die Art von Offenlegung, die ein Marketingteam entfernt und ein Evaluierungsteam stehen lässt. Außerdem bedeutet es, dass die Zahlen als Untergrenze statt als Werbeversprechen gelesen werden sollten: 33.35 bei MMLU-Pro und 28.18 bei GPQA sind keine Werte, mit denen jemand gerne vorangehen würde.

Die Karte ist ebenso direkt in Bezug darauf, was das Modell nicht kann. In ihrem Abschnitt zu den Einschränkungen heißt es, ein kleines Modell dieser Größe „kann feine Details übersehen, Fehlaussagen machen oder eine Unfähigkeit zeigen, komplexes mehrstufiges Denken zu befolgen“, und im Abschnitt mit den Empfehlungen heißt es, das Modell „wurde nicht darauf trainiert, bei Weltwissen zu glänzen“. Das sind die Worte des Anbieters, nicht unsere, und sie passen zu den Bewertungen, statt ihnen zu widersprechen.

Wohin die zusätzlichen neun Milliarden Parameter von G​emma tatsächlich gehen

Die Karte von G​emma 4 12B führt MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 ohne Tools 77,5, LiveCodeBench v6 72,0, Codeforces ELO 1659, Tau2 im Durchschnitt über drei Läufe bei 69,0, BigBench Extra Hard 53,0 und MMMLU 83,4 auf. Außerdem gibt sie für Vision MMMU Pro 69,1 und MATH-Vision 79,7, für Audio CoVoST 38,5 und FLEURS 0,069 sowie 55,3 bei RULER mit 128K an.

Diese direkt mit Aions Tabelle zu vergleichen, wäre unehrlich, denn kaum ein Benchmark ist in beiden enthalten, die Harnesses unterscheiden sich, und ein reines Textmodell wird gegen ein multimodales Modell bei Aufgaben bewertet, die unterschiedliches Training belohnen. Was sich sagen lässt, ist richtungsweisend und unverblümt: In den beiden Zeilen, in denen die Benchmark-Namen übereinstimmen, MMLU-Pro und MMMLU, meldet Gemma jeweils 43,8 bzw. 37,9 Punkte mehr. Das ist keine Eigenheit der Bewertung. Es ist das, was 9,7 Milliarden zusätzliche Parameter und sieben weitere Monate Post-Training bewirken.

Die aufschlussreichere Beobachtung ist, was G​emma mit seiner Größe macht. Seine hybride Attention verschränkt lokale Sliding-Window-Schichten mit 1.024 Token mit vollständiger globaler Attention, und die globalen Schichten teilen Keys und Values und wenden proportionales RoPE an – eine Konstruktion, die gezielt darauf ausgelegt ist, den Speicher für langen Kontext flach zu halten. Aion macht etwas Ähnliches in kleinerem Maßstab mit einem Sliding Window von 2.048 Token über 21 seiner 28 Schichten hinweg. Beide Modelle lösen dasselbe Problem; eines hat fünfmal so viel Budget, um es zu lösen.

Footprint ist die einzige Spalte, in der Aion klar gewinnt.

In bfloat16 ist Aion-1.0-Instruct-2.3B etwa 4,6 GB groß. G​emma 4 12B sind rund 24 GB, bevor man überhaupt einen Quantisierer bemüht, was es auf eine Workstation-GPU oder einen stark quantisierten Laptop bringt und vom Smartphone gänzlich ausschließt. Das ist keine Kritik an G​emma – es war nie für ein Smartphone gedacht –, aber es ist der ganze Grund, warum Microsofts Modell existiert. Die Karte rahmt es als On-Device-Windows ein: Text- und Betriebssystemaufgaben, auf dem Gerät, wobei die Daten es nie verlassen.

Der ehrliche Vorbehalt ist, dass das 32K-Fenster durch Skalierung erreicht wird, nicht durch Training mit langen Sequenzen. Die Konfiguration verzeichnet original_max_position_embeddings von 2.048 mit YaRN-Faktor 16 nur auf den Full-Attention-Schichten, und es wurde keine Long-Context-Evaluierung des Modells veröffentlicht. „32K“ ist also eine konfigurierte Obergrenze, kein nachgewiesenes Leistungsvermögen. G​emmas 256K hat zumindest eine RULER-Zeile dahinter, vom Anbieter durchgeführt und bei 55,3 – bescheiden, aber vorhanden.

Die Factoring-Entscheidung, nicht die Modellentscheidung

Diese beiden gehören zu unterschiedlichen Schichten desselben Produkts, und genau so setzen Teams sie üblicherweise ein. Aion-1.0-Instruct-2.3B übernimmt den On-Device-Pass: redigieren, zusammenfassen, umschreiben, klassifizieren, das Dokument lokal belassen. G​emma 4 12B übernimmt die Fälle, in denen ein Screenshot gelesen, ein Audioclip transkribiert, eine Codebasis mit 100K Token im Kontext gehalten oder eine Sprache außerhalb von Aions acht Sprachen verarbeitet werden muss. Keines ersetzt das andere, und der zu vermeidende Fehler ist, das kleine Modell für eine Aufgabe zu wählen, die das große erfordert, nur weil das kleine kostenlos heruntergeladen werden kann.

Wenn beide aus derselben Codebasis aufgerufen werden, sind die Betriebskosten nicht die Tokens – es ist das zweite SDK, die zweite Retry-Richtlinie und der zweite Satz Zugangsdaten. Genau hier verdient ein Router seinen Platz: OrcaRouter stellt über 200 Modelle hinter einem Schlüssel zu 0 % Aufschlag auf den Listenpreis des Anbieters bereit, mit automatischem Failover und einer Routing-DSL, die eine Anfrage entlang einer Kette von Modellen statt an ein einzelnes senden kann. Um genau zu sein, was heute in unserem Katalog enthalten ist und was nicht: Die G​emma-4-Familie ist teilweise vertreten – die Varianten 26B A4B und 31B sind gelistet – während G​emma 4 12B und Aion-1.0-Instruct-2.3B nicht enthalten sind, weil es sich beim ersten um ein selbst gehostetes Weight-Release handelt und der zweite nirgends einen gehosteten Endpunkt hat. Das Routing-Argument gilt für alle Geschwister dieser Modelle, die Sie am Ende mit ihnen mischen, nicht für diese beiden Checkpoints selbst.

Eine Rollout-Reihenfolge, die sicher fehlschlägt

Beginne mit G​emma 4 12B auf der Workload, die du bereits hast, denn du kannst sie messen. Die Modellkarte liefert dir einen Nenner, ihre Gewichte sind stabil, und jede Regression, die du siehst, ist deine Regression und nicht ein Artefakt eines drei Tage alten Uploads.

Dann nehmen Sie Aion-1.0-Instruct-2.3B und testen Sie es an dem engen Ausschnitt, den Sie auf das Gerät verlagern wollen – etwa Zusammenfassung von E-Mail-Threads oder Schwärzung von Dokumenten –, mit Ihren eigenen Daten und Ihrem eigenen Genauigkeitsmaßstab. Verwenden Sie sein MMLU nicht als Stellvertreter für Ihre Aufgabe; die Modellkarte selbst warnt davor, dass es nicht für Weltwissen trainiert wurde, und eine 55,15 bei MMLU sagt Ihnen mehr über belanglose Wissensfragen aus als darüber, ob Ihre Zusammenfassungen einer Prüfung standhalten.

Erst dann entscheiden Sie, ob der lokale Durchlauf einen gehosteten Aufruf ersetzt oder einem solchen vorgeschaltet ist. Das Muster, das funktioniert, ist das langweilige: Ein kleines Modell übernimmt den ersten Durchlauf lokal, konfidenzgesteuert, und die schwierigen Fälle werden an etwas Größeres eskaliert. Das verleiht Ihnen die Datenschutzeigenschaft für den Großteil des Verkehrs und hält die Qualitätsobergrenze dort, wo sie sein muss.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

Auf Googles Karte stehen die Zahlen, mit denen Aions Karte noch nicht fair verglichen werden kann: MMLU Pro 77,2, GPQA Diamond 78,8, MMMU Pro 69,1 und ein 256K-Fenster, alle vom Anbieter angegeben.

Was würde daraus einen anderen Artikel machen?

Ein unabhängiger Harness-Lauf von Aion-1.0-Instruct-2.3B würde das erledigen. Zum Zeitpunkt des Schreibens hatte das Repository drei Likes und null erfasste Downloads, es gibt also überhaupt keine Community-Belege – keine Foren-Threads, keine quantisierten Builds, keine Evaluierungen durch Dritte. Die Modellkarte verspricht, dass quantisierte Versionen folgen; sobald ein GGUF verfügbar ist, ist die lokale Geschichte nicht mehr nur theoretisch, und die Downloadzahlen beginnen, etwas zu bedeuten.

Bis dahin bleibt der Vergleich, wie er ist: G​emma 4 12B ist eine bekannte Größe mit realen Kosten, und Aion-1.0-Instruct-2.3B ist ein sehr kleines, sehr neues, ehrlich dokumentiertes Modell, dessen wertvollste Eigenschaft darin besteht, dass es dort läuft, wo das Netz nicht hinreicht.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

Microsofts Karte ist die Quelle für die Anzahl von 2,29 Mrd. Parametern, die acht unterstützten Sprachen und den Wissensstichtag 2025-12; ihre Zeitstempel sind das einzige vorhandene Veröffentlichungssignal.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Seite an Seite: die Dimension, in der Aion gewinnt (Footprint), und diejenigen, in denen nicht (Kontext, Modalitäten, Sprachen und die Tiefe der Belege hinter den Zahlen).