Wygenerowana karta tytułowa z napisem „Aion-1.0-Instruct-2.3B vs Gemma 4 12B” i podtytułem „Pięć razy więcej wag i dziesięć razy więcej dowodów”, nad poziomym porównaniem słupkowym 2.29B z 11.95B parametrów oraz trzema plakietkami: „1 dzień dowodów od społeczności”, „7 miesięcy dowodów od społeczności” i „Oba zgłoszone przez producenta”.
Guides & Insights

Aion-1.0-Instruct-2.3B vs Gemma 4 12B: pięciokrotnie więcej wag i dziesięciokrotnie więcej dowodów

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Postaw Aion-1.0-Instruct-2.3B obok G​emma 4 12B, a różnica w liczbie parametrów jest najmniej interesującą rzeczą w ich przypadku. Checkpoint Microsoftu ma 2,29 miliarda parametrów i pojawił się na Hugging Face 18 listopada 2026 r. bez zapowiedzi; model G​oogle DeepMind ma 11,95 miliarda parametrów, licencję Apache 2.0 i można go pobierać od maja 2026 r., a jego karta modelu zawiera pełną tabelę ewaluacji, a społeczność pobrała już wagi ponad milion razy. Ciekawa różnica polega na tym, że jeden z tych modeli został zbadany przez obcych, a drugi nie został zbadany przez nikogo.

To porównanie dwóch otwartych wydań, a nie dwóch API, więc każde poniższe twierdzenie można zweryfikować, pobierając coś. Dane Aion-1.0-Instruct-2.3B pochodzą z karty modelu i pliku config.json w jego repozytorium, oba odczytane bezpośrednio dziś. Dane G​emma 4 12B pochodzą z karty modelu G​oogle’a, a jej wyniki benchmarków są własnymi wynikami dostawcy — raportowanymi, a nie niezależnie odtworzonymi, co jest rozróżnieniem istotnym tutaj dla obu modeli.

Tabela porównawcza, której nikt nie potrafi wypełnić po równo

Sześć wymiarów, obie strony i uwaga, gdy jedna strona po prostu nie ma nic do wpisania w komórce.

• Parametry — Aion-1.0-Instruct-2.3B ma ~2,29 mld parametrów w gęstej architekturze z powiązanymi osadzeniami; G​emma 4 12B ma 11,95 mld parametrów w gęstej architekturze na 48 warstwach.

• Licencja — MIT dla Aion, Apache 2.0 dla G​emma. Pod względem komercyjnym obie są praktycznie nieograniczone; MIT jest nieco prostsza w spełnieniu, ponieważ nie wiąże się z żadnym grantem patentowym, który trzeba by analizować.

• Kontekst — 32 768 tokenów w porównaniu z 256K, ośmiokrotna różnica, która decyduje o tym, czy całe repozytorium zmieści się w jednym prompcie.

• Dane wejściowe — tylko tekst w porównaniu z tekstem, obrazem i dźwiękiem, a cechą wyróżniającą Gemma 4 12B jest to, że nie ma oddzielnych enkoderów: fragmenty obrazu i przebiegi audio są rzutowane bezpośrednio do przestrzeni osadzeń dekodera.

• Języki — osiem dla Aion (angielski, niemiecki, hiszpański, portugalski, włoski, francuski, chiński, japoński, z danymi wielojęzycznymi stanowiącymi około 6% danych treningowych); ponad 140 deklarowanych w przypadku G​emma.

• Opublikowana ewaluacja — Aion: 11 benchmarków w nazwanym harnessie, wszystkie przeprowadzone przez dostawcę. G​emma: ponad 15 benchmarków oraz wiersze dotyczące wizji, audio i długiego kontekstu, wszystkie przeprowadzone przez dostawcę.

Co mówią jedenaście liczb Microsoftu

Karta Aion jest bardziej szczera niż większość cichych premier. Podaje, że benchmarki uruchomiono w lm-evaluation-harness EleutherAI tam, gdzie istniała implementacja zadania, a w przeciwnym razie w repozytorium każdego benchmarku, że GPT-4o oceniał te wymagające sędziego, a następnie podaje wyniki: MMLU 55.15, MMLU-Pro 33.35, MMMLU 45.51, GPQA 28.18, GSM8K 74.91, GSMPlus 49.56, MATH-500 48.00, IFEval 83.90, IFBench 32.00, Multi-IF 64.70, chrF++ 43.18.

Dwa z nich mają kwalifikator w kolumnie notatek — GSM8K to „luźne dopasowanie”, IFBench to „luźne na poziomie promptu” — a karta ich nie ukrywa. To właśnie taki rodzaj ujawnienia, który usuwa zespół marketingowy, a zespół ewaluacyjny zostawia. Oznacza to również, że liczby należy czytać jako dolną granicę, a nie reklamową prezentację: 33.35 w MMLU-Pro i 28.18 w GPQA to nie są wartości, od których ktokolwiek chciałby zaczynać.

Karta jest równie bezpośrednia co do tego, czego model nie potrafi. W jej sekcji ograniczeń napisano, że mały model tej wielkości „może przeoczać drobne szczegóły, podawać błędne informacje lub wykazywać niezdolność do prowadzenia złożonego wieloetapowego rozumowania”, a w sekcji rekomendacji stwierdzono, że model „nie był trenowany, aby wyróżniać się w wiedzy o świecie”. To słowa dostawcy, nie nasze, i są zgodne z wynikami, a nie sprzeczne z nimi.

Gdzie tak naprawdę trafia dodatkowe dziewięć miliardów parametrów modelu G​emma

Karta modelu Gemma 4 12B wymienia MMLU Pro 77,2, GPQA Diamond 78,8, AIME 2026 bez narzędzi 77,5, LiveCodeBench v6 72,0, Codeforces ELO 1659, Tau2 uśredniony z trzech przebiegów na poziomie 69,0, BigBench Extra Hard 53,0 oraz MMMLU 83,4. Podaje też MMMU Pro 69,1 i MATH-Vision 79,7 dla wizji, CoVoST 38,5 i FLEURS 0,069 dla dźwięku oraz 55,3 w RULER przy 128K.

Bezpośrednie porównywanie ich z tabelą Aiona byłoby nieuczciwe, ponieważ prawie żadne z benchmarków nie są wspólne, środowiska testowe się różnią, a jeden z modeli jest wyłącznie tekstowy i jest oceniany względem multimodalnego na zadaniach, które nagradzają inny trening. Można powiedzieć coś kierunkowego i bez ogródek: w dwóch wierszach, w których nazwy benchmarków się pokrywają, MMLU-Pro i MMMLU, G​emma podaje odpowiednio o 43,8 i 37,9 punktu więcej. To nie jest anomalia punktacji. To jest to, co daje dodatkowe 9,7 miliarda parametrów i siedem dodatkowych miesięcy treningu po wstępnym trenowaniu.

Bardziej użyteczna obserwacja dotyczy tego, co Gemma robi ze swoim rozmiarem. Jej hybrydowa uwaga przeplata lokalne warstwy z przesuwanym oknem o długości 1024 tokenów z pełną uwagą globalną, a warstwy globalne współdzielą klucze i wartości oraz stosują proporcjonalne RoPE — inżynieria nastawiona wprost na utrzymanie pamięci długiego kontekstu na stałym poziomie. Aion robi tego samego rodzaju rzecz w mniejszej skali, z przesuwanym oknem o długości 2048 tokenów w 21 z 28 swoich warstw. Oba modele rozwiązują ten sam problem; jeden ma pięć razy większy budżet, by go rozwiązać.

Footprint to jedyna kolumna, w której Aion wygrywa bezapelacyjnie.

W formacie bfloat16 Aion-1.0-Instruct-2.3B zajmuje około 4,6 GB. Gemma 4 12B to około 24 GB, zanim w ogóle sięgnie się po kwantyzator, co lokuje ją na GPU stacji roboczej albo na mocno skwantyzowanym laptopie, a całkowicie wyklucza telefon. To nie jest zarzut wobec Gemmy — nigdy nie była adresowana do telefonu — ale właśnie to jest całym powodem, dla którego model Microsoftu istnieje. Karta ujmuje to w kontekście Windows na urządzeniu: zadania tekstowe i systemowe wykonywane na maszynie, przy czym dane nigdy jej nie opuszczają.

Uczciwe zastrzeżenie polega na tym, że okno 32K uzyskano przez skalowanie, a nie przez trening na długich sekwencjach. Konfiguracja zapisuje original_max_position_embeddings wynoszące 2048 ze współczynnikiem YaRN 16 wyłącznie na warstwach pełnej uwagi, a żadna ewaluacja modelu w długim kontekście nie została opublikowana. Zatem „32K” to skonfigurowany limit, a nie wykazana zdolność. Gemma z 256K ma za sobą przynajmniej wiersz RULER — uruchomiony przez dostawcę i na poziomie 55,3 — skromny, ale obecny.

Decyzja o faktoringu, a nie decyzja dotycząca modelu

Te dwa modele należą do różnych warstw tego samego produktu i zwykle właśnie tak zespoły kończą ich używanie. Aion-1.0-Instruct-2.3B obsługuje etap na urządzeniu: anonimizowanie, streszczanie, przepisywanie, klasyfikowanie i pozostawianie dokumentu lokalnie. G​emma 4 12B obsługuje przypadki wymagające odczytania zrzutu ekranu, transkrypcji klipu audio, utrzymania w kontekście bazy kodu o rozmiarze 100K tokenów lub języka spoza ośmiu języków Aiona. Żaden nie zastępuje drugiego, a błędem, którego należy unikać, jest wybieranie małego modelu do zadania wymagającego dużego tylko dlatego, że mały model można pobrać bezpłatnie.

Gdy oba są wywoływane z jednej bazy kodu, koszt operacyjny to nie tokeny — to drugi SDK, druga polityka ponawiania i drugi zestaw poświadczeń. Tu właśnie router ma sens: OrcaRouter udostępnia ponad 200 modeli pod jednym kluczem przy 0% marży powyżej ceny katalogowej dostawcy, z automatycznym przełączaniem awaryjnym i DSL routingu, który potrafi skierować żądanie wzdłuż łańcucha modeli, a nie do jednego. Aby precyzyjnie określić, co dziś znajduje się, a czego nie ma w naszym katalogu: rodzina G​emma 4 jest częściowo obecna — wymienione są warianty 26B A4B i 31B — natomiast G​emma 4 12B i Aion-1.0-Instruct-2.3B nie, ponieważ pierwszy to wydanie wag do samodzielnego hostowania, a drugi nie ma nigdzie hostowanego endpointu. Argument dotyczący routingu odnosi się do wszelkich modeli pokrewnych tym modelom, które ostatecznie z nimi zmieszasz, a nie do tych dwóch checkpointów samych w sobie.

Kolejność wdrażania, która bezpiecznie zawodzi

Zacznij od G​emma 4 12B na obciążeniu, które już masz, bo możesz je zmierzyć. Jej karta daje ci mianownik, jej wagi są stabilne, a każda widoczna regresja to twoja regresja, a nie artefakt trzy dni starego przesłania.

Następnie weź Aion-1.0-Instruct-2.3B i przetestuj go na wąskim wycinku, który zamierzasz przenieść na urządzenie — powiedzmy, streszczanie wątków e-mail lub redagowanie dokumentów — używając własnych danych i własnego progu dokładności. Nie używaj jego wyniku MMLU jako wskaźnika zastępczego dla swojego zadania; sama karta modelu ostrzega, że nie był trenowany pod kątem wiedzy o świecie, a 55,15 w MMLU mówi więcej o ciekawostkach niż o tym, czy Twoje streszczenia przejdą weryfikację.

Dopiero wtedy zdecyduj, czy lokalny przebieg zastępuje wywołanie hostowane, czy stoi przed nim. Wzorzec, który działa, jest nudny: mały model wykonuje pierwszy przebieg lokalnie, z bramkowaniem pewności, a trudne przypadki są eskalowane do czegoś większego. To daje właściwość prywatności w przypadku większości ruchu i utrzymuje sufit jakości tam, gdzie powinien być.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

Karta Google’a podaje liczby, do których karty Aiona nie można jeszcze rzetelnie porównać: MMLU Pro 77,2, GPQA Diamond 78,8, MMMU Pro 69,1 oraz okno 256K — wszystkie podane przez dostawcę.

Co sprawiłoby, że byłby to inny artykuł?

Przeprowadzenie niezależnego testu Aion-1.0-Instruct-2.3B załatwiłoby sprawę. W chwili pisania repozytorium miało trzy polubienia i zero odnotowanych pobrań, więc nie ma żadnych dowodów ze strony społeczności — ani wątków na forach, ani skwantyzowanych wersji, ani ewaluacji zewnętrznych. Karta modelu zapowiada, że później pojawią się wersje skwantyzowane; gdy pojawi się GGUF, lokalna historia przestanie być teoretyczna, a liczby pobrań zaczną coś znaczyć.

Do tego czasu porównanie pozostaje takie, jakie jest: G​emma 4 12B to znana wielkość o realnym koszcie, a Aion-1.0-Instruct-2.3B to bardzo mały, bardzo nowy, rzetelnie udokumentowany model, którego najcenniejszą właściwością jest to, że działa tam, gdzie sieć nie dociera.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

Karta Microsoftu jest źródłem informacji o liczbie parametrów 2,29 mld, ośmiu obsługiwanych językach oraz granicy wiedzy na grudzień 2025; jej znaczniki czasu są jedynym istniejącym sygnałem wydania.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Zestawienie obok siebie: wymiar, w którym Aion wygrywa (footprint), oraz te, w których nie wygrywa (kontekst, modalności, języki i głębokość dowodów stojących za liczbami).