Сгенерированная карточка заголовка с надписью «Aion-1.0-Instruct-2.3B vs Gemma 4 12B» и подзаголовком «В пять раз больше весов и в десять раз больше доказательств», над горизонтальной полосовой диаграммой сравнения 2,29B против 11,95B параметров и тремя бейджами: «1 день подтверждений от сообщества», «7 месяцев подтверждений от сообщества» и «Оба заявлены производителем».
Guides & Insights

Aion-1.0-Instruct-2.3B против Gemma 4 12B: в пять раз больше весов и в десять раз больше доказательств

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Поставьте Aion-1.0-Instruct-2.3B рядом с G​emma 4 12B, и разрыв в количестве параметров — это наименее интересное, что в них есть. Чекпойнт Microsoft содержит 2,29 млрд параметров и появился на Hugging Face 18 ноября 2026 года без объявления; у G​oogle DeepMind — 11,95 млрд, Apache 2.0, и он доступен для скачивания с мая 2026 года с карточкой модели, где приведена полная таблица оценок, и сообществом, которое уже скачало веса более миллиона раз. Интересный разрыв в том, что одну из этих моделей изучали посторонние, а другую не изучал никто.

Это сравнение двух открытых релизов, а не двух API, поэтому каждое утверждение ниже можно проверить, скачав что-либо. Цифры Aion-1.0-Instruct-2.3B взяты из карточки модели и config.json в её репозитории, оба источника прочитаны непосредственно сегодня. Цифры G​emma 4 12B взяты из карточки модели G​oogle, а её бенчмарковые показатели — собственные данные поставщика: они заявлены, но не воспроизведены независимо, и это различие важно для обеих моделей здесь.

Таблица сравнения, которую никто не может заполнить равномерно

Шесть измерений, обе стороны и примечание там, где у одной стороны просто нечего вписать в ячейку.

• Параметры — Aion-1.0-Instruct-2.3B — это плотная модель с ~2,29 млрд параметров и связанными эмбеддингами; Gemma 4 12B — 11,95 млрд плотных параметров на 48 слоях.

• Лицензия — MIT для Aion, Apache 2.0 для G​emma. С коммерческой точки зрения обе фактически не накладывают ограничений; MIT немного проще соблюдать, поскольку он не содержит патентного гранта, который нужно учитывать.

• Контекст — 32 768 токенов против 256K, восьмикратная разница, которая определяет, помещается ли целый репозиторий в один промпт.

• Входные данные — только текст в сравнении с текстом, изображением и аудио, а ключевая особенность G​emma 4 12B заключается в том, что у неё нет отдельных кодировщиков: фрагменты изображений и звуковые волны проецируются напрямую в пространство эмбеддингов декодера.

• Языки — восемь для Aion (английский, немецкий, испанский, португальский, итальянский, французский, китайский, японский, при этом многоязычные данные составляют примерно 6% обучения); для G​emma заявлено более 140.

• Опубликованная оценка — Aion: 11 бенчмарков на именованном стенде, все запускались вендором. G​emma: более 15 бенчмарков плюс строки для зрения, аудио и длинного контекста, все запускались вендором.

Что означают одиннадцать чисел Microsoft

Карточка Aion более откровенна, чем большинство сдержанных релизов. В ней указано, что бенчмарки запускались на lm-evaluation-harness от EleutherAI там, где существовала реализация задачи, а в остальных случаях — на собственном репозитории каждого бенчмарка, что оценку зависящих от судьи задач выполнял GPT-4o, а затем приводятся результаты: MMLU 55.15, MMLU-Pro 33.35, MMMLU 45.51, GPQA 28.18, GSM8K 74.91, GSMPlus 49.56, MATH-500 48.00, IFEval 83.90, IFBench 32.00, Multi-IF 64.70, chrF++ 43.18.

Два из них имеют уточнение в столбце примечаний — GSM8K — это «нестрогое сопоставление», IFBench — «нестрогое на уровне запроса» — и карточка их не скрывает. Это тот тип раскрытия, который маркетинговая команда удаляет, а команда оценки оставляет. Это также означает, что числа следует воспринимать как нижнюю границу, а не как рекламный аргумент: 33.35 по MMLU-Pro и 28.18 по GPQA — не те цифры, с которых кто-либо стал бы начинать.

Карточка столь же прямо говорит о том, чего модель не умеет. В разделе ограничений сказано, что небольшая модель такого размера «может упускать мелкие детали, допускать неточности или демонстрировать неспособность следовать сложным многошаговым рассуждениям», а в разделе рекомендаций говорится, что модель «не обучалась специально для того, чтобы преуспевать в области знаний о мире». Это слова производителя, а не наши, и они согласуются с оценками, а не противоречат им.

Куда на самом деле уходят дополнительные девять миллиардов параметров Gemma

В карточке Gemma 4 12B указаны MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 без инструментов 77.5, LiveCodeBench v6 72.0, рейтинг ELO Codeforces 1659, Tau2 со средним значением 69.0 по трём прогонам, BigBench Extra Hard 53.0 и MMMLU 83.4. Также там указаны MMMU Pro 69.1 и MATH-Vision 79.7 для визуальных задач, CoVoST 38.5 и FLEURS 0.069 для аудио и 55.3 по RULER при 128K.

Сравнивать их напрямую с таблицей Aion было бы нечестно, потому что почти ни один из бенчмарков не совпадает, испытательные стенды различаются, а одна из моделей — текстовая, и её оценивают против мультимодальной на задачах, которые вознаграждают разную подготовку. Можно сказать только нечто ориентировочное и без обиняков: в двух строках, где названия бенчмарков совпадают, MMLU-Pro и MMMLU, G​emma сообщает на 43,8 и 37,9 балла больше соответственно. Это не особенность подсчёта очков. Это то, что дают дополнительные 9,7 млрд параметров и ещё семь месяцев посттренинга.

Более полезное наблюдение — это то, как G​emma распоряжается своим размером. Её гибридное внимание чередует локальные слои со скользящим окном на 1 024 токена с полным глобальным вниманием, а глобальные слои совместно используют ключи и значения и применяют пропорциональный RoPE — инженерное решение, нацеленное непосредственно на сохранение постоянного объёма памяти для длинного контекста. Aion делает нечто подобное в меньшем масштабе — скользящее окно на 2 048 токенов в 21 из его 28 слоёв. Обе модели решают одну и ту же задачу; у одной в пять раз больше бюджета для её решения.

«Footprint» — единственная колонка, в которой Aion безоговорочно побеждает.

В формате bfloat16 Aion-1.0-Instruct-2.3B занимает около 4,6 ГБ. Gemma 4 12B — примерно 24 ГБ ещё до применения квантователя, что делает её подходящей для GPU рабочей станции или ноутбука с сильным квантованием и полностью исключает телефон. Это не критика Gemma — она никогда не была нацелена на телефон — но именно в этом причина существования модели Microsoft. Позиционирование карты — Windows на устройстве: текстовые задачи и задачи операционной системы, на самой машине, при этом данные никогда её не покидают.

Честная оговорка заключается в том, что окно в 32K достигается масштабированием, а не обучением на длинных последовательностях. В конфигурации указано original_max_position_embeddings = 2 048 с коэффициентом YaRN 16 только на слоях полного внимания, и никаких оценок модели на длинном контексте не опубликовано. Таким образом, «32K» — это настроенный потолок, а не продемонстрированная возможность. За 256K у G​emma стоит по крайней мере строка RULER — прогон вендора со значением 55,3: скромно, но есть.

Решение о факторизации, а не решение модели

Эти две модели относятся к разным слоям одного и того же продукта, и именно так команды обычно в итоге и используют их. Aion-1.0-Instruct-2.3B выполняет этап обработки на устройстве: скрывает конфиденциальные данные, суммирует, переписывает, классифицирует и оставляет документ локальным. G​emma 4 12B берёт на себя случаи, когда нужно прочитать скриншот, расшифровать аудиофрагмент, удержать в контексте кодовую базу на 100K токенов или работать с языком, не входящим в восьмёрку Aion. Ни одна из них не заменяет другую, и ошибка, которой следует избегать, — выбирать маленькую модель для задачи, которая требует большую, только потому, что маленькую можно бесплатно скачать.

Когда оба вызываются из одной кодовой базы, операционные затраты — это не токены, а второй SDK, вторая политика повторных попыток и второй набор учётных данных. Именно здесь роутер оправдывает своё место: OrcaRouter размещает 200+ моделей за одним ключом с 0% наценки к прайс-листу провайдера, с автоматическим переключением при сбое и DSL маршрутизации, который может отправить запрос по цепочке моделей, а не к одной. Если точно сказать, что сегодня есть и чего нет в нашем каталоге: семейство G​emma 4 присутствует частично — варианты 26B A4B и 31B указаны, — а G​emma 4 12B и Aion-1.0-Instruct-2.3B нет, потому что первый — это релиз весов для самостоятельного хостинга, а второй нигде не имеет хостингового эндпоинта. Аргумент о маршрутизации относится к любым «соседям» этих моделей, с которыми вы в итоге будете их смешивать, а не к самим этим двум чекпоинтам.

Порядок развёртывания с безопасным завершением при сбое

Начните с G​emma 4 12B на рабочей нагрузке, которая у вас уже есть, потому что её можно измерить. Карточка модели даёт вам знаменатель, её веса стабильны, а любая регрессия, которую вы увидите, — это ваша регрессия, а не артефакт загрузки трёхдневной давности.

Затем возьмите Aion-1.0-Instruct-2.3B и проверьте его на том узком сегменте, который собираетесь перенести на устройство, — скажем, на составлении сводок по цепочкам писем или на редактировании конфиденциальных данных в документах — используя собственные данные и собственную планку точности. Не используйте его результат по MMLU как прокси для вашей задачи; в карточке самой модели предупреждают, что её не обучали на общих знаниях о мире, и 55,15 балла по MMLU говорит больше о знании мелочей, чем о том, выдержат ли ваши сводки проверку.

Только после этого решайте, заменяет ли локальный проход хостинговый вызов или идёт перед ним. Работает скучный паттерн: небольшая модель делает первый проход локально, с порогом уверенности, а сложные случаи эскалируются к чему-то более крупному. Это даёт свойство приватности на большей части трафика и сохраняет потолок качества там, где он нужен.

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

Карточка Google приводит цифры, с которыми карточку Aion пока нельзя честно сравнить: MMLU Pro 77,2, GPQA Diamond 78,8, MMMU Pro 69,1 и окно 256K — все заявлено производителем.

Что сделало бы эту статью другой?

Независимый прогон Aion-1.0-Instruct-2.3B в тестовом стенде решил бы вопрос. На момент написания у репозитория было три лайка и ноль зафиксированных загрузок, так что свидетельств от сообщества нет вообще — ни тем на форумах, ни квантованных сборок, ни сторонних оценок. В карточке обещаны квантованные версии в будущем; когда появится GGUF, локальный сценарий перестанет быть теоретическим, и счётчики загрузок начнут что-то значить.

До тех пор сравнение остаётся таким, каким оно есть: G​emma 4 12B — известная величина с реальной стоимостью, а Aion-1.0-Instruct-2.3B — очень маленькая, очень новая, честно документированная модель, чьё самое ценное свойство заключается в том, что она работает там, где нет сети.

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

Карточка Microsoft — источник сведений о количестве параметров (2,29 млрд), восьми поддерживаемых языках и дате отсечения знаний 2025-12; её временные метки — единственный существующий сигнал о выпуске.

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

Бок о бок: параметр, в котором Aion выигрывает (footprint), и те, в которых он не выигрывает (контекст, модальности, языки и глубина доказательств, стоящих за цифрами).