Nemotron 3.5 Bolt 74B против Gemma 4 26B A4B: восемь пунктов индекса и несоответствие разрядности

Уже есть прямое сравнение между NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB и Google Gemma 4 26B A4B, и NVIDIA его опубликовала. Оно находится в таблице бенчмарков на карточке модели Bolt, где столбец Gemma — это выбранный компанией базовый уровень. Внимательное чтение этой таблицы — самый быстрый способ понять, что эти две модели на самом деле собой представляют, потому что эти два чекпоинта не конкурируют за одну и ту же задачу, и сам производитель открыто об этом заявляет: модели для сравнения были выбраны за их способность помещаться в 24 ГБ памяти при 4-битном квантовании. Bolt помещается в 24 ГБ другим путём — 2,0625 бита на вес в его экспертных слоях — и разрыв между этими двумя стратегиями и есть вся суть.

Оба числа в заголовке — реальные. Artificial Analysis измерила Bolt на уровне 21 в своём Intelligence Index, а Gemma 4 26B A4B в её конфигурации для рассуждений — на уровне 17. Ни один из этих показателей не исходит от производителя, и оба были опубликованы на страницах моделей панели на момент написания этого текста.

Сравнение, которое провела N​VIDIA, и столбец, который она выбрала

В таблице NVIDIA для Bolt четыре столбца: Qwen3.6-35B-A3B в BF16, Gemma 4 26B-A4B в BF16, Nemotron 3.5 Lightning 30B-A3B в BF16 и Bolt в IQ2. Каждое число в ней указано производителем и не было воспроизведено никем независимым. Вот столбец Gemma против столбца Bolt, бенчмарк за бенчмарком.

• GDPVal-AA-V2 — Gemma 15.33, Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37.22, Bolt 50.98

• Tau3 Banking — G​emma 14.02, Bolt 17.01

• HLE без инструментов — Gemma 17.42, Bolt 25.30

• SciCode — G​emma 40.28, Bolt 41.02

• GPQA Diamond — Gemma 79.61, Bolt 86.43

• AA-LCR — извлечение из длинного контекста: Gemma 57.56, Bolt 64.06

• PinchBench — G​emma 74.70, Bolt 87.82

• WebArena vision — G​emma 38.2, Bolt 50.86

• Точность AA-Omniscience — G​emma 22,17, Bolt 16,90. G​emma побеждает в этой строке, и это единственная строка в таблице, где она это делает.

• AA-Omniscience non-hallucination — G​emma 14.22, Bolt 61.27. Это крупная и специфичная потеря для линейки семейства G​emma, и на этом стоит задержаться: метрика Omniscience non-hallucination штрафует модель, которая уверенно отвечает, когда чего-то не знает, а зафиксированная здесь сборка G​emma набирает примерно четверть показателя Bolt.

Одна оговорка касается всего блока. N​VIDIA провела всё это, включая столбец G​emma, на BF16-сборке G​emma против 2-битной сборки своей собственной модели, а затем сообщила результат в своей собственной карточке модели.

Две контрольные точки, два режима сжатия

Gemma 4 26B A4B — это выпущенный продукт, за плечами которого год использования. Он появился на Hugging Face 11 марта 2026 года под лицензией Apache 2.0, с 25,2 млрд общих параметров и 3,8 млрд активных на токен, с гибридным стеком внимания, который чередует локальные слои со скользящим окном с глобальными, контекстом 256K, встроенной поддержкой системных промптов и зрением у каждого размера в семействе. Это модель, которую можно взять, самостоятельно квантовать до 4 бит и запустить, а большая экосистема готовых квантованных версий уже существует.

Bolt — это результат сжатия, наряженный в карточку модели. N​VIDIA взяла N​emotron 3.5 Super VL 120B-A12B — мультимодальный чекпойнт того же поколения — и прогнала через него Star Elastic, поиск архитектуры под управлением роутера, который обязан уложиться в жёсткий бюджет развёртывания, в данном случае — менее 24 ГБ при размере батча 1 и контексте 128K. Top-K экспертов упал с 22 у родительской модели до 9. Затем веса экспертов были квантованы до IQ2-XXS — 2,0625 бита на элемент — с дистилляцией с учётом квантования, чтобы отыграть точность, слои Mamba оставили в NVFP4, эмбеддинги и выходные слои — в Q8_0, а визуальную башню прикрепили обратно уже после этого.

Результат — 74 миллиарда параметров в файле размером 24 ГБ. Это не квантование выпущенной модели; это сеть иной конфигурации, которую искали в условиях ограничения памяти, а затем обучили для восстановления.

Почему разрядность важнее параметров

Поставьте их рядом, и интуитивно кажется, что модель 74B превосходит модель 26B. В данном случае этот вывод, вероятно, верен, но он также не является самым интересным, потому что перед двумя моделями поставлены разные задачи при одних и тех же 24GB.

• Параметры — Bolt: всего 74B, 9B активных на токен. Gemma 4 26B A4B: всего 25,2B, 3,8B активных на токен.

• Архитектура — Bolt: гибрид Mamba-2–Transformer LatentMoE с визуальным энкодером C-RADIO v4-H. Gemma: MoE с гибридным локальным/глобальным вниманием и визуальной башней, а в других размерах семейства — аудио.

• Точность хранения — Bolt изначально выпускается с точностью 2,0625 бита на вес эксперта. Репозиторий G​emma — 16-битный, а 4-битные сборки и сборки, обученные с учётом квантования, публикуются отдельно.

• Контекст — Bolt до 256 000 токенов. Gemma 4 26B A4B: 256 000 токенов. В этой строке — ничья, что удивляет людей, которые полагают, будто 2-битная модель здесь чем-то пожертвовала. Нет, не пожертвовала.

• Входные данные — Bolt принимает текст, изображения и видео. Gemma 4 26B A4B принимает текст и изображения; видео поступает в виде кадров, а аудио ограничено младшими представителями семейства.

• Лицензия — Bolt: OpenMDW-1.1. Gemma 4 26B A4B: Apache 2.0, и рядом с ней — политика Google о запрещённом использовании.

• Спекулятивное декодирование — Bolt поставляет драфтер LiLiCorr, подключённый через DFlash с семью спекулятивными токенами в эталонном рецепте NVIDIA. У Gemma 4 26B A4B нет драфтера от поставщика; предсказание нескольких токенов встречается в дообученных сообществом моделях, а не в базовом релизе.

Практический вывод из строки о точности таков: скачиваемый вариант Bolt — уже маленький. Другой 2-битной сборки искать не нужно, потому что 2-битная сборка — это и есть модель. Gemma 26B — это 16-битный чекпойнт, который предполагается сжимать, а 4-битная версия, которую большинство людей фактически будут обслуживать, — это чья-то конверсия его.

Когда меньшая модель — более выгодная покупка

Собственная таблица N​VIDIA даёт G​emma два обстоятельства, которые стоит принимать всерьёз. Точность AA-Omniscience говорит в пользу G​emma — 22,17 против 16,90, и честная интерпретация этого такова, что 2-битное сжатие нанесло измеримый урон воспроизведению фактов даже после дистилляции. Всякий, чья рабочая нагрузка носит энциклопедический, а не агентный характер, должен придавать этой строке большой вес.

Лицензирование — второе. Apache 2.0 — наименее обременённый вариант, доступный для коммерческого развёртывания, а OpenMDW-1.1, хотя и написан как разрешительный и явно одобрен NVIDIA для коммерческого использования, является более новым инструментом с меньшим количеством публикаций о нём и отсутствием судебных решений по его толкованию. Юридические команды сталкивались с одним из них, но не с другим.

Третье — зрелость. Gemma 4 26B A4B доступна для скачивания с марта и с весны вызывается через хостируемый эндпоинт. Квантованные сборки, дообученные версии, рецепты развёртывания и воспроизведения бенчмарков — всё это существует. Репозиторий Bolt появился в октябре. О его задержке не опубликовано ничего независимого, и нет общественных квантованных версий, на которые можно положиться, потому что квантовать нечего.

В-четвёртых, и это легко упустить: младшие модели G​emma с 21B и ниже нативно поддерживают аудио. Если пайплайн включает речь, 26B A4B — не тот член собственного семейства, и ни одна модель N​emotron не подходит.

Сколько на самом деле стоит держать каждую из них

У Bolt нет цены, и это не недочёт в данных. Для неё нигде нет хостируемого эндпоинта, на странице модели Artificial Analysis нет тарифа с оплатой по мере использования, и ни один провайдер её не обслуживает. Запустить её — значит владеть машиной, а эталонный рецепт NVIDIA рассчитан на выходные, а не на послеобеденное время: закреплённый nightly-образ vLLM, пакет ядер b12x, плагин reasoning-parser, загружаемый отдельным файлом, а затем явные настройки для v2 model runner, линейных и MoE-бэкендов, бэкендов attention и Mamba, типов данных кэша Mamba, chunked prefill и конфигурации speculative decoding, указывающей на драфтер LiLiCorr.

У Gemma 4 26B A4B цена указана в двух местах. В каталоге, через который мы маршрутизируем, google/gemma-4-26b-a4b-it указан по цене $0.06 за миллион входных токенов и $0.33 за миллион выходных, при контексте 262 144 токена, с p50 времени до первого токена около 2.8 секунды — это наша собственная измеренная цифра за последние семь дней, а не заявление поставщика. Artificial Analysis отслеживает другой набор провайдеров для той же модели и указывает $0.10 на входе и $0.40 на выходе — именно такой разброс говорит о том, что цена — это свойство эндпоинта, а не весов. Обе цифры честные; это цены разных вещей.

OrcaRouter размещает модели, которые мы действительно маршрутизируем, за одним ключом по прейскурантной цене провайдера с наценкой 0 процентов, поэтому снижение цены поставщиком на маршрутизируемую модель становится доступным на нашей стороне в тот же день, и автоматическое переключение при сбое между провайдерами означает, что проблема с мощностями на стороне вышестоящего поставщика решается повторной попыткой, а не всплывает у ваших пользователей. Мы не размещаем ни один чекпойнт Nemotron — каталог был проверен, а не предположен, и этого семейства в нём нет — поэтому на этой странице эти гарантии охватывают лишь ту половину сравнения, что относится к Gemma, и ничего больше. На практике они ценны тем, что дают способ протестировать меньшую модель на реальном трафике без второго контракта, пока вы решаете, стоит ли большая модель затрат на оборудование.

Выбор между файлом и службой

Это сравнение не близко по возможностям — да оно и не должно быть близким. Bolt — более крупная и более способная модель, которую жёстко сжали, и её нельзя арендовать. Gemma 4 26B A4B — чуть более слабая модель, которую можно арендовать уже сегодня, и её слабые места задокументированы людьми, никак с ней не связанными.

Берите Bolt, если рабочая нагрузка включает скриншоты, PDF-файлы, видеокадры или браузер, если он должен работать без сети и если машина с ускорителем класса Blackwell уже есть в помещении. Смиритесь с тем, что именно вам предстоит выяснить его пропускную способность, потому что её никто не публиковал. Берите Gemma 4 26B A4B, если вам нужна модель для текста и изображений, за которую можно платить по миллиону токенов уже сегодня днём, если вам нужна лицензия Apache 2.0 или если воспроизведение фактов на широком наборе вопросов важнее выполнения агентных задач.

Измерение, которое решило бы этот вопрос, — то, которое никто не провёл: независимый прогон тестов пропускной способности и задержки на 24-ГБ чекпоинте и независимый повторный прогон таблицы NVIDIA с Gemma, квантованной до тех же 4 бит, которые, по словам вендора, он для неё выбрал. Пока их нет, аргумент в пользу Bolt опирается на таблицу вендора и количество параметров, а аргумент в пользу Gemma — на чужих результатах за год.

Именно в таких сравнениях также проявляются режимы отказов: документально зафиксированные инциденты с ИИ и сбои агентов, связанные с моделями этого класса, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, степень серьёзности, оценку достоверности и отметку о спорности.