Nanbeige4.3-33B против Gemma 4 26B-A4B: учитель без эндпоинта против рабочей лошадки за шесть центов

Сравнивать Nanbeige4.3-33B с Gemma 4 26B-A4B на бенчмарке — неверный первый шаг, и причина не в том, что числа близки или далеки друг от друга. Причина в том, что цена есть только у одной из этих двух моделей. Gemma 4 26B-A4B — размещённая модель на OrcaRouter по цене $0.06 за миллион входных и $0.33 за миллион выходных токенов, с окном в 262 144 токена и p50 времени до первого токена 826 миллисекунд. У Nanbeige4.3-33B нет ни эндпоинта, ни тарифного плана, ни указанного в её репозитории провайдера инференса — её стоимость — это четыре GPU и ваш счёт за электричество.

Настоящий вопрос не в том, какая модель набирает больше баллов. А в том, стоит ли разрыв в возможностях между плотной моделью-учителем с 33 млрд параметров и смесью экспертов с 26 млрд параметров, активирующей 3,8 млрд параметров на токен, переводить из статьи расходов с оплатой по мере потребления в капитальную статью. На этот вопрос можно ответить с помощью арифметики, и арифметика менее лестна для более крупной модели, чем предполагает таблица бенчмарков.

У балла индекса нет номера партнёра.

Nanbeige4.3-33B занимает 20-е место в Artificial Analysis Intelligence Index v5.0.1. У Gemma 4 26B-A4B вообще нет оценки v5: на его странице Artificial Analysis сводный показатель указан как N/A, сказано «Unknown out of 4 units for Intelligence» и отмечено, что нет общедоступного API, чтобы запустить текущую тестовую систему. То, что он набрал в более ранней версии индекса, относится к методике, которой больше не существует.

Эти два факта нельзя вычитать друг из друга. Индекс v5 — это другой, перебазированный набор оценок, отличный от предшественников, и модель, показавшая хороший результат по старой методологии, не обязательно окажется где-то рядом с тем же местом по новой. Любой, кто показывает вам сравнение «20 против того, что Gemma набрала в прошлом году», сравнивает два разных экзамена. Честно говоря, Gemma 4 26B-A4B не измерена по текущему сводному показателю, а Nanbeige4.3-33B измерена на уровне 20, и пока обе не появятся в v5, никакой разницы индексов приводить нельзя.

Что действительно есть на общем стенде — так это Terminal-Bench. Artificial Analysis получила для Gemma 4 26B-A4B результат 39,0% на Terminal-Bench 2.1. Она получила для Nanbeige4.3-33B 29,8% на Terminal-Bench 4.0 — это другой и более сложный бенчмарк, так что это снова не дельта. В собственной карточке Nanbeige утверждается 80,9 на Terminal-Bench 2.1 для Nanbeige4.3-33B против 73,0 у Qwen3.8-27B, но эта строка заявлена производителем с использованием стенда Terminus 2 и не была независимо воспроизведена. Читайте это как «Nanbeige считает, что здесь она сильна», а не как число.

К чему на самом деле приспособлена каждая модель

Архитектура говорит больше, чем бенчмарки, потому что эти два дизайна оптимизируются под противоположные ограничения.

• Форма — Nanbeige4.3-33B имеет 33,1 млрд параметров, все они плотные и активируются на каждом токене. Gemma 4 26B-A4B имеет 25,2 млрд параметров всего, из которых примерно 3,8 млрд активны на каждом токене — соотношение 6,6:1.

• Память для весов — 66,3 ГБ в bfloat16 для Nanbeige4.3-33B на четырнадцати шардах. Gemma 4 26B-A4B умещается примерно в 18 ГБ при 4-битном квантовании, а это одна потребительская карта.

• Контекст — 524 288 токенов нативно для Nanbeige4.3-33B, без применения масштабирования, против 262 144 для Gemma 4 26B-A4B. Обе модели обслуживаются с контекстом 262K на OrcaRouter для модели Gemma.

• Модальность — текст на входе, текст на выходе, английский и китайский, для Nanbeige4.3-33B. Gemma 4 26B-A4B принимает текст, изображения и видео и возвращает текст, что завершает сравнение для любого пайплайна, который читает скриншоты.

• Лицензия — Apache 2.0 в обоих случаях, поэтому юридическая ситуация идентична, и решение носит чисто технический и экономический характер.

• Рассуждение — обе модели поставляются с включённым по умолчанию режимом мышления, и обе предоставляют способ его снизить. Nanbeige4.3-33B рекомендует потолок в 262 144 токена для рассуждений и 65 536 для агентной работы; Gemma 4 26B-A4B на практике ограничивает вывод гораздо ниже — около 33 тыс. токенов на большинстве маршрутов.

Эта последняя пара — вся суть. Модель Nanbeige создана для долгой работы — долгих сессий в терминале, долгих траекторий агента, долгих цепочек рассуждений — и каждый из этих токенов стоит вам времени GPU по ставкам плотных моделей. Модель Gemma создана так, чтобы быть дешёвой в расчёте на токен, поэтому Google может выпускать её с 3.8B активных параметров и поэтому начать разговор стоит шесть центов.

Наглядный пример, поскольку это решение о затратах

Возьмите задачу, которая считывает 20 000 токенов входных данных и создаёт 3 000 токенов выходных данных, и запускайте её тысячу раз в день.

В списке OrcaRouter для Gemma 4 26B-A4B каждый вызов стоит 20 000 × $0,06 за миллион входных токенов — $0,0012 — плюс 3 000 × $0,33 за миллион выходных — $0,00099. Это $0,00219 за вызов, или $2,19 за тысячу вызовов, или около $66 в месяц при таком объёме.

Для Nanbeige4.3-33B нет цены за вызов, которую можно вычислить, потому что вызова нет. Нужно оборудование. В bfloat16 только веса занимают 66,3 ГБ, что не помещается на одну карту с 80 ГБ вместе с полезным KV-кэшем, когда контекст растёт: каждый токен в кэше стоит около 208 КиБ, поэтому разговор на 32K токенов добавляет примерно 6,5 ГиБ на последовательность. Четырёхпутевой тензорный параллелизм — это конфигурация, которую предполагает собственная карточка Nanbeige, и это минимальный уровень для серьёзного развёртывания, ещё до учёта второй ноды, необходимой для резервирования.

Сопоставьте их, и честный вывод будет таким: при малых объёмах эти две модели не являются взаимозаменяемыми. При объёме менее нескольких миллионов токенов в день Gemma 4 26B-A4B дешевле на порядок, и разрыв в агентных возможностях должен был бы быть огромным, чтобы это компенсировать. Выше этого объёма фиксированные затраты на самостоятельный хостинг амортизируются, и сравнение становится реальным — а именно тогда, когда преимущество 33B на длинном горизонте начинает иметь значение.

Где плотная модель оправдывает себя

Аргумент в пользу Nanbeige4.3-33B не в том, что «она лучше». Он в том, что «она делает нечто конкретное, с чем дешёвая модель плохо справляется», и независимые цифры указывают, с чем именно.

Terminal-Bench 4.0 с результатом 29,8% — согласно собственной таблице Artificial Analysis — это 56-й лучший результат среди всех конфигураций на этом бенчмарке. Это не заголовочная цифра. Однако это примерно в пять раз больше того, что Qwen3.8-27B показывает при максимальной настройке рассуждений на том же стенде, и это бенчмарк, построенный вокруг долгосрочной работы в терминале — типа задач, где модель, сдающаяся рано, получает ноль независимо от того, насколько хорошо она рассуждает.

Та же картина проявляется и в калибровочных данных. Nanbeige4.3-33B набирает 11,7% точности в AA-Omniscience, но 81,8% по показателю отсутствия галлюцинаций — седьмое место на всём сайте. В агентном цикле модель, которая говорит «я не знаю» вместо того, чтобы выдумывать путь, ценнее той, что на пять баллов лучше справляется с тривиальными фактами и начинает фабриковать ответы, когда заходит в тупик. Эквивалентные калибровочные показатели Gemma 4 26B-A4B не опубликованы в текущем композитном рейтинге, так что это утверждение касается Nanbeige, а не сравнения.

То, что решает дело для большинства команд

К обеим моделям можно получить доступ с помощью одного ключа, если вы хотите проверить утверждение на практике, а не читать о нём. Gemma 4 26B-A4B есть в каталоге OrcaRouter по указанной выше цене, с окном 262K и маршрутизацией без сохранения данных доступными на той же конечной точке. Nanbeige4.3-33B отсутствует в каталоге — мы его не размещаем, и ничто здесь не следует воспринимать как утверждение, что мы его размещаем.

На практике эта асимметрия означает, что дешёвая сторона этого сравнения — пятиминутный эксперимент, а дорогая сторона — закупка. Если ваша рабочая нагрузка мультимодальна, или ваш объём составляет менее нескольких миллионов токенов в день, или вам нужен ответ на этой неделе, Gemma 4 26B-A4B побеждает уже за счёт одной доступности, и вопрос о бенчмарках даже не возникает.

Если ваша задача — длительная автоматизация терминала, вы уже знаете, что модель с 4B активных параметров где-то на втором часу потеряет нить, и именно 29,8% — та цифра, которая вас волнует. Тогда вопрос в том, можете ли вы позволить себе четыре GPU, и ни один бенчмарк не ответит на это за вас.