Nanbeige4.3-33B против Gemma 4 31B: что на самом деле означает разрыв в 33 пункта в таблице вендора

В собственной таблице бенчмарков Nanbeige4.3-33B модель Gemma 4 31B получает 0,0 в Terminal-Bench 4.0. Именно с этой строки и стоит начинать, потому что она показывает, как читать все остальные числа в этом сравнении. Gemma 4 31B — это выпущенная Google DeepMind модель с открытыми весами на 30,7 млрд параметров, доступная для скачивания по лицензии Apache 2.0 с 2 апреля 2026 года, и в собственных материалах Google ей приписывают 86,4 в τ²-bench (использование инструментов) и 80,0 в LiveCodeBench v6. Такая модель не проваливает все существующие задачи в терминале. Ноль — это результат, который получаешь, когда бенчмарк не способен отличить «не смогла» от «ей ни разу не передали рабочий цикл работы с инструментами».

Nanbeige4.3-33B, напротив, существует всего два дня. Его репозиторий был создан 24 октября 2026 года в 02:49 UTC, его карточка модели — единственное объявление, которое сделала Nanbeige, а таблица из 20 строк в этой карточке — единственный источник всех цифр, которые сейчас о ней ходят. Gemma 4 31B фигурирует в этой таблице как один из трёх столбцов сравнения. Ни одна независимая лаборатория не проводила испытаний этих двух моделей друг против друга, и ни один из поставщиков не бенчмаркал другого за пределами этой единственной таблицы. Поэтому честная версия этого противостояния — не табло со счётом. Это спор о том, какие строки выдерживают проверку, а какие измеряют сам стенд.

Что на самом деле представляет собой каждая модель

Между двумя выпусками прошло шесть с половиной месяцев, и это заметно по проектным допущениям.

• Параметры — Nanbeige4.3-33B — плотная модель с 33,1 млрд параметров (33 118 977 024 в BF16), каждый параметр задействован на каждом токене. Gemma 4 31B — плотная модель с 30,7 млрд параметров. Ни одна из них не является смесью экспертов, поэтому пропускная способность масштабируется с полным количеством весов в обоих случаях.

• Контекст — Nanbeige4.3-33B нативно поддерживает 524 288 токенов. Gemma 4 31B — 262 144. Оба показателя необычно велики для этого класса параметров; у Nanbeige он вдвое больше.

• Модальность — Nanbeige4.3-33B: текст на входе, текст на выходе, английский и китайский языки. Gemma 4 31B принимает изображения, а также текст, была предварительно обучена на более чем 140 языках и поставляется со встроенным вызовом функций и настраиваемым режимом размышления.

• Лицензия — обе распространяются под Apache 2.0. Это редкий случай сравнения, когда вопрос лицензии решён ещё до того, как вы начнёте.

• Веса на диске — Nanbeige4.3-33B занимает около 66 ГБ в BF16 и примерно 20 ГБ в 4-битном формате. Gemma 4 31B попадает в тот же диапазон. Ни одна из них не является моделью для ноутбука; обе представляют собой модели для одной рабочей станции или одного узла.

Единственное, в чём нет паритета, — это распространение. У Gemma 4 31B есть управляемый API, эндпоинт, который Artificial Analysis сейчас указывает как бесплатный, и независимое освещение. У Nanbeige4.3-33B есть веса, карточка модели и — по словам самой карточки — ни одного провайдера инференса, который бы её развёртывал. Эта асимметрия не является суждением о качестве, но она меняет то, во что обходится «попробовать это».

Столбец поставщика и собственная карточка Google не совпадают.

Две строки в таблице Nanbeige можно сверить с опубликованными Google цифрами, и совпадает только одна из них.

• AIME 2026 — Nanbeige приписывает Gemma 4 31B результат 89,2. Google сообщает 89,2. Точное совпадение.

• GPQA Diamond — Nanbeige приписывает Gemma 4 31B 91,3, и это единственная строка, где Gemma превосходит собственный показатель Nanbeige 89,5. Опубликованный Google показатель для этой модели — 84,3. Это расхождение в семь пунктов, и ни одна из карточек не объясняет конфигурацию, стоящую за ним.

Вторая строка заслуживает внимания, потому что именно здесь таблица вендора отдаёт победу конкуренту. Если эта цифра получена повторным прогоном при максимальном уровне рассуждений, это корректный результат, и Gemma действительно лидирует в научных вопросах уровня выпускника вуза. Если же она получена в оценке с другой конфигурацией, таблица сравнивает две разные Gemma. В любом случае утверждение «Gemma побеждает в GPQA», которое на этой неделе повторялось во всех вторичных публикациях, опирается на цифру, которую Google не публикует.

Остальную часть колонки Gemma сложнее проверить, потому что Google сообщает результаты по другим бенчмаркам. В таблице Nanbeige у Gemma 18,6 в Tau3-Bench; в карточке Google — 86,4 в τ²-bench. Это разные версии семейства бенчмарков, поэтому они не противоречат друг другу, — но это и не сравнение, и разрыв в 68 пунктов между ними — справедливая оценка того, насколько выбор тестовой обвязки и версии может изменить балл одной модели.

Правильное чтение нулей

Три строки в столбце Gemma близки к нулю: 0.0 в Terminal-Bench 4.0, 2.7 в DeepSWE и 3.3 в SWE-Atlas-QnA. Именно эти строки гуляют по соцсетям, и это наименее информативные числа в таблице.

Почти нулевой результат на агентном бенчмарке имеет как минимум три возможные причины: модель не может выполнить задачу, модель не может управлять инструментами, которые предоставляет харнесс, или харнесс был настроен под другой шаблон чата и формат вызова инструментов. В карточке Nanbeige прямо указано, что в её собственных результатах использовались Terminus 2 для Terminal-Bench 2.1 и mini-swe-agent v2.4.6 для Terminal-Bench 4.0, DeepSWE и SWE-Atlas-QnA. Там не сказано, получила ли Gemma 4 31B тот же скаффолд со своим собственным форматом вызова инструментов или же была помещена в ориентированный на XML формат Nanbeige. Это даёт совершенно разные цифры, и только одна из них относится к модели.

Это не причина отбрасывать результат Nanbeige. Nanbeige4.3-33B создавалась вокруг агентного программирования — в её карточке рекомендуется XML-формат вызовов инструментов, preserve_thinking=true для многоходового использования инструментов и температура 1.0 для агентных задач — поэтому неудивительно, что она хорошо показывает себя в стенде, созданном для неё. Это причина рассматривать столбец Gemma как нижнюю границу, а не как окончательный вердикт.

Асимметричные бенчмарки не оценивают: изображения

Gemma 4 31B принимает изображения. Nanbeige4.3-33B — нет. Эта одна фраза определяет больше реальных внедрений, чем любая строка в таблице.

Если ваш агент читает скриншоты, счета, диаграммы, отсканированные формы или состояния интерфейса, {{1}}Nanbeige4.3-33B{{/1}} не является кандидатом ни при каком результате бенчмарка. Вам понадобится отдельная модель извлечения перед этой моделью, со своей задержкой, стоимостью и режимами отказа, и тогда качество конвейера будет определяться качеством модели извлечения, а не 33B. {{2}}Gemma{{/2}} выполняет этот шаг нативно, а опубликованные Google показатели MMMU-Pro 76,9 и MATH-Vision 85,6 позволяют предположить, что она делает это компетентно, а не для галочки.

И наоборот, если работа ведётся только с текстом — код, логи, длинные документы, многошаговые трассировки инструментов — возможность работы с изображениями становится мёртвым грузом, за который вы платите при каждом прямом проходе. Именно для такого случая создан Nanbeige, и это значительная доля агентной работы.

512K против 256K, и для чего нужно окно

Окно в 524,288 токена у Nanbeige вдвое больше, чем 262,144 у Gemma, и оба числа достаточно велики, поэтому разница имеет значение только в определённых типах работы.

Окно в 256K вмещает примерно объём исходного кода среднего размера репозитория или несколько сотен страниц текста. Окно в 512K вмещает вдвое больше. Для одного длинного документа плюс длинного ответа обоих достаточно; для агента, который накапливает вывод инструментов на протяжении сотен ходов, большее окно даёт больше ходов до суммирования или вытеснения. Карточка Nanbeige рекомендует до 262 144 новых токенов для рассуждений и чата, что предполагает, что практический бюджет рассуждений ближе к 256K, чем к полным 512K. Верхний предел вывода Gemma обычно настраивается на 131 072.

Ни один из производителей не публикует здесь бенчмарк на recall в длинном контексте, поэтому честно сказать, чьи 512K или 256K используются лучше, невозможно. Размер контекста — это заявление о ёмкости, а не о качестве, и обе карты на этом и останавливаются.

Сколько стоит позвонить каждому из них

Gemma 4 31B — единственная из этих двух, которую сегодня можно вызвать как сервис. В OrcaRouter это $0,13 за миллион входных токенов и $0,38 за миллион выходных, при этом кэшированный ввод — $0,02. Это сквозная передача прейскурантной цены провайдера без добавления наценки, что также объясняет, почему изменение цены поставщиком попадает в наш каталог в тот же день, когда оно объявляется. Artificial Analysis в настоящее время указывает собственный эндпоинт Google по цене $0,00 за ввод и $0,00 за вывод, что почти наверняка отражает промоакцию или бесплатный тариф, а не устойчивую цену; рассматривайте его как пробный канал, а не как статью бюджета.

У Nanbeige4.3-33B нет цены за токен, которую можно было бы указать. Веса распространяются бесплатно по лицензии Apache 2.0, и в карточке модели указано, что ни один провайдер инференса не развёртывает эту модель. Запуск означает четыре GPU с размером тензорного параллелизма 4 согласно собственным рецептам из карточки для vLLM и SGLang, которые остаются включёнными независимо от того, приходят ли запросы. Тогда предельная стоимость токена — это ваши расходы на электроэнергию и ваш коэффициент использования, а не тарифная сетка. Тот, кто сравнивает «$0.13 input» с «бесплатно», сравнивает счёт с капитальными затратами.

Это также практический аргумент в пользу того, чтобы держать маршрутизатор в цепочке, даже когда новая модель развёрнута на собственных серверах. Решение, с которым на самом деле сталкиваются большинство команд, — не «заменить Gemma», а «направить 5% трафика на новинку и посмотреть, что получится». То, что действующая модель остаётся доступной через один ключ, с автоматическим переключением, если экспериментальная конечная точка упадёт, делает это изменением маршрутизации, а не миграцией.

Когда Gemma 4 31B — просто правильный ответ

Четыре условия позволяют решить это без таблицы бенчмарков.

• Рабочая нагрузка включает изображения, PDF-файлы или скриншоты. Gemma, без вариантов.

• Вам нужно больше, чем английский и китайский. Gemma предобучали на 140+ языках; Nanbeige указывает два.

• Вы не хотите владеть GPU. У Gemma уже есть управляемый эндпоинт; у Nanbeige есть веса и рецепт развертывания.

• Вам нужно независимое мнение о качестве. У Gemma индекс интеллекта Artificial Analysis равен 15 — это скромно, но независимо. У Nanbeige там вообще нет записи, так что все цифры о ней — это вендор, который сам себе ставит оценку.

Переверните ситуацию, и кейс Nanbeige столь же очевиден: агентная работа только с текстом, длинная трассировка инструментов, команда с GPU и готовность использовать рекомендуемый им XML-формат инструментов. Для такого типа работы собственная таблица Nanbeige заявляет преимущество в 33,7 пункта на Terminal-Bench 2.1 — 80,9 против 47,2 — и преимущество в 62,8 пункта на DeepSWE. Эти разрывы достаточно велики, чтобы, вероятно, содержать реальный сигнал, даже если сделать скидку на преимущество харнеса. Но они недостаточно велики, чтобы делать ставку на производственный путь, не запустив собственный тест.

Дневное соревнование по выпечке лучше этого стола.

Если вы действительно выбираете между ними, тест обойдётся дёшево и не требует верить ни одному из поставщиков. Возьмите двадцать реальных задач из журналов вашего собственного агента. Запустите каждую модель с её рекомендуемым форматом вызова инструментов и настройками рассуждений — XML для Nanbeige, нативный function calling для Gemma — и оценивайте выполнение задач, а не сходство с бенчмарком. Записывайте количество токенов, потреблённых на каждую выполненную задачу, потому что плотные модели 33B и 30.7B будут различаться по многословности даже при одинаковой цене за токен.

За один день вы узнаете, сохранится ли агентный отрыв Nanbeige перед лицом его собственного преимущества в harness. Пока кто-нибудь это не опубликует, обоснованное резюме уже, чем заголовки: Gemma 4 31B — более пригодная для развёртывания модель и единственная с независимой оценкой; Nanbeige4.3-33B — более амбициозная, с нативным окном 512K и набором заявленных самими разработчиками агентных показателей, которые впечатляют, не проверены аудитом и появились всего два дня назад.