ZoomGain-9B против Gemma 4 12B: строка, отсутствующая в бенчмарке

На момент выпуска на бенчмарке ZoomGain было оценено двадцать восемь моделей. Четыре закрытые фронтирные системы, четыре агентные модели компьютерного зрения, четыре узкоспециализированные модели и шестнадцать открытых универсальных моделей. G​emma среди них нет — ни G​emma 4 12B, ни Gemma 4 31B, ни одной из E-серии. Это отсутствие — самый полезный факт для сравнения ZoomGain-9B и G​emma 4 12B, потому что он означает: в любой таблице «ZoomGain vs G​emma», которую вы могли бы построить, будет дыра, а этот материал о том, чем две модели на самом деле являются, а не о числе, которого не существует.

Эти две модели достаточно близки по размеру, чтобы их сравнивали, и достаточно далеки по назначению, чтобы такое сравнение вводило в заблуждение. ZoomGain-9B — это 9B-чекпойнт визуально-языковой модели от inclusionAI, дообученный с помощью обучения с подкреплением на 9 000 вопросах, извлечённых из фрагментов изображений, выпущенный 10 ноября 2026 года со статьёй, но без анонса. G​emma 4 12B — унифицированная мультимодальная модель G​oogle DeepMind без кодировщика на 11,95B параметров, опубликованная 23 мая 2026 года под Apache 2.0, с 1,8 млн загрузок и 1 730 лайками за последний месяц. Первый — исследовательский инструмент с одной продемонстрированной возможностью. Второй — продукт с лицензией, комплектом документации, шестью квантизациями и полугодом использования сообществом.

Что каждый из них на самом деле из себя представляет

G​emma 4 12B — интересный с архитектурной точки зрения представитель семейства G​emma 4. Модели E2B, E4B и 31B используют выделенные энкодеры — зрительную башню примерно на 150 млн параметров у младших моделей и примерно на 550 млн у 31B — и передают эмбеддинги языковой модели. В 12B этого нет. Она проецирует исходные патчи изображений и звуковые волны напрямую в пространство эмбеддингов декодера через лёгкие линейные слои — именно это означает «Unified» в её названии, и именно поэтому поддержка аудио есть в этой модели, но отсутствует в 31B.

Его конфигурация: 48 слоёв, размер скрытого слоя 3 840, промежуточный размер 15 360, 16 голов запроса против 8 голов KV при размерности головы 256, словарь на 262 144 токена и 262 144 максимальные позиции. Сорок из сорока восьми его слоёв — скользящее оконное внимание с окном 1 024 токена; восемь — полное внимание, а последний слой всегда глобальный. Три входные модальности, текстовый вывод, контекст 256K и нативная системная роль.

ZoomGain-9B устроена наоборот. Её текстовая основа — Qwen3.5-9B: 32 слоя, скрытая размерность 4096, промежуточная 12 288, соотношение линейного и полного внимания 3:1, максимум 262 144 позиции — а визуальная башня прикручена базовой моделью, а не изобретена здесь. Поверх этой основы авторы запустили GRPO на 9000 вопросах, ответы на которые зависят от деталей, видимых только при приближении к области. Модель не обучали как универсального ассистента, и её не представляют в этом качестве.

• Параметры — G​emma 4 12B 11.95B против ZoomGain-9B, примерно 9.4B (18.82 ГБ в BF16 против размера файла 12B).

• Модальности — G​emma 4 12B принимает текст, изображения, видео и аудио; ZoomGain-9B принимает текст и изображения. Аудио — не пробел в реализации ZoomGain, оно отсутствует в его конфигурации.

• Контекст — G​emma 4 12B документирует 256K. Карточка ZoomGain-9B ничего не документирует; её конфигурация наследует 262 144 позиции от основы Qwen3.5-9B, что не то же самое, что проверенное свойство дообученного чекпоинта.

• Лицензия — G​emma 4 12B: Apache 2.0 с именованным файлом лицензии. ZoomGain-9B: код — Apache 2.0, условия чекпоинта отложены до карточки, не содержащей тега лицензии.

• Распространение — {{1}}G​emma 4 12B{{/1}} поставляется в формате BF16, QAT q4_0 GGUF объёмом 6,98 ГБ с проектором на 0,18 ГБ и собирается из ggml-org, unsloth и litert; ZoomGain-9B поставляется в формате BF16 плюс GGUF в вариантах F16, Q8_0 и Q4_K_M с 11 ноября.

• Документация — G​emma 4 12B имеет блог о запуске, технический отчёт, сборники рецептов для фреймворков и страницу лицензии. ZoomGain-9B имеет статью, репозиторий и карточку, в которой не указана длина контекста.

Почему пропущенная строка — не недосмотр, от которого можно отмахнуться

Бенчмарк ZoomGain создан для того, чтобы выявить один изъян: модель, которая не способна распознать мелкую деталь внутри большого кадра. Авторы оценивают распознавание атрибутов, подсчёт и OCR на 1000 вопросах и 941 изображении на английском и китайском языках, используя точное совпадение для вопросов с выбором ответа и для целых чисел, а также ANLS с порогом 0,7 для OCR. В этом тесте лучшая из двадцати восьми моделей достигает 61,08, и только пять преодолевают 50.

G​emma 4 12B на нём не запускали. Никакую другую G​emma — тоже. Это оставляет вам два варианта, и только один из них честный. Можно сопоставить показатели G​emma — MMMU Pro 69,1 и MATH-Vision 79,7 — со средним значением ZoomGain на отложенной выборке, 66,10, и назвать это сравнением; но это сравнение широкого мультимодального набора со средним по тринадцати бенчмаркам восприятия, и оно даёт бессмысленное число. Или можно сказать правду: никто не измерял эти две модели одной и той же линейкой, и если этот вопрос для вас важен, бенчмарк можно скачать и прогнать самостоятельно за полдня.

Второй вариант дешевле, чем кажется. ZoomGainBench поставляется в виде аннотаций, изображений и оценщика; оценка принимает OpenAI-совместимую конечную точку или локальный чекпоинт, работает при temperature 0 с отключённым thinking и сообщает результаты по каждому вопросу. G​emma 4 12B работает под vLLM или llama.cpp. Это реальное очное сравнение, которое вы могли бы получить, и сам тот факт, что авторы бенчмарка не включили G​emma, показателен — модель была доступна за шесть месяцев до публикации этого бенчмарка.

Где у G​emma 4 12B есть числа и что они означают

Это собственные цифры Google из карточки модели, не воспроизведённые нейтральной лабораторией:

• MMMU Pro 69.1 — набор тестов для мультимодального рассуждения и самое близкое к заявлению о визуальной компетентности, что есть в карточке G​emma.

• MATH-Vision 79.7 — математические рассуждения по диаграммам и изображениям.

• OmniDocBench 1.5: среднее расстояние редактирования 0.164 — разбор документов, где меньшее значение лучше; модель 31B достигает 0.131.

• MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 77.5 без инструментов — текстовая сторона, на которую ZoomGain-9B вовсе не претендует.

• τ² в среднем 69.0 и нативный вызов функций — агентное использование инструментов.

• MRCR v2 eight-needle при 128K, 43,4% — извлечение в длинном контексте, и показатель, который сильнее всего подрывает заявку на 256K.

На последнем стоит заострить внимание. Окно в 256K — это не 256K полезного внимания, а то, что G​oogle публикует оценку retrieval, падающую до 43,4% на 128K, — это больше откровенности, чем предлагают большинство карточек. Если ваша задача — «найти один факт в большом документе», окно G​emma 4 12B реально, но её recall на глубине посредственный, и эквивалентного измерения для ZoomGain-9B не существует, потому что на ней не проводилась оценка длинного контекста.

Где у ZoomGain-9B есть цифры — и оговорка, прилагаемая к каждой из них

Все результаты, заявленные авторами, на выпущенном тестовом стенде:

• HR-Bench 4K — 90,25 против 82,13 у Qwen3.5-9B, на основе которого он создан. Восприятие в высоком разрешении — и главное заявление релиза.

• V*Bench 93,19, рост с 86,91. Обнаружение малых объектов в загромождённых сценах.

• MMVP 70,00, рост с 60,00. Тест с парными изображениями, в котором две почти идентичные картинки имеют разные правильные ответы, — ближайший существующий аналог того, для чего обучалась ZoomGain.

• ZoomGainBench — 55.48, что выше 32.13. Столбец held-in завышен по построению, и авторы это признают.

• Средний показатель на отложенной выборке — 66,10 по тринадцати бенчмаркам, выше 59,75. Вот это число действительно что-то значит.

Оговорки — в порядке того, насколько сильно они должны вас беспокоить. Во-первых, никто за пределами списка авторов не воспроизвёл ни одного из этих результатов. Во-вторых, бенчмарк и обучающие данные происходят из одного пайплайна — поэтому в статье собственный бенчмарк исключён из усреднения по отложенным наборам; это дисциплина, заслуживающая признания. В-третьих, обучающий набор составляет 9 000 записей — достаточно мало, чтобы прирост мог быть узким даже там, где он реален. В-четвёртых, у модели нет размещённого эндпоинта и, на момент написания, пустое сопоставление провайдеров на Hub.

Стоимость — в тех терминах, которые действительно её определяют.

Gemma 4 12B в QAT q4_0 занимает 6,98 ГБ плюс проектор на 0,18 ГБ. Это помещается в ноутбук с 16 ГБ с запасом, а в карту на 8 ГБ — с трудом. ZoomGain-9B в Q4_K_M занимает 5,63 ГБ плюс 0,52 ГБ проектора; в Q8_0 — 9,53 ГБ плюс 0,62 ГБ. 9B — меньшая загрузка при любой точности, поскольку это меньшая модель, а её ствол с преобладанием линейного внимания означает более короткий KV-кэш при больших длинах последовательности, что важно, если вы подаёте ей изображения высокого разрешения, а не длинный текст.

Ни одну из них сегодня нельзя вызвать через нас. Gemma 4 12B отсутствует в каталоге OrcaRouter, и ZoomGain-9B тоже, поэтому честная формулировка такова: оба варианта — это решения в пользу self-host или vendor-API. А у нас хостится Gemma 4 26B A4B по цене $0.06 за миллион входных токенов и $0.33 за миллион выходных токенов при окне 262K — то же семейство, вчетверо больший бюджет активных параметров и законный способ выяснить, подходит ли профиль Gemma для разбора документов вашему пайплайну, прежде чем что-либо скачивать. Один ключ покрывает эту и более 200 других моделей по цене из прайс-листа без наценки, поэтому сравнительное тестирование vision-эндпоинта и дешёвой текстовой модели обойдётся одним днём, а не тремя контрактами.

Выбирайте по должности, а не по рангу.

Если задача — мелкая деталь внутри большого изображения — серийный номер на устройстве, текст на удалённой вывеске, цвет одного объекта из сорока, подсчёт окон на фасаде — ZoomGain-9B создан именно для этого, с оговоркой, что его доказательства основаны на его собственных заявлениях, а лицензию нужно внимательно прочитать. Его архитектура оптимизирована именно под тот режим отказа, с которым вы сталкиваетесь.

Если задача — что-либо другое визуальное: чтение многостраничного документа, описание сцены, ответ на вопрос о диаграмме, приём аудио вместе с изображениями, последующий вызов функции — G​emma 4 12B является готовым продуктом, и сравнение перестаёт быть близким. У неё есть предварительное обучение на 140 языках, нативный вызов инструментов, окно в 256K с опубликованной кривой поиска, шесть вариантов квантования и лицензия, которую можно передать юристам без объяснений.

Если задача включает и то и другое, честный ответ таков: это не альтернативы, а два слоя одного конвейера. Реалистичный агент для работы с документами в 2026 году разбирает документ универсальной мультимодальной моделью и передаёт важные фрагменты на эскалацию специалисту по восприятию — и именно в эскалации заключается интересная инженерия, потому что она означает решение о том, когда деталь стоит второго вызова. Это задача маршрутизации, и именно поэтому она нас волнует: правило, которое отправляет дешёвый вызов дешёвой модели, а эскалацию — на любой эндпоинт, проходящий ваш порог, — это одно изменение конфигурации, а отказоустойчивость означает, что зависший специалист не остановит весь конвейер.

Вердикт, изложенный в той форме, которую подтверждают доказательства.

{{G​emma 4 12B}} — более надёжная покупка по всем критериям, не связанным с бенчмарками восприятия: лицензия, документация, дистрибуция, широта, сообщество и тот факт, что {{G​oogle}} публикует цифры, с которыми можно спорить. {{ZoomGain-9B}} — более интересная модель и, вероятно, лучший инструмент для одной конкретной задачи, судя по данным, которые ещё не проверил никто, кроме авторов статьи.

Правильный следующий шаг зависит от того, с каким из этих предложений вы согласились. Если с первым, скачайте QAT GGUF и прекратите читать. Если со вторым, скачайте ZoomGainBench вместе с весами — 941 изображение, 1 000 вопросов, оценщик и число, которое вы можете получить сами — и прогоните G​emma через него. Тогда вы станете первым, кто это сделал, и узнаете об обеих моделях то, чего сейчас не знает ни один из поставщиков.