MiniCPM-V 4.7 против Gemma 4 12B: один публикует бенчмарки, другой — их изображение

Откройте карточку модели MiniCPM-V 4.7 и прокрутите до раздела оценки. Вы увидите три изображения: график фронтира зависимости производительности от времени инференса, сводное сравнение по зрению и языку и сводное сравнение по языку. Таблицы вы не найдёте. Теперь откройте карточку Gemma 4 12B и прокрутите до того же места. Вы увидите MMLU Pro, AIME 2026, LiveCodeBench v6, GPQA Diamond, Codeforces ELO, MMMU Pro, MATH-Vision и долю ошибок при разборе документов — каждое с числом, которое можно скопировать в электронную таблицу. Обе модели имеют открытые веса, обе распространяются под Apache 2.0, обе позиционируются как мультимодальные модели, которые работают на вашем собственном оборудовании, — и только одна из них позволит вам проверить её работу. Документированные сбои ИИ и инциденты с агентами, связанные с подобными релизами, собраны в the OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, степень уверенности и флаг спорности.

Эта асимметрия и есть суть сравнения. MiniCPM-V 4.7, выпущенная OpenBMB 12 октября 2026 года, и Gemma 4 12B, выпущенная G​oogle DeepMind 3 июня 2026 года, — это не объекты одного и того же рода, и разница не в размере. Она в том, насколько полно каждый вендор готов изложить своё собственное утверждение в тексте.

Что каждый поставщик вам расскажет — в цифрах

В карточке Gemma 4 12B опубликованы её результаты в сравнении с пятью моделями-«собратьями» и предшественником, причём для каждого бенчмарка указан используемый оценочный стенд. Для варианта 12B Unified в частности производитель сообщает 77.2 на MMLU Pro, 77.5 на AIME 2026 без инструментов, 72.0 на LiveCodeBench v6, 78.8 на GPQA Diamond, ELO Codeforces 1659, 69.0 на Tau2 в среднем по трём прогонам, 83.4 на MMMLU и — число, которое наиболее честно показывает, что представляет собой модель 12B, — 5.2 на Humanity's Last Exam без инструментов. По зрительной части сообщается 69.1 на MMMU Pro, 79.7 на MATH-Vision и среднее расстояние редактирования 0.164 на OmniDocBench 1.5, где меньше — лучше.

Это цифры от производителя. Никто независимый не обязан с ними соглашаться, и для модели, развёрнутой столь широко, некоторые из них не выдержат столкновения с другим испытательным стендом. Но они опровержимы — а это то свойство, которое имеет значение. Если в вашем собственном eval вы получаете 62 на MMLU Pro, вы понимаете, что что-то не так с вашей конфигурацией или с картой.

Карточка MiniCPM-V 4.7 содержит четыре числовых утверждения в текстовой форме и вообще не содержит таблицы бенчмарков. Вариант 35B-A3B декодирует со скоростью 13 или более токенов в секунду, используя около 3 ГБ памяти на iPhone 17 Pro Max. Lookahead Expert Scheduling обеспечивает ускорение в 5× на реальных устройствах. Вариант 1B превосходит Qwen3.5 0.8B по общему баллу и эффективности инференса. А в режиме Instruct 35B-A3B достигает более высокого общего балла за меньшее время инференса, чем Qwen3.6 35B-A3B. Всё остальное — каждая ось сравнения — находится внутри изображений с графиками.

Это не нечестность. Графики несут информацию, и график границы, пожалуй, лучше суммирует компромисс между скоростью и качеством, чем таблица оценок по разным бенчмаркам, измеренных при разных размерах батча. Но график нельзя процитировать, нельзя восстановить по нему данные и нельзя сравнить с графиком другого поставщика без того, чтобы кто-то считывал положение пикселей. Когда единственная публичная оценка модели — это картинка, правильная позиция — считать модель неизмеренной, пока кто-нибудь её не измерит.

Две архитектуры решают разные задачи.

Читайте дальше разделов оценки — и дизайны резко расходятся, а это более полезный сигнал, чем любой отдельный балл.

Gemma 4 12B обходится без энкодера. У неё нет ни отдельной визуальной башни, ни отдельного аудиоэнкодера: необработанные патчи изображений и звуковые волны проецируются напрямую в пространство эмбеддингов языковой модели через лёгкие линейные слои. По заявлению Google, причина — задержка и дообучение за один проход: одна модель, один цикл обучения, все модальности. Компромисс в том, что компания делает ставку на способность трансформера только с декодером научиться видеть достаточно хорошо без выделенного визуального фронтенда. Её собственный показатель MMMU Pro — 69,1 против 76,9 у 31B-собрата, который оснащён визуальным энкодером примерно на 550 млн параметров, — указывает на то, что эта ставка имеет свою цену в тонком визуальном рассуждении.

MiniCPM-V 4.7 идёт другим путём. Он сохраняет выделенную визуальную башню — ширина скрытого слоя 1152, 27 слоёв, плитки по 980 пикселей — и направляет инженерные усилия на удешевление этой башни. Ранняя компрессия внутри ViT, заимствованная из LLaVA-UHD v4, сокращает число визуальных токенов внутри энкодера, а не после него, а переключатель смешанного даунсэмплинга 4×/16× позволяет вызывающей стороне выбирать между детализацией и стоимостью для каждого запроса. На языковой стороне 35B-A3B — это смесь из 256 экспертов, активирующая 8 экспертов на токен, организованная в соотношении 3:1 между линейным и полным вниманием по 40 слоям.

Практическое следствие такого дизайна состоит в том, что видеотракт MiniCPM описан необычно явно. В карточке модели указан max_num_frames со значением 128, параметр stack_frames, который объединяет субкадры в сетку между основными кадрами, и отдельные рекомендации по количеству срезов для изображений (36) и видео (1). Если вы создаёте что-то, что читает записи экрана или лекционное видео, именно такой уровень контроля над тем, что сэмплируется, и является ключевой возможностью. Gemma 4 12B тоже работает с видео как с последовательностями кадров, но в её карточке документируется формат, а не экономика сэмплирования.

Строки, которые на самом деле всё решают

• Параметры — всего 35,21 млрд, активны 8 из 256 экспертов, плюс плотная модель-аналог на 1,55 млрд против плотной на 11,95 млрд

• Модальности на входе — текст, изображение, видео, где отдельно выделены OCR и парсинг PDF, в сравнении с текстом, изображением, видео и нативным аудио

• Контекст — 262,144 токена против 262,144 токенов у 12B, 128K у моделей серии E

• Лицензия — Apache 2.0, веса доступны для скачивания против Apache 2.0, веса доступны для скачивания

• Опубликованная оценка — графики передового уровня и сравнений, четыре утверждения в тексте против полной числовой таблицы по восьми родственным моделям

• Независимая оценка — на момент написания ни для одного из вариантов 4.7 нет записи в Artificial Analysis, в отличие от страницы Artificial Analysis с позицией по интеллекту и пропускной способностью

• Память при BF16 — примерно 70 ГБ весов для 35B-A3B, около 3,1 ГБ для 1B против примерно 24 ГБ

• Поставляемые квантованные форматы — GGUF, bitsandbytes, AWQ, GPTQ, FP8, int4 — по сравнению с исходным чекпоинтом, а также сборки GGUF и QAT от сообщества, G​oogle и третьих сторон

• Пути обслуживания, указанные вендором, — SGLang, vLLM, llama.cpp, Ollama, Transformers, OpenVINO vs Transformers, а более широкую экосистему предоставляет сообщество

• Работа на устройстве — приложения для iOS, Android и HarmonyOS, а также поддержка Rockchip, Houmo, Intel, AMD и Arm с первого дня в сравнении с архитектурой, оптимизированной для ноутбуков и потребительских GPU

Три рабочих нагрузки — три ответа

Понимание экранного и документного контента в больших объёмах. Именно на это нацелен дизайн MiniCPM-V 4.7, и именно здесь его документация наиболее сильна. Режим 4× даунсэмплинга, настройка 36 срезов, разделы cookbook по OCR и разбору PDF, а также явные элементы управления дискретизацией кадров для видео — всё это описывает конвейер превращения отрендеренного контента в структурированный текст. Gemma 4 12B здесь тоже выглядит убедительно — её расстояние редактирования OmniDocBench, равное 0.164, является реальным показателем разбора документов, — однако в карточке производителя разбор документов рассматривается как одна из многих возможностей, а не как основополагающий принцип.

Всё, чему нужно слышать. Gemma 4 12B работает с аудио нативно: в её карточке указаны CoVoST 38,5 и FLEURS 0,069. MiniCPM-V 4.7 — нет. Аудионаработки OpenBMB относятся к отдельной линейке MiniCPM-o, а в карточке 4.7 аудиомодальность вообще не указана. Если на входе у вас речь, сравнение заканчивается, не начавшись — одной модели нужен предварительный этап транскрипции, а другой нет.

Одна потребительская GPU с фиксированным бюджетом. Gemma 4 12B в 4-битном формате умещается в менее чем 8 ГБ и оставляет место для контекста; 35B-A3B в 4-битном формате не помещается на одну потребительскую карту, а рассказ о производительности самой карты касается телефонов, удерживающих 3 ГБ резидентной памяти, а не GPU с 70 ГБ весов экспертов для подкачки. Если ограничение — «одна карта, которая у вас уже есть», ответ — 12B, а вариант 1B — единственный MiniCPM, который подходит.

Разрыв, который покупатель должен заложить в цену

Обе модели можно бесплатно скачать, так что строка с лицензией ничего не решает, а реальная стоимость — это всё, что идёт после неё. Для Gemma 4 12B у экосистемы было четыре с половиной месяца, чтобы догнать: квантованные сборки от самой G​oogle, конвертации GGUF от сообщества, контрольные точки QAT и независимая индексация, позволяющая сравнивать её с сотней других моделей по одной шкале. Для MiniCPM-V 4.7 вы находитесь на восьмой день существования новой архитектуры — новый model_type, новая схема attention, минимальная версия Transformers — и карточка самого производителя начинается с примечания о том, что несовпадения версий CUDA ломают декодирование видео через torchcodec.

Это не критика модели. Это стандартная плата за внедрение чего угодно в первые две недели, и именно поэтому тихий релиз с оценкой только по графику — плохой кандидат для производственного пути и хороший кандидат для сравнительного теста. Способ сделать такой тест дешёвым — продолжать обслуживать текущее решение, пока вы оцениваете новое, а это задача маршрутизации, а не моделирования.

OrcaRouter обслуживает более 200 размещённых моделей через одну OpenAI-совместимую конечную точку с наценкой 0%, цена по прайс-листу провайдера передаётся напрямую, поэтому стоимость того, чтобы попробовать вторую модель, — это изменение конфигурации, а не второй договор. Его DSL маршрутизации может содержать основную и резервную модели в одном вызове, а автоматическое переключение при сбое поддерживает работоспособность основного пути, когда у провайдера выдаётся неудачный час. Примечание о покрытии — здесь важная часть: в нашем каталоге есть Gemma 4 26B-A4B и Gemma 4 31B, а не эта 12B, и в нём совсем нет MiniCPM-V 4.7. Обе модели, которым посвящена эта статья, — это чекпоинты, которые вы запускаете сами; роутер — это то, что находится вокруг них, а не способ их вызвать.

Что бы это решило

Сравнение сейчас перекошено так, что это легко сформулировать и легко исправить. У Gemma 4 12B есть числа, с которыми можно спорить. У MiniCPM-V 4.7 есть утверждения, которые можно только принять или отвергнуть: 13 токенов в секунду, 3 ГБ, ускорение в 5 раз, лучше названного конкурента по безымянному общему баллу. Каждое из них было бы полезнее в виде строки таблицы, и OpenBMB явно способна её сделать — в более ранних карточках семейства были стандартные сетки бенчмарков.

Полезная позиция намеренно асимметрична. Если вам нужно решение на этой неделе, Gemma 4 12B — это модель, поведение которой можно предсказать по опубликованным цифрам, а поддержка аудио — это возможность, которую никакое терпение не добавит к MiniCPM-V 4.7. Если вы создаёте для телефонов, для HarmonyOS, для платы Rockchip или для чтения экранов и документов, где путь с 4-кратным понижением разрешения — точно то, что нужно, инженерия MiniCPM-V 4.7 более специфична для вашей задачи, чем всё, что Google выпустил в этом размере, — и отсутствующая таблица — это причина измерить самостоятельно, а не причина отбрасывать её.

И последнее, что стоит сказать прямо, потому что именно это не вписывается в позиционирование ни одного из вендоров. Ни одна из этих моделей не конкурирует за того же покупателя, что и передовой API. Они конкурируют с решением вообще не запускать модель локально. Сильнейший аргумент Gemma 4 12B — четыре месяца экосистемы означают, что скучный путь работает; сильнейший аргумент MiniCPM-V 4.7 — модель на 1B при 3 ГБ работает там, куда 12B не добраться. Сначала выберите ограничение, затем модель — таблица бенчмарков, когда появится, лишь переставит модели внутри категории, которую вы уже выбрали.