MiniCPM-V 4.7 vs NVIDIA Nemotron 3.5 Super VL: самая дешёвая машина, которая реально запускает каждый из них

Обе модели — это визуально-языковые модели с открытыми весами, обе используют смесь экспертов, и обе сжимают визуальные токены до того, как их увидит языковая модель. Поэтому выбор между MiniCPM-V 4.7 35B-A3B и NVIDIA Nemotron 3.5 Super VL — это не решение об архитектуре. Это решение о самой маленькой машине, которую вы готовы купить, и о том, что эта машина даёт вам в страницах в час. При таком подходе к цене две модели попадают в совершенно разные закупочные обсуждения: одна работает из загрузки размером 21 ГБ на оборудовании, которое у вас, вероятно, уже есть, а другая требует четыре H100 в BF16 или один H200 в FP4. В этом материале выполняется арифметика, которую спецификации оставляют вам — уровень памяти за уровнем и страница за страницей. Стек компьютерного зрения остаётся на вашем оборудовании. А оркестрация вокруг него — не обязательно. Смотрите каталог размещённых моделей Более 200 размещённых моделей по одному ключу, цена по прайс-листу передаётся с наценкой 0%. Документированные сбои ИИ и инциденты с агентами, связанные с подобными релизами, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, степень уверенности и флаг спорности.

Две лестницы квантования, два совершенно разных этажа

OpenBMB и NVIDIA решили одну и ту же проблему — модель слишком велика для устройства, на котором вы хотите её запускать — но в противоположных направлениях. MiniCPM-V 4.7 35B-A3B держит в памяти небольшой активный набор и потоково подгружает экспертов из хранилища, а затем поставляет всё целиком во всех размерах GGUF, чтобы вы могли выбрать свою нижнюю границу. Nemotron 3.5 Super VL держит в памяти полную модель и вместо этого обучает 4-битный уровень (NVFP4), который примерно вчетверо снижает требования к памяти без штрафа от постфактум-квантования.

• MiniCPM-V 4.7 35B-A3B, Q4_K_M — 21.2 ГБ на диске. Помещается на потребительскую видеокарту с 24 ГБ впритык или на Mac с 32 ГБ с запасом.

• MiniCPM-V 4.7 35B-A3B, Q8_0 / F16 — 36.9 ГБ / 69.4 ГБ. Карта на 48 ГБ или рабочая станция на 96 ГБ — в зависимости от того, сколько контекста вы хотите вместе с весами.

Nemotron 3.5 Super VL, BF16 — примерно 231,8 ГиБ весов, распределённых по 64 шардам. Собственная рекомендация NVIDIA по развёртыванию — tensor-parallel 4 на 4× H100 или TP2 на 2× GB200.

• Nemotron 3.5 Super VL, NVFP4 — разворачивается на 1x DGX Spark, 1x H200, 2x H100 или 1x GB200, согласно карточке модели.

Эта последняя строка — то число, которое меняет разговор о закупках. Модель 120B на одном H200 вместо четырёх H100 — это не маргинальная экономия; это разница между резервированием кластера и одним узлом. И поскольку NVIDIA выполняет 4-битное преобразование во время обучения с помощью дистилляции с учётом квантования, а не постфактум, она утверждает, что накладных расходов на инференс нет — заявление, которое карта делает, но не подкрепляет опубликованной разницей в точности между BF16 и NVFP4.

Страниц в час — вот число, которое решает всё.

Пропускная способность в токенах в секунду — плохая прокси-метрика для работы с документами, поскольку стоимость страницы определяется главным образом тем, сколько визуальных токенов выдаёт кодировщик, прежде чем языковая модель произнесёт хотя бы слово. Именно здесь два подхода расходятся наиболее резко, и именно здесь маркетинговые формулировки наименее полезны.

MiniCPM-V 4.7 35B-A3B выполняет сжатие внутри визуального энкодера, используя технику раннего сжатия, которую OpenBMB приписывает LLaVA-UHD v4, со смешанным понижением дискретизации в 4x и 16x. По умолчанию используется 16x; 4x — это путь для мелких деталей, выбираемый для каждого изображения. Плотная страница текста идёт по дешёвому пути, схема деталей — по дорогому. Сжатие происходит до того, как задействуется языковая модель, и именно это делает 35B-модель жизнеспособной на телефоне.

Nemotron 3.5 Super VL не делает ставку на сжатие. Его ответ — контекст: до одного миллиона токенов, видеовход длительностью до двух минут и гибридный слой Mamba-2, чтобы очень длинная последовательность не становилась квадратичной по сложности. Его рецепт обработки видео по умолчанию использует 2 FPS и 256 кадров, снижая до 1 FPS и 128 кадров при 1080p — это политика сэмплирования, а не трюк со сжатием, и её можно настроить в сторону увеличения, если рабочая нагрузка отличается плотным движением.

Практическое следствие: MiniCPM-V 4.7 обеспечивает фиксированную низкую стоимость токенов на страницу, но требует принять потерю деталей; Nemotron 3.5 Super VL позволяет сохранить детали, но требует платить за контекст. При проверке контракта на сто страниц первый дешевле в расчёте на страницу, а второй лучше справляется со страницей, где условие находится в сноске шрифтом в 6 пунктов. Для двухминутного хирургического видео вообще актуален только второй.

Один из этих релизов содержит цифры; другой — графики.

Это та часть сравнения, которую не исправят никакие аппаратные вычисления, поэтому ей место здесь, а не где-то в сноске.

Карточка модели NVIDIA содержит таблицу бенчмарков примерно из сорока строк, и она необычайно откровенна: в ней названы базовые модели, а несколько строк показывают, что модель проигрывает. В сравнении с Qwen3.5-122B-A10B её собственные цифры дают MMLU-ProX 76.91 против 83.2, tau2-bench telecom — 73.19 против 87.2, OCRBench v2 Chinese — 59.15 против 67.3, а MathVision — 78.16 против 83.3. Она выигрывает у GPQA-Diamond со счётом 89.52 против 86.7, у SWE-bench Pro — 51.78 против 44.9 и у CritPt — 10.86 против 1.1. Каждая цифра, включая базовые значения, была получена с помощью собственного стенда NeMo Gym от NVIDIA — карточка прямо об этом говорит и публикует заметки о воспроизводимости. Всё выполнено силами вендора, честно обозначено, а поражения оставлены в таблице.

Карточка MiniCPM-V 4.7 содержит пять графиков оценки и ни одной числовой таблицы. Сравнительные утверждения носят ориентировочный характер: более высокий общий балл за меньшее время вывода, чем у Qwen3.6 35B-A3B в режиме Instruct, и существенный прирост по сравнению с Qwen3.5 0.8B для варианта 1B. Нет ни баллов по отдельным бенчмаркам, которые можно было бы привести, ни списка базовых моделей для проверки, ни опубликованных весов для составного показателя, который строится на графике. Это не то же самое, что плохая модель — инженерные решения задокументированы в config.json, а веса можно проверить побайтово — но это означает, что половину этого сравнения, касающуюся точности, построить нельзя. Любой, кто представляет таблицу баллов MiniCPM-V 4.7 в сопоставлении с цифрами Nemotron 3.5 Super VL, читает график одного вендора так, будто это измерение, а таблицу другого — так, будто она нейтральна.

Пути выполнения — и какой из них укусит вас позже

История развёртывания MiniCPM-V 4.7 — это меню: SGLang, vLLM, llama.cpp и Ollama, путь OpenVINO для Intel CPU, GPU и NPU, дообучение через SWIFT и LLaMA-Factory, квантизация в GGUF, BNB, AWQ, GPTQ и FP8, а также заявленная поддержка с первого дня для Rockchip, Houmo, Intel, AMD и Arm-кремния наряду с iOS, Android и HarmonyOS. Широта — это продукт. Цена широты в том, что никто не проверил вашу конкретную комбинацию, а текущий upstream-путь llama.cpp имеет активный дефект: позиции маркеров изображения вычисляются неверно, поэтому возвращаемые координаты систематически занижены, когда вы спрашиваете, где что находится. Протестированное исправление открыто и не объединено по состоянию на 20 октября.

История Nemotron 3.5 Super VL узка и глубока: vLLM с закреплённым тегом образа и SGLang с закреплённым тегом, а Multi-Token Prediction встроен в архитектуру, поэтому отдельный драфтер не нужен. В карточке указаны версии, потому что эти версии — проверенная комбинация. Отклонение от них — это то, как работающее развёртывание превращается в сеанс отладки.

Если вы выбираете оборудование под модель, берите MiniCPM-V 4.7. Если вы выбираете модель под уже имеющееся у вас оборудование, берите Nemotron 3.5 Super VL и точно следуйте версиям, указанным в её карточке.

Где место маршрутизатору в архитектуре из двух устройств

Схема, которая проявляется в продакшене, — это не выбор между этими двумя. Это небольшая модель на устройстве или на локальной машине, выполняющая работу, которая должна быть мгновенной и приватной, и большая модель, выполняющая работу, которая должна быть правильной. MiniCPM-V 4.7 35B-A3B создана для первой роли; Nemotron 3.5 Super VL создана для второй — с окном в один миллион токенов и 12B активных параметров, чтобы обрабатывать длинные документы и агентные циклы.

Запуск обоих означает два стека моделей, два набора режимов отказа и — как только вы добавите текстовую модель для оркестрации вокруг них — три. Именно здесь помогает OrcaRouter, не преувеличивая свои возможности: ни одного из этих чекпойнтов нет в нашем каталоге, поскольку оба представляют собой открытые веса, которые вы размещаете сами, но окружающие их текстовые и кодовые модели — есть. Один ключ для более чем 200 размещённых моделей, цена по прайс-листу провайдера передаётся с наценкой 0%, и автоматическое переключение при деградации вышестоящего сервиса. Стек компьютерного зрения остаётся на вашем оборудовании; остальной конвейер перестаёт требовать нового контракта каждый раз, когда вы добавляете этап.

Чего вам стоит ошибиться в каждом из них

Купите маленькую коробку и обнаружьте, что вам требовалось рассуждение по длинным документам, — и вот вы уже потратили несколько тысяч долларов и неделю. Купите четыре H100s и обнаружьте, что нагрузкой были чеки, — и вы потратили гораздо больше на возможности, которые никогда не задействуете. Эта асимметрия — настоящий аргумент в пользу того, чтобы начинать с дешёвого уровня и наращивать, — и именно поэтому релиз на устройстве заслуживает того внимания, которое получает, даже несмотря на то, что его история с бенчмарками тоньше.

Тай-брейкер, если у вас доступны оба варианта, — это то, где живут пиксели. Кадры, которые не могут покинуть здание, отправляются модели, работающей внутри него. Кадры, которым нужен миллион токенов контекста и цикл рассуждений, отправляются той, что была создана для этого, а закреплённые версии среды выполнения вы принимаете как плату за вход.