Moondream 3 против MiniCPM-V 4.7: счёт за хранилище MoE, о котором никто не говорит

И Moondream 3 Preview, и MiniCPM-V 4.7 — это визуально-языковые модели со смесью экспертов, и обе рекламируются небольшим числом активных параметров, из-за чего кажется, будто они уместятся на скромном оборудовании. Moondream 3 Preview активирует 2B из своих 9B параметров на токен. Флагманский вариант MiniCPM-V 4.7, MiniCPM-V 4.7 35B-A3B, активирует около 3B из 35B. Прочитав эти два предложения, вы ожидали бы, что чекпоинт Moondream будет проще развернуть. Так ли это — целиком зависит от вопроса, с которого не начинается ни один из постов о запуске: где живут спящие эксперты?

Этот вопрос — то место, где эти две модели действительно расходятся, и ответ на него — это вся причина существования MiniCPM-V 4.7 именно в такой форме. Его выпуск — MiniCPM-V 4.7 35B-A3B и MiniCPM-V 4.7 1B от OpenBMB, опубликованные 6 октября 2026 года — построен вокруг запуска 35B MoE гладко на телефоне без ухудшения его работы. Moondream 3 Preview, который Moondream выпустила 18 сентября 2025 года и который теперь является частью Prime Intellect после приобретения в октябре 2026 года, пошёл противоположным путём: сохранить MoE небольшим и запускать его на GPU с помощью Photon, собственного движка вывода Moondream. Ни один из выборов не является неправильным. Они — ответы на разные ограничения, и ограничение, в котором находитесь вы, решает сравнение за вас.

Активные параметры — это показатель вычислений, а не объёма хранения.

Вот арифметика, которая делает MoE на устройстве сложным, и OpenBMB разъясняет это в своей карточке модели: MoE-модель может иметь гораздо больше общих параметров, чем она активирует для одного токена, но её требования к хранению на устройстве не ограничиваются этими активными параметрами. Разные токены выбирают разных экспертов на разных слоях, и память устройства часто не может вместить их все.

• Moondream 3 Preview — всего 9B, активных 2B. 24 слоя, первые четыре плотные, остальные — MoE-блоки прямого распространения с 64 экспертами и 8 активируемыми на токен. Скрытая размерность 2048, внутренняя/гейтовая размерность GeGLU — 1024.

• MiniCPM-V 4.7 35B-A3B — всего 35B, примерно 3B активных. Первая MoE в серии MiniCPM-V. Вариант 1B в том же релизе — плотный, а не MoE, что важно ниже.

• Нестыковка: разделите активные на общие — и Moondream 3 Preview с большим отрывом выглядит более лёгкой моделью. Разделите байты на байты — и уже MiniCPM-V 4.7 35B-A3B несёт вчетверо больше весов.

• Почему это ничего не решает — именно резидентный набор ограничивает устройство, а резидентный набор ближе к общему объёму, чем количество активных. MoE на 9B не помещается в память, в которую помещается плотная модель на 2B, независимо от того, что активирует роутер.

Итак, «2B active» — это утверждение о вычислениях на токен. Это не утверждение о необходимом вам объёме памяти, и трактовать его как таковое — самый распространённый способ, которым команды неправильно подбирают размер развёртывания MoE.

OpenBMB напрямую взялась за решение проблемы хранения

Дизайн MiniCPM-V 4.7 лучше всего понимать как три метода, нацеленных именно на этот разрыв. Lookahead Expert Scheduling использует межслойное предсказание маршрутизации, чтобы предзагружать экспертов, которые, вероятно, понадобятся следующему слою, и отдаёт приоритет успешно предзагруженным среди тех, что выбрал фактический маршрутизатор, — предсказание управляет только предзагрузкой и планированием, тогда как вычисления по-прежнему следуют исходной маршрутизации модели на уровне токенов, а любой нужный эксперт, который предсказание пропустило, загружается и вычисляется как обычно. Тонкозернистая послойная квантизация сокращает занимаемый объём хранения и трафик памяти для весов экспертов. Спекулятивное сэмплирование DSpark интегрировано в путь выполнения на устройстве, чтобы повысить эффективность декодирования в дополнение к обоим.

Заявленный результат — более 13 токенов в секунду при примерно 3 ГБ памяти на iPhone 17 Pro Max, что OpenBMB описывает как первую MoE-модель с открытым исходным кодом, которая плавно работает на устройстве без ущерба для производительности. Её сравнение однозначно и заслуживает упоминания как таковое: в режиме Instruct MiniCPM-V 4.7 35B-A3B достигает более высокого общего балла за меньшее время инференса, чем Qwen3.6 35B-A3B. Это заявленное производителем утверждение в рамках одного размерного класса, и оно относится к более полезному типу, поскольку обе модели измеряются на одном и том же стенде.

Остальная часть истории с развёртыванием необычно широка. Поддерживаются iOS, Android и HarmonyOS, а также чиповые платформы от Rockchip, Houmo, Intel, AMD и Arm — с поддержкой с первого дня. Инференс работает на SGLang, vLLM, llama.cpp и Ollama; дообучение — на SWIFT и LLaMA-Factory. Поставляются квантизации GGUF, BNB, AWQ и GPTQ, а также FP8. Вариант 1B — снова отдельная история: плотная модель, а не MoE, и OpenBMB позиционирует её как продолжающую улучшать MiniCPM-V 4.6 и при этом значительно превосходящую Qwen3.5 0.8B как по общей оценке, так и по эффективности инференса, что и является честным сравнением для модели размером менее 1B.

Ответ Moondream заключался в том, чтобы переместить оборудование, а не веса.

Moondream не пытался уместить 9B MoE на телефоне. Он сохранил архитектуру и изменил то, где всё выполняется: Photon, его движок инференса, компилирует каждую модель в единую программу для GPU с кастомными ядрами и запускает её локально на GPU NVIDIA начиная с Ampere и на Mac с Apple Silicon, с тем же API, что и Moondream Cloud.

Это защитимая стратегия, и в анонсе приобретения Prime Intellect сказано, почему она была привлекательной: команда Moondream создала Photon и стоящий за ним компилятор megakernel, а аргумент Prime в пользу покупки компании состоит в том, что именно сервинг, а не архитектура, определяет полезность модели. Показатели пропускной способности из того поста — более 60 инференсов Moondream в секунду на одной H100, ответы за десятки миллисекунд, Moondream 3.1 — 34 запроса в секунду — принадлежат самому Prime и теперь стали материалом для продаж, так что помечайте их соответствующим образом. Но направление однозначно: ставка Moondream была на то, что вы предпочтёте быструю модель на GPU, а не модель размером с телефон.

Есть и второе различие, и его вовсе нет в карточке модели. Хостируемая конечная точка Moondream 3 Preview, Moondream Cloud, закрывается 13 ноября 2026 года после поглощения, а неиспользованные купленные кредиты будут возвращены. У MiniCPM-V 4.7 нет такой зависимости, потому что изначально он не был преимущественно хостируемым продуктом — это набор весов, к которому прилагается широкий сценарий развёртывания на устройствах. Если ваша оценка включала удобство вызова конечной точки, то на одной стороне этого сравнения такое удобство скоро закончится.

Возможность задачи: две карточки честно описывают разные вещи.

Четыре встроенных навыка Moondream 3 Preview — query, caption, point и detect — все возвращают структурированный вывод, а в анонсе на первом плане находятся детекция и указывание. Навык query по умолчанию работает в режиме рассуждения, с документированным флагом reasoning=False для простых вопросов, а трассировки рассуждений привязаны к изображению — они ссылаются на конкретные части изображения, поэтому Moondream называет это визуальным рассуждением с привязкой, а не рассуждением в целом. Контекст составляет 32K токенов по сравнению с примерно 2K в предыдущем поколении, используется собственный токенизатор SuperBPE; в анонсе откровенно признаётся, что пост-тренировка не полностью использует длинное окно и что полные 32K в основном присутствуют для тонкой настройки.

Карточка MiniCPM-V 4.7 вместо этого делает ставку на эффективность и широту охвата: понимание одиночных изображений, множественных изображений и видео, со смешанной 4x/16x-компрессией визуальных токенов, которая позволяет для каждой задачи выбирать баланс между визуальной детализацией и затратами на инференс, а также ранней компрессией внутри ViT из LLaVA-UHD v4, снижающей вычисления в последующих слоях энкодера. Также в комплекте идёт метод дообучения — Self-Replay Fine-Tuning, нацеленный на недорогое расширение возможностей модели при одновременном снижении забывания того, что она уже знала.

• Обнаружение и указание с привязкой — Moondream 3 Preview: встроенные в архитектуру навыки, структурированные координаты, трассировки рассуждений с привязкой. MiniCPM-V 4.7: понимание нескольких изображений и видео — заявленные сильные стороны; карточка не выдвигает на первый план обнаружение по открытому словарю.

• Видео — MiniCPM-V 4.7 поддерживает ввод видео, с документированным примером использования 128 кадров. В карточке Moondream 3 Preview описаны навыки работы с изображениями с кэшированием кодирования изображений для повторных запросов к одному и тому же изображению.

• Управляемая детализация — MiniCPM-V 4.7: параметр downsample_mode, по умолчанию 16x и 4x для более тонкой детализации, выбирается при каждом вызове. Moondream 3 Preview: конкатенация каналов при multi-crop в визуальном энкодере, при этом в публикации о запуске отмечается, что энкодер может сбиваться на очень мелких шрифтах.

• Лицензия — MiniCPM-V 4.7: Apache 2.0, оба варианта. Moondream 3 Preview: Business Source License 1.1 с дополнительным разрешением на использование (Additional Use Grant), которое разрешает коммерческое и производственное использование и запрещает предлагать универсальный Moondream в качестве хостингового сервиса. Moondream 3.1 перешёл на Moondream Model License 1.0 с тем же ключевым ограничением, изложенным более чётко.

Строка лицензии — не сноска для этого сравнения. Если вы собираетесь размещать модель для других людей, Apache 2.0 и условия Moondream с доступным исходным кодом — это отнюдь не одинаковая стартовая позиция, и это верно независимо от того, какая из них показывает лучшие результаты в бенчмарках для вашей задачи.

Тонкая настройка — вот на что указывают обе карточки, но по противоположным причинам.

Оба вендора говорят вам, что базовая модель — это не продукт; это освежает и одновременно намекает на то, где именно заключается ценность.

В посте о запуске Moondream обучаемость названа одной из четырёх целей — на том основании, что реальные задачи компьютерного зрения требуют специализации — интерпретации рентгеновского снимка, обнаружения людей в беде в толпе — и что даже людям для этого нужна подготовка. Компания выпустила для этого Lens, а запуск Moondream 3.1 пошёл дальше: опубликованные результаты бенчмарков 3.1 были получены путём тонкой настройки LoRA-адаптеров для каждой задачи на собственном обучающем сплите каждого бенчмарка через Lens, а затем встраивания того, чему они научились, обратно в базовые веса с помощью on-policy дистилляции, так что скачиваемый чекпоинт показывает хорошие результаты без настройки. Это стоит перечитать дважды. Это легитимный рабочий процесс и необычно прозрачное раскрытие информации, и это также означает, что эти цифры — не холодные показатели из коробки: обучающие сплиты соответствующих задач были скормлены модели.

Аналог от OpenBMB — это Self-Replay Fine-Tuning, нацеленный на другую задачу: добавление новых возможностей без забывания уже имеющихся, при низких затратах. Его главное утверждение касается сохранения, а не пиковой оценки.

Если вы собираетесь дообучать любую из этих моделей, практическое различие будет тем же, что проходит через всё это сравнение. Путь Moondream предполагает GPU и облачный сервис. Путь MiniCPM-V 4.7 предполагает, что вы можете дообучать модель на тех фреймворках, которые уже используете, а затем разворачивать её на тех устройствах, на которые уже ориентируетесь, с опубликованным решением по квантованию для работы на устройстве, чтобы довести её до них.

Когда слой маршрутизации оправдывает себя

Ни одна из моделей здесь не обслуживается через OrcaRouter — обе представляют собой чекпойнты с открытыми весами, которые вы хостите сами, и одна из них в следующем месяце лишится своего хостируемого эндпоинта. Поэтому интересный вопрос — тот, который обходят обе карточки: что происходит с запросами, с которыми выбранная вами модель плохо справляется?

Стандартный ответ — вторая модель, а стандартная цена второй модели — интеграция: ещё один SDK, ещё одна схема аутентификации, ещё одна политика повторных попыток. Это работа, которая тихо съедает спринт, а затем становится постоянным сопровождением. Model fusion от OrcaRouter существует для более узкой версии этой проблемы — набора моделей, отвечающих вместе в тех вызовах, где ответа одной модели недостаточно надёжен сам по себе, — а routing DSL для более широкой, позволяя объединять несколько моделей в один вызов, чтобы дешёвая локальная модель обрабатывала лёгкое большинство, а нечто более крупное брало на себя остаток.

За одним ключом — более 200 моделей по прайс-листовой цене провайдеров без наценки, а значит, снижение цены вендором доходит до вас в тот же день, а не в следующем расчётном цикле, и автоматическое переключение между провайдерами срабатывает при деградации вышестоящего сервиса. Для VLM, развёрнутой самостоятельно, слой маршрутизации находится над моделью, а не заменяет её. Это честное описание того, где он вписывается в данное сравнение, и для системы, где MiniCPM-V 4.7 35B-A3B работает на устройстве, а размещённая модель покрывает промахи, именно он не даёт этим двум превратиться в две отдельные системы.

Какой именно — определяется тем ограничением, которое у вас действительно есть.

Если модель должна работать прямо на устройстве, MiniCPM-V 4.7 35B-A3B — это ответ, и конкурентам до него далеко. OpenBMB построила весь релиз вокруг проблемы с памятью, которая мешает 35B MoE работать на телефоне — планирование экспертов, послойное квантование, спекулятивное декодирование — и опубликовала цифру, которая из этого следует: более 13 токенов в секунду, укладываясь примерно в 3 ГБ. Ничто в Moondream 3 Preview не решает эту проблему, потому что Moondream решила её не иметь.

Если в уравнении присутствует GPU и задача — это grounded-детекция, Moondream 3 Preview — более специализированный инструмент. Нативные detect и point со структурированными координатами и доступными для проверки трассировками grounded-рассуждений — это совсем другой продукт, нежели универсальная мультимодальная модель, которая вдобавок читает текст на изображениях; а если результат проверяет человек, то трассировка и есть та самая ключевая возможность.

Если вы выбираете между двумя, не решайте по таблицам бенчмарков. Прогоните свои изображения через обе модели со своими промптами и оцените результаты, потому что единственная цифра в этом сравнении, которая выдержит столкновение с вашей рабочей нагрузкой, — та, которую вы получите сами. И проверяйте лицензию раньше модели, потому что Apache 2.0 и лицензия с доступным исходным кодом и ограничением на хостинговые сервисы — это совершенно разные решения: одно из них может завершить оценку ещё до того, как точность вообще станет иметь значение.