Moondream 3.1 9B A2B против North Micro Vision Instruct: какой вендор на самом деле позволяет проверить число

Две открытые модели компьютерного зрения, выпущенные с разницей в четыре месяца, почти не имеют ничего общего в том, как они предлагают себя оценивать. M​oondream 3.1 9B A2B появилась 7 июля 2026 года вместе с таблицей бенчмарков, сноской о методологии, где указаны одна H100 SXM5 и размер батча 16, и сквозным аргументом в том же посте о том, что бенчмарки не измеряют то, что на самом деле нужно её клиентам. North Micro Vision Instruct вышла 12 августа 2026 года от C​ohere Labs с 2,4 млрд параметров под лицензией Apache 2.0, а её пост о выпуске целиком посвящён программе обучения и настройке оценки — использованному инструментарию и точным параметрам сэмплирования, с которыми были получены числа.

Это настоящее различие в самом роде, и для покупателя оно полезнее, чем количество параметров любой из моделей. Один поставщик рассказывает вам, как воспроизвести его таблицу. Другой говорит вам не доверять таблицам, а затем печатает собственную. Ни один из них, насколько нам удалось выяснить, не проходил независимой оценки, поэтому вопрос, который действительно решает, на какой набор чисел опираться, — это то, сколько каждый из поставщиков дал вам для проверки.

Что представляет собой каждый

Moondream 3.1 9B A2B — это разреженная смесь экспертов, мультимодальная модель «зрение — язык»: 9 млрд параметров всего, 2 млрд активных на токен, 64 эксперта, из которых активны 8, визуальный энкодер SigLIP с конкатенацией каналов при многокадровой обработке, контекст в 32K токенов и токенизатор SuperBPE. Четыре её навыка — query, detect, point и caption — не задаются промптом, а закладываются при обучении, а пути обнаружения и указания возвращают структурированную геометрию, а не описание. Модель работает на Photon — собственном движке вывода разработчика — и рассчитана на GPU NVIDIA начиная с Ampere и на Apple Silicon.

North Micro Vision Instruct — это плотная модель на 2,4 млрд параметров, состоящая из трёх частей: визуального кодировщика на 400 млн параметров с нативным разрешением, дополнительно предобученного на основе чекпойнта Google SigLIP 2 SO400M; проектора, который следует схеме DeepStack и внедряет эмбеддинги патчей из нескольких слоёв кодировщика в ранние слои языковой модели; и языковой модели на 2 млрд параметров под названием North Micro LLM, которая следует архитектуре Command A+ от Cohere. На вход она принимает чередующиеся текст и изображения — одно или несколько — и выдаёт текст. Словарь токенизатора содержит 262 144 токена, а список языков доходит до одиннадцати плюс «и другие».

Различие в типе выходных данных стоит сформулировать прямо, потому что оно определяет всё дальнейшее: M​oondream — это модель восприятия, которая отвечает рамками и координатами, North Micro Vision — это модель понимания, которая отвечает языком. Всё, что публикует любой из этих двух вендоров, — это измерение одной из этих двух задач, и это не одна и та же задача.

Число 8K, которое не является контекстным окном модели

Начните с ловушки, потому что она находится прямо в середине карточки модели North Micro Vision, и это как раз то, что случайно попадает в архитектурное решение.

• North Micro Vision Instruct — окно контекста языкового бэкбона: 128 000 токенов; подтверждённый диапазон работы в мультимодальном режиме — до 8 000 токенов. В карточке прямо указано, что более длинные мультимодальные контексты могут опираться на экстраполяцию и не проходили бенчмарки.

• Moondream 3.1 9B A2B — 32 000 токенов, одно число, без опубликованного разделения по модальностям.

Итак, главная цифра в четыре раза в пользу North Micro Vision, а цифра, которая фактически будет применяться к вашей нагрузке с изображениями, в четыре раза в пользу M​oondream. Если вы оцениваете, сколько страниц отсканированного документа поместится в один вызов, 128K — это неправильное число, а 8K — правильное, и 8K чередующихся токенов изображения и текста — это не много страниц, как только кодировщик с нативным разрешением начинает выдавать токены пропорционально площади пикселей. Производитель заслуживает признательности за публикацию этого предостережения — большинство карточек этого не делают — но предостережение погребено под таблицей спецификаций, а копируют именно таблицу.

Как отчитываются два поставщика — сравнение

Это та часть сравнения, которая не имеет никакого отношения к моделям и целиком сводится к тому, какую из них вы можете аудировать.

В публикации M​oondream о версии 3.1 указаны базовые модели (Qwen3.5 9B, SAM 3, LocateAnything, Gemma 4 12B), метрика (F1@0.5 для детекции), оборудование (один H100 SXM5), размер батча (16) и тот факт, что каждая модель обслуживалась собственным движком — vLLM для LocateAnything, Qwen3.5 и Gemma 4; Photon для M​oondream; Hugging Face Transformers для SAM 3. Там также говорится, что для каждой модели были выбраны настройки максимальной точности и рассуждений, и что LocateAnything работал в медленном режиме для максимизации точности. Публикуемые результаты — 81,46 F1@0.5 на COCO val, 93,94 на ODinW-13, 67,4 на LVIS, 74,61 на Dense200, 52,77 на SKU-110K, 74,5 на CrowdHuman, 87,1 на RefCOCO-M, 70,39 на HumanRef, 59,63 на DOTA-v2, 90,35 на CountBench, 74,86 на TallyQA, 88,68 на PixMo-Count, 86,01 на ChartQA и 88,6 на DocVQA, с заявлениями о достижении передового уровня в пяти семействах бенчмарков.

Что не указано в этом нижнем колонтитуле — так это то, что делает результат воспроизводимым: промпты. Детекция — это задача с открытым словарём, и фраза, с которой вы запрашиваете объект, меняет то, что возвращается. Тот, кто повторно запускает, имеет метрику, оборудование и размер батча и всё равно не может воспроизвести число, не зная, какой текст породил каждую рамку.

Пост Cohere Labs использует другой подход. В нём называется тестовый стенд (VLMEvalKit), говорится, что модель оценивалась с помощью внутренней реализации vLLM, перечисляется состав бенчмарков для каждой группы возможностей — General VQA — это среднее по MMBench, MMStar, RealWorldQA и GQA; группа графиков, документов и OCR охватывает ChartQA, DocVQA, InfoVQA, OCRBench, OCRBench v2 и AI2D; grounding и подсчёт — это среднее RefCOCO и CountBench — и публикуются параметры сэмплирования, при которых были получены эти числа: temperature 0.7, top_p 0.8, top_k 20, min_p 0.0, presence_penalty 1.5, repetition_penalty 1.0. Там же отмечается, что публичная поддержка vLLM «скоро появится», — и это то честное раскрытие информации, которое важнее всего для любого, кто планирует воспроизводить результаты: модель тестировалась на форке.

Что этот пост не публикует, так это таблицу с разбивкой по бенчмаркам. Его результаты — это средние по группам возможностей и относительное утверждение — в режиме Instruct 35B-A3B набирает больше баллов за меньшее время инференса, чем Qwen3.6 35B-A3B, а вариант 1B превосходит Qwen3.5 0.8B как по баллам, так и по эффективности — что менее удобно для немедленного цитирования и более устойчиво к отбору выгодных примеров. Ни один из документов не позволяет пересчитать показатель другого вендора. Оба позволяют увидеть, как много они скрывают.

Где разница в архитектуре проявляется на практике

Нативное разрешение — это единственное проектное решение в North Micro Vision, которое меняет повседневную работу, и его стоит понять до таблиц бенчмарков. Большинство визуальных энкодеров изменяют размер всего, что вы им подаёте, до фиксированного квадрата, поэтому широкий скриншот электронной таблицы попадает в языковую модель со сжатыми столбцами. Энкодер North Micro Vision обучен принимать изображение в его собственном разрешении и соотношении сторон, сохраняя мелкие детали документов, таблиц, диаграмм и форм. Опубликованная программа обучения прошла путь от фиксированного этапа 384×384 на 10 миллионах примеров до этапа 1024×1024 на 13 миллионах и более.

Вместо этого энкодер Moondream основан на мульти-кропе: изображение рассматривается как набор кропов, признаки которых объединяются, что также является способом сохранения детализации на больших входных данных и связано с тем, как его детекционная голова формирует боксы. Оба варианта — законные ответы на одну и ту же проблему, и ни один производитель не публикует прямое сравнение при сопоставимом разрешении, поэтому полезный вывод из обсуждения архитектуры уже, чем вердикт: если ваша работа — это плотные документы и широкие скриншоты пользовательского интерфейса, то нативное разрешение — это свойство, которое нужно тестировать, и тестом будет ваш собственный скриншот, а не строка из бенчмарка.

Другое структурное различие — это работа с несколькими изображениями и видео. North Micro Vision Instruct обрабатывает чередующийся ввод из нескольких изображений и перечисляет бенчмарки для нескольких изображений среди групп, которые он оценивал. M​oondream 3.1 9B A2B ограничена одним изображением на вызов — нет тракта для видео, нет тракта для нескольких изображений. Это согласуется с её дизайном: в собственных инженерных материалах M​oondream о живом видео утверждается, что проблема — в инфраструктуре инференса, а не в возможностях модели, а ответ компании на временные рабочие нагрузки — это движок, который успевает за потоком, а не чекпойнт, который принимает по одному. Будет ли это лучшим ответом, чем модель, принимающая 128 кадров сразу, — остаётся честно открытым вопросом, и эти два вендора измеряют не одно и то же.

Развёртывание и лицензия, быстро

• Размер — 9B общих параметров / 2B активных против 2,4B плотной модели. В плане объёма хранения разрыв шире, чем предполагает доля активных параметров, потому что занимаемое разреженной моделью место зависит от её общего числа параметров.

• Масштаб дообучения — плотная модель на 2,4B достаточно мала, чтобы дообучать её на одном устройстве; разреженная модель на 9B требует настоящей тренировочной инфраструктуры для всего, что выходит за рамки LoRA, поэтому собственный путь тонкой настройки M​oondream проходил через хостинговый продукт.

• Среды выполнения — North Micro Vision Instruct требует Transformers 5.16.0 с accelerate и Pillow; квантованные версии от сообщества существуют в MLX, LiteRT и форматах, смежных с ONNX. M​oondream 3.1 9B A2B работает на Photon, причём первая сторонняя упаковка чекпойнта в формате GGUF появилась 15 октября 2026 года.

• Лицензия — Apache 2.0 для North Micro Vision Instruct, без порога и без ограничений на размещение её для других. Лицензия модели Moondream 1.0 для Moondream 3.1 9B A2B: коммерческое использование, собственный хостинг, дообучение, квантование и распространение разрешены, с одним запретом — нельзя предлагать инференс или дообучение Moondream общего назначения в качестве хостингового сервиса.

• Отток — North Micro Vision Instruct не меняется с момента выпуска; заметные недавние дополнения — сторонние квантования. Условия Moondream изменились за последние две недели: Prime Intellect приобрела компанию 13 октября 2026 года, и Moondream Cloud, включая продукт для тонкой настройки Lens, закрывается 13 ноября 2026 года. Веса и Photon не затронуты; хостинговый путь — нет.

Вторая модель в конвейере, и кто её маршрутизирует

Ни один из этих чекпойнтов не обслуживается на OrcaRouter, так что воспринимайте это как заметку об интеграции. Оба — одноэтапные компоненты: один возвращает рамки, другой возвращает текст, а производственной системе нужна модель за ними, чтобы решать, что означает наблюдение, и записывать это. Этот этап — текстовый, он обычно стоит дороже за вызов, чем этап компьютерного зрения, и именно этот этап вы захотите заменить первым, когда появится более дешёвая или более качественная модель рассуждений. Выполнить такую замену через один OpenAI-совместимый эндпоинт для более чем 200 моделей — с передачей цен из прайс-листов провайдеров с наценкой 0% и автоматическим отказоустойчивым переключением между провайдерами, когда у вышестоящего провайдера выдаётся плохой час — означает изменить идентификатор модели, а не переподключать камеру. Там, где одного мнения недостаточно, слияние моделей запускает панель моделей на одних и тех же входных данных, а DSL маршрутизации объединяет несколько в один вызов.

Есть одно место, где мы можем быть более конкретными, и стоит честно признать, в чью пользу это играет. North Micro Vision Instruct распространяется под Apache 2.0 и достаточно мал, чтобы работать на вашем собственном оборудовании, а значит, обычный аргумент в пользу маршрутизации модели компьютерного зрения через размещённую конечную точку — что вы не можете развернуть её у себя — здесь не работает. Остаётся обычный аргумент: вторая модель в цикле, на том же ключе, с одним счётом и одним набором учётных данных.

Что выбрать, и что изменило бы ответ

Выберите North Micro Vision Instruct, если вы читаете документы, таблицы, графики или экраны, если вам нужно несколько изображений в одном вызове, если Apache 2.0 имеет значение, потому что вы намерены размещать модель для других людей, или если вам нужен чекпоинт 2.4B, который можно дообучить на собственных данных. В карточке модели Cohere дообучение указано как предполагаемое использование, и лицензия не создаёт препятствий на этом пути.

Выбирайте M​oondream 3.1 9B A2B, если ваш вывод — это геометрия: рамки, координаты, подсчёты с привязанными экземплярами, — а ваше развёртывание — это машина с CUDA и Photon на ней. Модель специализирована, и её заявление о скорости нацелено ровно на такую рабочую нагрузку.

То, что изменило бы ответ для обоих, — это независимая оценка, и именно за ней стоит продолжать следить. Цифры ни одного из поставщиков не были воспроизведены за пределами самого поставщика, и каждый опубликовал их в условиях, которые делают воспроизведение сложнее, чем это необходимо: один не раскрывает свои промпты, другой работал на внутренней серверной реализации фреймворка, публичная поддержка которого всё ещё ожидается. Когда третья сторона запустит любой из этих чекпоинтов на том же наборе документов, та модель, чья таблица выдержит это соприкосновение без изменений, и будет той, которой стоит верить, — а до тех пор с тем поставщиком, который рассказал вам, как он измерял, спорить легче.

Подобный результат — это также напоминание о том, что ошибки моделей уже задокументированы: инциденты ИИ и сбои агентов, связанные с моделями этого класса, собраны в архиве инцидентов ИИ OrcaRouter, где каждая запись содержит собственные источники, уровень серьёзности, степень уверенности и флаг спорности.