NVIDIA Nemotron Labs Dory 1.0 4B против MiniCPM5 2B: кастомный рантайм против обычного LlamaForCausalLM

Самое полезное, что можно заметить о N​VIDIA N​emotron Labs Dory 1.0 4B и MiniCPM5-2B, — это не таблица бенчмарков ни той, ни другой модели, а то, что указано в первой строке раздела архитектуры MiniCPM5-2B. В её карточке прямо сказано, что архитектура — стандартная LlamaForCausalLM: 42 слоя, grouped-query attention с 16 головами запросов и 2 KV-головами, без кастомных ядер, без необходимости форка кода модели. Карточка Dory говорит об обратном во всех практических смыслах. Её архитектура — зацикленная латентно-рекуррентная сеть, блок слоёв которой применяется переменное число раз, и чтобы запустить её сегодня, нужно установить vLLM из открытого pull request или собрать llama.cpp из закреплённого коммита. Одна из этих моделей встраивается в уже имеющийся у вас стек. Другая требует сначала изменить стек. Эта разница определит больше внедрений, чем любой результат тестов, опубликованный любым из вендоров.

Две небольшие модели, две совершенно разные ставки

NVIDIA Nemotron Labs Dory 1.0 4B — это плотная зацикленная 4B-модель NVIDIA, опубликованная на Hugging Face в BF16, MXFP8, NVFP4 и Q5_K_M GGUF под лицензией OpenMDW 1.1, с отметкой "GA (10/16/2026)" на карточке. Она работает только с текстом и только на английском, поддерживает до 256K токенов, а в её стек было вложено примерно 6 триллионов предобучающих токенов; стек изначально обучался в NVFP4 на первых ~4,5 трлн токенов, после чего переключился на BF16, затем был расширен до длинного контекста на 300 млрд токенов и завершился SFT и многосредовым обучением с подкреплением GRPO. Она была опубликована без какого-либо анонса.

MiniCPM5-2B — это плотная модель OpenBMB на 2,5 млрд параметров — всего 2 516 756 480 параметров, из них 1 981 982 720 неэмбеддинговых — под лицензией Apache 2.0, с контекстным окном в 131 072 токена и поддержкой английского и китайского языков. Это вторая модель в линейке MiniCPM5 после 1B, созданная для масштабирования того, что в карточке называется тем же рецептом обучения, и она явно ориентирована на развёртывание на устройстве, локально и в условиях ограниченных ресурсов. Постобучение включало дообучение с учителем, обучение с подкреплением и дистилляцию по политике. Карточка заявляет о лучшем открытом результате в классе 2B со средним показателем 53,9 по набору бенчмарков.

Обе достаточно малы, чтобы работать на одном ускорителе. Обе доступны для скачивания уже сегодня. Всё дальнейшее расходится.

Контраст, измерение за измерением

• Архитектура — Dory 1.0 4B представляет собой зацикленный латентно-рекуррентный нормализованный GPT с чередующимися скользящим окном и полным вниманием, 8-слойный входной блок, 20-слойный рекуррентный блок и 8-слойный выходной блок. MiniCPM5-2B — это обычный плотный причинный трансформер, 42 слоя, GQA с 16 головами и 2 KV-головами, стандартный LlamaForCausalLM.

• Стоимость входа при обслуживании — это главное. MiniCPM5-2B не требует ни кастомного ядра, ни форкнутого движка; если ваш стек запускает модели архитектуры Llama, он запустит и эту. Dory требует либо vLLM, собранный из необъединённого pull request, либо llama.cpp, собранный из зафиксированного коммита, с переопределениями во время выполнения для количества циклов и режима KV-кэша.

• Параметры — 4 млрд плотных против 2,516 млрд общих (1,98 млрд без эмбеддингов). Dory примерно на 60% крупнее, а её рекуррентный блок применяется многократно, поэтому эффективные вычисления на токен при четырёх циклах превышают то, что предполагает количество параметров.

• Контекст — Dory достигает 256K токенов при 262 144 позициях, проверенных в vLLM. MiniCPM5-2B поддерживает 131 072. Окно Dory вдвое больше; хотите ли вы за это платить — это вопрос KV-кэша, рассмотренный ниже.

• Языки — Dory поддерживает только английский, а в её предтренировочной смеси 43 языка программирования. MiniCPM5-2B — двуязычная модель, поддерживающая английский и китайский. Для рабочей нагрузки на китайском языке этот критерий решает исход сравнения без обращения к другим строкам.

• Лицензия — OpenMDW 1.1 для Dory, Apache 2.0 для MiniCPM5-2B. Обе допускают коммерческое использование; Apache 2.0 — та, которую уже одобрило большинство юридических проверок.

• Гибкость вычислений — глубина Dory является параметром времени выполнения: один цикл для задержки, два в качестве рекомендуемого значения по умолчанию, четыре, когда агентная точность важнее, — и всё это из одного чекпоинта. У MiniCPM5-2B глубина фиксированная, а рычаг производительности — это квантование: семейство поставляется со сборками GGUF, MLX, GPTQ и LiteRT, а также с черновой моделью DSpark для спекулятивного декодирования.

• Экосистема — MiniCPM5-2B находится в открытом доступе с начала сентября 2026 года, у неё более миллиона загрузок и множество квантованных и производных сборок. Четыре репозитория Dory были заполнены за одну ночь, и на момент написания этого текста счётчики их загрузок равнялись нулю.

Числа, и почему их не следует вычитать

Обе карточки публикуют таблицы бенчмарков, и эти таблицы пересекаются по достаточному количеству задач, чтобы стало возможным сравнение бок о бок. Это стоит делать аккуратно, потому что наивное вычитание вводило бы в заблуждение вполне конкретным и предсказуемым образом.

Сравните Dory при трёх настройках циклов с единственным заявленным значением MiniCPM5-2B:

• SciCode — 27.3 / 34.94 / 35.11 против 26.3. На двух циклах и выше лидирует Dory.

• SWE-bench Verified — 50.3 / 59.5 / 61.8 против 46.4.

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2 против 8.6.

• GPQA Diamond — 69,19 / 72,41 / 72,16 против 70,2. Даже при одном цикле Dory номинально отстаёт; при трёх и более циклах она слегка вырывается вперёд.

• HLE, только текст — 8.25 / 10.89 / 10.43 против 8.9.

• IFBench — 74.29 / 77.94 / 79 против 66.3.

• AA-LCR — 63 / 71 / 73 против 59.0.

Dory выглядит сильнее в большинстве этих тестов, иногда — намного. А теперь причина, по которой не стоит верить этой арифметике: это два разных стенда, измеряющих два разных набора промптов, и ни один из поставщиков не запускал модель другого. N​VIDIA измеряла Dory на NeMo Gym и Nemo Evaluator SDK, с указанными в карточке количествами повторов для каждого бенчмарка — SciCode восемь раз, AA-LCR шестнадцать, несколько бенчмарков ровно один раз. OpenBMB измеряла MiniCPM5-2B на своей собственной установке и сообщила одно среднее значение 53,9 по всему своему набору. Разница в два-три пункта между этими двумя установками — это шум, а не вердикт. Ни в одной из этих карточек нет независимого воспроизведения, и ни одна третья сторона не опубликовала прямого сравнения этих двух моделей.

Есть одна структурная причина ожидать, что кажущееся преимущество Dory реально на агентных задачах и исчезает в остальных случаях. В её карточке показано, что зацикливание даёт наибольший выигрыш на SWE-bench и Terminal-Bench и наименьший — на воспроизведении знаний: AA-Omniscience почти не меняется при разном числе циклов. Сильные стороны самой MiniCPM5-2B распределены иначе: она сообщает 97,1 на τ²-Bench Telecom и 88,7 на GAIA Text-103 — агентные результаты, которые карточка NVIDIA не измеряет в сопоставимой форме. Если ваша задача — использование инструментов в узкой предметной области, то именно числа из карточки MiniCPM стоит проверять в первую очередь, и ни одно из них не фигурирует в таблице Dory.

Обратите также внимание на то, что две карточки отказываются сравнивать. MiniCPM5-2B сравнивает себя с Qwen3.5-4B на 51,1, granite-4.2-3B на 42,7 и LFM2.5-2.6B на 33,2 по собственному среднему. Dory сравнивает себя с Qwen3.5-4B, Qwen3.5-9B, Gemma 4 26B A4B и Qwen3.6-35B-A3B. Единственная модель, для которой обе карточки указывают число, — Qwen3.5-4B, и они оценивают её по-разному — что говорит больше о тестовых стендах, чем о Qwen.

Во что вам обходится эксплуатация каждого из них

История работы MiniCPM5-2B — скучная, и «скучная» здесь — это комплимент. Стандартная архитектура, никаких кастомных ядер, целый набор готовых квантизаций и семейство, которое уже включает сборки MLX для Apple Silicon, GPTQ для инференса на GPU, LiteRT для мобильных устройств и draft-модель для спекулятивного декодирования. Модель класса 2,5B LLaMA-подобной архитектуры с контекстом 128K умещается в скромном объёме памяти и работает на тех движках, которые вы уже используете. OpenBMB позиционирует всю линейку как рассчитанную на работу на устройстве и ограниченные ресурсы по своему дизайну, и ничто в карточке не требует от вас осваивать что-либо новое.

История работы Dory — это самое интересное, и она ещё не завершена. Поддержка vLLM находится на рассмотрении в pull request 60149; пока он не будет объединён, карточка предлагает установить vLLM из этой ветки с включённым флагом precompiled-kernel, а затем запустить с переопределениями, задающими количество итераций рекуррентного цикла и режим KV-кэша. Поддержка llama.cpp находится в pull request 30306, с закреплённой ревизией, а не с подвижным HEAD, и с инструкциями по сборке, нацеленными на нативную ARM64 macOS на Apple Silicon. Единственные опубликованные компанией NVIDIA показатели скорости Dory — это ускорения за счёт квантования на DGX Spark: 1,69× и 1,84× для MXFP8 по сравнению с BF16 в зависимости от сочетания входных/выходных данных, 2,17× и 2,44× для NVFP4, а не показатели пропускной способности. Нет ни одного размещённого эндпоинта для Dory, который мы могли бы проверить.

Единственная по-настоящему новая инженерная часть на стороне Dory — это дизайн памяти, и это утверждение стоит проверить в первую очередь, прежде чем брать на себя обязательства. Стандартное рекуррентное зацикливание хранит отдельный KV-кэш для каждого цикла, поэтому память растёт с каждым добавленным проходом. Dory поддерживает режим KV-кэширования последнего цикла, при котором для каждого рекуррентного слоя внимания хранится один кэш и он перезаписывается на каждом проходе, благодаря чему занимаемый объём остаётся примерно таким же, как при одном цикле, независимо от числа циклов. N​VIDIA утверждает, что точность остаётся близкой к режиму с кэшем на цикл, а длины вывода почти не меняются. Если это подтвердится, эластичная глубина — реальная возможность; если точность будет уплывать, эта функция обойдётся дороже, чем подразумевает карта. Никто за пределами N​VIDIA это не проверял.

Где роутер оправдывает себя — а где нет

MiniCPM5-2B нет в каталоге OrcaRouter, как и NVIDIA Nemotron Labs Dory 1.0 4B. У Dory нет хостируемой конечной точки, которую мы могли бы подтвердить; MiniCPM5-2B — это модель для работы на устройстве, карточка которой написана для локального развёртывания, а не для платформы инференса. Сказать об этом прямо важнее, чем искать ракурс, потому что практический эффект таков: обе стороны этого сравнения работают на оборудовании, которым владеете вы.

Именно тогда хостинговый базовый вариант становится неудобной частью эксперимента. Большинство команд, оценивающих модель на 2B или 4B, делают это не в вакууме — они спрашивают, может ли она заменить вызов хостинговой модели при стоимости в разы меньше и возможностях в разы скромнее, а ответ на этот вопрос означает прогон хостинговой модели на том же наборе задач. Один ключ OrcaRouter даёт доступ к этим хостинговым моделям по прайс-листовой цене провайдера с наценкой 0%, без второго контракта и второго SDK, так что для сравнения не нужна отдельная закупка. Автоматическое переключение при сбое здесь важно по другой причине: длительная локальная оценка на одном GPU будет прервана, а заранее настроенный резервный путь за тем же эндпоинтом позволяет прогону продолжаться. DSL маршрутизации позволяет локальному и хостинговому эндпоинтам использовать одну точку вызова, так что две половины гибридного развёртывания не расходятся в две кодовые базы. Ничто из этого не выбирает победителя между Dory и MiniCPM5-2B. Это делает проигравшего дёшево исключить.

Вердикт

Выбирайте MiniCPM5-2B, если сложности развёртывания для вас важнее пиковых показателей агентности. Он распространяется под Apache 2.0, вдвое меньше по размеру, двуязычен, имеет стандартную архитектуру, а вокруг него — множество квантованных версий, включая мобильные среды выполнения. Если вашей команде нужно выпустить продукт в этом месяце, а альтернатива — это борьба со сборкой ядра, то 2.5B выигрывает уже только за счёт логистики — и его заявленные результаты τ²-Bench и GAIA позволяют предположить, что он не сильно уступает в задачах использования инструментов, для которых малые модели и развёртывают на практике.

Выберите NVIDIA Nemotron Labs Dory 1.0 4B, если вам нужен не модель, а эксперимент: единственный чекпойнт, который масштабирует собственную точность вместе с вычислительными ресурсами на инференсе, окно размером 256K с дизайном кэширования, призванным сделать это доступным по цене, и лицензия, разрешающая коммерческое развёртывание. Приступайте, зная, что вам придётся собирать свой движок для обслуживания из ветки, что все опубликованные числа — это собственные результаты вендора, полученные на его же тестовом стенде, а количество повторов раскрыто в сноске, и что счётчики загрузок всё ещё равны нулю. Плюс в том, что вы окажетесь среди первых людей за пределами NVIDIA, кто протестирует по-настоящему иной способ расходовать вычисления на небольшой модели. Минус в том, что вы будете выполнять за NVIDIA работу по его проверке.

Быстрее всего изменит это сравнение не бенчмарк. Это слияние их пул-реквестов для Dory в vLLM и llama.cpp. Как только Dory начнёт загружаться из выпущенного бинарника, аргумент о трении, который сейчас в основном склоняет чашу весов в пользу MiniCPM5-2B, по большей части исчезнет, и две модели наконец будут соревноваться на условиях, которые подразумевают таблицы бенчмарков, а не на условиях, которые навязывает ваша система сборки.

Ничего из этого не гипотетично: задокументированные сбои ИИ и инциденты с агентами, стоящие за такими релизами, как этот, собраны в OrcaRouter AI Incident Archive, где каждая запись содержит собственные источники, уровень серьёзности, класс уверенности и флаг оспаривания.