Сгенерированная титульная карточка с заголовком «MAI Decision 1 vs Nimble v3» и подзаголовком «хостинговый скорер против лицензии, которую нельзя распространять», разделённая на две скруглённые панели вокруг диска «vs». Левая панель, «Microsoft-Decision-1.1», содержит подстроку «хостинг, оплата за токен» и строки «$0.042 за 1 млн токенов», «эндпоинт Foundry», «67,78 в AA v2.1» и «условия использования»; правая панель, «Bespoke-Nimble-9B-v3», содержит «загружаемый адаптер», «CC BY-NC 4.0», «LoRA из пяти файлов», «56,88 в DI 0.2.1» и «собственный GPU». В нижнем колонтитуле написано: «Две опубликованные оценки получены с использованием разных оценочных комплектов, поэтому они несопоставимы». Логотип OrcaRouter скомпонован на белой полосе под иллюстрацией.
Engineering & Research

MAI Decision 1 vs Nimble v3: облачный скорер против лицензии, которую нельзя распространять

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Первое, что отличает MAI Decision 1 — модель, которую Microsoft выпустила на Ignite под названием Microsoft-Decision-1.1 — от Nimble v3, опубликованного на Hugging Face под именем Bespoke-Nimble-9B-v3, — это не бенчмарк. Это лицензионное условие. Nimble v3 — это LoRA-адаптер, выпущенный по лицензии CC BY-NC 4.0, которую карточка модели описывает как «не может использоваться в коммерческих целях». Модель Microsoft — это размещённая конечная точка, которую вы арендуете за токены, поэтому вопрос лицензии никогда не возникает, и вопрос самостоятельного хостинга тоже никогда не возникает. Одну из них можно поместить в продукт; другую можно поместить в блокнот. Всё остальное в этом сравнении следует из этой развилки, включая то, почему их опубликованные оценки не следует вычитать друг из друга.

Что каждый из них на самом деле представляет собой с механической точки зрения

Microsoft-Decision-1.1 — это развёртывание Foundry, работающее с 17 ноября 2026 г.; модель дообучена Microsoft на Gemma 4 26B-A4B. Вы отправляете состояние и типизированные вопросы в эндпоинт принятия решений, получаете обратно калиброванные вероятности, а плата составляет $0,042 за миллион входных токенов в Global Standard или $0,05 в зонах данных EU и APAC. В карточке модели нет ни возможности скачивания, ни пути тонкой настройки, ни варианта самостоятельного хостинга. Задержка — 123 мс на задачу по измерению Artificial Analysis; контекст — 32 768 входных токенов; модель читает изображения так же, как текст.

Nimble v3 — это PEFT-адаптер из пяти файлов для Qwen3.5-9B, загруженный 30 сентября 2026 года без сопроводительного анонса, без записи в блоге и без примечания к выпуску от Bespoke Labs. В репозитории лежат README, конфигурация адаптера, веса адаптера, конфигурация схемы и файл gitattributes — вот и весь список. Базовую модель, движок инференса и GPU вы предоставляете сами. Сопутствующий репозиторий с датасетом содержит полный прогон Decision Index, движок и инструкции по воспроизведению — это больше прозрачности, чем предлагает большинство поставщиков, и в то же время больше работы, чем ожидает большинство покупателей.

• Веса — только на хостинге, без скачивания, в отличие от 20-гигабайтного BF16-адаптера, который вы собираете на Qwen3.5-9B

• Лицензия — {{1}}условия обслуживания Microsoft{{/1}} в сравнении с {{2}}CC BY-NC 4.0{{/2}}: некоммерческая, на базе {{3}}Apache 2.0{{/3}}, которая не ослабляет ограничение адаптера

• Интерфейс — эндпоинт принятия решений с типизированными вопросами и вероятностями в сравнении с вашим собственным кодом инференса, привязанный по хэшу к файлам промптов и токенам кодов вариантов

• Контекст — 32,768 токенов vs 32,768 токенов; запросы слишком большого размера отклоняются, а не усекаются.

• Изображения — до 8 на вопрос, от 280 до 1 568 пикселей по стороне, в отличие от режима только с текстом

• Цена — $0.042 за миллион токенов (только входные данные) против затрат на оборудование, электроэнергию и инженера

Опубликованная оценка — 67,78 по AA Decision Index v2.1 против 56,88 по Decision Index 0.2.1

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

Эти два числа не на одной и той же линейке

Именно последний пункт чаще всего искажают в сравнительных постах, поэтому стоит сказать прямо: 56.88 и 67.78 несопоставимы. Показатель Nimble v3 взят из Decision Index 0.2.1 — открытого комплекта, который Bespoke Labs запускает самостоятельно, на собственном стенде и с собственной эталонной реализацией. Показатель Microsoft 67.78 взят из Artificial Analysis Decision Index v2.1 — это иной состав оценок с иными весами, иная функция подсчёта баллов и иной набор моделей в выборке.

Оба стенда измеряют одно и то же семейство поведения — вы выбираете среди ограниченного набора вариантов, а ваша оценка — это точность, скорректированная на то, насколько сильно заявленная вами уверенность разошлась с реальностью. Но взвешенный композит из шести оценок с членом симметрии — не тот же инструмент, что прогон публичного набора, и вычитание одного из другого даёт «разрыв» в 10,9 пункта, который в основном является разницей в линейках. Тот, кто показывает вам это вычитание, либо небрежен, либо что-то вам продаёт.

То, что можно утверждать без преувеличения, носит лишь ориентировочный характер. В собственной карточке Nimble v3 указано одно число и нет разбивки, тогда как в семействе, к которому он относится, более ранний чекпойнт опубликовал гораздо более полную таблицу: 90,12% согласия с эталонными метками против 93,21% у Jev 1.13.0 на 324 отложенных контрастивных парах и 75,7% против 76,0% на 3 880 решениях с человеческой разметкой в тринадцати публичных наборах данных. Это числа первого Nimble, а не v3, и проект обозначает их как собственные измерения. У Decision 1.1, напротив, есть независимый показатель 67,78 с шестью опубликованными суббаллами и Brier 0,160 в рейтинге, который также ранжирует его конкурентов тем же способом. Если вам нужно число, которое можно защитить при проверке в рамках закупки, только один из них может его предоставить.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

Лицензия решает всё, и она хуже, чем кажется.

Лицензия CC BY-NC 4.0 на адаптер означает запрет коммерческого использования. Это не серая зона, которую можно обойти рассуждениями, и очевидный обходной путь не работает: базовая модель Qwen3.5-9B распространяется под Apache 2.0, и в карточке Bespoke это прямо указано, — но разрешительная лицензия базовой модели не ослабляет некоммерческий адаптер, а именно в адаптере и сосредоточено поведение принятия решений. Уберите адаптер — и останется обычная модель на 9B, которая вовсе не является моделью принятия решений.

Есть вторая, менее обсуждаемая проблема. Репозиторий проекта Nimble на GitHub вообще не сообщает о лицензии через API, а значит, для кода обучения и курирования данных тоже не объявлены условия. Если ваша юридическая команда спросит, что вы можете делать с пайплайном, который создал веса, ответ будет таким: проект ничего об этом не сказал.

Сравните это с моделью Microsoft: её нельзя скачать, поэтому нельзя и форкнуть, но также нельзя случайно построить продукт на лицензии, которая запрещает продукт. Для команды, выбирающей между этими двумя, практическая формулировка такова: одна — это покупка, а другая — исследовательский артефакт. Если нагрузка коммерческая, сравнение на этом заканчивается, и хостируемая модель выигрывает по умолчанию. Если нет — внутренний стенд оценки, академическое исследование, прототип, который вы планируете заменить, — тогда адаптер действительно интересен, а его объём в 20 ГБ означает, что он работает на одном GPU, который у вас, возможно, уже есть.

Реальность развёртывания на каждой стороне

Правильный запуск Nimble v3 — это не вопрос загрузки адаптера и беседы с ним. В карточке набора данных прямо сказано, что движок собирает промпты, которые его конфигурация схемы закрепляет по хешу, и читает каждый запрос с шаблоном внимания, на котором обучалась модель; загрузка весов как обычной чат-модели или генерация текста не воспроизводят её ответы. Движок откажется загружаться, если файлы промптов или токены кодов опций отличаются от обучения. Вам понадобятся CUDA, BF16, torch 2.8, transformers 5.17.0, peft и два ядра внимания, а запросы, превышающие лимит контекста, отклоняются, а не сокращаются.

Это реальное инженерное обязательство, и оно даёт вам то, чего не может дать хостируемая модель: возможность работать без исходящего сетевого трафика, на собственном оборудовании, с возможностью проверять каждый запрос. Для регулируемых сред, где вызов модели не может покидать здание, это единственный из двух, который вообще может рассматриваться — и некоммерческая лицензия всё ещё может его исключить, в чём и заключается ловушка.

На стороне Microsoft стоимость другая и меньше. Развёртывание Foundry, конечная точка, имя развёртывания, ключ или токен Entra. Размещайте ресурс Foundry вместе с вашим приложением, если важна задержка; используйте развёртывание в зоне данных, если инференс должен оставаться в регионе, по цене $0,05 за миллион токенов вместо $0,042. Ваша интеграция — это HTTPS-вызов с телом JSON, а ответ — это вероятности, по которым вы задаёте порог.

• Время до первого вызова — менее часа на Foundry против настройки GPU, зафиксированного набора инструментов и запуска воспроизведения

• Режим отказа — ограничение частоты запросов или региональный сбой против CUDA OOM или несовпадения версии ядра

• Путь обновления — отсутствует: вендор выпускает новую версию вместо нового тега адаптера, который можно закрепить или проигнорировать.

• Путь выхода — нет: только хостинг, а веса остаются на своих местах при условии соблюдения лицензии

Где преемник усложняет историю

Nimble v3 — не текущая модель Bespoke Labs, и это важно для всех, кто оценивает её сейчас. Nimble-v4-max, загруженная 3 ноября 2026 года, — это не адаптер, а полный файнтюн Qwen3.8-27B; она опубликована с историей тегов и таблицей бенчмарков: 72,74 в Decision Index 0.3 public, что выше 68,46 на v4.0, по 43 бенчмаркам, оценки по каждому из которых прилагаются в JSON-файле. Для неё требуется около 55 ГБ в BF16 и один GPU с 80 ГБ. Она также распространяется под лицензией CC BY-NC 4.0.

Итак, честная оценка Nimble v3 на сегодня такова: это предыдущее поколение линейки, которая уже дважды успела смениться, а его единственный опубликованный результат относится к версии комплекта, которую текущая модель уже оставила позади. Сравнивать {{1}}трёхнедельный{{/1}} облачный флагман вендора с тихо загруженным адаптером, {{2}}отстающим на две ревизии{{/2}}, — это нечестное сравнение ни по одной из осей. Вопрос о продукте — это действительно Microsoft-Decision-1.1 против Nimble-v4-max, и даже там ответ по лицензии остаётся неизменным.

Один ключ, когда вы ещё не определились

Ни одна из моделей не представлена в каталоге OrcaRouter, и этот материал не будет утверждать обратное: Microsoft-Decision-1.1 доступен только в Foundry, а адаптер CC BY-NC — не то, что может предложить коммерческий роутер. Зато в каталоге есть соседние варианты — и именно с них фактически начинается большинство оценок.

Соседство по-прежнему полезно, потому что обе стороны этого противостояния определяют себя через одного и того же конкурента. Jev 1.14 — это тот самый конкурент: Microsoft-Decision-1.1 обходит его на 1,55 балла в независимом рейтинге, а более ранний чекпойнт Bespoke сравнивался с Jev 1.13.0 в собственном README. Jev 1.14 отвечает по цене $0.042 за миллион токенов на входе и выходе. Базовая Gemma 4 26B A4B, на основе которой Microsoft проводила посттренировку, маршрутизируется по цене $0.25 за миллион входных и $2.90 за миллион выходных токенов. Разместите Jev и универсальную модель на своём размеченном трафике за одним эндпоинтом с автоматическим переключением при сбое — и за полдня поймёте, заслуживает ли модель принятия решений места в маршруте, ещё до закупочного цикла и до покупки GPU. Если да, маршрутизатор остаётся перед любой моделью принятия решений, которую вы развернёте, так что превышение лимита у одного провайдера — это перенаправление, а не инцидент.

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

Чего этот стенд вам не скажет, так это того, как сама Decision 1.1 ведёт себя на ваших данных. Для этого нужно развёртывание Foundry и собственная разметка, и без разметки тут не обойтись.

Как выбрать

Выбирайте Microsoft-Decision-1.1, если рабочая нагрузка коммерческая, если вам нужна калиброванная оценка, на которую можно сослаться перед независимой комиссией, если вам нужен ввод изображений или если вы предпочитаете арендовать 123 мс, а не владеть GPU-конвейером. Это большинство команд.

Рассматривайте Nimble v3 только если выполняются все три условия: использование некоммерческое, вызов модели не может покидать вашу инфраструктуру, и вы готовы запускать собственный движок проекта, а не универсальный загрузчик. Если хотя бы одно не выполняется, лицензия или инженерия уже сделали выбор за вас — а если вы вообще сегодня выбираете Nimble, сначала посмотрите на Nimble-v4-max, потому что единственная опубликованная оценка v3 — самое старое число в сравнении.

Сопротивляться стоит опрятной таблице. 56,88 против 67,78 выглядит как вердикт, но это не он; это два разных набора, два разных возраста и две разные лицензии, поданные как скачки. Модель, которая поставляется в вашем продукте, — хостируемая, а модель, которая работает в вашей лаборатории, — открытая: вот это и есть настоящий раскол, и никакой бенчмарк его не сдвинет.

© 2026 OrcaRouter