一张生成的标题卡,标题为“MAI Decision 1 vs Nimble v3”,副标题为“托管评分器,对上你无法随产品交付的许可证”,围绕一个“vs”圆盘分成两个圆角面板。左侧面板“Microsoft-Decision-1.1”带有副行“托管,按 token 计费”,以及各行“每百万 token 0.042 美元”、“Foundry 端点”、“AA v2.1 上 67.78”和“使用条款”;右侧面板“Bespoke-Nimble-9B-v3”带有“可下载适配器”、“CC BY-NC 4.0”、“五文件 LoRA”、“DI 0.2.1 上 56.88”和“你自己的 GPU”。页脚写着“这两个已公布分数来自不同的评测套件,因此不可直接比较。”OrcaRouter 标志合成在画面下方的白色条带中。
Engineering & Research

MAI Decision 1 对比 Nimble v3:托管式评分器 vs 一份无法随产品交付的许可证

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

首先把MAI Decision 1——微软在 Ignite 上以Microsoft-Decision-1.1之名发布的模型——与Nimble v3(在 Hugging Face 上以 Bespoke-Nimble-9B-v3 之名发布)区分开来的,并不是一项基准测试,而是一条许可条款。Nimble v3 是一个以 CC BY-NC 4.0 发布的 LoRA 适配器,模型卡将其解释为“不得用于商业用途”。Microsoft 的模型是一个按 token 租用的托管端点,因此许可问题不会出现,自托管问题也不会出现。其中一个可以放进产品里;另一个可以放进 notebook 里。本次比较中的其他一切,都源自这一分岔,包括为什么不应把二者公布的分数相互相减。

从机制上说,每一个实际上是什么

Microsoft-Decision-1.1 是一项 Foundry 部署,自 2026 年 11 月 17 日起上线,由 Microsoft 基于 Gemma 4 26B-A4B 进行后训练。你将一个状态和若干带类型的问题发送至决策端点,即可获得经过校准的概率,并按 Global Standard 每百万输入 token 0.042 美元、或在 EU 与 APAC 数据区每百万输入 token 0.05 美元计费。模型卡中不提供下载,也没有微调途径,更无自托管选项。根据 Artificial Analysis 的测量,每个任务的延迟为 123 毫秒;上下文为 32,768 个输入 token;它既能读取文本,也能读取图像。

Nimble v3 是面向 Qwen3.5-9B 的由五个文件组成的 PEFT 适配器,于 2026 年 9 月 30 日上传,Bespoke Labs 没有随附公告、博客文章或发布说明。该仓库包含一个 README、一个适配器配置、适配器权重、一个 schema 配置和一个 gitattributes 文件——这就是完整清单。基础模型、推理引擎和 GPU 均由你自行提供。配套的数据集仓库包含完整的 Decision Index 运行、引擎和复现说明,这比大多数供应商提供的透明度更高,也比大多数买家预想的更繁琐。

• 权重——仅在托管环境中提供、无需下载,对比需自行组装到 Qwen3.5-9B 上的 20 GB BF16 适配器

• 许可证 — Microsoft 服务条款 vs CC BY-NC 4.0,非商业用途,基于 Apache 2.0,且不放松适配器自身的限制

• 接口 — 一个带有类型化问题和概率的决策端点,对比你自己的推理代码,通过哈希固定到提示文件和选项代码 token

• 上下文 — 32,768 个 token 对比 32,768 个 token,超限请求会被拒绝而非截断

• 图片 — 每个问题最多 8 张,每边 280 至 1,568 像素,相较纯文本

• 价格 — 每百万 token 0.042 美元,仅输入,对比硬件、电力和一名工程师

• 已发布得分 — AA Decision Index v2.1 上为 67.78,对比 Decision Index 0.2.1 上的 56.88

A screenshot of the Hugging Face model card for Bespoke-Nimble-9B-v3, showing the bespokelabs organisation, 15 likes, the PEFT and Safetensors tags, the license: cc-by-nc-4.0 badge, the card text describing the model as a LoRA adapter for Qwen/Qwen3.5-9B that returns a probability for each option, the line 'Decision Index 0.2.1: 56.88' with the pointer to the bespokelabs decision-index repository, and the licence paragraph stating it may not be used for commercial purposes while the base model is Apache 2.0.

这两个数字不在同一把尺子上

最后一条要点正是在对比帖中最常被滥用的那一条,所以值得直说:56.88 和 67.78 不可比较。Nimble v3 的数值来自 Decision Index 0.2.1,这是 Bespoke Labs 自行运行的开放工具包,使用其自己的评测框架和自己的参考实现。Microsoft 的 67.78 来自 Artificial Analysis Decision Index v2.1,其评估组成不同、权重不同、评分函数不同,参与评测的模型集合也不同。

这两个评测板衡量的其实是同一类行为——你在有界选项中做选择,并依据准确率得分,而该得分会因你自报置信度的偏离程度而被打折。但一个带有对称项的六项评估加权综合分,和一次公开套件运行并不是同一种测量工具;把两者相减得出的 10.9 分“差距”,很大程度上只是标尺不同。任何拿这个相减结果给你看的人,要么是粗心,要么是在推销什么。

不夸大地说,能说的只是方向性的。Nimble v3 自己的模型卡只报告了一个数字,没有任何细分;而它所属系列中较早的检查点曾公布过详细得多的表格:在 324 个留出的对比对上,与参考标签的一致率为 90.12%,而 Jev 1.13.0 为 93.21%;在覆盖十三个公开数据集的 3,880 个人工标注决策上,为 75.7%,而后者为 76.0%。这些是第一代 Nimble 的数字,不是 v3 的,项目将其标注为自己所做的测量。相比之下,Decision 1.1 带有一个独立的 67.78,附有六个已公布子分数,以及 0.160 的 Brier 分数,而且该榜单也用同样方式对其竞争对手排名。如果你需要一个能在采购评审中站得住脚的数字,这些里面只有一个能给你。

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Nimble v3 — the scoreboard'. The Microsoft-Decision-1.1 column reads Licence Microsoft service terms, Weights hosted only, Deployment Foundry endpoint, Images up to 8 per question, Published score 67.78 on AA v2.1, Price $0.042 per M tokens; the Nimble v3 column reads CC BY-NC 4.0, 20 GB adapter, your own GPU stack, text only, 56.88 on DI 0.2.1, hardware and electricity. The footer reads 'Nimble v3 figures per Bespoke Labs' model card; Decision 1.1 per Artificial Analysis.' The OrcaRouter logo is composited in the white strip below the artwork.

许可证就是整个决定,而且它比看起来更糟。

适配器上的 CC BY-NC 4.0 意味着不得商用。这不是可以靠推理绕过去的灰色地带,而且显而易见的变通办法也行不通:基础模型 Qwen3.5-9B 采用 Apache 2.0 许可,Bespoke 的模型卡也明确写明了这一点——但宽松的基础模型许可并不能放宽非商业性的适配器,而决策行为恰恰存在于适配器之中。去掉适配器,你得到的只是一个通用的 9B 模型,根本算不上决策模型。

还有第二个较少被讨论的问题。Nimble 项目的 GitHub 仓库通过 API 完全没有报告任何许可证,这意味着训练和整理代码也没有声明任何条款。如果你的法务团队问你可以用生成这些权重的流程做什么,答案是项目方并未说明。

把它与微软的模型对照来看:你无法下载它,因此无法分叉它,但你也无法意外地在一个禁止该产品的许可证上构建产品。对于要在两者之间做决定的团队来说,实际的判断框架是:一个是购买,另一个是研究产物。如果工作负载是商业性的,比较到此为止,托管模型默认胜出。如果不是——内部评估工具、学术研究、你打算日后替换的原型——那么适配器就确实有意思,而且其 20 GB 的占用意味着它能在你或许已经拥有的一块 GPU 上运行。

各方的部署实际情况

正确运行 Nimble v3 并不是加载适配器并与它聊天那么简单。数据集卡片明确指出,引擎会构建由其 schema 配置通过哈希固定的提示词,并使用模型训练时采用的注意力模式读取每个请求;将权重作为普通聊天模型加载,或生成文本,都无法复现其回答。如果提示词文件或选项代码 token 与训练时不同,引擎会拒绝加载。你需要 CUDA、BF16、torch 2.8、transformers 5.17.0、peft 和两个注意力内核,并且超过上下文限制的请求会被拒绝,而不是被缩短。

那是一项实打实的工程投入,也换来了托管模型无法提供的东西:能够在自己的硬件上、在没有任何网络出口的情况下运行,并且可以选择检查每一条提示词。对于模型调用不能离开本机构的受监管环境来说,它是两者中唯一还算得上候选的方案——而非商业许可证仍可能把它排除在外,这就是陷阱所在。

在 Microsoft 这一侧,成本有所不同,而且更低。一次 Foundry 部署、一个终结点、一个部署名称、一个密钥或一个 Entra 令牌。如果延迟很重要,就把 Foundry 资源与你的应用程序放在同一位置;如果推理必须留在区域内,就使用数据区域部署,价格为每百万令牌 0.05 美元,而不是 0.042 美元。你的集成就是一次带有 JSON 正文的 HTTPS 调用,而响应形态是你据此设定阈值的概率。

• 首次调用所需时间——在 Foundry 上不到一小时,相比之下,GPU 环境搭建、固定版本的工具链和复现运行则耗时更长

• 故障模式——速率限制或区域故障,对比 CUDA OOM 或内核版本不匹配

• 升级路径 —— 无:厂商直接发布新版本,而适配器标签则可由你固定或忽略

• 退出路径——无;仅托管,还是权重留在原处(受许可证约束)

继任者使故事复杂化的地方

Nimble v3 并非 Bespoke Labs 当前的模型,这对现在评估它的人来说很重要。Nimble-v4-max于 2026 年 11 月 3 日上传,是对 Qwen3.8-27B 的完整微调,而非适配器;发布时附带了标签历史和基准测试表:在 Decision Index 0.3 公开版上得分为 72.74,高于 v4.0 的 68.46,涵盖 43 项基准测试,各项基准测试的得分随 JSON 文件一同发布。它在 BF16 下约需 55 GB,并需要一块 80 GB GPU。其许可为 CC BY-NC 4.0。

今天对 Nimble v3 的客观解读是:它属于一条已经迭代过两次的产品线中的上一代,而其唯一公布的一项分数还是基于当前型号早已弃用的套件版本。拿厂商三周前发布的托管旗舰产品,去对比一个悄悄上传、落后两个修订版本的适配器,无论从哪个维度看都不是一场公平的较量。产品层面的问题确实是 Microsoft-Decision-1.1 对 Nimble-v4-max,而即便是在这一点上,许可证方面的答案也依然不变。

关键一点:当你还在犹豫时

这两款模型都不在 OrcaRouter 的目录中,本文也不会暗示并非如此:Microsoft-Decision-1.1 仅在 Foundry 上提供,而 CC BY-NC 适配器也不是商业路由器所能提供的。目录里确实收录的,是邻近的那些模型——而大多数评测实际上正是从那里开始的。

这个邻域仍然有用,因为这场对决的双方都以同一个对手来界定自己。 Jev 1.14就是那个对手:Microsoft-Decision-1.1 在独立榜单上以 1.55 分的优势击败它,而 Bespoke 早先的检查点在其自己的 README 中以 Jev 1.13.0 作为对标。Jev 1.14 的价格为每百万输入和输出 token 0.042 美元。基础模型Gemma 4 26B A4B——也就是 Microsoft 在其上进行后训练的模型——可按每百万输入 token 0.25 美元、输出 token 2.90 美元的价格路由。把你自己的带标签流量上的 J​ev 和一个通用模型放在同一个端点后面,并启用自动故障转移,你就能在一个下午内弄清楚决策模型是否值得在这一路径中占有一席之地——无论是在采购周期之前,还是在购买 GPU 之前。如果确实值得,路由器就会始终位于你所部署的任何决策模型前面,因此某个提供商触发速率限制只会导致一次重新路由,而不是一次事故。

A screenshot of the OrcaRouter model page for typesafe/jev-1.14, showing the OrcaRouter navigation, the models breadcrumb for the typesafe vendor, the model name typesafe/jev-1.14, HF and ZDR badges, a Data retention panel describing Zero Data Retention, and the page's Code samples, Pricing, Performance, Public benchmarks and How it compares sections.

那个评估框架不会告诉你的是,Decision 1.1 本身在你的数据上会如何表现。为此,你需要一个 Foundry 部署和你自己的标注,而在标注这件事上没有捷径可走。

如何选择

如果工作负载是商业性质的、如果你想要一个可以向独立评审委员会出示的校准分数、如果你需要图像输入,或者如果你宁愿按 123 毫秒租用而不愿自己搭建 GPU 流水线,那就选 Microsoft-Decision-1.1。大多数团队都属于这种情况。

只有在以下三项全部成立时,才考虑 Nimble v3:用途为非商业性、模型调用无法离开你的基础设施,并且你准备好运行项目自身的引擎而不是通用加载器。只要有一项不成立,许可证或工程实现就已经替你做了决定——如果你今天确实要选一个 Nimble,先看 Nimble-v4-max,因为 v3 唯一公开的分数是对比中最旧的数字。

要抵制的是那种整齐的表格。56.88 对 67.78 看起来像一锤定音的判决,其实并不是;它是两套不同的工具包、两个不同的年代和两种不同的许可证,却被装扮成一场赛马。随产品发布的是托管模型,在实验室里运行的是开源模型——这才是真正的分界,任何基准测试都改变不了它。