一张生成的标题卡,标题为“一个数字倒退的升级”,副标题为“Microsoft-Decision-1.1 vs Microsoft Decision 1 — Decision Index v2.1”,带有四个标签胶囊,分别写着“67.78 vs 62.07”、“123 ms vs 274 ms”、“49.4% vs 21.7% 弃权”和“6.29% vs 8.64% HLE”,说明文字为“相隔六周,同样的 token 价格”,还有两个灰色条形块,分别标注为“速度”和“知识”。OrcaRouter 标志合成在右下角。
Guides & Insights

Microsoft-Decision-1.1 与 Microsoft Decision 1:一次数字倒退的升级

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

微软-Decision-1.1 已公布的每一项指标都优于微软-Decision-1,只有一项例外,而这项例外正是有趣之处。在 Artificial Analysis Decision Index v2.1 上,新模型得分为 67.78,旧模型为 62.07;新模型每项任务耗时 123 毫秒,旧模型为 274 毫秒,速度提升至 2.2 倍;新模型的拒答可靠性也高得多——在 AA-Omniscience-Decision 上的非幻觉率为 49.4%,旧模型为 21.7%。然而,在旧模型答对的问题上,新模型答对的反而更少:在 HLE-MultiChoice v1.1 上的原始准确率为 6.29%,旧模型为 8.64%;在 AA-Symmetry 问题上,新模型的一致回答比例为 47.5%,旧模型为 51.7%。微软-Decision-1.1 并非严格优于微软-Decision-1。它的校准方式不同,而迁移决策的关键,正取决于这种取舍的方向。

两个模型相隔六周。Microsoft-Decision-1 于 2026 年 10 月 8 日正式全面可用,是一个基于 Qwen3.5-9B 进行后训练的纯文本评分器。Microsoft-Decision-1.1 则于 2026 年 11 月 17 日在 Ignite 大会上发布,基于 Gemma 4 26B A4B——微软称这一混合专家(MoE)底座拥有足够的活跃参数来支撑判断能力,同时又足够小巧,可跨 A100、H100/200 和 GB200/300 硬件部署。价格相同。32K 上限相同。三种问题类型也相同。不同的是底层骨干、延迟等级,以及一组可量化的不同优势。

基础模型的变更就是本次发布。

版本 1 是一个密集的 90 亿参数模型。版本 1.1 是一个 260 亿参数的专家混合模型,每个 token 大约激活 40 亿参数——如果你按照 Google 在 Gemma 系列中使用 A4B 后缀的方式来理解的话。这不是增量重训;而是不同的架构、不同的家族,以及一套不同的服务特性。微软的发布文章明确表示,这次替换是出于成本和智能水平的决策,并将其与一个为评分而非逐 token 生成而构建的自定义推理引擎搭配在一起。

这次置换换来了什么,按买家会注意到的顺序:

• 延迟 — 每项任务从 274.25 ms 降至 123.25 ms,覆盖整个索引进行测量。在最快的单一组件 When2Call 上,新模型平均为 94 ms,而旧模型为 230 ms。

• 校准——决策分数(即应用 Brier 惩罚后的准确率)在五个决策组件中的每一个上都上升了。Omniscience 从 54.89 升至 60.46,HLE 从 39.42 升至 46.11,Paperclip 从 51.82 升至 58.67,EvalSafe 从 86.82 升至 88.85,When2Call 从 87.95 升至 95.08。

• 拒答行为——在 Omniscience 上的非幻觉率增长了一倍多,从 21.74% 升至 49.40%。在 HLE 上则从 15.05% 升至 38.36%。对于一个全部用途就是被阈值化的模型而言,这是清单上影响最大的变化。

• 模态——图像已加入文本和 JSON,成为可接受的输入。音频和视频仍被拒绝,且模型仍不产生任何解释、理由或输出 token。

上下文——保持不变,仍为 32,768 个 token。这里没有任何变动,而这一点值得明确说明,因为“1.1”容易让人以为一切都得到了改进。

1.1 在哪些方面更糟,以及为什么微软自己的表述预示了这一点

这些回归并非随机出现。它们集中在那两个要求模型“知道”某些东西而非“决定”某些东西的组件上。

在 HLE-MultiChoice v1.1 上,原始准确率从 8.64% 降至 6.29%——答对的难题占比相对下降了 27%。决策分数(Decision Score)仍然从 39.42 升至 46.11,因为模型对其实际给出的答案的置信度,与这些答案是否正确之间的匹配度大幅提高。换言之:它更不擅长猜了,却更擅长知道自己是在猜。综合评分会奖励后者,却几乎注意不到前者。

在 AA-Symmetry 上,情况更为微妙,也更不光彩。Symmetry 衡量的是同一个问题换个说法——选项重排、标签互换、把是/否否定——是否以相同概率给出相同答案。1 版在全通过水平上通过了 51.7% 的改写;1.1 版通过 47.5%。但它的 Symmetry 分数仍然提升了,从 70.42 升至 75.72,因为当它确实发生漂移时,如今漂移的幅度更小。完美运行更少,偏差更小。对一个评分器而言,这是一种站得住脚的表现形态,但它在一个决策模型本应保证的属性上出现了退步:措辞不改变答案。

微软的主题演讲把不该明说的部分大声说了出来——这些模型“明确尚未针对更难的问题进行调优,比如基础科学研究和极长周期的智能体工作”,因为针对这些能力进行调优会抬高每一项常规任务的价格。Decision 1.1 就是这项政策被执行时的样子。知识基准变差了,这是故意的,或者至少是在没有异议的情况下发生的。

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

没有改变的是:价格卡,以及 32K 墙。

两个版本都列出:Global Standard 上每百万输入 token 为 0.042 美元,US Data Zone 上为 0.046 美元,EU 和 APAC Data Zone 部署上为 0.05 美元;输出不计费,因为没有输出。微软的说法是“以相同成本实现两倍以上的速度”,而 token 价格恰好印证了这一点。

实测的每任务成本所说明的情况略有不同。在该指数上,版本 1 为每百万任务 142.56 美元;版本 1.1 为 139.64 美元。这是 2% 的提升,而不是翻倍。原因在于,每任务成本等于 token 价格乘以消耗的输入量,而新模型并没有把 token 消耗减半——它只是用一半的时间完成回答。如果你的约束是实际耗时预算,或者是请求路径中的某个路由步骤,那么这次升级幅度很大且显而易见。如果你的约束是支出,那么 1.1 不会改变你的账单,微软也从未声称它会。

另一个未变的数字是上限。两个模型都读取 32,768 个 token,而 Microsoft 针对 1.1 的文档几乎逐字重复了 v1 页面中“最多 32K token 的输入”这一措辞。两者都没有文档说明支持缓存,这意味着每次调用都要为一份 200 题的评分标准全额付费,两个版本如此,每个用量层级也如此。这是该类别经济性中最大的单一杠杆,而两个版本都没有触及它。

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

如何不靠盲目信任完成迁移

API 结构已经足够稳定,迁移主要是配置工作,但也不全是。Microsoft 将 v1.1 调用记录为 state 加上一个类型化问题映射——noul、choice、score——POST 到 /providers/microsoft/v1/systemone(位于 Foundry 资源上),其中 model 字段携带的是你的部署名称,而不是模型名称。响应会回显底层模型,因此以你的工作负载命名的部署仍然可以告诉你哪个版本做出了回答。

与其替换部署名称并盯着仪表盘,不如按顺序做好这三步:

1. 重新记录你标注集的置信度分布,而不是它的准确率。非幻觉率从 21.7% 上升到 49.4%,意味着在相同阈值下,1.1 会拒答明显更大比例的问题。如果你的流水线把缺失答案当作硬失败,而不是路由信号,那么这次升级在生产中看起来会像是一次退步,尽管所有基准测试都表明它是改进。

2. 重新调整阈值。基于版本 1 置信度尺度选定的截断值,正被应用到一个已经发生偏移的分布上。Microsoft 自身的指导是:在将门禁自动化之前,要用带标签的示例验证阈值——这仍是一贯的建议,而如今更是关键所在。

3. 用你自己的措辞测试对称性回归。如果你的提示词是由选项顺序可变的模板生成的——大多数路由提示词都是如此——那么需要担心的是 47.5% 的全通过率,而不是综合指标。复制你的二十个问题并重新排列选项,然后测量 argmax 发生移动的频率。

第三步之所以成本低,是因为弃权有地方可去。一个选择弃权的决策模型,只有当它拒绝去处理的那部分能够回答时才有用,而这正是 OrcaRouter 所承载的流水线部分:一把密钥横跨 200 多个模型,并具备 自动故障转移,因此一个低置信度的 选择结果可以被路由到通用模型,而不是呼叫人工,并且 路由 DSL 可以将两者组合成单个调用序列。Gemma 4 26B A4B——Decision 1.1 内部的基础模型——以每百万输入 0.06 美元、每百万输出 0.33 美元的价格列在我们的目录中,按提供商标价、0% 加价直通,这使得对任何可疑决策所能做的最便宜的合理性检查,就是实际调用其自身骨干模型。

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

是否要搬家

有理由继续使用版本 1,而且这个理由虽然适用范围窄,却真实存在。如果你的工作负载是困难的知识型问题——即答错比不答更糟——也就是 HLE 场景——版本 1 回答了其中更多问题。如果你的提示词会以重排选项的方式模板化,版本 1 在措辞改写时更稳定。而且如果你已经调整了一个阈值,并基于有标签的生产数据对其进行了验证,那么新的置信度分布会使这项工作失效。

对其他人来说,情况一目了然。相同的 token 价格下吞吐量翻倍,文档通过率从 20.9% 提升到 36.8%,出现了此前并不存在的图像输入,以及一个在错误承诺代价高昂的情境中“我不知道”的回答频率翻倍的模型。这些正是人们购买决策层所看重的特性。它放弃的知识基准测试,并不是任何人购买这个模型的目的。

迁移一句话:为了降低延迟并支持弃答,迁移到 1.1;同一周重新调整阈值;把版本 1 的数据留在抽屉里,以备有一天有人问起,为什么新模型不再回答旧模型过去会回答的问题。