一张生成的标题卡,标题为“一项测试,大部分领先”,副标题为“Microsoft-Decision-1.1 对 Gemini Decision 1,Decision Index v2.1”,配有一个 2×2 网格,包含四张标签卡,分别写着“67.78 对 65.98”“95.08 对 80.50”“123 毫秒 对 211 毫秒”和“139.64 美元 对 344.90 美元”,说明文字为“每百万项任务,读取于 2026 年 11 月 19 日”,还有两个灰色条形块,分别标为 Microsoft 和 Gemini。OrcaRouter 标志合成在右下角。
Guides & Insights

Microsoft-Decision-1.1 与 Gemini Decision 1:几乎完全建立在一项测试上的两分领先优势

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

把 Microsoft-Decision-1.1 和 Gemini Decision 1 放在 Artificial Analysis Decision Index v2.1 上并排比较,差距看起来就像定论:67.78 对 65.98,而且微软的模型每任务 123 毫秒对 211 毫秒,速度还快近一倍;每百万任务 139.64 美元对 344.90 美元,成本不到一半。把综合得分拆开,这个定论就变得更小也更奇怪。Microsoft-Decision-1.1 的全部优势来自一个占该指数 10% 的组成部分,以及一项关于文档如何计费的流程级决策。在两个知识类组成部分上,谷歌的模型胜出——其中一项领先超过六分,原始准确率接近两倍。

这种分野就是整个比较的全部,而它决定的东西不止一个排行榜名次。Gemini Decision 1 可读取 262,144 个 token,并接受音频、视频和 PDF;Microsoft-Decision-1.1 可读取 32,768 个,并接受文本、JSON 和图像。在 Omniscience 测试中,Google 的模型在 49.6% 的情况下会承认自己不知道;Microsoft 的模型则为 49.4%。在路由测试中,Microsoft 的模型领先十二点五个百分点。如果你的决策是“这个请求需要这五个工具中的哪一个”,答案毫无悬念。如果你的决策是“这份 90 页合同中的这一条款是否成立”,答案就会反转,而反转的原因是上下文窗口,而不是模型。

两人都是得分手,而且属于同一类型的得分手。

这两个 API 收敛到了几乎相同的原语,这使得比较异常清晰。每个 API 都接收一个共享输入和一组带类型的问题,并针对每个问题返回一个附带概率的带类型答案。两者都不写一个字。

• 题型——两者都提供相同的三种:是/否概率、从固定集合中选择并为每个选项给出概率,以及在有序量表上的位置。Microsoft 称第一种为 noul,Google 也称其为 noul,这与其说是巧合,不如说是一个类别在词汇上趋于一致。

• 输出 token —— 两者均为零,每次调用皆是如此。计费仅按输入计算,因此你看到的 token 价格就是全部价格。

• 并行评分——两者都基于共享输入独立评估每个问题,因此问题之间彼此不可见,添加第十个问题也不会改变前九个。

• 请求规模 — Google 的文档说明每次调用支持 1 到 1,000 个问题,选择题支持 2 到 255 个选项,评分题支持 2 到 255 个等级。Microsoft 的文档则称“一个或多个类型化问题”,未设上限,其发布博文还描述了包含“数百个问题”的请求。

• 图像输入——现在两者都支持了。Microsoft 在 1.1 版本中加入了该功能;Google 则从发布起就支持,同时还支持音频和视频,而 Microsoft 明确不支持这两项。

• 端点 — 这正是它们在物理上分道扬镳之处。Gemini Decision 1 只能通过 Gemini Developer API v1beta 上的 Google 的 Decisions API 访问。Microsoft-Decision-1.1 作为 Foundry 资源部署,并通过/providers/microsoft/v1/systemone在该资源上响应。

复合体,拆解

1.8 个指数点的领先优势落在某个权重为 10% 的分项上,这并不是四舍五入造成的假象,但它所支撑的论断比“更好的模型”要窄得多。以下是按 Artificial Analysis 发布口径对两个条目的完整拆解,数据读取于 2026 年 11 月 19 日:

• 综合指数 — Microsoft-Decision-1.1 67.78 对比 Gemini Decision 1 65.98

• 准确率指数(仅以准确率重建、剔除置信度后的指数)——48.45 对 45.53,因此微软在正确性上也领先,只是领先幅度更小

• When2Call,权重 10%——95.08 对 80.50。14.6 个百分点的差距,也是领先优势的来源

• AA-Paperclip,30% 权重 — 决策得分 58.67 对 56.83,以及 36.8% 对 33.0% 的文档完全正确

• EvalSafe-O*NET-AA,15% — 88.85 对 87.05,原始准确率为 83.4% 对 82.0%

• AA-Omniscience-Decision v1.1,15% — 60.46 对 66.28,原始准确率为 33.2% 对 44.8%,非幻觉率为 49.4% 对 49.6%

• HLE-MultiChoice v1.1,15% —— 46.11 对 48.71,原始准确率为 6.29% 对 13.16%,非幻觉率为 38.4% 对 35.8%

• AA-Symmetry,15% —— 75.72 对 70.47,改写通过率为 47.5% 对 38.3%

从这份清单中可以得出两点。第一,最大的单项差距出现在权重最小的组件上——When2Call 在百分制中贡献 9.5 分,因此那里的 14.6 分差距约合 1.5 个指数点,占 1.8 分总差距的大部分。第二,Gemini Decision 1 的知识优势确实很大:在 Omniscience 原始准确率上,44.8% 对 33.2% 并非噪声,这也是为什么 Google 模型的准确率指数高于其综合得分所暗示的水平。

换句话说,微软并未在所有方面都胜过谷歌。它在一个关键测试上明显胜出——该测试考察模型是否知道何时调用工具;而在其他方面则与谷歌大致持平:在知识类测试中落败,在一致性测试中获胜。

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

上下文窗口差异的实际代价是什么

262,144 个 token 的窗口才是决定真实工作负载的关键数字,而这是一处 8 倍的差距:Gemini Decision 1 读取的量是 Microsoft-Decision-1.1 的八倍。Google 的文档以特定方式分配这笔预算——该窗口将共享输入和所有问题一并涵盖,因此一份长合同加上两百道评分标准问题要争用同样的 262K。

Microsoft 的 32K 上限有一个二阶效应,会体现在成本一栏。AA-Paperclip 对一份文档的所有问题只计费一次,并且每份文档可得出 15 个答案。无法在一次调用中容纳整份文档的模型必须逐块处理,这会使调用次数成倍增加。在 Paperclip 上,Microsoft-Decision-1.1 每百万任务为 386 美元,而 Gemini Decision 1 为 946 美元——但每任务总成本的排名已经可以由 token 价格解释,而不是由文档处理方式解释。

还有第三个值得点名的机制,因为这是买家容易忽略的那个:重复输入在两边都全额计费。Google 的 Decisions API 明确不支持上下文缓存、Batch、Flex 或 Priority 推理,因此每次请求都附带的评分标准(rubric)都会按每次请求付费。Microsoft-Decision-1.1 的文档中同样没有任何缓存方案。两家厂商都没有为把同样的 200 个问题问上百万次提供折扣,而这正是这一品类所针对的工作负载。

定价,以及 SKU 陷阱

Microsoft 报出三个输入费率——在 Global Standard 上每百万 $0.042,在 US Data Zone 上每百万 $0.046,在 EU 和 APAC Data Zone 上每百万 $0.05——且没有输出费率。Google 报出一个:每百万输入 token $0.10。从主要数字来看,Microsoft 便宜 58%。按整个指数的实测成本计算,Microsoft 便宜 60%——每百万任务 $139.64 对 $345.41——因为它在大多数组件上每项任务消耗的 token 也更少。

但 $0.042 的费率是全球费率,而欧盟驻留的工作负载在使用数据区 SKU 时需支付 $0.05,这将差距缩小到 50%。这两个数字都不包含决策模型周边调用的成本;对大多数生产流水线而言,这些成本远超评分调用本身——起草候选答案的模型、编写评分标准的模型,以及处理评分器所弃权事项的模型。路由真正能省钱的正是这笔支出,而这正是 OrcaRouter 所覆盖的部分:一个密钥通行 200 多个模型,按供应商目录价计费、0% 加价,因此生成式部分一旦供应商调价,当天即可生效,并且fusion 或路由 DSL 能让廉价的起草模型为昂贵的评审模型提供支撑,无需第二套集成。

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

你实际会部署哪一个

三种工作负载形态,三种不同答案,而它们中没有一个是“更高的索引”。

• 路由、门控和工具选择 — Microsoft-Decision-1.1。在 When2Call 上,95.08 对 80.50 是榜单上最大的单组件差距,而路由正是 Microsoft 构建该模型所针对的工作负载。123 毫秒的中位数在这里也很重要:路由器位于请求路径中,而 123 毫秒与 211 毫秒之间的差异,就是无人察觉的一步与必须由延迟预算吸收的一步之间的差异。

• 长输入下的文档抽取与基于量规的评分——Gemini 决策 1。如果单次调用必须同时查看一份 90 页的合同以及关于它的问题,微软的 32K 上限根本不够用,而再强的 When2Call 性能也无法挽救一次从未发生的调用。谷歌 44.8% 的 Omniscience 准确率和 13.2% 的 HLE 准确率从另一个方向强化了同一结论:它知道得更多,也能读得更多。

• 在高批量筛查中,当费用占主导时——两者都不是,这是诚实的答案。Celeris-1.1 Decision 以每百万任务 14 美元获得 62.0 分;Decider v1.3 以 68 美元获得 70.4 分。两者在每任务成本上都优于 Microsoft-Decision-1.1,且其中一者在指数上胜出。如果你的决策成本低且重复性高,那么超大规模云厂商的方案才是昂贵的选择。

三者都适用同一个注意事项:1.8 个百分点的差距和校准行都来自一个指数,该指数在 2026 年 11 月 8 日修订了自身权重,将 Omniscience 和 HLE 各自从 25% 下调至 15%,并引入了一个占 30% 的文档组成部分。一次重新加权对这份排名的变动可能比一次模型发布还要大。请将此比较视为当前时点、有日期限定的结果,而非永久结论。

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

这两个模型接下来将在哪里出现分歧

Microsoft-Decision-1.1 是在新基座上的第二次尝试——用 Gemma 4 26B A4B 取代 Qwen3.5-9B——并配备自定义推理引擎和路由方面的卖点。Gemini Decision 1 是 Google 的首次入局,绑定单一 API 接口层和单一模型 ID。两者的轨迹方向相反:Microsoft 在基座模型和服务栈上迭代,Google 则在输入模态和上下文预算上迭代。

这对本月要做的决定意味着什么,并不光鲜。在你看任何一个基准测试数字之前,先检查你最长的输入是否能放进 32K,因为这一限制会直接排除这两个模型中的一个。如果放得下,就用你自己二十个带标签的样例分别跑这两个模型,并比较置信度分布,而不是 top-1 答案——无法设定阈值的评分器,就是无法上线的评分器;而且两者在非幻觉指标上相差不到 0.2 个百分点,而这一行指标决定了弃答行为在你的数据上是否与在公开测试集上表现一致。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新