一张生成的标题卡,标题为“MAI Decision 1 vs Microsoft Decision 1”,副标题为“同一产品线,相差六个指数点”,围绕一个“vs”圆盘分成两个圆角面板。左侧面板“Microsoft-Decision-1.1”带有副行“GA 2026年11月17日”以及各行“67.78 决策指数”、“每任务 123 毫秒”、“图像和文本”和“Gemma 4 基础版”;右侧面板“Microsoft-Decision-1”带有“GA 2026年10月8日”、“62.07 决策指数”、“每任务 274 毫秒”、“仅文本”和“Qwen3.5 基础版”。页脚写着“两者的标价均为每百万输入 token /bin/bash.042。”OrcaRouter 标志合成在图像下方的白色条带中。
Guides & Insights

MAI Decision 1 对比 Microsoft Decision 1:同一产品线,相差六分

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

这场对决里有个陷阱,而陷阱就是前提。MAI Decision 1 和 Microsoft Decision 1并不是两个相互竞争的模型。它们是同一条 Microsoft 产品线,只差一个版本:Ignite 报道中称为 MAI Decision 1 的模型是 Microsoft-Decision-1.1,而 Microsoft-Decision-1 是它所取代的十月版本。因此,有用的比较不是“哪家厂商胜出”——而是“五周时间和一个新基础模型换来了什么,对于那些已经在较旧端点的生产环境中运行的人来说,这次升级是否值得迁移”。简短回答:六个指数点、一半的延迟、图像输入,以及一份没有变动的价目表。

命名,一锤定音

本对比左侧的标签来自主题演讲报道,而非 Microsoft。厂商自己的字符串是 Ignite 产品阵容博文中的“Decision 1.1”,以及 Foundry 博客和模型卡上的“Microsoft-Decision-1.1”;MAI 前缀则随着 MAI Code 2 和 MAI Cyber 2 Flash 出现在同一批第三方文章中,并就此沿用下来。因此,本页比较的是同一产品线的 1.1 版与 1 版,而有趣的问题不在于哪家厂商胜出,而在于五周时间和一个不同的基础模型带来了哪些变化。

版本 1 并未被撤回。它仍然列在 Foundry 中,也仍然在独立评测榜上计分,这就是为什么这两个名字会不断并排出现在对比表中——有时还被当成来自不同公司的竞争对手,而事实并非如此。

六周,两个型号,一个价格

Version 1 于 2026 年 10 月 8 日正式发布(GA):这是对 A​libaba 的 Qw​en3.5-9B 进行的纯文本后训练,在固定选项集上输出校准后的概率,上下文上限为 32,768 个 token,不提供权重,也未公布任何基准测试数据。Version 1.1 于 11 月 17 日上线,底座换成了 Gemma 4 26B-A4B,支持图像输入,并给出了完整的性能说明——而价格表却原地不动,依然是每百万 token 0.042 美元。

• 基础模型 — Qw​en3.5-9B,稠密模型,总参数量 9B;对比 Gemma 4 26B-A4B,混合专家模型,约 4B 激活参数;两者均在内部完成后训练

• 模态 — 仅文本与文本、JSON 和 PNG/JPEG 图片对比,每题最多 8 个

• 输入上限 — 32,768 个 token 对 32,768 个 token,未变

• 题型 — 是/否、多项选择、评分、分类、评分量规(rubric)与同一组,以三个带类型的原语(noul、choice、score)形式暴露

• 价格 — 全球标准版每百万 tokens 0.042 美元,欧盟和亚太地区为 0.05 美元,而完全相同

• 实测延迟——每任务 274.25 毫秒,对比每任务 123.25 毫秒,Artificial Analysis

• 实测成本 — 每百万任务 142.56 美元,对比每百万任务 139.64 美元,Artificial Analysis

• Decision Index v2.1 — 62.07 对比 67.78

• 权重 — 无,仅托管在 Foundry 中 vs 无,仅托管在 Foundry 中

没有变化的那一项,正是大多数团队做预算时依据的那一项;而变化最大的那一项,却没人宣传:延迟减半,而每 token 价格保持不变,因为新的基础模型是稀疏模型,每次调用所做的工作少得多。

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Microsoft Decision 1 — the scoreboard'. The Microsoft-Decision-1.1 column reads Decision Index 67.78, Latency 123 ms, Base model Gemma 4 26B-A4B, Images up to 8 per question, Brier score 0.160, Price $0.042 per M tokens; the Microsoft-Decision-1 column reads 62.07, 274 ms, Qwen3.5-9B, text only, 0.197 and $0.042 per M tokens. The footer reads 'Index, latency and Brier per Artificial Analysis v2.1, 18 November 2026; price per Microsoft Foundry.' The OrcaRouter logo is composited in the white strip below the artwork.

这六个点是由什么构成的

5.71 的综合差距并非均匀分布,而这种不均衡说明了此次升级是为哪些工作负载打造的。在 Artificial Analysis 的六项组成评测上,查看 2026 年 11 月 18 日的排行榜:

• When2Call 工具调用——在 1.1 上为 95.1,对比版本 1 的 87.9,提升了 7.1 分,也是对智能体护栏至关重要的那一项

• EvalSafe-O*NET 职场判断 — 88.8 对 86.8

• AA-Symmetry,改写措辞下的决策不变性——75.7 对 70.4

• AA-Paperclip 文档决策——58.7 对 51.8,是绝对增幅最大的一次

• AA-Omniscience,知识与幻觉——60.5 对 54.9

• HLE 多项选择推理 — 46.1 对 39.4

每一项子分数都有提升,这并不常见,也让总分数更可信;一个在一项评测上上升、却在两项上下降的合成指标,通常只是加权方式造成的假象。真正值得单独点出的,是那个不显眼的不变性增益。对称性衡量的是:当选项被重新排序、或问题被改写之后,某个决策是否依然成立——这正是微软自家文档所警告的失效模式,也正是决定你在预发环境中调好的阈值能否在生产环境中依然触发的那个性质。在这一项上从 70 提升到 76,其运营层面的意义要大于总分从 62 提升到 68。

校准也朝着同一方向改善。Brier 分数衡量的是所述概率与真实结果之间差值的平方,它从 0.1965 降至 0.1604——越低越好。所选选项的准确率从 40.6 升至 48.5。这两个数字都是 Artificial Analysis 在其自有任务上的测量结果,而非 Microsoft 的测量结果,这正是应重视它们的原因:Microsoft 自己对 1.1 的发布表述是得分 68,“比我们的首个模型提高了六分”,而独立榜单则以 67.78 落在距其不到半分之内,提升 5.71 分。这一次,厂商与审计方大体上一致。

A screenshot of the Artificial Analysis Decision Index v2.1 leaderboard page, the independent board from which the 67.78 and 62.07 composites, the six constituent evaluation scores, the accuracy figures and the Brier scores in this comparison are taken.

在哪些情况下,旧款机型仍是更合适的选择

继续留在 Microsoft-Decision-1 上有三个站得住脚的理由,而其中没有一个与性能有关。

第一点是冻结评估。如果你已经基于自己的标注数据、针对版本 1 校准了阈值——你本就应该这么做——那么基础模型一变,这项工作就失效了。一个为评分而经过后训练的稠密 9B 模型,和一个为评分而经过后训练的 26B MoE 模型,失败的地方并不相同;而且 1.1 的文档明确指出,校准在熟悉的任务类型上效果最强,并且可能随措辞变化而漂移。重新调参是实实在在的成本,而且这笔成本落在团队身上,而不是供应商身上。

第二点是语言覆盖范围。版本 1 在一个可用语言远超 200 种的 Qw​en 基座上,承载了覆盖 25 种语言的后训练叙事。版本 1.1 在一个文档记载为 35+ 种语言的 Gemma 基座上,承载了覆盖 25+ 种语言的叙事。25+ 并不等于 25;如果你运营的是多语言队列,诚实的做法是去测试,而不是假设这个数字变高了。

{{1}}第三点{{/1}}是你的依赖形态。两个版本都是仅托管、单一供应商、一份价目表、一套限流机制。升级会改变你的故障域,但不会缩小它。如果你已经将该端点封装在{{2}}你自己的回退机制{{/2}}之后,留在 1 上会让你损失延迟和准确性,但不会损失可用性;如果你还没有,升级能在同一个单点故障之后换来更快的模型。

在提交之前,将两者并排运行对比一下

迁移本身很小,这是令人愉快的地方。端点形态没有变化——向 Foundry 资源上的决策路由发送状态加类型化问题——部署是模型版本变更,而不是集成重写。变化的是响应下游的一切:概率、阈值以及上述子分数。

所以两个都要跑。把同一批带标签的数据发送到两个部署,在实际使用的阈值下比较所选选项的准确率,并特别查看尾部——版本 1 返回 0.55、版本 1.1 返回 0.88 的那些案例,正是会悄悄改变你升级率的案例。对称性增益表明,1.1 在选项重排下应该更稳定;请在你自己的提示词上验证这一点,而不是直接相信这个数字。

让评判者和被评判者共用同一个密钥,是大多数团队最终都会想要的设置,而两种 Decision 模型都无法提供这一点:它们都是仅限 Foundry 的托管端点,因此摆在它们前面的路由器就是你自己的代码。与此同时,路由器能做的是提供控制手段。Gemma 4 26B A4B——基础版本 1.1 正是以它为基座进行后训练的——通过 OrcaRouter 路由,价格为每百万输入 token $0.25、每百万输出 token $2.90,而Jev 1.14——Microsoft 用作自身基准对比的决策模型——输入和输出均为每百万 $0.042。两者都无法复现 1.1 经过校准的答案。但两者都能告诉你:在你自己的数据上,通用模型与决策模型的差距是否在几个点以内——而这正是决定你到底是否需要决策模型的问题。

A screenshot of the OrcaRouter model page for obsidian/gemma-4-26B-A4B, showing the OrcaRouter navigation, the model name obsidian/gemma-4-26B-A4B with Vision, Tools, JSON and Reasoning tags, a 2026-07-02 date, a description noting a mixture-of-experts build of Gemma 4 with 26B total parameters, about 4B active per token and a 262K-token context window, and pricing of $0.25 per million input tokens and $2.90 per million output tokens.

版本问题,已解答

如果你今天做选择,且没有需要维护的旧阈值,就选 1.1。在独立测量中,它的速度是 2.2 倍,每项任务成本略低,校准更好,在工具调用门控方面表现更好,并且是两者中唯一能读取截图的。价目表完全相同,因此从边际成本看,升级是免费的。

如果你已经在生产环境中运行版本 1,那么这次升级值得进行,但它并不像安全补丁那样紧迫。为重新调参留出预算,让旧部署继续运行,直到新阈值在实时流量下依然成立;把对称性改进当作可以期待更少意外的理由,而不是“不会再有意外”的承诺。

这次对比并不是在供应商之间做选择。两个名字指向的都是微软的决策线,相隔五周、相差一个基础模型,价格同为每百万 token 0.042 美元。有趣的问题从来不是哪一个胜出,而是第二个是否足够好,值得为重新校准付出代价。在独立评测板上,答案是肯定的。