一张生成的标题卡,标题为“Karpo Decision 31B vs Microsoft-Decision-1”,并带有这样一句话:“一个拥有排行榜分数,却没有价格。另一个拥有 Azure 价格表,却没有已公布的分数。”下方有两张卡片:“Karpo Decision 31B”列出“73.86 总分”、“未公布价格”和“Apache-2.0 权重”;“Microsoft-Decision-1”列出“在 Artificial Analysis 上为 62.07”、“仅提供 Azure API”和“没有基准测试表”。
Guides & Insights

Karpo Decision 31B 与 Microsoft-Decision-1:一个有价格,另一个有评分

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

把 Karpo Decision 31B和 Microsoft-Decision-1放在一起看,你首先会注意到,这两家公司都没有给你在二者之间做选择所需要的东西。Karpo Decision 31B 是 MachinePulse 于 2026 年 11 月 5 日推送到 Hugging Face 的 313 亿参数 Gemma 4 微调模型,发布时没有发布公告,它有一个排行榜分数,却没有价格。Microsoft-Decision-1 自 2026 年 10 月 8 日起在 Microsoft Foundry 上提供,它有价格、有 Azure 合同、有负责任 AI 资料包,却完全没有公开的基准测试表。一个可衡量却无法售卖。另一个可售卖,而且按其供应商自己的选择,未经衡量。

这种反转就是整个比较,值得抵制用算术去解决它的冲动。Karpo 给出的 73.86 和 Artificial Analysis 给 Microsoft-Decision-1 的 62.07,并不是同一事物的两种读数。它们来自不同的榜单、不同的任务组合、不同的评分公式,以及对决策模型用途的不同理解。有用的问题不是哪个数字更大,而是这两个缺口——缺失的价格,还是缺失的分数——你的部署实际上能承受哪一个。

微软究竟在卖什么

Microsoft-Decision-1 是一个经过后训练的 Qwen3.5-9B,它以对各个选项的概率分布而非散文形式作答。其适用范围很窄:是/否、多项选择、评分量表、分类集合或评分细则,针对最多 32,768 个 token 的文本。不支持图像、音频、解释字段,也不生成 token。Microsoft 明确表示,它不适用于开放式问题、翻译或摘要,并建议不要将其作为信贷、就业、住房、保险、教育或医疗保健相关决策的唯一依据。

它带来的,恰恰是开放检查点无法提供的那部分:属于 Direct from Azure 产品组合的 Foundry 部署,采用无服务器或统一终结点、标准 SKU、Azure 身份验证、单一账单,并且有意关闭批处理推理,同时不提供权重下载或微调路径。对于银行或医院集团而言,最后这组事实往往比排行榜上的二十分更有价值,因为这决定了一个模型是平台团队可以直接批准的,还是平台团队必须围绕它搭建服务栈的。

价格是真实的,但不太方便直接引用。模型页面没有列出每 token 费率;它链接到 Azure 的定价界面。Artificial Analysis 为其追踪的是按输入费率每百万任务 143 美元,而 Google 的 Gemini Decision 1 为每百万任务 345 美元。Karpo 没有可比数字,因为 Karpo 根本没有任何形式的价目表——没有主机、没有控制台、没有试用,也没有公布每 GPU 成本。

董事会衡量了什么,以及没有衡量什么

A generated two-panel diagram titled 'Two numbers, two instruments'. The left panel is headed 'Karpo Decision 31B — Decision Index 0.4.1' and lists 'Full score 73.86 — private tests, board-computed', 'Same-skills 70.94', 'New-domains 61.5' and 'Public index 75.05 — vendor run, all 140,178 requests, 11 refused'. The right panel is headed 'Microsoft-Decision-1 — Artificial Analysis Decision Index v2.1' and lists 'Composite 62.07', 'When2Call 88.0', 'AA-Paperclip 51.8 — 20.9% document pass' and 'HLE-MultiChoice 39.4 — 8.6% raw'. The footer reads 'The two panels are different instruments and are not subtractable.'

Karpo 的编号是社区编号。追踪 TypeSafe 的 Jev 复现情况的开放榜单 Decision Index 在 0.4.1 版中将其列为 73.86 Full——在该榜单公布的数据转储中,于 307 行里并列第一;它与 GLiDE 27B 的 73.37 并列,因为榜单会把与领先者相差 0.9 分以内的项目归为一组。这个 Full 分数在关键意义上属于第三方:榜单维护者运行了供应商从未见过的私有测试,大致为 60% 同技能、40% 新领域。Karpo 的拆分显示,熟悉技能上为 70.94,不熟悉技能上为 61.5,这对于一个针对已知测试套件进行过重度调优的模型来说是常见形态。

模型卡上的 75.05 完全是另一回事,而且模型卡对此也很坦诚:那是 MachinePulse 自己运行官方评分工具包得到的结果,共对 140,178 个请求评分,其中 11 个因超出窗口而被拒绝;在工具包重新评分结果与所声称数值一致后,董事会予以采纳。结果公开且可复现,但仍属第一方。董事会自己的记录行确认了这一采纳,并指出私有测试与提交行在 827 行上的一致率为 100%。

Microsoft-Decision-1 完全没有这些。其产品目录页面有一个“基准测试”标签页,里面只有一段方法论说明,没有任何数据:公开和社区决策基准、留出的内部数据集、准确率与校准误差、选项顺序变化、配对统计检验的应用。微软表示,该模型的表现“与领先的决策模型相当,并领先于用相同方法论评估的其他开放决策模型”,但随后拒绝展示评估结果。如今关于它的每一项性能声明都是厂商自报且未经复现的。

目前唯一给它打分的是 Artificial Analysis 基于 Decision Index v2.1 的评测,而且各分项比综合得分更能说明问题。Microsoft-Decision-1 在 When2Call 上得分为 88.0,接近领先者;在 EvalSafe-O*NET 上得分为 86.8。它在 AA-Paperclip 上得分为 51.8,全有或全无的文档通过率为 20.9%;在 AA-Omniscience-Decision 上得分为 54.9,非幻觉率为 21.7%;在 HLE-MultiChoice 上得分为 39.4,原始准确率为 8.6%。这一模式表明:它是一个称职的职场判断评分器,但知识行为薄弱;而最值得琢磨的是弃答数字:一个对 78% 的知识问题拒绝作答的模型,是在以牺牲实用性为代价保护其校准度。

请求形态,并排对比

A generated two-column comparison titled 'The request shapes, side by side'. The Karpo Decision 31B column reads '31.3B bf16 plus fp32 readout — about 62.5 GB', 'text, JSON and images', '32,768 tokens, split by question, refuses overflow', 'choice up to 255 options, noul, score', '94 ms median per request' and 'Apache-2.0 weights'. The Microsoft-Decision-1 column reads '9B dense, API only, no weights', 'text only', '32,768 tokens, no way to raise it', 'yes/no, multiple choice, rating, classification, rubric', '274 ms per task' and 'no published rate on the model card'. A footer line reads 'Latency figures are not the same measurement: per request for one, per task over a document set for the other.'

• 参数——Karpo 31.3B 以 bf16 精度存储,外加一个 255 × 5,376 的 fp32 读出层,磁盘占用约 62.5 GB;Microsoft-Decision-1 是一个 9B 稠密基础模型,仅以 API 形式提供服务。

• 输入 — Karpo 接受文本、JSON 和图像,截图传入时使用state.viewport_screenshot;Microsoft-Decision-1 仅接受文本,并序列化为 32,768 个词元。

• 上下文——两者均为 32,768 个 token,但失败模式有一个重要区别:Karpo 会按问题拆分长请求,并拒绝任何仍然无法容纳的内容,而 Microsoft 的上限是输入加上选项集,且无法提高。

• 题型 — Karpo choice 最多支持 255 个选项,noul 用于真/假,score 用于有序等级;Microsoft 的是/否、多选、评分、分类和评分量规,并在选项集内支持“无法判断”等弃权选项。

• 批处理 —— Karpo 将单个状态和多个问题编码进同一条序列,因此针对一张发票的一百个问题大约只需对该发票做一次遍历;Microsoft 公开的契约是每次调用处理一个状态及其问题集,而广度则通过分组来实现。

• 延迟——在追踪器的参考硬件上,Karpo 使用一块 GPU、一次处理一个请求,每个请求的中位延迟为 94 毫秒;根据 AA 的测量,Microsoft-Decision-1 每个任务为 274 毫秒,这是针对一个文档集的每任务数值,而不是每请求数值。

• 许可与访问 — Karpo 提供 Apache-2.0 权重,并同时附带 Gemma 4 的条款;Microsoft-Decision-1 则完全不提供权重,它仅以 API 形式在 Azure 条款下提供。

• 价格——Karpo 没有公布费率;在 AA 对 Microsoft-Decision-1 的追踪中,每百万个任务为 143 美元,而每 token 的输入费率保留在 Azure 的定价页面上,而不是模型卡上。

校准是双方都有话可说的维度

对于一个全部输出都是概率的模型,决定其能否部署的数字不是准确率,而是这个概率是否名副其实。Karpo 的模型卡报告校准误差为 4.8 个百分点:在 34,411 条已评分响应中,其平均置信度为 87.96%,而准确率为 83.19%;在最高置信度区间——占全部响应的 68.5%——它 95.7% 的情况下是对的,却声称 98.7%。这是一个可以设定阈值的模型,只是高端存在已知漂移。

Microsoft 不发布期望校准误差、Brier 分数,也不发布可靠性曲线。AA 的组件得分所暗示的,是一个置信度被保守使用的模型:在 Omniscience 和 HLE 上很高的非幻觉率意味着,它在不确定时会弃答而不是作答,这正是护栏想要、而分类器不想要的行为。其 0.8 在微软自己的评估之外是否就意味着 0.8,尚不可知;微软的文档也以自己的方式说明了这一点——它告诉集成方要在有代表性的数据上验证,并根据其错误的代价来设定阈值。

这种不对称有实际后果。使用 Karpo 时,你继承的是一条已发布的校准曲线,可以在运行任何内容之前设定一个起始阈值。使用 Microsoft-Decision-1 时,你继承的是一套方法论和一项承诺,而你的前两周会是一个测量项目。两者都不构成淘汰理由;它们只是不同类型的工作。

没人标题提及的版本

Microsoft-Decision-1 不再是其所属家族中的当前模型。Microsoft-Decision-1.1 于 2026 年 11 月 17 日在 Ignite 上发布,基于 Gemma 4 26B A4B 混合专家底座,价格相同、上限同为 32K,Artificial Analysis 给它的评分为 67.78——比版本 1 高 5.7 分,每任务耗时 123 毫秒而非 274 毫秒,在 Omniscience 上的非幻觉率从 21.7% 升至 49.4%。但在评分器本应保持稳定的方面,它反而变差了:HLE-MultiChoice 上的原始准确率为 6.29%,而此前为 8.64%;AA-Symmetry 问题族中有一致回答的比例为 47.5%,而此前为 51.7%。

因此,任何在十一月下旬将 Karpo 与“微软的决策模型”进行比较的人,实际上是在把它与一个已被取代的版本作比较。这并不意味着这一对比已失去意义——版本 1 仍然是被大量 Foundry 部署用作容量规划基准的版本——但这确实意味着,在微软这边需要超越的数字是 67.78,而随之而来的次要问题是:一个以放弃知识准确性来换取弃权纪律的模型,究竟从一开始是否适合你的流水线形态。

双方各自无法给你的东西

Karpo 无法给你一份合同。没有端点,没有费率卡,没有支持路径,没有 SLA,除了模型卡和 README 之外也没有供应商声明。如果你的组织无法在自己的硬件上运行 62.5 GB 的检查点,那么无论分数如何,比较到此为止。将其作为普通聊天模型加载也无法复现其答案:分支注意力和 255 码读出都是必需的,而 Python 包和 POST /v1/systemone 服务器之所以存在,正是因为通用推理栈无法胜任。

Microsoft-Decision-1 无法给出一个你无须凭信任就能接受的数字,无法在你自己的决策数据上进行微调,无法读取屏幕截图,也无法离线运行。你也无法用与 Karpo 相同的工具对它进行基准测试,因为 Decision Index 是一个公开复现的登记册,而封闭的 API 模型没有可供复现的权重。这两个模型将始终彼此错过:一个榜单永远不会列出微软的评分器,而 Artificial Analysis 也没有 Karpo 的一行。

还有第三种立场,比这两列中的任何一列都更有用。如果你真正需要的是紧挨着生成式流水线的决策层,那么生成器就是你已经可以标准化的那一半。OrcaRouter 不托管 Karpo Decision 31B 或 Microsoft-Decision-1,而且两者都不应放在聊天补全路由后面。它真正托管的是这场比较反复围绕的两个模型:Gemma 4 31B,即 Karpo 微调所基于的基座,以及 TypeSafe 的 Jev 1.14,也就是开放复现榜单存在就是为了追赶的模型。两者都通过同一个 OpenAI 兼容密钥提供,并与按供应商标价原样传递、不加价的 200+ 个其他模型并列,因此供应商降价当天就会落到我们这边,而且自动故障转移能让评分循环继续存活,即使某个供应商出现波动。

该选哪一个

A generated decision card titled 'Which one to reach for'. The left card is headed 'Microsoft-Decision-1.1' with the subtitle 'when the estate is Azure' and the rows 'approval trail, one invoice', 'text that fits in 32K', 'budget a calibration study first' and '67.78 on Artificial Analysis'. The right card is headed 'Karpo Decision 31B' with the subtitle 'when you own the hardware' and the rows 'screenshots and JSON inputs', 'Apache-2.0 weights', 'published 4.8-point calibration error' and '73.86 Full score, private tests'. A wide strip underneath reads 'Do not choose on 73.86 versus 62.07. Different boards, different suites, no shared grading.'

选择 Microsoft-Decision-1,或者更明智地选择 Microsoft-Decision-1.1——如果决策层必须部署在 Azure 环境中,如果你更需要审批轨迹而不是排行榜名次,并且如果你的输入是能放进 32K 的文本。为校准研究预留预算,因为 Microsoft 没有为你提供这项研究;并且要根据你的错误成本来设定弃权阈值,而不是根据供应商对错误的描述来设定。

如果你有相应的 GPU,如果工作涉及截图或 JSON 状态,如果 Apache-2.0 对你打算发布的产品很重要,并且如果第三方私有测试分数加上已发布的校准曲线是你团队认可的证据,那就选择 Karpo Decision 31B。作为交换,你要接受:现在你就是供应商——没有支持,没有 SLA,没有可供编制预算的价格,而且这是一个两周大的模型,其代码仓库在 11 月 16 日仍在被编辑。

不要仅凭 73.86 对 62.07 就选择其中任何一个。这些数字由从未评阅过同一份试卷的组织生成,所用测试套件的私有测试占比不同、评分公式也不同;诚实的解读是,两个模型都可信,且没有任何一方被证明优于另一方。能定论的那项测试——Karpo 出现在一个同样为 Microsoft 的模型评分的独立委员会上,或者 Microsoft 公布其方法学部分所描述的结果表——尚未发生。在它发生之前,决策取决于采购、硬件和输入模态,而这本来就是它该取决的地方。