一张为 Gemini Decision 1 生成的标题卡,副标题为“Google 首个决策模型”,标签显示:在 Artificial Analysis Decision Index v2.1 上为 66,在 18 个决策模型中排名第九,在 AA-Omniscience 和 HLE-MultiChoice 上排名第一,每 100 万输入 token 为 0.10 美元、输出 token 为 0 美元,页脚注明该指数由外部供应商提供,但模型是 Google 自有的。
Guides & Insights

Gemini Decision 1:谷歌首款决策模型在最无关紧要之处领先

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

六十六分是一个体面的分数,也是一个有误导性的标题。 Gemini Decision 1由 Google 于 2026 年 11 月 11 日通过全新的 Decisions API 发布,在 Artificial Analysis Decision Index v2.1 上得分 66——在榜单排名的十八个决策模型中位列第九,略高于该领域 64 的中位数。发布声明的另一半也属实:该模型在指数的知识与推理分项上单独位居第一。两句话都经得起核查,而它们之所以让人觉得相互矛盾,原因值得理解。这两个分项各占分数的 15%。而占 30% 的那个分项,正是 Gemini Decision 1 相对同类模型最弱的地方。

这一区别并非对排行榜算术的吹毛求疵。它说明了这个模型被打造出来是为了做什么,而这并不是大多数人从“来自 Google DeepMind 的决策模型”这一说法中会设想的那样。

Google 实际交付了什么

Gemini Decision 1 不生成文本。它不是带有 JSON 模式的聊天模型,也无法通过常规的 generate-content 路径调用。它运行在单独的端点 POST /v1beta/decisions 上,接收一块共享输入以及一个类型化问题映射,并针对每个问题返回一个经过校准的答案,且输出 token 数为零。每个问题都会在一次处理中针对同一输入独立评估,模型永远不会看到你的问题键——只会看到你编写的指令文本。

三种问题类型涵盖了全部范围:

• 是/否(noul)——返回 0.01 到 0.99 之间的概率,并附带一个置信度分数。这个边界是刻意设置的,这意味着将阈值设为高于 0.99 时,它永远不会触发。

• 选择 — 2 到 255 个命名选项,返回最佳选项、每个选项的概率(总和为 1)以及一个置信度。在评分之前,API 会按 UTF-8 字节顺序对你的选项键进行字母排序,因此 JSON 键的顺序不会产生任何影响,而完全打平时会倾向于字母序最靠前的键。这就是为什么 Google 自己的指南建议将兜底选项命名为 other,而不是 none_of_the_above;后者会排在大多数真实类别之前,而不是之后。

• 评分 — 2 到 255 个有序评分等级,推荐 2 到 10 个,返回一个概率加权的期望等级。由于期望值是对数组索引取平均,1/10/100/1000 这样的刻度会使其产生偏差,Google 在文档中也这样说明。

对于发布当天的机型页面来说,规格的其余部分具体得非同寻常:

• 输入 — 可在同一请求中处理文本、图像、视频、音频和 PDF,262,144 个 token 的上下文可同时涵盖共享输入和每个问题。

• 规模——每次请求最多可处理 1,000 个问题,正是这一数量让它有别于分类器。一次调用即可对照四十条政策规则检查一张支持工单,并且共享输入只计费一次。

• 媒体 — 每个请求最多 100 MB 的内联 base64,PDF 为 50 MB,每个外部 HTTPS URL 为 15 MB。不支持 YouTube 链接和 gs:// URI;您需要传入 Files API 引用、签名 URL 或字节。

• 计费 — 每百万输入 token 0.10 美元,输出不适用。无上下文缓存,无 Batch API,无 Flex 或 Priority 推理。跨请求的重复输入每次均按全额计费。

• 速率限制 — 免费套餐为每分钟 200 次请求、每天 10,000 次;Tier 1 为每分钟 1,500 次、每天 50,000 次;从 Tier 2 起每日请求不限量。

那份清单里有两点比表面上看起来更重要。免费层级虽然不收费,但被列为会用于改进 Google 的产品,因此不能用于任何敏感用途。而且该模型仅在 Gemini Developer API 上提供,API 版本为 v1beta——在 Google 交付的文档中,没有 Vertex AI 的相关条目。

66背后的算术

决策指数不是一张准确率表。它是六项评估的加权平均值,而每一项的得分等于准确率减去模型为其答案所赋予概率的 Brier 分数。一个答错但以低置信度表明这一点的模型,受到的惩罚会小于一个答错却笃定的模型。这种设计会奖励弃答,而这是阅读该榜单上任何数字时最需要牢记的一点。

以下是 Gemini Decision 1 在各组件上的位置,以及它在十八个模型中的排名:

• AA-Paperclip,权重 30% — 56.8,排名第 9。这是文档决策测试:1,500 份私人简历、收据、发票和文件,每份都包含五项决策和十项事实,按一份文档评分,只有十五个答案全部正确才计分。Gemini Decision 1 直接通过 33% 的文档。Drex Max v1.1 通过 63%。

• EvalSafe-O*NET-AA,15% — 87.1,排名第 8。职场文档判断。这是一个很强的结果,也是整个领域中得分分布最集中的一项。

• When2Call,10%——80.5,排名第14。这是 NVIDIA 的工具调用评测,也是六项中最弱的一项排名。Drex Max v1.1 在此项得分为 95.3。

• AA-Omniscience-Decision v1.1,15% — 66.3,排名第 1。知识与幻觉,其中“我不知道”选项有十种不同的表述。

• HLE-MultiChoice v1.1,15% — 48.7,排名第 1。Humanity's Last Exam,多项选择题,含弃权选项。

• AA-Symmetry v1.1,15% — 70.5,排名第 9。答案是否能在同一问题被重新排序、重新标注和否定后保持不变。Gemini Decision 1 在 38.3% 的问题族上保持其答案不变;Mammoth 27B 在同一测试工具上保持 88.2%。

A generated scoreboard headed 'Gemini Decision 1 - the six components that make 66', listing AA-Paperclip at 30% weight with 56.8 and rank 9, EvalSafe-O*NET-AA at 15% with 87.1 and rank 8, When2Call at 10% with 80.5 and rank 14, AA-Omniscience-Decision v1.1 at 15% with 66.3 and rank 1, HLE-MultiChoice v1.1 at 15% with 48.7 and rank 1, and AA-Symmetry v1.1 at 15% with 70.5 and rank 9, with a footer noting each score is accuracy minus the Brier penalty per the Artificial Analysis Decision Index v2.1.

把这些加权后,你会得到 65.98。第一行和第四行朝着相反方向发挥了大部分作用,而原因是结构性的:Paperclip 的分值是任一知识测试的两倍,并且正是这项评测要求模型同时正确地从一份文档中读出十五个事实。

这两个“首次”都属实,但范围比听起来要窄。

在 AA-Omniscience-Decision 上排名第一是实实在在的成绩。Gemini Decision 1 得分为 66.3,而 d1-ultra 为 64.4,GLiDE v1.2 为 60.9;其 44.8% 的原始准确率是该测试中十八个决策模型里最高的。在 HLE-MultiChoice 上,它再次以 48.7 排名第一,领先于 Mammoth 27B 和得分为 47.4 的 d1-ultra。这就是“在知识与推理方面领先”所指的内容,而且这一说法成立。

该说法省略的是绝对水平。Gemini Decision 1 在 Humanity's Last Exam 中答对了 13.2% 的题目。它仍在该组成部分位居榜首的原因是,它会拒答而不是猜测:它在同一测试上的非幻觉率为 35.7%,而评分公式会让一个最终答错的低概率回答付出代价。在置信度校准上处于领域顶尖,并不等同于在知识上处于领域顶尖;13% 的准确率才是应纳入容量规划的数字。

谷歌并未为该模型发布自己的基准测试表——发布说明只宣布了模型和 API,文档则解释了请求格式与各项限制。上面提到的每一项性能数据都来自 Artificial Analysis,是在评测方自己的测试框架上测得的,也不存在任何可与之相左的厂商数据。这比大多数发布都要干净,也值得直说,因为另一种情形——只有厂商表格、没有外部核验——才是这一领域的常态。

价格能换来什么,又换不来什么

在该指数上,每百万项任务收费 345 美元,Gemini Decision 1 是排行榜上半区中最贵的模型。Drex Max v1.1 完成同样的百万项任务收费 103 美元,Jev 1.14 为 156 美元,Microsoft-Decision-1 为 143 美元。输入费率解释了原因:每百万 token 收费 0.10 美元,而 Drex Max v1.1 为 0.03 美元;而且一项决策任务会读取长文档,却从不生成 token 来抵消成本。Artificial Analysis 在成本方面将其排在十八款中的第十五位,并指出它“尤其昂贵”。

延迟表现平平。每项任务 211 毫秒,比 209 毫秒的同类中位数略慢,也比 92 毫秒的 Jev 1.14 慢。对于客户消息背后的路由决策来说,这没问题。但对于实时视频的逐帧循环处理——文档明确将其列为一种用例——这反倒成了选用更小模型的理由,而不是反对这个模型的理由。

A screenshot of the Artificial Analysis page for Gemini Decision 1, showing the headline Decision Index of 66 ranked 9 of 18, 211 ms per task, $0.10 per 1M input tokens and $345 per 1M tasks, a 262k-token context window with text and image input, and a comparison summary calling it above average on the index but particularly expensive and slower than the average decision model.

能力缺口是定价页列为不可用的那些,而不是基准测试能显示的那些:没有 Batch API 就意味着无法以半价在一夜之间扫完一百万张历史工单;没有上下文缓存就意味着同一份 40,000 token 的政策文档在每次请求时都要再次计费。如果你的决策流水线会大规模重复读取一个大型共享上下文,那么这两项缺失造成的成本会高于标价所暗示的水平,而且二者都不在 Google 已公布的路线图上。

如果你已经进行模型路由,这适合放在哪里

OrcaRouter 不提供 gemini-decision-1。仅输出概率的端点不是聊天补全目标,因此它不是我们这种形态的路由器能放到单个密钥后面的东西——否则就会做出那种读起来很漂亮、却在第一次请求时就失败的可用性声明。我们确实提供的是 TypeSafe 的 typesafe/jev-1.14,这是一个决策模型,在同一个 18 个模型的榜单上得分为 66.23,因此如果你选择这个决策模型,流水线中负责评分的部分就可以和负责写作的部分共用同一个密钥。

写作这一半才是我们真正擅长的部分。决策流水线几乎总是两次调用:一个负责起草候选答案或评分标准,另一个负责给它打分。起草这次调用,正是模型选择存在争议、也是第二份供应商合同带来痛处的地方;而这次调用通过一个端点运行,该端点上有超过 200 个模型,按供应商目录价透传、0% 加价,因此供应商一调价,我们这边当天就会生效。把起草调用路由到我们这里,再把打分调用指向 Google 自己的端点,只需改两行,而不是架构级改造。

什么会改变这一解读

三件事,按可能性从高到低排列。一次能提升 AA-Paperclip 那 33% 全有或全无通过率的修订,会比这个模型能做的任何其他事都更能推高综合评分,因为这一项就占了 30% 的分数,并且与领先者相差十六分。登陆 Vertex AI 则会彻底改变采购讨论的格局——如今调用它唯一的途径是 Gemini API 密钥,而那些通过 Google Cloud 合同采购的企业会注意到这一点。再有第二个独立评测委员会复现出 66 这个分数,就能把一个单家公司的数字变成共识数字。

A screenshot of the Artificial Analysis Decision Index v2.1 methodology page, listing the six weighted evaluations - AA-Paperclip at 30%, EvalSafe-O*NET-AA at 15%, When2Call at 10%, AA-Omniscience-Decision v1.1 at 15%, HLE-MultiChoice v1.1 at 15% and AA-Symmetry v1.1 at 15% - alongside the description of AA-Paperclip's 1,500 resumes, receipts, invoices and research papers, and a worked example of a decision request over a customer support message.

在其中一个落地之前,对 Gemini Decision 1 的准确描述既狭窄又实用:它是一个多模态、262,000 token、1,000 题的评分器,在榜单上两个考验“知道何时闭嘴”这项技能的地方,它都是校准最佳的决策模型;而在任务变成阅读一份密集文档并一次性答对十五个问题时,它只是中游水平。如果你的决策属于第一类,66 分就低估了它。如果属于第二类,再多知识基准上的领先也救不了通过率。