一张生成的对比卡片,标题为“Gemini Decision 1 vs Drex Max v1.1”;左列为 Gemini Decision 1,在 Decision Index 上显示为 66,每 100 万输入 token 收费 $0.10,每次请求 1,000 个问题,文档通过率为 33%,输入类型为文本、图像、音频、视频和 PDF;右列为 Drex Max v1.1,显示为 73,每 100 万输入 token 收费 $0.03,每次请求 8 张图像,文档通过率为 63%,且仅支持文本和图像输入。
Guides & Insights

Gemini Decision 1 对比 Drex Max v1.1:两者均可读取 262K Token,但只有一方会统计文档

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

将 Gemini Decision 1 和 Drex Max v1.1 并排比较,规格表几乎重合:两者都是决策模型,都有 262,144 token 的上下文窗口,都能在读取文本的同时读取图像,也都返回概率而非散文式回答。差距只在一处显现。在 Artificial Analysis Decision Index v2.1 的文档决策组件中——这项权重为 30% 的测试要求模型从单份高密度文档中提取五项决策和十条事实,并把这十五项全部答对——Drex Max v1.1 通过了 63% 的文档,而 Gemini Decision 1 通过了 33%。这一单项很大程度上解释了一个得 73 分、另一个得 66 分的原因。

其余的差异是你可以据此采取行动的算术。Drex Max v1.1 每百万输入 token 收费 $0.03,而 Gemini Decision 1 收费 $0.10;在一百万个任务上,这相当于 $103 对 $345。而且 Gemini Decision 1 在共享输入上每个请求最多可承载 1,000 个问题,而 Drex Max v1.1 期望一个状态附带少量问题。这些数字中哪一个决定你的选择,完全取决于你的决策是一次一份文档地到来,还是一次四十条规则地到来。

同一个想法的两种不同形态

两个模型都拒绝生成文本,而且二者都有一个对成本建模很重要的共同特性:输入只读取一次,每个问题都针对该输入进行评分。它们的不同之处在于允许你把什么放入该输入。

• 答案类型 — Drex Max v1.1 提供 choice、noul 和 score,这是 TypeSafe 的 Jev 定义且 Nace 采用的请求形态。Gemini Decision 1 提供同样的三种类型,其中 choice 有 2 到 255 个选项,评分标准有 2 到 255 个等级,建议 2 到 10 个。

• 每次调用的问题数——Gemini Decision 1 最多 1,000 个,每个问题都在一次处理中独立评估,密钥由你提供;Drex Max v1.1 则为每个状态少量几个,其工作单元是一个条目及其问题。

• 模态 — Gemini Decision 1 接受文本、图像、视频、音频和 PDF;Drex Max v1.1 每次请求接受文本和最多八张图像。两者都不接受问题指令中的媒体;在 Gemini Decision 1 上,这是一项有文档记录的限制,因此媒体应放在共享输入中。

• 窗口 — Gemini Decision 1 在共享输入和所有问题合计共 262,144 个 token;Drex Max v1.1 记录每个问题 131,072 个 token,其中图像 token 计入该额度,并且打包请求的上限为 262,144。

• 计费 — Gemini Decision 1 每百万输入 token 收费 0.10 美元,并明确对重复的共享输入全额重复计费,不提供缓存,也不提供 Batch API。Drex Max v1.1 每百万输入 token 收费 0.03 美元;当 vv1.1 原地替换 v1 时,Nace 将该费率减半。

• 访问 — Gemini Decision 1 在 v1beta 版 Gemini 开发者 API 上提供,含免费套餐,且从第 2 层级起每日请求无限制。Drex Max v1.1 由 Nace.AI 托管,位于 POST /v1/systemone,无不可下载的检查点。

把那份清单当作一句话来读:Drex Max v1.1 是为一块屏幕或一个页面,以及关于它的少量判断而构建的;Gemini Decision 1 则是为大型上下文和大型规则手册而构建的。1,000 个问题的上限并不是规格表上的花哨点缀。它决定了一个模型是在每次请求中要调用四十次,还是只需调用一次,这正是两者之间的区别。

6.6个百分点的差距究竟从何而来

决策指数对六项评估进行加权,两个模型都已在全部六项上运行。把它们的各个组成部分对齐来看,比只看综合得分更有信息量:

• AA-Paperclip,30% — Drex Max v1.1 72.8,Gemini Decision 1 56.8。每份文档十五个答案,全有或全无。这就是决定排名的十六分差距。

• EvalSafe-O*NET-AA,15%—— 88.3 对 87.1。实际上打平。

• When2Call,10% — 95.3 对 80.5。Drex Max v1.1 在本场排名第二;Gemini Decision 1 在十八个中排名第十四。

• AA-Omniscience-Decision v1.1, 15% —— 60.3 对 66.3。Gemini Decision 1 拿下这一项,其 44.8% 的原始准确率是榜单上所有决策模型中最高的。

• HLE-MultiChoice v1.1, 15%——46.6 对 48.7。很接近,两者都接近榜首,且原始准确率均为个位数。

• AA-Symmetry v1.1,15% — 79.8 对 70.5。Drex Max v1.1 在重排序和否定条件下有 53.3% 的时间保持其答案;Gemini Decision 1 为 38.3%。

A generated two-column scoreboard headed 'Where the 6.6 points come from', pairing Gemini Decision 1 and Drex Max v1.1 across all six components: AA-Paperclip at 30% 56.8 against 72.8, EvalSafe at 15% 87.1 against 88.3, When2Call at 10% 80.5 against 95.3, AA-Omniscience at 15% 66.3 against 60.3, HLE-MultiChoice at 15% 48.7 against 46.6 and AA-Symmetry at 15% 70.5 against 79.8, with a footer crediting all six figures to the Artificial Analysis Decision Index v2.1.

这种模式是一致的。Drex Max v1.1 赢下了两个组件,它们测试的是决策是否可重复、结构是否稳健。Gemini Decision 1 赢下了另外两个组件,它们测试的是它是否掌握知识,以及是否知道自己何时不掌握。两者都是站得住脚的产品;它们回答的是关于决策模型用途的不同问题。

关于 Drex 数据有一点需要说明:Artificial Analysis 报告的每百万任务 103 美元反映的是临时发布价,而榜单脚注指出,标准价格会使成本翻倍。按标价计算,Drex Max v1.1 约为每百万任务 206 美元——仍远低于 Gemini Decision 1 的 345 美元,但已不再是后者的三分之一。延迟表现则相反:Drex Max v1.1 每任务 283 毫秒,而 Gemini Decision 1 为 211 毫秒,两者都慢于该领域 209 毫秒的中位数。

A screenshot of the Artificial Analysis page for Drex Max v1.1, showing the Decision Index of 73, 283 ms per task, $0.03 per 1M input tokens and $103 per 1M tasks, a 262k-token context window with text and image input, a Cost rank of 6 of 18, and a comparison summary describing it as among the leading decision models on the index, reasonably priced and notably slow.

根据请求的形态来选择,而不是根据分数。

如果你的决策针对的是单一 artefact,且答案必须站得住脚,那就选 Drex Max v1.1。对扫描表单进行保险理赔分诊、基于截图的智能体控制(重新渲染后会再次询问相同的点击决策)、合同审查(其中颠倒的 yes/no 是真正的错误)。63% 的文档通过率和 53.3% 的对称性通过率,正是在这些场景中能回本的数字,而每百万输入 token 0.03 美元让规模化论证变得轻而易举。

如果你的决策是将规则手册应用于单个输入,或者输入不是文本和图像,就选择 Gemini Decision 1。在一次调用中对一张支持工单执行四十项策略检查,是 Gemini Decision 1 有文档说明而 Drex Max v1.1 没有的工作负载——而且如果输入是通话录音或 PDF,这两者中只有一个能读取它。Google 的文档在列出其支持的一项能力的同时,还列出了十四项不支持的能力,因此在正式采用前很容易验证是否适合:校准决策,其余全部关闭。

两者都不选;不过,如果决策取决于规模化后的成本,那就另当别论。Gemini Decision 1 既没有 Batch API,也没有上下文缓存,这意味着每晚扫描一百万张历史工单都要按全价计费,而且每次都会重新读取政策文档。Drex Max v1.1 的发布定价是临时性的。目前这两款产品都没有提供能让回填变得便宜的折扣结构,而对任何要核算一年工单成本的人来说,这一点比六个指数点更重要。

同时运行两者,无需第二份合同

OrcaRouter 这两者都不提供。二者都是仅提供概率的端点,而非 chat-completions 目标,我们如实说明这一点,而不是暗示相反——目录中的决策模型条目是 TypeSafe 的 typesafe/jev-1.14,它在同一榜单上以 66.23 位于本文这两个模型之间。

一场选型对比真正让你付出的成本,是永远不出现在基准测试里的那部分:两套 SDK、两套密钥管理方案、两套需要权衡的速率限制。这就是为什么决策流水线中生成的那一半应该放在路由器后面,即使评分那一半不能这么做。起草候选答案、编写评分标准或生成待评分摘要的那次调用,正是你希望在一个下午内更换供应商的调用——一个端点、200 多个模型,供应商目录价按 0% 加价透传,以及供应商降级时的故障转移。把评分调用直接指向 Google 或 Nace,并让写作调用保持可移植。你无法路由的模型是便宜的那部分;你能路由的模型才是你会想更换的那个。

A screenshot of the Artificial Analysis Decision Index v2.1 methodology page, showing that AA-Paperclip carries 30% of the composite against 15% for each of EvalSafe-O*NET-AA, AA-Omniscience-Decision v1.1, HLE-MultiChoice v1.1 and AA-Symmetry v1.1 and 10% for When2Call, with AA-Paperclip described as 1,500 resumes, receipts, invoices and research papers each scored as one document decision.

如果你确实要在自己的标注数据上测试两者——你应该这么做,因为两家供应商都没有针对你的数据发布校准曲线——那就用同一组 200 份文档和同一套问题分别运行它们,并比较通过率,而不是指数。榜单上 Paperclip 的 30 个百分点差距是一个强先验。它不是对你文档的测量。