一张生成的对比卡片,标题为“Drex Max v1.1 对比 Liquid AI d1-ultra”,各行分别显示:决策指数 73.4 对 70.4,文档决策得分 72.8 对 64.7,弃权率 65.3% 对 88.6%,每任务耗时 275 毫秒 对 295 毫秒,每百万任务成本 102 美元 对 132 美元,页脚显示 Artificial Analysis Decision Index v2,2026年11月8日。
Guides & Insights

Drex Max v1.1 对比 Liquid AI d1-ultra:两个多模态评分器,以及一个不再成立的头条

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Liquid AI d1-ultra于 2026 年 10 月 15 日发布,发布时附带了一句当时站得住脚的话:它“在 Artificial Analysis Decision Index 上以至少 8 分的优势优于所有其他决策模型。”三周后,Artificial Analysis 用 v2 取代了该指数,用新数据重新给十七个模型评分,d1-ultra 以 70.4 位列第五——落后于 Drex Max v1.1(73.4)、GLiDE v1.2(72.8)、Mammoth 27B(72.4),以及以 0.03 分之差排在 70.5 的 Perplexity 的 Decider v1.2。八分的领先优势已不复存在,而且它从未在这个测评工具上测量过。

这就是本次比较的框架,而值得精确说明的是它意味着什么、不意味着什么。它并不意味着 {{1}}d1-ultra{{/1}} 变差了。它意味着排行榜在针对旧榜单作出的一项断言之下发生了变化,而这就是把排行榜名次当作模型固有属性来引用时的常见风险。这两者都是强大的多模态决策评分器。它们之间的差距也比任何一家厂商的营销宣传所暗示的更小,而且它们明显擅长不同的事情。

在两个模型一致的地方,也就是表面的大部分

严格来说,两者都是决策模型:你发送一个状态和带类型的问题,一次前向传播就会为每个选项返回一个概率,并且不会生成任何文本。两者都可以同时接收图像和文本。两者都回答同样的三种问题形式——在命名选项中选择一个、是/否,以及在量表上打分。两者都只对输入计费,输出不计费,因为根本没有输出。

• 模态 — Drex Max v1.1 可读取文本、截图、图表、表单、扫描文档、照片和视频帧,每次请求八张图像。d1-ultra 可读取文本、图像或两者;Liquid 的发布示例是一张电路板照片,并对照其规格进行检查。

• 每百万输入 token 的价格——Drex Max v1.1 在发布期间为 0.03 美元(较 0.06 美元标价打五折),d1-ultra 为 0.042 美元。Nace 目前更便宜,但折扣结束后可能不再如此。

• 图像计费 — {{KEEP}}Drex Max v1.1{{/KEEP}} 将图像 token 计入每个问题 131,072 token 的上限之内。d1-ultra 按每 32×32 像素块 1.5 token 计费,因此一张 1024×1024 的图像计为 1,536 token,并且每个问题都作为独立的提示词计费,其中包含所有图像。

• 上下文——Drex Max v1.1 每个问题为 131,072 个 token,整个打包请求为 262,144 个 token。Liquid 未公布可比的每问题窗口。

• 可用性——Drex Max v1.1 通过 Nace 的 API 和控制台销售;d1-ultra 通过 Liquid API 和控制台销售。两者均不在我们的路线列表中,本文任何内容都不构成我们对其可用性的声明。

d1-ultra 上那条按问题计费的规则,正是在文档规模下决定成本的关键细节,董事会对此进行了测量。Artificial Analysis 报告称,在一项包含十五个问题的文档任务中,Drex Max v1.1 的输入 token 约为 9,000,而那些按问题对输入重新计费的模型约为 63,000——并且 d1-ultra 的每任务成本为 $132,而 Drex 为 $102,接近两者标价之比,且略差。

电路板,逐个组件来看

综合差距为 2.9 分。各分项差距极不均衡,而且模式一致:Drex 在文档方面胜出,d1-ultra 在知识掌握和拒绝回答方面胜出。

Screenshot of the Artificial Analysis Decision Index v2 page, showing the leaderboard navigation and the board's stated definition - a composite index testing decision models across document decisions and extraction, tool calling, knowledge, reasoning and invariance, built from six evaluations including AA-Paperclip's 1,500 resumes, receipts and invoices.

• 决策指数 v2 — Drex Max v1.1 73.39,d1-ultra 70.45。

准确率指数——Drex Max v1.1 为 58.41,d1-ultra 为 54.94,即剔除校准组件后的得分。

• AA-Paperclip 文档决策得分 — Drex Max v1.1 72.82,d1-ultra 64.69。十五项全对率:63.0%,相较 51.3%。

• When2Call 工具调用 — Drex Max v1.1 95.26,d1-ultra 93.83。很接近,且两者都远高于 Jev 1.14 的 84.39。

• AA-Symmetry 复述一致性 — Drex Max v1.1 为 84.96,d1-ultra 为 77.81,7 个百分点的差距是该组中第二大的差异。

• AA-Omniscience-Decision — d1-ultra 64.39,Drex Max v1.1 60.27。这是唯一一个排序发生翻转的评估。

• HLE-MultiChoice — d1-ultra 47.39,Drex Max v1.1 46.61,但就原始准确率而言,d1-ultra 为 6.09%,Drex 为 8.25%。

• 弃答——对于无法回答的全知问题,d1-ultra 有 88.61% 选择弃答,Drex Max v1.1 为 65.28%,Microsoft-Decision-1 为 21.74%。

• 每项任务耗时——Drex Max v1.1 为 275 毫秒,d1-ultra 为 295 毫秒。

• 每 100 万个任务的成本 — Drex Max v1.1 为 102 美元,d1-ultra 为 132 美元。

把弃权(abstention)那一行读两遍,因为它解释了全知(omniscience)那一行,而且是整个榜单上最不直观的属性。d1-ultra 更高的全知决策得分主要并不是因为知识:它在那里的原始准确率是 28.0%,与 Drex Max v1.1 相同。它得分更高,是因为它说“我不知道”的次数多得多,而评分函数会为此给分。Mammoth 27B 和 Elephant 9B 出于同样的原因在对称性评估中领先——Artificial Analysis 明确表示,Baseten 的模型“在不同问题变体下始终以高置信度承认自己不知道答案。”

这些都不是该指标本身的缺陷。这是关于你所购买的东西是什么的说明。当一个问题没有得到回答比一个错误答案代价更低时,d1-ultra 就是应当选择的模型。当必须带回一个决策、并且低置信度的尾部交由人工处理时,Drex Max v1.1 就是应当选择的模型。

A generated scoreboard headed 'Two multimodal scorers, five uneven gaps', listing Drex Max v1.1 against Liquid AI d1-ultra on document decision score at 72.8 versus 64.7, paraphrase symmetry at 85.0 versus 77.8, tool calling at 95.3 versus 93.8, knowledge and abstention at 60.3 versus 64.4, and abstention on unanswerable items at 65.3 percent versus 88.6 percent.

Liquid 自身的评估衡量了什么,又没有衡量什么

Liquid 的发布文章在“112 项独特评估”中将 d1-ultra 与 d1 和 Jev 1.14 进行比较,并称其在每一项上都胜过 Jev,且在相同价格下具有更好的校准表现。那是在厂商选定的评测工具上、由厂商主导的比较,而且完全没有提及 Drex Max,后者并未出现在其中。八点指数这一说法是针对 Decision Index v1.0 提出的,该指数发布于 2026 年 10 月 13 日——比 d1-ultra 面世早两天——而该榜单从未列出 d1-ultra。

厂商确实提出了一个得到新榜单印证的说法:它专门训练 d1-ultra,使其不那么过度自信;而校准结果在 omniscience 上表现为 64.39,对比 Jev 的 60.14,并且在准确率相当的情况下综合得分比 Jev 高 2.0 分——这是真实的。在同一测试工具上,d1-ultra 的 70.45 对比 Jev 1.14 的 66.96,是相对于现有方案的真实提升,且为独立测量所得。

Screenshot of Liquid AI's d1-ultra announcement dated October 15, 2026, headed 'Introducing the World's Best Decision Model', describing the model as built for harder real-world cases such as spotting a defect on a circuit board against its spec or checking a damage claim against a customer photo, and stating availability on the Liquid API at $0.042 per million input tokens.

无法成立的说法是排名。在 v2 上,d1-ultra 在十七个模型中位列第五,而排在其前面的四个模型分差都在 3 分以内。前五名之间仅 3 分的差距并不是层级关系;这不过是由你的工作负载恰好更看重哪个组件所打破的平局。

到底要运行什么

两个模型都已托管,但都不在我们的目录中;要在二者之间做诚实的选择,正确方式是在你们自己的状态分布上做一场对比评测,而不是依赖任何一家厂商的测试套件。如果要跑,就跑董事会会扣分的那种东西:全有或全无的文档。一个模型即使单题正确率达到 97%、文档全对率达到 63%,也并不比文档全对率 51% 的模型好一倍;它的实际表现完全等同于十五个相互依赖的答案无一出错的概率,而你的流水线面对的正是这种情况。

路由器在这里改变的,并不是在这两者之间做选择——我们两者都不提供——而是围绕它们的流水线形态。两者都是评分器,位于某个负责写入的环节上游。写入步骤是一次通用模型调用,而正是在这一部分,一个端点支持 200+ 个模型、按提供商标价透传且不按 token 加价,并具备自动故障转移才真正为你省去一次集成,因为你路由到的模型会比评分器变化得更频繁。

如果你今天想找一个偏爱 Drex Max v1.1 的单一理由,那不是 2.9 分的综合得分,而是它更快、每项任务成本更低,并且当同一个问题用两种方式表述时,一致性高出七分——而一致性恰恰是在生产环境中悄然失效、而不是在基准测试中大声暴露的属性。如果你想找一个偏爱 d1-ultra 的单一理由,那就是它会拒答。两者都站得住脚。两家厂商的头条说法都站不住脚。