
Liquid AI d1.2-ultra 以 75 分登上 Decision Index 榜首——却在其六项测试中的一项排名垫底
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 90 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 97 tok/s
- orca新Orca: OrcaC2 1.02026-11-0717 tok/s
- Orca新OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 87 tok/s
- Orca新OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 133 tok/s
- Orca新OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 每百万 tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 126 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 147 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百万 tokens · 123 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百万 tokens · 219 tok/s
Liquid AI d1.2-ultra 是这一类别中首个被其开发公司之外的机构列为第一的模型。Artificial Analysis 在 Decision Index v2.1 上给它打了 75 分,将这个分数印在该模型自己的榜单页面上,并在 24 个决策模型中将其排名第一——领先 Nace.AI 的 Drex Max v1.1(73 分)2.2 分。同一发布中较小的 Liquid AI d1.2 以 69 分位列第九。两者均于 2026 年 11 月 16 日发布,这使此次成为 Liquid AI 首次在发布时,其榜首主张伴随一个已经收录该模型的独立榜单出现,而不是厂商给出一个指向早于该模型的榜单的数字。
同一榜单还将 d1.2-ultra 在 HLE-MultiChoice 上列为这 24 个模型中的最后一名,原始准确率为 2.36%。这两种说法同时成立,由同一机构在同一天用同一评测工具测得,而它们之间的差距才是本次发布中最有用的东西。
为什么这个排行榜上的主张是另一类主张
10月,Liquid AI 发布了 d1-ultra,并声称其在 Decision Index v1.0 上排名第一,而该榜单在该模型问世前两天才发布。没人能核实这一点,因为该模型并不在榜单上。这里的情况并非如此。Artificial Analysis 亲自在自己的硬件上、通过自己的测试框架运行了 d1.2-ultra,结果是一行排名记录,附有六项分项得分和一条校准曲线。当 Liquid 说“在该指数上最高,并领先此前最佳决策模型两分”时,该指数和此前最佳模型都是公开的,且两者说法一致。
版本 2.1 是六项评估的加权平均值,且权重并非平均分配。AA-Paperclip 占 30%:1,500 份私有文档——简历、收据、发票、研究论文——每份包含五项决策和十个事实,按一份文档计分,只有全部十五个答案都正确时该文档才计入。EvalSafe-O*NET-AA、AA-Omniscience-Decision v1.1、HLE-MultiChoice v1.1 和 AA-Symmetry v1.1 各占 15%。NVIDIA 的工具调用集 When2Call 占 10%。每道题的得分为 50 × (1 + c − (p − c)²),其中 c 表示所选答案是否正确,p 是模型对该答案给出的概率;汇总后为 50 × (1 + 准确率 − Brier 分数)。一个自信的错误比一个犹豫的错误代价更高;一个给出 0.6 且答对的模型,得分高于给出 0.99 且答对的模型。
75 是从哪里来的

拆开来看,第一名由两项评估支撑,并由第三项评估守住。其余的表现平平或更差,这一点值得了解——在有人把综合评分当作对模型的描述之前。
• AA-Paperclip 占该指数的 30%——d1.2-ultra 在决策得分上取得 75.81,67.7% 的文档完全正确,两项均在 24 个中位列第一。Drex Max v1.1 以 72.82 和 63.0% 位居第二,SubQ Snap 1.2 以 71.58 排名第三。它所取代的模型 Liquid AI d1-ultra 则为 64.69 和 51.3%。
• When2Call,10% —— d1.2-ultra 以 96.49 排名第一,领先于 96.10 的 SubQ Snap 1.2 和 96.09 的 d1.2。工具调用原本就是该领域最强的一项;此处前十名的分差为 1.5 分。
• AA-Symmetry,15%——以 86.34 位列第二,落后于 Mammoth 27B 的 88.25。在更严格的 all-pass 指标上,情况有所不同:Mammoth 在 68.3% 的问题上能在不同改写之间保持相同答案,Elephant 9B 为 65.8%,d1.2-ultra 为 56.7%。得分第二并不等于一致性第二。
• EvalSafe-O*NET-AA,15%——以 89.53 位列第三,落后于 Jev 1.14的 91.14。这是竞争对手模型仍然领先的唯一一个组件,而且差距不足以被称为噪声。
• AA-Omniscience-Decision v1.1,15%——60.80,处于中游,低于 d1-ultra 所得的 64.39。
• HLE-MultiChoice v1.1,15%——决策得分为 46.36,但原始准确率仅为 2.36%,是全部 24 个中最低的。这一差距并不矛盾;这正是校准良好的模型在几乎拒绝回答所有问题时的表现。它在同一数据集上的非幻觉率为 76.1%,意味着每四次中有三次它正确表示自己不知道,而不是进行猜测。
在所有六项指标之下作为头条指标的 AA 单独准确率指数得分中,d1.2-ultra 以 61.6 位居第一,领先于得分 59.4 的 GLiDE v1.2 和得分 58.2 的 Drex Max v1.1。其 0.150 的 Brier 分数在 24 个中最佳。该模型获胜并非仅仅因为它在校准上表现好而没有其他优势;它是在文档和校准两方面共同取胜,而这正是该指数旨在奖励的组合。
反向的那个得分
本次发布有一种解读看起来像全面碾压,而 HLE-MultiChoice 这一行正是反驳它的地方。在 Humanity's Last Exam 多项选择题上,2⅓% 的原始准确率不是舍入误差,也不能用弃答选项来解释过去:模型可以选择不答,而且它确实会不答,而这种弃答被计为诚实,而不是知识。Decider v1.3 在相同问题中答对 15.32%。Drex Max v1.1 答对 8.25%。同一发布中的廉价模型 Liquid AI d1.2 答对 5.30%。
最后那项对比才奇怪。在知识密集型评测中,更小、更便宜的模型并不是更弱的那个。d1.2 在 AA-Omniscience-Decision 问题上答对 30.0%,而 d1.2-ultra 为 23.6%;在 HLE 上为 5.30%,而后者为 2.36%。d1.2-ultra 用每百万 token 多花的两美分换来的不是知识,而是文档处理、对称性和校准——也就是任务中偏运营的那一半。如果你的工作负载是从扫描发票中提取信息,这笔取舍显然是对的。如果是回答关于世界的难题,同一家族中更便宜的模型可测量地更好,而发布帖对此只字未提。
未在标题中提及的计费变更
Liquid 的帖子中最具影响的句子是一条计费规则,而不是一项基准测试。在 d1-ultra 下,每个问题都被作为独立提示计费,并包含所有附带的图像,因此针对一张照片问十个问题,就要为这张照片付费十次。在 d1.2 和 d1.2-ultra 下,请求对其文本和图片只计费一次,而每个额外问题只增加其自身文本的费用。
一份包含一张 1024×1024 图像的 2,000 token 文档,按每 32×32 像素块 1.5 token 的既定费率计算,该图像计为 1,536 token;再加上十个简短问题,每个约 30 token。按旧规则,这次请求约计 35,700 token;按新规则,约计 3,840 token。按每百万输入 token 0.042 美元计算,这大约是每次请求 0.0015 美元,对比 0.00016 美元——在标价相同、工作内容相同的情况下便宜了九倍多一点。每月 100,000 次请求时,差额约为 150 美元对 16 美元。这两个数字都是根据供应商自己的计费说明算出的算术结果,并非实测。
第二项发生变化的是上下文窗口。Artificial Analysis 列出两款 d1.2 模型均为 66k tokens,而 d1-ultra 为 33k。Liquid 的帖子完全没有说明窗口大小,因此 66k 这个数字是该榜单的解读,而非厂商规格,而且它仍是上一代的两倍。对于一个全部工作就是接收状态的模型来说,这比四个指数点带来的实际变化更大。
五种新的答案类型,以及音频
这些能力是增量式新增,而不是重构:同一个端点、同样的请求结构、五种新答案类型和一种新的输入模态。现在,一个问题可以要求返回从页面上读取出的值——数字、日期、名称——并附带读取该值所依据的字符;如果该值不存在,则返回“未找到”。它可以要求返回给定类型的每个 span 及其位置,这就是 PII 场景。它可以要求返回围绕单个对象的框,或返回围绕每个实例的框并附带计数。它可以要求返回附带范围的估计值。它还可以要求返回每个适用选项,且每个选项都有自己的概率。
音频是另一项新增功能,并且双向都能工作:录音既可以是问题所涉及的对象,也可以就是问题本身。Liquid 报告称,在留出录音上,无论是回答“听到的是哪种声音”(来自 ESC-50),还是回答“说的是哪种语言”(来自涵盖 43 种语言的 FLEURS),两个模型对这类问题的正确回答率都达到 95% 到 97%;每题有三到六个选项,其中还混有西班牙语和葡萄牙语这类容易混淆的选项。
五个新任务的准确率数字来自内部测试集,这些测试集由公开数据集的留出划分构建而成;厂商也明确说明了这一点,因为目前还没有公开基准覆盖这些任务。请把它们理解为厂商自己的评估:在 CORD 和 SROIE 上从收据中读取一个数值分别为 98% 和 96%;在 Nemotron PII 上针对 PII 片段的精确率/召回率为 94%/93%,对比 92%/88%;在 RefCOCO 系列上的对象定位两者均为 94%;在 COCO 上计数误差在一个以内的准确率分别为 93% 和 92%;在选出所有存在的对象上为 87% 对 90%——这是廉价模型唯一胜出的一行。
核查款项索赔

Liquid 的定价说法异常容易核查:“没有模型能花更少的钱获得高于 d1.2 的得分,也没有模型能在任何价格下得分高于 d1.2-ultra。”这两半在与榜单对照后都站得住脚。在这个包含 24 个模型的指数上,根本没有任何模型的得分高于 74.85,所以后半句显然成立。至于前半句,d1.2 的得分为 68.69,价格为每百万任务 63 美元;每个得分高于它的模型都更贵,而最接近的低价挑战者是 Decider v1.3,得分 70.41,价格 68 美元。这一说法成立,而且它依据的是别人的数据,而不是 Liquid 自己的数据;这种情况比应有的更少见。
成本数据本身来自 Artificial Analysis,该机构按当前标价运行每项评估并取平均值:d1.2-ultra 为每百万个任务 133 美元,在 24 个中排名第 11,同类中位数为 135 美元;d1.2 为 63 美元,第三便宜。每项任务耗时方面,大模型为 218 毫秒,小模型为 150 毫秒,同类中位数为 209 毫秒——旗舰模型略慢于平均水平,便宜模型则明显更快,而两者都比同一榜单上每项任务耗时 11 秒和 32 秒的生成式模型快一个数量级。
在哪里调用它,以及针对什么运行它
这两款模型今天已在 Liquid 自有 API 上线,地址为 api.liquid.ai/decisions/v1/systemone,分别以 d1.2-ultra 和 d1.2 的名称调用,密钥可从 Liquid 控制台获取,且两者均已在 Liquid playground 中提供。Liquid 的公告称还将登陆更多第三方平台;截至本文撰写时,供应商自有 API 是唯一已存在的接入途径。这两款模型均未收录于我们的目录,本文也不构成对其中任一模型可用性的声明。
我们目录中展示的是Jev 1.14,该模型在 d1.2-ultra 未能领先的那一个组成部分上领先——EvalSafe-O*NET-AA,以 91.14 对 89.53——并通过相同的systemone端点形态提供,输入文本并输出结构化 JSON,价格为每百万输入 token 0.042 美元。这种巧合很有用:评估此版本的团队可以将新模型和现有模型放在相同的状态上,而无需第二份合同或第二个客户端库,因为一个 API 支持 200+ 模型已经同时支持这两种形态。标价按 0% 加价直通,因此如果 Liquid 调整 0.042 美元,这里的数字会随之变动,而不是滞后变动,并且自动故障转移意味着一个刚上线一天的模型可以承担真实工作负载的一部分,而无需被完全信任去承担全部负载。

从数据而不是定价页面得出的建议是:对它进行影子运行。d1.2-ultra 在文档任务上排名第一,在校准上排名第一,这对抽取流水线来说确实是一组很强的优势;但它在高难度知识问题上排名垫底,这是实实在在的局限,而不是可有可无的脚注。把流水线实际会遇到的状态交给它,比较概率而不是 top-1 选择,并特别关注它给出 0.8 却答错的情况,因为正是在这个尾部,该模型 10 月的前代版本表现很差,而改进究竟是否出现,也取决于这里。
悬而未决的问题不是 75 是否属实——Artificial Analysis 测量了它并公布了各组成部分。问题在于,一项对 1,500 份私有文档进行、权重为 30% 的文档评估,是否能泛化到你的文档。这个问题只有你自己的标注样本才能回答,而且值得在计费变更诱使你每份文档问十个问题而不是一个之前就回答。
