SubQ Snap 1.1 凭借学会弃权，在决策指数上并列第一

最新位居 Artificial Analysis Decision Index v1.0 榜首的模型，并不是答对最多题的那个。SubQ Snap 1.1 由 Subquadratic 于 2026 年 10 月 22 日发布，得分 65，与 d1-ultra 和 Elephant 9B 并列第一。Jev 1.14 以 57 分位列。细读该指数下方的细则便会发现，并列的原因根本不是原始准确率：Artificial Analysis 的说明称，Snap 1.1 的准确率为 20%，而 d1-ultra 为 32%，Elephant 9B 为 12%。Snap 1.1 比这两者做得更好的地方，是拒绝作答。

这是一个真实的工程成果，而不是基准测试的把戏，但它改变了应该关注它的人群。决策模型不是聊天模型。它接收一份文档和一组固定的允许答案——路由到这个队列或那个队列、调用这个工具或拒绝、是或否或升级——并返回一个附带校准概率的选择。自预览版在十天前发布以来，Subquadratic 的卖点一直是：这种工作负载值得拥有自己的架构，而不是让通用 LLM 消耗输出 token 来生成“refund”这个词。Version 1.1 是首个让校准声明具体到足以核查的版本。

Snap 1.0 和 1.1 之间究竟改了什么？

这是一次后训练发布，而不是一个新模型。Subquadratic Sparse Attention 主干、384K token 窗口，以及文本加图像的输入路径，都与 10 月 12 日上线、每百万输入 token 收费 0.05 美元的 Snap 1.0 保持一致。变化在于模型不确定时的行为方式：厂商称，1.1 增加了显式的不确定性校准，并将多步推理蒸馏进单次前向传播，而不是先生成思维链、再给出最终答案。

Subquadratic 针对这一变化报告的数字异常具体，这既是一件好事，也值得仔细审视。在留出概率基准上，期望校准误差从 0.108 降至 0.014。对无法回答的问题，自信错误从 600 个中的 294 个降至 600 个中的 57 个——这正是发布报道反复引用的 81% 降幅。在分布外输入上，过度自信的幻觉从 99.3% 降至 12.5%。与贝叶斯最优决策规则的一致率从 83% 升至 90%。在供应商的 16 项基准企业套件上，1.1 平均比 Jev 1.14 高 7.2 分，95% 置信区间为 6.5 至 7.8，胜 12 场、平 3 场、负 1 场，并平均比 Snap 1.0 高 5.5 分。

所有这些都是供应商报告的数据。Subquadratic 之外还没有人公布过 1.1 的运行结果；现有的独立仓库测试的是预览版模型，下文会进一步讨论。

一个准确率为20%的模型如何并列第一

决策指数并不孤立地评估准确率。它评估的是不确定性下决策的结果，这意味着模型对无法回答的问题选择弃答，比自信地猜测更有价值——更远远比自信地猜错更有价值。Artificial Analysis 报告 Snap 1.1 的非幻觉率为 86%，即它在无法正确回答的问题上表示“我不知道”的频率为 86%。Elephant 9B 更高，为 93%，d1-ultra 略低，为 85%。Snap 1.1 的 20% 准确率在三者中居中，而其指数得分与两者完全相同。

这种取舍是否合适，完全取决于错误答案会在下游给你带来多大代价。在工单路由场景中，一次自信的误路由会把账单投诉送进工程团队队列，让客户等上两天；而一次弃答则会把它转到一个只需三十秒的人工分诊环节。在无人参与的大批量内容分类任务中，弃答不过是一行未标注数据，真正重要的是准确率数字。这个指数是在告诉你，Snap 1.1 是为第一种场景打造的。它并不是在说它是你能买到的最准确的分类器，因为它并不是。

降价，以及无人提及的分母

1.1 中的另一项变化是价格：每百万输入 token 0.04 美元，较预览版的 0.05 美元下降 20%，而输出 token 免费。后半部分才是重塑账单的关键。基于生成式模型构建的分类器需要为答案付费——答案通常很短，但推理模型可能会花费数百个 token 来决定要输出什么。Snap 没有需要付费的输出，因此一次读取 100K token 的调用成本约为 0.4 美分，除此之外没有其他费用。

Artificial Analysis 对同一个数字按任务而非按 token 来呈现：Snap 1.1 大约每百万个任务 30 美元，而 d1-ultra 为 32 美元，Elephant 9B 为 8.4 美元。每任务数字才是有用的那个，它也提醒我们，按 token 的标价并不是把决策模型与其他任何东西进行比较的好方法。账单会随输入长度而缩放，因此一次 4K token 的路由调用和一次 300K token 的合同审查会落在完全不同的成本区间，即便费率相同。

供应商的数据无法说明的问题

发布帖之外，有两点值得分开来看。第一点是怀疑态度。社区对 Subquadratic 发布的报道——包括以“AI 全能选手”流传的 BlockBeats 报道——一直质疑其声称中有多少可以独立复现，而且该模型没有开放权重，因此外部人士没有可供运行的检查点。第二点是，确实存在的独立测试针对的是预览版，而不是 1.1。jcarlosrodicio 进行的一项可复现比较发现，在 30K token 以下，Snap 略逊于 Jev（93.9% 对 94.7%），而在 360K token 日志上则明显落后（在 Jev 分块处理的情况下，Snap 为 58.8%，Jev 为 77.1%）。另一项名为 snap-vs-jev-swe 的软件工程基准测试发现，Snap 在 SWE-bench Verified 文件定位任务上达到 87.5%，而随机基线为 10.6%；当选项顺序反转时，测得 5.0% 的题目出现答案翻转。

1.1 并不与这些结果相矛盾——校准工作正是那种会改变这些结果的改动——但它们也不能作为支持 1.1 的证据。已公布的数据中还存在一处小的内部不一致：发布报道引用 When2Call 的得分为 96.2，而 Subquadratic 自己对同一基准所做的经机会校正的多选题变体读数却是 91.0。在不同任务格式下，两者都可能成立；买家在将 96.2 与竞争对手的数字进行比较时，应当知道自己手里的是哪个变体。

它在哪里断裂

厂商自家 16 项基准测试套件中的失分栏很能说明问题。钓鱼检测数据集 PhishNChips 落后 Jev 1.14 达 22 个百分点，Subquadratic 将其归因于阈值校准，而非排序质量——ROC-AUC 大致持平，分别为 0.91 和 0.92。对于愿意调整阈值的团队来说，这是可以解决的问题；而对于想要开箱即用的团队来说，则是无法解决的问题。在五个子领域中，知识与推理是唯一一个 Jev 明显领先的子领域，得分为 55.1 对 50.9。Snap 1.1 在答案集明确且证据就在文档中的场景下表现最强：工具与自动化（85.3 对 74.6）、检索与分类（67.0 对 63.1）、语言理解（71.6 对 63.3）。

谁该动，谁该等

如果你的决策是在长文档上做出的路由、工具选择、升级或相关性判断，并且一个自信的错误答案比一次升级代价更高，那就迁移。384K 窗口是运营层面的原因：对完整合同、工单线程或日志包进行一次处理，无需构建分块层，也无需维护同步的检索管道。已经在运行预览版的团队理由最充分，因为价格下降了，校准也改善了，而无需更改 API。

如果你需要生成文本，如果基准测试问题组合上 20% 的准确率低于你的底线，或者如果你需要在热路径中实现低于 100ms 的延迟，那就再等等——Subquadratic 没有公布 1.1 的延迟数据，而第三方对预览版的测量显示，一次 8K token 调用大约需要 0.75 秒。如果你需要自托管，也请再等等：没有权重可用。

关于它在技术栈中的位置，有一点实用说明。SubQ Snap 1.1 通过 Subquadratic 自有 API 和控制台提供；它不在 OrcaRouter 的产品目录中，我们也不会假装它在。我们承载的是决策背后的那一层：当 Snap 将一次调用解析为“使用某个模型”时，该模型是 可通过 OrcaRouter 的单一密钥访问的 200+ 个模型之一，按提供商目录价、0% 加价，并在提供商之间自动故障转移。决策层和执行层会独立发生故障，因此值得避免让两者都依赖同一家供应商。

真正悬而未决的问题不是 1.1 的校准数值是否真实——它们具体到足以被核查——而是它们能否在另一套评测框架下依然成立。在公开的 Snap 基准测试中，提示词措辞使准确率变化了 11 到 14 个百分点，超过该指数上任意两个模型之间的差距。若一项校准改进只在厂商自己的提示词模板下成立，那它的意义就会比发布所暗示的小得多。