Gemini Decision 1 对比 Kev：一次调用处理上千个问题，还是一份可重新训练的配方

Jared Palmer 的 Kev 系列在 Modal 上使用 H100 的机时训练成本约为 95 美元，再加上用于评估数据的大约三美分 API 调用费用，而整套配方都在仓库里。 Gemini Decision 1的成本相当于一家前沿实验室为其不愿描述的模型所花费的金额，而你花钱换来的是一个请求模式：一个端点，针对单个 262,144 token 的输入最多可提出 1,000 个带类型的问题，返回校准后的概率，零输出 token，每百万输入 token 0.10 美元。把 Kev放在它旁边，比较的其实并不是两个模型，而是一台批量评分设备和一件你可以拆开的小型机械装置。

这两个项目都没有公布任何可供对方评分的数字，这是首先应该说的一句实话。Google 在发布 Gemini Decision 1 时没有附带基准测试表；本文中的每一个性能数字都来自 Artificial Analysis，该机构在 Decision Index v2.1 上给该模型打了 66 分。Kev 根本没有出现在那个榜单上。Kev 转而公布的是一个测试框架、一个锁定测试集及其自身的错误率，而这些都无法从任何其他数值中减去。

Gemini Decision 1 能做到而 Kev 做不到的事

从能力差距说起，因为它决定的是架构而非分数。Gemini Decision 1 在一次前向传播中，针对一个共享输入评估最多 1,000 个独立问题。这些问题彼此不可见，增加或删除一个问题不会改变其他问题，并且共享输入只计费一次。

最后那条才是产品所在。一张支持工单对照四十条策略规则进行核查，就是一次请求、一次工单读取、四十个经过校准的答案。在逐问题模型上——Kev 就是这种模型，因为其头部会在一行内给每个选项针对问题打分——同样的四十次核查就是对状态进行四十遍遍历，无论你是否批处理。Kev 自己的服务数据让成本变得具体：在 H100 上，对短状态处理六个问题耗时 18.1 毫秒，缓存后为 12.9 毫秒，常驻内存 14.3 GB。是六个问题，不是一千个。

输入接口的差异也遵循同样的方式：

• 模态 — Gemini Decision 1 可读取文本、图像、视频、音频和 PDF；Kev 仅可读取文本。通话录音或扫描表单对 Kev 而言是预处理问题，对 Gemini Decision 1 则是原生输入。

• 上下文 — Gemini Decision 1 在输入和问题中总共支持 262,144 个 token；Kev 最多提供 65,536 个，每个问题至少 8,192 个，但最多只验证 8,192 个，其卡片上也注明了这一点。

• 弃权 —— Gemini Decision 1 返回限定在 0.01–0.99 之间的概率，并带有置信度字段，因此无需单独的选项就能看出低置信度的回答。Kev 会对你提供的选项返回 softmax，这意味着弃权就是你指定的任意选项再加上你设置的阈值。

• 权重 — Gemini Decision 1 无；Gemini Developer API 上 v1beta 的托管端点，免费层级为每分钟 200 次请求、每天 10,000 次。Kev 采用 Apache-2.0，在冻结的 Qwen3.5 基座上使用 rank-16 LoRA 适配器和指针头，提供 0.8B、4B 和 9B 三种规模。

Kev 能做到而 Gemini Decision 1 做不到的事

Kev 让你可以更换模型。不是换个提示词而已——而是用你自己的标注重新训练决策行为，花费之低，可以直接报进费用报销单。

这种构造刻意保持轻量：一个冻结的 Qwen3.5 基座、一个约 3380 万可训练参数的 rank-16 适配器，以及一个小型指针头，它会把每个选项的结尾 token 与问题的最后一个 token 进行评分比对。由于基座保持冻结，新增一个决策领域的边际成本是适配器级别的，而不是基础模型级别的。你可以在内存中保留一个基座，并按领域切换适配器，这是一种没有任何托管端点能够表达的部署形态。

Kev 发布的关于自身的内容具体到足以让人与之争辩，而这比它本该有的情况更罕见：

• Transfer-v4，锁定为域外 — 准确率 0.838，Brier 0.224，ECE 0.017。

• Breadth-v1，14 个留出数据集，3,089 个问题——准确率 0.690，ECE 0.029。

• Documents-v1 — 0.903。Hard-v1 — 0.803。含十个选项的 MMLU-Pro — 0.565。

• 日期运算 — 按天精度为 0.65，作者称其为最薄弱的领域，并提供了一个预处理器标志作为部分修复方案，且未声称重新测量过。

这些是作者在自己的测试框架上自行测得的测量结果，而且模型卡上写着校准只使用了一个分布内温度，因此覆盖率在域外会下降，选项顺序也可能让答案翻转。这是可信的自我评估，而不是经过审计的结果。但它仍然是一个你今晚就能尝试复现的评测量表，而在这一类别中，大多数厂商给出的数字可做不到这一点。

为什么桌上的两个数字永远不相遇

人们很容易把 Kev 的 0.838 迁移准确率与 Gemini Decision 1 的 66 摆在一起，然后宣布胜者。请克制这种冲动，原因有三。

这些工具衡量的东西并不相同。Decision Index 的评分方式是准确率减去针对答案所附置信度的 Brier 惩罚，并在六项评估上汇总，其中 45% 建立在私有数据之上。Kev 的 transfer-v4 数值是作者构建的锁定集上的纯准确率，Brier 和 ECE 是并列报告，而不是并入主分数。

任务组合并不相同。该指数中占比最大的组成部分 AA-Paperclip（占 30%）是每份文档十五道全有或全无的答案——Kev 的 documents-v1 测试近似于这种形态，但并未完全复现。

而且分母也不同。指数得分是一个加权综合指标，其中弃权会得到奖励；准确率则是最高概率选项正确的题目所占的比例。一个模型可能在一个指标上胜过另一个，却在另一个指标上落后，而两者都没有错。

所以，站得住脚的说法很有限：Gemini Decision 1 在托管决策模型中处于中游，得分 66，在十八个模型中排第九；它在知识组件上排名第一，文档全有或全无的通过率为 33%；Kev 是一个 4B 级适配器，其作者报告称它在域内校准方面表现强劲，但日期运算能力较弱。任何告诉你其中一个更好的人，都是在做外推。

实际运行每一个需要多少成本

Gemini Decision 1 的经济账很容易计算，但在大规模使用时却很难让人满意。按每百万输入 token 0.10 美元计算，Artificial Analysis 测得每百万任务成本为 345 美元——在排行榜上半区中是最贵的模型，而且不支持上下文缓存、Batch API，也不支持 Flex 或 Priority 推理。重复的共享输入在每次请求时都会按完整用量计入。每晚扫描一百万张工单，就会把策略文档重新读取一百万次。

Kev 的成本结构正好相反：一旦 GPU 成本收回，每次调用几乎免费，真正的成本在于你花在构建标签、训练适配器并验证它们上的那些小时。Palmer 的约 95 美元这个数字只覆盖训练运行，不包括标注。如果你的路由规则与通用评判器的规则不同——而它们确实不同——那么这笔标注成本为你换来的，正是任何托管决策模型都不出售的东西：一个编码你的策略、而非近似你的策略的评分器。

还有第三项成本，它比价格更能决定项目成败：迭代速度。Gemini Decision 1 的限制有文档记录且固定，因此要改变行为，只需重写提示词并重新运行评估集。Kev 的方案是重新训练适配器，计算成本低，但流程成本不低。对于只有一个领域且流量高的团队，重新训练是划算的。对于有十二个领域且没有机器学习工程师的团队，即使每百万任务 345 美元，托管端点也能在工程工时上胜出。

如果围绕决策的流程才是你真正投入的地方

OrcaRouter 不提供这两个模型。Kev 是您自行运行的 Apache-2.0 权重，而 Gemini Decision 1 是 Google 自有 API 上仅提供概率的端点——两者都不是 chat-completions 目标，我们也不会假装不是。我们目录中的决策模型是 TypeSafe 的 typesafe/jev-1.14，在同一榜单上为 66.23，适合希望使用与其他所有服务相同的密钥发起评分调用的团队。

我们专为流水线中决策上游的那一半而构建：生成候选答案、编写评分细则、在工单被评分前对其进行摘要。这个调用是你最常更换模型的地方，也是第二份供应商合同成本最高的地方，而且它通过一个接入了 200 多个模型的单一端点运行，供应商列表价按 0% 加价透传，并且供应商性能下降时自动故障转移。如果你正在权衡 Kev 与托管评分器，请把起草那一半交给我们，并让评分决策保持可逆——这样你今天关于一个 $95 适配器做出的选择，日后就不会变成一次迁移。

两个决定之间的决定

当决策是一个输入对应许多规则时，当输入是音频、视频或 PDF 时，当在一次计费通过中进行上千次检查会改变你的成本模型时，以及当你愿意信任一个并非由你拟合的校准时，选择 Gemini Decision 1。接受这一点：你是在以前沿实验室的输入定价、且没有批量折扣的方式购买一个黑盒。

当决策只涉及一个输入和几个键入的问题时，当文本足够短、可在 8,192 个 token 内完成验证时，当你的策略足够具体、以致通用评判器难以准确近似时，以及当拥有产物比拥有端点更重要时，选择 Kev。请接受：你现在要负责卡片所提醒的校准、日期运算和选项顺序敏感性。

这种对比最不该做的事，就是弄出一张排行榜。这里既没有共同的测评工具，也没有共享的任务集，更没有第三方对其中任何一个数字的复现。你这周能做的是，把自己标注好的 200 个条目分别跑一遍这两个对象，再比较通过率和置信度曲线——这不过是一个上午的工作量，但它告诉你的东西会比下一次排行榜修订更多。