
Karpo Decision 31B 与 Kev 27B:文档更完善的模型反而输了 14 分
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百万 tokens · 184 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百万 tokens · 223 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 87 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 96 tok/s
- orca新Orca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百万 tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百万 tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百万 tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
这是一场罕见的对决:两个模型由同一批人使用同一套评测工具进行评分。Karpo Decision 31B 和 Kev 27B 都位列 Decision Index——这个社区排行榜为 TypeSafe 的 Jev 的开源复现进行评分——而两者之间的差距并不小:MachinePulse 的模型为 73.9 Full,Jared Palmer 的 Kev 27B 为 59.6,在相同的私有测试上相差十四分。Karpo 领跑该榜单。Kev 在 307 个中排名第 74。
这个结果之所以别扭,是因为 Kev 27B 在文档严谨性上以很大优势领先,而在决策模型真正被选用所依据的那一项特性——其概率的诚实性——上,它又明显优于那个胜过它的模型。这两种说法都来自同样的两个来源,而理解它们为何并不矛盾,是这次比较中最有用的部分。
在评分之前,每个模型是什么
Kev 27B 是Qwen3.8-27B的全权重微调版本,由 Jared Palmer 根据 Apache-2.0 发布。其第二版于 2026 年 9 月 30 日发布,是一个加权平均:每个骨干张量均为 0.85 × 微调权重加上 0.15 × 上一版本的权重,指针头则保留自新一轮运行。所服务的检查点由 25.6B 的骨干加上一个 260 万参数的头组成,bf16 下为 51.3 GB,头文件中内置了单一的校准温度 1.32。状态长度最高可达 65,536 个 token,每个问题至少 8,192 个,而且该数字是经过验证的,而非名义值——模型卡公布了从 8k 到 64k 的每个区间相对于 8k 基线的配对准确率差异,并附有置信区间。
Karpo Decision 31B 是Gemma 4 31B(指令微调版)的微调版本,由 MachinePulse 于 2026 年 11 月 5 日发布,同样采用 Apache-2.0 许可。它以 bf16 保留 31.3B 参数,外加一个 255 × 5,376 的 fp32 读出层——磁盘占用 62.5 GB——并通过基于选项代码的线性头而非基于 token 的指针头来作答。每个序列的上下文为 32,768 个 token;当请求溢出时按问题拆分;当单个问题无法容纳时,会直接拒绝而不是截断。
同样的任务,不同的工程实现。Kev 阅读一份长文档并生成一个分布。Karpo 阅读一份稍短的文档并生成一个分布,而且更快。
十四点,以及它们是如何产生的

这两行都来自同一块板,因此这一部分是为数不多的可以直接相减的合理情形之一。
• 总分——Karpo 73.9,Kev 59.6。
• 公共指数 — Karpo 75.05,Kev 56.69。
• 按 Full score 排名 — Karpo 第 1(与 GLiDE 27B 并列,73.4),Kev 在 307 个中排第 74。
• 知识与推理——Karpo 的机会校正技能为 65.5,Kev 为 45.7。
• 工具与自动化 — Karpo 88.4,Kev 72.7。
• 艺术与人类品味——Karpo 68.2,Kev 42.7。
• 延迟中位数,单 GPU,一次一个请求 — Karpo 94 毫秒,Kev 135 毫秒。
损失形态在每个类别中都是一致的,而最大的绝对差距出现在知识方面,接近二十个百分点。这正是任何计划使用 Kev 做文档决策的人都应该担心的一点:该模型在文档和开发者工具类工作上接受了大量训练——其 145,840 条训练记录中有 24,000 条来自授权任务族,另有 7,617 条是组装而成的长文档——但它仍然只达到 Karpo 知识技能的三分之二。
Kev 自己的卡片对发展趋势直言不讳。在其自家广度测试套件上对照 TypeSafe 的 Jev 进行测量,它报告指数为 52.3,置信区间为 [49.2, 55.4],而 Jev 为 54.0 [51.2, 57.0]——它直白地说明了这一落后,并未加以粉饰。一个连自己落败区间都公布的团队,其其他数字理应得到善意信任。正是这一点让 59.6 显得可信而非难堪。
朝相反方向运行的那个数字
转折就在这里。校准误差——即所述概率与观测到的命中率之间偏离多远——对 Kev 有利,而且优势并不小。
跟踪器记录到 Kev 27B 的期望校准误差为 2.18 点,而 Karpo Decision 31B 为 4.77 点。通俗地说:当 Kev 给出 0.8 时,它大约有 80% 的时候是对的,平均偏差为两点。当 Karpo 给出 0.8 时,平均偏差则接近五点。Kev 的模型卡从自身角度印证了这一点,公布了各面板 ECE 数值介于 0.014 和 0.053 之间,以及五折交叉验证将拟合误差从 4.8% 降至 3.8%。
回答能力更差的模型反而更清楚自己的回答有多好。这不是悖论,而是准确性与校准之间的区别,它决定了哪个模型该放在哪里:
• 如果决策是在某个阈值上自动做出的,那么校准就是起决定作用的属性。设在 0.9 的门槛若会在 Karpo 的 0.9 回答上触发,其出错频率大约会是同一门槛用于 Kev 时的两倍。Kev 较低的准确率会牺牲你的吞吐量——更多案例会落到阈值以下并进入审核——而其更好的校准意味着通过门槛的案例更安全。
• 如果决策会被审查或评分,准确率就占主导。人类或下游流程看到的是首选答案和概率,而十四个百分点的准确率就是十四个百分点的工作被正确完成。当没有人做阈值判断时,Kev 的校准优势毫无价值。

两个模型都提供相同的三种题型——choice(最多 255 个选项)、用于正误判断的 noul、用于有序评分量规的 score——并且都暴露一个形如 System One 的 HTTP 端点,因此在代码层面这个选择是可逆的。好消息是:你可以花一个下午在自己的数据上实测,而不是为此争论。
文档长度正是规格实际出现分歧的地方。
Karpo 的 32,768 个 token 上限是按序列计算的,拆分规则是“按问题拆分,每个部分都携带完整状态”。对于一份 20k token 合同上的 100 个问题,这只需一次处理,毫无波澜。对于一份 40k token 合同上的单个问题,请求会被拒绝——MachinePulse 自己那次运行中 140,178 个请求里有 9 个正是这样失败的。
Kev 可处理 65,536 个 token 的状态,并按桶进行验证;对于需要处理真实合同的人来说,其长文档面板是这张卡片上最有用的部分。在 CUAD 商业协议上,它在 2,194 个问题上报告了 0.874 的准确率,各桶数值从不足 8k 一直到 32k–64k 个 token 都保持在 0.867 到 0.880 之间。准确率不会随长度增加而骤降。发生变化的是校准:该长文档面板上的误差为 0.053,大约是其短文档数值的三倍。长状态正是 Kev 的置信度变得松散的地方。
所以,关于长度的诚实权衡是:Kev 会接受 Karpo 拒绝的文档,而它回答这份文档的可靠性会略低于回答短文档。两个模型都不会静默截断,这一点比任何一个数字都更重要——一个会悄悄丢掉你所问条款的决策模型,比一个直接说“不”的模型更糟。
部署、权重和许可证均共享
两个模型的权重和 head 均采用 Apache-2.0 许可,且都需要各自的加载器;若把它们当作聊天模型来用,两者都会严重失败。Kev 需要 80 GB 级 GPU——在 H200 上,64k token 的状态峰值达到 87.1 GB——或一台约 96 GB 的 Mac。Karpo 需要一块能容纳 62.5 GB bf16 权重的 GPU。两者的发布方都没有提供托管端点;Kev 由其自身仓库的服务器提供服务,Karpo 则由其自己的软件包提供。两者都吸引了社区量化版本,这通常是人们确实在运行它们、而非仅仅阅读相关资料的信号。
135 ms 与 94 ms 的差异是每个请求在并非完全相同的硬件上的差异,因此应将其视为方向性参考。并非方向性的是运行形态:Kev 对完整序列进行非因果注意力计算,随着状态变长,每个 token 的成本更高;而 Karpo 为每个请求计算一个共享状态,并将问题分支到该状态上。如果你的工作负载是针对短状态的许多问题,Karpo 正是为此而构建。如果是针对长文档的单个问题,则 Kev 合适。
该运行哪一个
如果你需要把一份 64k token 的协议交给模型处理,如果你想按概率设定阈值,并且在意这个阈值是否名副其实,如果你看重一个会公布自身损失置信区间的供应商,那就选 Kev 27B。你是在一个两个模型都参与竞争的榜单上接受大约十四个百分点的准确率损失,而你得到的是该领域关于这份准确率能覆盖什么、不能覆盖什么的最佳证据。
如果输入是截图、工单或页面——内容短、问题多、对延迟敏感——并且你看重的证据是榜单上的 Full 分数,那就选 Karpo Decision 31B。你要接受 5 个点的校准误差和 32k 的上限,换来的是当前以 94 毫秒领先的模型。
这两者都没有提供的是生产端点。如果决策层必须放在一道每次工具调用前都会触发的门控之后,那你要么自己运行其中一个,要么调用某个托管服务。TypeSafe 的 Jev 1.14 就在我们的目录中,正是为了这个角色,而且它正是两个检查点被构建出来所要追赶的模型——作为影子测试中的对照很有用,因为一个在第三方榜单上击败其目标的公开复现,也应该在你的流量上击败它。该目录还收录了两个基础模型 Gemma 4 31B 和 Qwen3.8-27B,通过一个 API,以供应商标价、无加价提供 200+ 个模型,这是在购买 GPU 之前判断决策层到底是否值得拥有的最便宜方式。
这场对决留下的悬而未决的问题,正是榜单无法回答的那个:Karpo 的十四分领先优势能否经受真实工作负载的考验,还是说这种领先源于它是在比竞争对手更接近私有测试集的分布上完成调优的。Kev 的模型卡把其训练数据配比记录到了记录条数这一层级;Karpo 的模型卡则没有。这种不对称本身不能证明任何事,而它正是应当实测、而不是信任任何一个数字的原因。

