Kimi K3.1 Pro 将自身的网络能力削减了 9.5 分。另外两家实验室则选择了不同的做法。

Moonshot 在 10 月 24 日做了一件实验室通常不会做的事：它发布了一个比它本可以发布的模型更弱的模型，并公布了确切代价。在 xdev-bench-hard 的 pass@3 上，一个未采用公司网络风险削减措施训练的检查点得分为 90.5%。Kimi K3.1 Pro，也就是你可以调用的模型，得分为 81.0%。9.5 个百分点的差距，是将网络相关数据从中期训练和强化学习中移除所付出的代价；这也是今年三家前沿实验室中任何一家就其愿意拿什么来换取能力所作出的最明确表态。

如今每个主要实验室都有网络安全政策。它们的区别在于机制而非意图，而机制决定了你调用 API 时实际得到什么。Moonshot 从权重中减去该能力。Anthropic 将请求重定向到另一个模型。OpenAI 则在风险评级之后设置访问门槛。对于安全团队——或任何工作负载会触及攻击性工具的人——这三种方法会产生三种不同的意外。

Moonshot 移除了什么，又保留了什么

这份发布材料具体得非比寻常。与网络相关的数据已从中期训练和强化学习阶段中一并移除，而通用编程任务则被保留下来。该公司公开的原则是不发布会拓展网络能力绝对前沿的开放权重，并且它将该已发布模型在攻击性能力方面的表现描述为“按设计而言，低于我们流水线所能产出的水平”，并且落后于前沿专有模型至少三个月前就已公开提供的水平。

那项政策中有两个细节比标题数字更重要。

首先，这一降幅是相对于 Moonshot 自身的流程而言，而不是相对于市场而言。一个上限为 81.0% 的模型，在同一基准上仍大幅高于 Kimi K3 的 33.3%，也高于 GLM-5.3 的 57.1%。这一上限只是让前沿模型的名次下降，而不是把它移出该类别。

第二点是，Moonshot 表示将“逐步提高”开放权重中可用的网络能力。这是一份时间表，而不是一条固定界线：以当前上限为前提的评估，到下一次发布时可能不再成立；而自托管副本会继承其发布之日所存在的上限。

基准测试实际要求的是什么

Moonshot 的文档对这项评估的描述足够详细，足以据此作出判断。xdev-bench-hard 基于近期披露的软件漏洞构建，涉及 Linux 内核、Node.js、JavaScriptCore、Exim 和 VirGL，并启用了缓解措施。每项任务都会提供存在漏洞的源代码、简短的缺陷提示和编译后的二进制文件；智能体必须开发漏洞利用程序，在独立的沙箱中实现任意代码执行，并取出一个秘密字符串，以便自动验证结果。评分方式是在随机子集上计算 pass@3，不设硬性超时，也没有输出 token 限制。

这是一个要求高且范围狭窄的测试：它衡量的是模型能否将已知存在漏洞的二进制文件转化为可用的漏洞利用程序，而不是能否编写扫描器或对警报进行初筛。因此，未缓解的检查点与已发布模型之间 9.5 分的差距，是对真实能力差异的真实测量——也提醒我们，这个数字几乎说明不了大多数团队实际用该模型所做的防御工作。

Anthropic 的替代方案：保留能力，改变答案

Anthropic 对 Claude Opus 5.5 采用服务端路由方式。其文档称，大多数网络相关任务可能会被重新路由至 Claude Opus 4.8，而生物学和前沿模型开发工作可能会回退至 Claude Opus 5。调用方不会收到错误；响应只是来自不同的模型。最高能力层级 Claude Mythos 5.1 仅向通过 Cyber Verification Program 等项目验证的组织提供。

这种取舍与 Moonshot 的相反。前沿能力确实存在并且会被提供——面向已验证客户，以不同的模型 ID 提供——而未验证的调用者会静默收到较旧模型的回答。对于已验证组织内部的安全团队来说，这是三者中能力最强的选项。对于不在其中的人来说，它就是一个在恰恰最想要前沿能力的任务上悄悄用别的东西作答的模型。

OpenAI 的做法：在发布前先做决定

GPT-6 Astra 是 OpenAI 首个在该公司《预备性框架》下被评为“critical（临界）”级别的模型，因为它能够独立发现新型安全漏洞。其推出是分阶段进行的——先是早期访问合作伙伴，然后是各订阅层级，最后是 API——而风险最高的能力是依据评级而非提示词过滤来加以限制的。访问权限在账户层面就已决定，早于任何请求的发出。

这比静默重路由更干净，但比两种替代方案都慢。这也意味着，“我能否将这个模型用于我的安全工作”这个问题的答案可以事先得知，这对需要撰写采购文件的买家来说是有价值的。

这三种策略对评估有何影响

如果你在安全任务上对模型进行基准测试，这些机制会以不同方式扭曲测量结果，而且这些扭曲不会相互抵消。

• Moonshot 的上限就在权重之中。在 API 上运行的基准测试和在自托管副本上运行的基准测试应当一致，而且两者测量的都是一个在该类别上被刻意做得更差的模型。这个数字是诚实且可复现的。

Anthropic 的路由机制位于服务栈内部。同一个请求可能因是否触发安全防护而产生不同的质量，且供应商公布的基准测试数据未必反映你的账户实际获得的路由。我们自己关于 Opus 5.5 基准测试表的报道也从相反方向指出了同一问题：在包含服务器端安全防护路由的配置下，Artificial Analysis 对 Terminal-Bench 的独立测得值为 59.6%，而 Anthropic 为 66.4%。

• OpenAI 的准入把关在模型之外。一旦你获得访问权限，模型的表现就与基准测试结果一致；若未获得权限，你根本无法进行这项对比。

安全团队应该从中得到什么启示

三个切实的结论，按可信度从高到低排列。

首先，“网络能力”不再是你能够从模型卡上直接读出的属性。它取决于你收到的权重、你的账户所触发的路由，以及你所属的验证计划。任何未说明这三者的评估，测量的都是别的东西。

其次，如果你的工作是防御性的——分诊、补丁起草、检测工程——能力上限带来的代价并没有听起来那么大。这 9.5 分集中在对抗性、贴近漏洞利用的行为上；而模型的一般编码和工具使用能力，正是防御性工作主要需要的，也正是后训练阶段花时间改进的地方。Moonshot 报告称，在同一版本中，Kimi Code Bench 3.0 的长时程成绩从 55.95% 升至 61.2%。

第三，上限正在变化。Moonshot 表示将提高其上限；Anthropic 的验证项目正在扩大；OpenAI 的评级会因模型而异。10 月指导部署决策的政策到 1 月可能已经过时，因此每次模型升级时都应重新阅读访问文档，而不是把它当作一次性的关卡。

Kimi K3.1 Pro 可通过 OrcaRouter 调用，价格为每百万输入 token 2.00 美元、每百万输出 token 10.00 美元；其最终状态与其他所有地方相同：上限存在于权重之中，而不在于某个特定提供商如何处理你的请求。如果你的工作负载依赖于知道究竟是哪个模型实际作出了回答，那这是一个特性。如果它依赖于前沿模型的进攻性能力上限，那么市场上没有任何 API 能在没有验证方案的情况下把这种能力提供给你。