Kimi K3.1 Pro 基准测试：每项得分、由谁产出，以及表格中仍空白之处

Kimi K3.1 Pro 发布中最有用的数字，并不在月之暗面自己的图表上。Artificial Analysis 不引用厂商表格，而是运行自己的评估；它在其 Intelligence Index 上测得 Kimi K3.1 Pro 为 55 分——在同级 215 个模型中排名第四，比 GPT-6 Astra 的 53 分高两分，比 Claude Opus 5.5 的 58 分低三分。月之暗面的发布材料讲述了一个不同且更有利的故事：Terminal-Bench 4.0 上达到 65.7%，比其归因于 Astra 的 58.2% 领先 7.5 个百分点。两个数字都是真实的，也都是诚实地产生的，但它们对谁领先存在分歧。在将工作负载迁移到这个模型之前，这种分歧正是值得理解的事情。

以下是 Kimi K3.1 Pro 的每一项已公布数据，每一行都附有来源和设置，表格中空白处也都有说明。本博客对 Anthropic 和 OpenAI 的模型也采用同样的处理方式，原因也相同：基准测试表既是对模型的声明，也同样是对评测框架的声明。

独立编号，第一

Artificial Analysis 在其指数的 4.3.2 版上评估了该模型，该指数将十项评估汇总为一个数字。对买家而言，真正重要的四个数字如下：

• 智能指数——55，在 215 个模型中排名第 4。作为参考，其所在类别的中位数为 27；在同一版本的指数中，GPT-6 Astra (Max) 得分为 53，而 Claude Opus 5.5 得分为 58。

• 每项任务成本——每项 Intelligence Index 任务 2.11 美元，成本排名在 113 个中位列第 85。GPT-6 Astra 的同等成本为 3.26 美元。这个数字把每 token 价格转化为工作负载成本，而该模型较低的 token 价格有一部分又被其冗长性消耗回去。

• 冗长程度——索引运行期间生成了 1.5 亿个输出 token，而中位数为 8700 万。评估者称该模型“{{1}}非常啰嗦{{/1}}”，而这直接关系到成本：输出是该模型自身价目表上最昂贵的一项，价格为每百万 token 10 美元。

• 速度——在评估方的提供商上为每秒 73.5 个输出 token，低于 82 的平均值。在我们自己的路由上，首个 token 的中位时间为 7.15 秒，而正是这个数字决定了模型在交互式编码会话中的体感。

那个页面上有一处标注值得注意：{{1}}Artificial Analysis{{/1}}将 {{2}}Kimi K3.1 Pro{{/2}} 列为专有模型，因为截至 10 月 24 日，权重虽已承诺开放但尚未发布。如果 {{3}}Moonshot{{/3}} 按计划推进，这一分类应在 11 月 4 日前发生改变。

供应商表，逐行列出，并附带相应设置

Moonshot 在发布的同时公布了一份内容广泛的自家评测表，并在其中几处将 Kimi K3.1 Pro 与 Claude Opus 5.5 和 GPT-6 Astra 放在同一行进行比较。除非该行另有说明，否则下方每个数字均为厂商报告。

• Terminal-Bench 4.0 — Kimi K3.1 Pro 为 65.7%，Claude Opus 5.5 为 66.4%，GPT-6 Astra 为 58.2%。这是头条结果。这也是附注最多的一行：Anthropic 的 66.4% 是在 xhigh 努力级别下取得的，比其默认级别高一级；Kimi 自身的运行则处于该模型默认的 max 级别。这两个数字来自不同的测试框架。

• Kimi Code Bench 3.0 长时程——61.2%，而 Kimi K3 为 55.95%。这是本次发布中最清晰的前代对比，也是受厂商控制程度最高的对比：基准测试和测试框架都归 Moonshot 所有。

• 带工具的 BenchCAD——Kimi K3.1 Pro 为 92.7%，对比 Claude Opus 5.5 的 96.2% 和 GPT-6 Astra 的 95.9%。无工具时，为 72.8%，对比 Opus 的 73.0%；Astra 未公布无工具成绩。这是挑战者明显落败的一项，而它正处于此次发布自身 3D 创作宣传的中段。

• Kimi Hallu Bench Hard — 使用工具时，声明级幻觉率为 8.3%，不使用时为 5.4%。在同一基准测试中，GPT-6 Astra 使用工具时表现更好（5.5 对 8.3），不使用时也更好（4.2 对 5.4）；Claude Opus 5.5 在两种情况下都更差（15.0 和 6.8）。Moonshot 还报告称，该比率从 Kimi K3 上的 23.4% 下降，且包含至少一个事实错误的回复现在仅为前代比率的 42.4%。

• 财务与商业评估，内部 — Financial Modeling 为 57.6，K3 为 50.4；Financial Research 为 70.4，对比 58.8；Business Operation 为 37，对比 8.9。最后一项在旧模型几乎无法正常运作的任务上实现了四倍提升。请将这些幅度视为方向性参考；这些是 Moonshot 自有的评测套件。

• OfficeQA Pro v2 — 64.4，Moonshot 称其达到最先进水平。该行未出现第二家供应商的数据。

• xdev-bench-hard，pass@3——已发布模型为 81.0%，未采用公司网络风险削减措施训练的检查点为 90.5%，Kimi K3 为 33.3%。Moonshot 表示，这 9.5 个百分点的差距，就是其为将进攻性网络能力保持在阈值以下所付出的代价。

在表格仍为空白的地方

有三个遗漏值得指出，因为关于这次发布的报道在很大程度上都跳过了它们。

首先出现在 Moonshot 自家的 API 文档里。发布当天，Kimi K3.1 Pro 快速入门页面上仍然带着字面意义上的占位符字符串——"[xx.x%]"——本该填 Terminal-Bench 4.0、Terminal-Bench-Science 0.1 和内部编码得分的位置，而营销博文里已经带着最终的数字。这是一条抢在文案之前上线的文档流水线，并非捏造，但这确实是应当从博客页面而非文档中读取这些数字的一个理由。

第二项是 Terminal-Bench-Science 0.1：Anthropic 公布 Claude Opus 5.5 的成绩为 58.7%，而 Moonshot 的材料只说 Kimi K3.1 Pro“高于 K3”，没有给出数字。比较双方都没有数字的一行，不能算作一行。

第三个是 SWE-bench。它是如今团队在谈论编程智能体时仍最常引用的基准，而发布文章在脚注中提到了 DeepSWE v1.1 和 SWE-Marathon v1.1，却没有公布分数。无论原因如何，最受关注的那个数字就是缺失了。

如何读取 65.7

有两件事对 Terminal-Bench 分数的影响比模型本身更大：围绕它的脚手架，以及推理努力程度设置。Anthropic 自己的 Opus 5.5 表格在同一个模型内就展示了这两种效应——CursorBench 4.0 从 xhigh 努力程度下的 57.8% 变为中等努力程度下的 52.5%，而 FrontierCode 在同样这两个设置之间只变化了 0.2 个百分点。Kimi K3.1 Pro 有三个设置，并默认使用最昂贵的一个，因此，未说明其努力程度的厂商运行很可能是最大努力运行，无论它是否明说。

这就是为什么独立指数和厂商表格对这三个模型的排名不同。在 Moonshot 的 Terminal-Bench 那一行中，Kimi 领先 Astra 7.5 分。在 Artificial Analysis 的十项评估指数中，Kimi 领先 Astra 2 分，落后 Opus 3 分。这两种排序都没有错；它们用不同的测试框架回答不同的问题，而唯一站得住脚的总结是：这三个模型在通用能力上彼此相差仅几分，但最便宜与最贵之间的价格相差五倍。

如何处理这些数字

对于输出量占主导的工作负载——长代码生成、文档起草、以及写入远多于读取的智能体循环——真正应当据以规划的是冗余度这一数字。在一次索引运行中，Kimi K3.1 Pro 会产生约 1.5 亿个 token，而 Astra 为 6000 万，也就是说，针对同一任务其输出量约为后者的 2.5 倍；即便输出价格只有五分之一，成本优势仍会被大幅收窄。每任务 2.11 美元这一数字已经将这一点计入，这正是它比价目表更适合作为规划依据的原因。

对于一分准确率就能决定成败的工作负载来说，与 Claude Opus 5.5 在独立指数上那三个百分点的差距才是真正相关的数字，任何厂商的对比表格都不该说服你无视它。

Kimi K3.1 Pro 可通过 OrcaRouter 调用，每百万输入 token 收费 2.00 美元，每百万输出 token 收费 10.00 美元，上下文长度为 1,048,576 个 token，最多可输出 943,718 个 token，并提供三种端点格式——Chat Completions、Responses 和 Messages——与你的技术栈其余部分使用同一密钥。你支付的就是厂商标价，没有额外加价，因此上面的算术就是你实际得到的算术。本页唯一无法给你的，是你自己的基准测试：在选定默认值之前，用你的真实流量样本分别在低、高和最高 effort 下运行，因为这个设置对成本的影响比模型选择更大。