Gemini 4 Carbon 基准测试：AA v5.0.1 上的 60 分实际衡量的是什么

只有当你知道评测框架提出了哪些问题、模型被允许思考多久，以及产生这个数字的测试是哪个版本时，基准分数才有用。对于 Gemini 4 Carbon，答案是：九项智能体与科学评测、想思考多久就思考多久，以及 Intelligence Index v5.0.1——当前版本，这正是 60 这个分数可以被引用的原因，而你在它旁边找到的大多数数字都不行。Gemini 4 Carbon API 页面列出了价格和端点；本文讨论的是分数。

实际运行了什么

AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset 以及 Terminal-Bench-Science 0.1。在据此进行概括之前，请先阅读这份清单。这九项中有三项是终端或自动化方面的工作，两项是针对长输入的、基于文档的推理，两项是硬科学与数学，还有一项是前沿代码。该集合中没有 Web 代理评估，也没有多轮客户支持模拟，因此高分并不能说明这些方面的情况。

比分

Carbon 得分为 60，排名 78 个中的第 4，在 v5.0.1 上。领先者是 Claude Fable 5.2，得分 65。五分的差距有意义，但并非类别性差异：两个模型都通过了相同的九项评估，而解读这一差异最省力的方式是，在 Carbon 的能力水平上，大约每尝试二十项就多解决一项高难任务。应将其视为一种方向，而非一个比率。

版本校验比排名更重要。在 v4.3 或 v4.3.2 上评分的模型——包括你在对比帖中会看到被引用的多数名称——并不处于同一量表上，不能放进同一张表。如果一张图表把它们混在一起，那么无论由谁发布，这张图表都是错的。

实际后果是：除非你上个季度自己评估过的模型也已被重新评分，否则你无法将 Carbon 与该模型进行比较。你要么对两者重新运行你自己的评测框架，要么把结论限定在 v5.0.1 队列内，并在引用该结论的那句话中说明这一点。

时间成本

首 token 时间为 64.7 秒，在 77 个有延迟数据的模型中排名第 69。九项评估中，每个任务的总响应时间为28.4 分钟。Carbon 一旦开始输出，速度为每秒 72 个 token，这很一般。整个实际耗时主要由思考占据，而非书写。

这是一种设计选择，而非缺陷，并且值得精确说明它意味着什么。一个让模型持续推理直到其满意为止的评测框架，会产生耗时较长但得分很高的结果；同一模型置于网关之后处理实时流量时，报告的 p50 为 6.89 秒（即首个 token 的时间），p95 为 10.00 秒，因为大多数真实请求并不是 HLE-Diamond。这两个数字衡量的是不同的事物，二者都应纳入容量规划。

货币成本

针对 Carbon 运行该索引的成本为 5.48 美元，按每百万输入 token 2.00 美元、每百万输出 token 10.00 美元计算，混合成本为每百万 2.70 美元。AA 还报告，本次运行输出了 2.05 亿个输出 token，冗长度指标为 2.69%。要沿用的是 token 数量，而不是百分比：它告诉你，一次九项任务的智能体评估消耗了接近 2.5 亿个输出 token 的大部分。

作为对比，同一指数在 Claude Fable 5.2 上的花费为 26.54 美元——是其 4.8 倍——单价为输入 8.00 美元、输出 40.00 美元。这才是对这一组对比的正确解读：五个百分点的分数差距，是以近五倍的 token 开销换来的。

用比值来表示，Carbon 每指数点支付 $0.09 的基准开销，而 Fable 5.2 支付 $0.41。这并不是在论证更便宜的模型更好——前沿模型的意义正在于便宜模型搞不定的任务——但这确实是在论证：应当按难度分流，而不是用一个模型包打天下。那些 60 分模型就能通过的 90% 调用，并不需要一个 65 分的模型。

另一个值得关注的比率是时间。Carbon 每项任务耗时 28.4 分钟，Fable 5.2 耗时 46.8 分钟，因此更贵的模型端到端耗时也是前者的 1.6 倍。在异步队列中，这是吞吐量约束；在同步调用中，这就是加载转圈与超时之间的差别。Gemini 4 Carbon 发布说明介绍了该模型随附发布的内容，而如果问题是它是否取代了上一代 Gemini，那么Gemini 4 Carbon 与 Gemini 3.1 Pro 对比就是直接对比。

基准测试未涵盖的内容

这套评测中没有网络或漏洞检测测试框架。如果你是在评估 Carbon 用于安全工作——扫描、分诊、补丁生成——这九项评测只能说明它的推理能力，完全无法说明它在真实漏洞上的召回率。针对特定代码仓库的长周期编码也是如此，FrontierCode-AA 只是对此做了近似，并不能替代它。

这里同样没有衡量负载下会发生什么。过去七天，Carbon 在 OrcaRouter 流量上的实时错误率为 39.7%，而 Fable 5.2 为 10.8%。基准测试框架会重试并吸收这些错误；你的应用则必须决定如何应对。

在自己的流量上复现其中任何内容

没有 AA 的测试框架，你无法复现 AA 的 64.7 秒，也不应该尝试：有用的做法是测量你自己的 p50 和 p95，并将它们与网关公布的 6.89 秒和 10.00 秒进行比较，因为这会告诉你你的提示词是普通还是异常困难。记录首 token 时间、输出 token 数以及每条路由的非 2xx 计数。如果你的错误率高于网关报告的跨所有提供商的 39.7%，那么问题就出在请求你这一侧。

如何在决策中使用这个

如果你的工作与这九项评估相似——终端任务、自动化、长上下文文档、硬科学——那么 Carbon 以 60 分和 $2.70 的混合价格，是当前 v5.0.1 阵容中的性价比之选；而 64.7 秒的思考时间，是你可以通过将调用改为异步来消化的成本。如果你的工作是交互式的，那么同一个模型经网关的 p50 接近七秒，就完全是另一回事了；而诚实的测试是你自己的流量，而不是 AA 的测试框架。

为了与曾击败它的模型进行正面交锋，Gemini 4 Carbon 对比 Claude Fable 5.1将两者并排呈现，而LLM API 定价对比则涵盖 2.70 美元混合价格在目录其余部分中的位置。复用任何图表时都要重新核对版本：v5.0.1 是这 60 所属的唯一量表。