主视觉标题卡上写着“Gemini 4 Carbon 评测”,背景是深色抽象图案,副标题为“指数排名第四,响应缓慢”。
Guides & Insights

Gemini 4 Carbon 评测:指数排名第四,回答缓慢

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Gemini 4 Carbon 在独立榜单上排名第四,定价却像中端模型,如实评测时这是个不寻常的组合:Gemini 4 Carbon API页面标价为每百万输入 token 2.00 美元、每百万输出 10.00 美元,而它公布的成绩是 Artificial Analysis Intelligence Index v5.0.1 上的 60 分,在 78 个模型中排名第四。评测必须回答的问题不是 60 分好不好,而是为了得到它,你在实际耗时和失败率上付出了什么。

它是什么

Google Gemini 4 系列中的一款多模态模型,上下文窗口为 1,048,576 个 token,输出上限为 65K。它可接收文本、图像、音频、视频和文档,并返回文本,原生支持工具调用和结构化 JSON 输出。它既可通过 OpenAI 兼容端点作答,也可通过原生 Gemini generateContent API 作答,并且提供零数据保留(Zero Data Retention)。

参数集说明了它想成为什么样的模型:reasoning、include_reasoning、structured_outputs、tools、tool_choice、seed、temperature、top_p。同一份列表中同时出现 seed 和响应格式,这正是面向抽取与智能体流水线、而非创意写作的模型所具备的特征。

Card summarising Gemini 4 Carbon's context window, modalities, endpoints and Zero Data Retention support.

分数,以及该分数所对应的版本

60 无法与你会看到其他模型被引用的旧数值相提并论,而这是本月发布的对比中最常见的一个错误。Intelligence Index v5.0.1 与 v4.3 和 v4.3.2 是 different evaluation sets,因此 v4.3 的分数和 v5.0.1 的分数不应出现在同一张表里。在 v5.0.1 队列中,Carbon 的 60 使其在 78 个模型中排名第四,落后于得分为 65 的 Claude Fable 5.2,并领先于所有其他已重新评分的模型。

Card with Gemini 4 Carbon's Artificial Analysis figures: index 60, 64.7 s to first token, $5.48 per index run.

那个数字背后的九项评测是 AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset 和 Terminal-Bench-Science 0.1。这是一个兼顾智能体与科学任务的组合——终端操作、自动化、文档 grounding、高难度推理——而不是编程排行榜式的组合。模型可以在这里得分很高,却仍可能在仓库级重构上失手,所以在对自己的用例下任何结论之前,先看细分结果。

头条数字所掩盖的部分

Carbon 在 AA 测试框架中的首 token 时间为 64.7 秒,在 77 个有延迟数据的模型中排名第 69。九项评测中,每个任务的总实际耗时为 28.4 分钟。开始输出后的生成速度为每秒 72 个 token,这虽不出众,但并非问题所在;问题在于首个 token 之前的思考时间。

对 Carbon 运行该索引在提供商支出上花费了 $5.48,按每百万 token 2.70 美元的混合均价折算,单次基准测试就消耗了大量 token。AA 还报告本次运行的冗长率为 2.69%,同时输出 token 达 2.05 亿。不要把该百分比当作简洁度得分来解读:Claude Fable 5.2 的冗长率低得多,仅为 0.97%,但输出 token 更高,达 2.75 亿,可见这两个数字各自独立变化。

如果价格是你读到这里的原因,那么LLM API 定价对比将每百万 2.70 美元的混合价格与目录中的其余选项并列展示,包括比它更便宜的模型,以及为获得相当评分而贵出数倍的模型。

通过网关,数字看起来不一样

AA 的 64.7 秒是一个让模型思考难题的基准测试框架。在 OrcaRouter 过去七天的实时流量中,Carbon 的首 token p50 时间为6.89 秒,p95 为 10.00 秒,在已服务的 960 万个 token 中,输出速度为每秒 226 个 token。两者都是真的。聊天产品看到的结果接近第一个数字;批量评估克隆看到的结果接近第二个。

比这两者都更值得关注的数据是错误率:在那个七天窗口内,所有上游提供商共有 39.7% 的请求返回非 2xx,而 Claude Fable 5.2 为 10.8%。无论原因是什么——容量、速率限制、提供商轮换——一个调用 Carbon 却没有重试预算和备用模型的产品,向用户呈现的失败率将是任何基准图表都无法预测的。这是一个路由问题,也是第二周之前最该测试的一件事。

Screenshot of the OrcaRouter model page for Gemini 4 Carbon, showing price, endpoints and live p50 latency.

它在目录中应属的位置

与自家兄弟型号相比,Carbon 是 Gemini 4 系列中的多模态成员,而非廉价之选:输入价格与 Gemini 3.1 Pro 完全相同,均为 $2.00,输出价格则便宜 $2.00,而真正关键的差异在于,Carbon 支持音频和视频,而 3.1 Pro 仅支持文本和图像。如果你的处理流程从不涉及视频文件,那你就是在为一项用不到的能力付费。

Screenshot of the OrcaRouter models index listing the catalogue with input and output prices.

与其余候选模型相比,最终决策通常归结为两个问题。如果这是 Google 内部的选择,Gemini 4 Carbon 与 Gemini 3.1 Pro的对比才是关键。如果涉及跨厂商,GPT-6.1 Sol 与 Gemini 4 Carbon以及Claude Opus 5.5 与 Gemini 4 Carbon涵盖了两种最常见的备选方案;如果你考虑的并非其中之一,LLM 模型列表中提供了完整的目录。

判决

Carbon 凭借每美元输入所对应的能力位居第四,而它赢得这一位置的方式,更适合长时间、多模态、结构化的工作,而不是对话。价格表里没有体现的两项成本,才决定它是否适合你:在基准测试框架下,首个 token 输出前要思考 64.7 秒;在真实流量中,错误率接近 40%。把这两点都绕开——用回退链、重试预算,以及为非交互场景准备异步队列——它的价格与得分之比确实很难被超越。如果把它放在没有回退的同步 UI 后面,你就会得出这个模型比实际更差的结论。