标题卡显示“Gemini 4 Neon 登顶 Coding Agent Index”,并写有“综合得分 58.64,领先 Claude Fable 5.2 0.17 分”一行——其对 GPT-6.2 Astra 的 5.17 分综合得分领先优势中,有 4.2 分来自单一组成部分;上方两张卡片分别写着“Coding Agent Index v2.1 得分 58.64”和“较 Claude Fable 5.2(xhigh)高出 0.17”,并附有标签“xhigh · Antigravity CLI”,底部则注明“所有数据均依据 Artificial Analysis Coding Agent Index v2.1,读取于 2026 年 11 月 19 日”。
Guides & Insights

Gemini 4 Neon 以 58.6 分登顶 Coding Agent Index——与 Claude Fable 5.2 的差距为 0.17 分,而与 GPT-6.2 Astra 的差距主要源于一项基准测试

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Gemini 4 Neon 目前以 58.64 位居 Artificial Analysis Coding Agent Index 第一,Claude Fable 5.2 以 58.47 紧随其后,而 GPT-6.2 Astra——于 11 月 17 日发布,比本次读数早两天——以 53.47 位列其后。这是眼下流传的说法,其中每个数字都与已公布的排行榜相符。不过仔细读来,这既是在谈模型,也同样是在谈执行框架:Neon 的 58.64 是在 Google 自家的 Antigravity CLI 中测得的,Fable 5.2 的 58.47 是在 Claude Code 中测得的,Astra 的 53.47 是在 Codex 中测得的。三家实验室、三个终端智能体、一个复合分数,每一行由 396 次 FrontierCode 2.0 尝试、372 次 SWE-Atlas-QnA 尝试和 198 次 Terminal-Bench 4.1 尝试构成。排名是真实的。但它对你代码库的意义,比一张排行榜截图所暗示的范围更窄——也明显更有用。

以下所有内容均读取自 Artificial Analysis 于 2026 年 11 月 19 日发布的公开编码智能体排行榜,索引版本为 v2.1。其中没有任何一项来自 Google 自己的基准测试表:综合得分、三项分项得分、每任务成本以及 token 数量均在该实验室中测得,且每一项都通过厂商自己的终端智能体运行。Google 针对 Gemini 4 Neon 的发布日数据——Chartography 73.5%、Terminal-Bench 4.1 为 65.2%、FrontierCode 2.0 为 46.2%——是另一组由厂商报告的数据,并非下文任何实测数据的来源;凡与这些数据并列出现之处,均已如此标注。

该指数实际统计的是什么

Coding Agent Index 并不是孤立地测试某个模型。每一行都是一个 harness 与模型的组合,而核心数字是三个分项得分的等权平均值:FrontierCode 2.0,包含 132 个软件工程任务,由 Cognition 编写、Artificial Analysis 实现;SWE-Atlas-QnA,包含来自 Scale AI 的 124 个技术问答任务,评分由 AA 调整;以及 Terminal-Bench 4.1,包含来自 Laude Institute 的 66 个智能体终端任务。每个分项都是每项任务三次尝试的平均得分。该页面没有公布其中任何一项的置信区间,而在把十分之一分当作关于能力的事实之前,这是首先需要知道的事。

The Artificial Analysis Coding Agent Benchmarks page, headed Artificial Analysis Coding Agent Benchmarks, with a panel defining the Artificial Analysis Coding Agent Index as the composite of three benchmarks — FrontierCode-AA 2.0 with 132 software engineering tasks by Cognition, Terminal-Bench 4.1 with 66 agentic terminal tasks by the Laude Institute and SWE-Atlas-QnA with 124 technical Q&A tasks by Scale AI — above three bar charts for Coding Agent Index v2.1, Time per Task and Cost per Task, each labelled No publicly available API.

这个注意事项在这里比平时更重要,因为榜单顶部异常胶着。按综合得分排名,保留两位小数:

• Gemini 4 Neon(xhigh),Antigravity CLI — 58.64

• Claude Fable 5.2(xhigh),Claude Code — 58.47

• Devin Fusion CLI,Claude Opus 5.5 max + GPT-6 Luna high — 58.40

• Claude Fable 5.2(高),Claude Code — 58.24

• Claude Opus 5.5(max)、Claude Code — 58.16

五种配置的差距在半分之内,横跨三家厂商和三种不同的代理。它们之间的任何差异在这个分辨率下都不可见;而一篇文章若把这张榜单的头部描述为决定性结果,那就是把舍入当成了信号。

这五分的差距主要来自一项基准测试

GPT-6.2 Astra 的对比正是标题变得有趣的地方,因为五分的综合差距听起来像是结构性的,结果却集中在单一组件上。这里还需要先做一处更正:自发布以来流传的“领先六分”这一数字,是用 Neon 的 58.64 与 Astra 的 高档(得分 52.28)相比得出的——落后 6.36 分。而与 Astra 的最佳配置 最高档的 53.47 相比,差距是 5.17。两个数字都摆在台面上;它们描述的是同一模型的不同设置。把 最高这一配对拆开来看:

• FrontierCode 2.0 — Neon(xhigh)43.0 对 Astra(max)41.7,在 132 项软件工程任务中相差 1.3 分。

• Terminal-Bench 4.1 — Neon 65.2 对 Astra 63.6,在 66 个终端任务中相差 1.6 分。

• SWE-Atlas-QnA — Neon 67.7 对比 Astra 55.1,在 124 项技术问答任务中相差 12.6 个百分点。

综合得分差异中约有五分之四来自问答(Q&A)部分,而这部分最不像智能体在编辑代码仓库时所做的任务。SWE-Atlas-QnA 要求评测框架回答关于代码库的问题。FrontierCode 和 Terminal-Bench 则要求它修改代码库,或操作终端直到任务完成。在两组类似真实智能体工作的任务集上,Gemini 4 Neon 与 GPT-6.2 Astra 彼此相差不到两个点——这与排名前五的配置之间的差距处于同一数量级。在类似检索与推理的任务集上,Neon 领先十二个点。

两种解读都成立,而哪一种能预测你的实际体验,取决于你的工作负载,而不是排行榜本身。如果你的智能体整天要在一个大型私有代码库上回答问题,那么 SWE-Atlas-QnA 就是榜单上最接近的代理指标,十二个百分点的差距值得采取行动。如果它整天都在发起拉取请求,那么 FrontierCode 和 Terminal-Bench 是更接近的代理指标,而综合分数会把这一差异夸大三到四倍。

A two-column scoreboard titled Gemini 4 Neon vs GPT-6.2 Astra — the scoreboard. Gemini 4 Neon (xhigh, Antigravity CLI) reads Coding Agent Index 58.64, FrontierCode 2.0 43.0, Terminal-Bench 4.1 65.2, SWE-Atlas-QnA 67.7, Cost per task $6.86, Refusals 0. GPT-6.2 Astra (max, Codex) reads Coding Agent Index 53.47, FrontierCode 2.0 41.7, Terminal-Bench 4.1 63.6, SWE-Atlas-QnA 55.1, Cost per task $5.12, Refusals 8 hard stops. The footer says All figures per Artificial Analysis Coding Agent Index v2.1, read 19 November 2026.

每项任务的成本则朝相反方向变化

Artificial Analysis 在报告分数的同时也会报告成本,而在成本方面,排序发生了反转。整个指数中每个任务的平均成本:

• Gemini 4 Neon(xhigh)— 6.86 美元,输入 1372 万 token、输出 12.56 万 token,177 步,实际耗时 30.5 分钟。

Claude Fable 5.2(xhigh)—— 15.47 美元,输入 955 万 token、输出 20.74 万 token,95 步,53.3 分钟。

• Claude Fable 5.2(高)— $7.51,5.02M 输入 token 和 94.1k 输出 token,55 步,31.3 分钟。

• GPT-6.2 Astra (max)——5.12 美元,462 万输入 token、4.30 万输出 token,51 步,25.1 分钟。

• Gemini 4 Carbon(高)— $9.75,输入 15.31M 和输出 120.5k tokens,186 步,33.6 分钟。

由此可以得出三点。第一,在 Fable 这一行获得评分的设置下,Neon 每项任务比 Fable 5.2 便宜 2.3 倍,并且完成时间为 30.5 分钟,而 Fable 5.2 为 53.3 分钟。第二,Neon 在绝对意义上并不便宜:在 $6.86 的价格下,它每项任务比它击败的 GPT-6.2 Astra 配置贵 34%,但比同门的 Gemini 4 Carbon 便宜 30%,而它又以 3.2 个综合分优势击败 Carbon——因此,相对于 Carbon,它在两个维度上的优势都毫无争议;而相对于 Astra,它则是直接用美元换分数。第三,token 使用情况解释了价格。Neon 每项任务消耗 13.72M 输入 token 和 177 步,而 Fable 5.2 为 9.55M 和 95 步:输入多约 44%,工具调用多 86%,换来的结果领先 0.17 分。上述每一行的缓存命中率都介于 94% 和 96% 之间,所以这不是缓存造成的假象——而是模型采取了更多、更小的步骤。

Google 的发布材料声称,Gemini 4 Neon 在默认的 high 设置下,每项任务成本比 Gemini 4 Carbon 低 32%。这是厂商报告的数据,本榜单未予复现。此处公布的唯一一条 Neon 行是 xhigh,价格为 $6.86,对比 Carbon 的 $9.75——节省 30%,接近厂商数字,但测量的是 Neon 四个思考设置中最深的一档,而非该声明所描述的默认档。在出现 high 行之前,应将方向视为已获支持,精确数字视为未确认。

设置对分数的影响比模型更大

这张榜单上最有用的信息不是排名。而是 Claude Fable 5.2 在同一个测试框架中出现了五次,对应五个思考等级,其得分在 低 为 47.96,在 中 为 53.04,在 高 为 58.24,在 超高 为 58.47,在 最高 为 55.74——仅一个参数就带来 10.5 分的跨度。GPT-6.2 Astra 在 Codex 中出现了五次,从 低 的 35.58 一直到 最高 的 53.47,在同类参数旋钮上跨度达 17.9 分。

把这些范围与那些头条所谈论的差距对照起来。Astra 在低档与 Astra 在最高档之间的差距,是 Neon 与 Astra 在各自最佳设置下差距的 3.5 倍,也是 Neon 与 Carbon 之间差距的 5.6 倍。仅 Fable 5.2 内部 10.5 分的差距,就已经是从 Neon 第一名到 Astra 第十名的整个距离的两倍多。仅凭每个模型的一个数字来选模型,等于在页面上最小的变量上做选择;你传入的投入级别,以及你在它外面套上的智能体,对结果的推动都超过盒子上的标志。

这也使得“超越 Fable 5.2”的说法需要加一个限定条件。Neon 的 58.64 是在 xhigh 模式下、于 Antigravity CLI 中测得的,而且它是榜单上唯一的 Neon 配置——没有 high 这一行,所以 Google 之外的人目前还无法说明 Neon 的默认配置在分数或美元成本上意味着什么。Fable 5.2 的 0.17 分劣势在它自己的 xhigh 下仍成立,而且更勉强地,在 high 下也成立——在该配置下,它以每任务 7.51 美元的成本得到 58.24 分。这两个数字都落在一个不同测试框架有可能合理反转的范围内,这并不是对 Neon 的批评——这正是 41 行榜单顶部半分差距的含义。

这里究竟有什么新东西

Gemini 4 Neon 于 2026 年 11 月 18 日正式全面可用,比这份榜单被读取的时间早一天;其定价为每百万输入 token 3.00 美元、每百万输出 token 15.00 美元,上下文窗口为 100 万 token。它是专有模型,采用统一价格:没有推广期,也没有免费额度,这一点与 Gemini 4 Hydrogen 不同。价目表和独立智能评分已在本博客的其他文章中介绍过;新的内容是首个实测的智能体(agentic)结果,而它揭示了几件发布文章中没有提到的事。

发布帖确实说过,它以 58.6 的成绩在 Artificial Analysis Coding Agent Index 上排名第一,而这个数字正是榜单在所述配置下公布的。发布帖没有说的是,它领先下一个配置的优势只有 0.17 分;对 GPT-6.2 Astra 的大部分领先来自三个组件中的一个;或者该次运行每个任务消耗了 13.72M 输入 token。这些正是决定要部署什么的读者需要的信息,却只存在于榜单上。

还有一个数字值得与得分并列来看:零拒绝。在 Neon 行的全部 966 次尝试中——396 次 FrontierCode、372 次 SWE-Atlas-QnA、198 次 Terminal-Bench——Artificial Analysis 记录了零次安全拒绝和零次提供商回退。Fable 5.2 在 xhigh 下记录了 FrontierCode 上 1 次拒绝、SWE-Atlas-QnA 上 38 次、Terminal-Bench 上 16 次;GPT-6.2 Astra 在 max 下记录了 SWE-Atlas-QnA 上 8 次拒绝,且全部为硬停止。拒绝并非能力失败,但它意味着智能体有一项任务未完成;在智能体循环中,它表现为停滞,而不是错误答案。对于面向生产仓库的智能体而言,能完成每一次尝试的模型带来了一种该榜单上其他配置都无法匹敌的运营差异。

什么是转换成本,以及我们如何定位

如果 Neon 的数据支持试用,那么实际问题在于试用在工程上要付出多少成本。Neon 不在我们的目录中:OrcaRouter 模型列表包含 google/gemini-4-carbon和google/gemini-4-argon,截至 11 月 19 日没有 Neon 条目,因此我们今天无法为你路由它,也不会暗示并非如此。GPT-6.2 Astra 也不在目录中。我们确实提供的是 anthropic/claude-fable-5.2,按 Anthropic 的标价,每百万输入 8.00 美元、输出 40.00 美元,以及更早的 openai/gpt-6-astra——GPT-6 Astra,这是 9 月的模型,也是此表上另一行——输入 10.00 美元、输出 50.00 美元。两者都使用同一个密钥,按提供商标价、0% 加价,这意味着上述计算可以基于你自己的流量重新计算,而无需第二份合同。

The OrcaRouter model page for Claude Fable 5.2, showing the model identifier anthropic/claude-fable-5.2, a 1M-token context window, a maximum output of 128K tokens, multimodal input across text, image and file, capability chips for vision, tools, JSON and reasoning, the line by Anthropic · 2026-11-09, a p50 time to first token of 5.52 seconds, and a price row reading $8.00 input and $40.00 output per million tokens with 33.5M tokens of traffic over seven days.

排行榜如此胶着时,最重要的就是更替速度。领先的五个配置中有三个使用了过去十天内发布的模型,而每当其中一个模型上线,排名都会发生变化。把生产路径焊死在今天排第一的那一行上,等下一个模型发布时就得重建——这就是为什么路由决策应该放在代码之外。借助一个端点加一条路由规则,候选模型就只是一次配置变更,而不是一次迁移;自动故障转移则能让一个尚未验证的模型排在已验证模型之后,承接一部分流量,而不会让主路径承担风险。

对于我们确实提供服务的这两个模型,直通是字面意义上的:当 Anthropic 或 OpenAI 调整费率时,我们发票上的数字当天就会随之变化,不会有任何额外叠加。这就是上面成本比较的可靠基础——请按你实际会被计费的价格重新计算双方成本,而不是按发布文章中的数字。

谁应该对此采取行动,以及如何行动?

董事会会根据你运行的内容支持三项不同的决策,而这些决策并不相同。

如果你要运行一个在大型私有代码库上回答问题的智能体——例如入职引导助手、“这个功能在哪儿实现”这类工具、迁移规划器——那么真正要紧的数字就是 SWE-Atlas-QnA 差距,67.7 对 55.1,两者差距之大,足以值得做一次审慎的试用。预算要按 xhigh 这一设置来安排,因为这是唯一被评分的配置,不要想当然地认为默认配置的表现与之相同。

如果你运行的是一个会提交拉取请求并操作终端的 agent,那么坦率的总结是:Neon、Fable 5.2、Opus 5.5 和 Devin Fusion 组合彼此在综合分上相差不到半分,在 Terminal-Bench 上相差不到三分,尽管它们的 FrontierCode 分数分布更宽,从 43.0 到 49.2。这里没有任何因能力而切换的理由。有一个成本理由——相同得分下 Neon 为 $6.86,而 Fable 5.2 为 $15.47——以及零拒绝行中的运营理由。两者都不是本周迁移一个正在运行的流水线的理由。

如果你还在选择运行框架,那么证据最有力、也最不含糊的地方就在于此。单个模型内部不同思考水平之间的差距,远大于领先模型在各自最佳设置下的差距。花两个下午,用两三个投入档位运行你自己的智能体,会比花任何时间阅读这个排行榜——包括本文在内——更能让你了解自己的账单和通过率。

值得关注的是:Neon 行在其默认高设置下的表现。在有一行被发布之前,位居榜首的模型只在恰好一种配置下被测量过——而 Google 所称的每任务成本降低 32%,针对的是那个尚未有人评分的设置。

本文中的对比2

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新