一张为 AA-Robotics v0.1 实验室中的 Gemini 4 Carbon 制作的早期信号标题卡,标题为“7 小时 33 分钟——以及一个损坏的夹爪”,带有“未经验证”徽章,文字为“来源:Artificial Analysis,2026 年 11 月 12 日”,三个标签分别写着“会话时长:453 分钟”“硬件:一个夹爪损坏”“重试:该次尝试已获准”,还有一条注释写着“未发布综合评分——五模型排行榜仍是 10 月 14 日的表格”。OrcaRouter 标志合成在右下角。
Guides & Insights

Gemini 4 Carbon 弄坏了机械臂:在评分出炉前,一场 7 小时 33 分钟的实验室运行说明了什么

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

目前还没有分数。这是理解 Gemini 4 Carbon 机器人技术结果时首先要明白的一点,而本文其余内容几乎都由此而来。截至 2026 年 11 月 13 日,存在的只有 Artificial Analysis 在 11 月 12 日发布的一条帖子,称 Gemini 4 Carbon 在 AA-Robotics v0.1 实验室里待了 7 小时 33 分钟,“把机械臂乱砸一通,结果弄坏了一个夹爪”,并补充说实验室在那次尝试中给了它一次重试。10 月 14 日发布的五模型排行榜仍然列着当时的那五行——GPT-6 Astra 69.4、GPT-6.1 Sol 64.6、Gemini 4 Argon 55.3、Claude Opus 5.5 48.8、Claude Fable 5.1 46.3——而 Carbon 不在其中。没有综合分数,没有分任务明细,没有抓取成功率,没有账单。

因此,请把这当作一个早期信号,而不是结果:一个时长、一次硬件故障和一次重试,来自拥有该基准测试的实验室,并且是在其自己的表格更新之前发布的。以下所有超出这三个事实的内容都是推断,并已如此标注。它现在仍然值得一读的原因是,Carbon 的前代模型 Gemini 4 Argon 是该实验室中最慢的模型,而且差距很大,而 7 小时 33 分钟几乎正好与 Argon 的数值重合——这使得即使没有分数,这个时长也仍然可以被解读。

唯一公开的数字是一个时钟

Artificial Analysis 称,AA-Robotics 衡量的是“语言模型通过控制机械臂,在物理世界中理解、规划和行动的能力”。测试装置是一台 6 轴 Hiwonder NexArm,带有五个关节和一个夹爪,由四台摄像头监控——三台在桌面上,一台在腕部——覆盖八项桌面任务:按下红色按钮、把鳄鱼玩具放进矩形区域、把饮料倒入杯中、把积木连同盖子整理进盒子、完成形状匹配板、写出“hello world”、搭建最高的泡沫塔,以及将盒子每个维度的测量误差控制在 2 毫米以内。所有尝试均为零样本,每项任务按 0 到 100 分评分,并可获得部分得分。模型通过各自的编程代理框架以高推理强度接入——GPT 模型使用 Codex,Claude 使用 Claude Code,Gemini 使用 Antigravity——并且必须自行编写用于规划和执行动作的 Python 代码。

相比之下,Carbon 那个数据点之所以单薄,是刻意为之。七小时三十三分钟等于 453 分钟。它没有说明这是否涵盖全部八项任务、是否包含重试的那次尝试,也没有说明这次运行的成本。任何把它当作性能指标来引用的人,都是把秒表当成了记分牌。

它明确无误地表明的是:Carbon 被送进了实验室测试,而设备没能完好无损地挺过来。该基准自己的发布文档记录了数十种失败模式——抓空、瓶子掉落、积木被碰下桌子、一支笔在书页本身上被测试——其中没有一个是夹爪损坏。硬件损毁是十月那篇报告从未需要描述的类别,因为其中的五个模型没有一个造成这种结果。

以 Argon 为基准计,七小时三十三分

这里的基线比平时更重要,因为这项比较异常清晰。Artificial Analysis 公布了五款十月模型的全生命周期运行时间:GPT-6 Astra 242 分钟,GPT-6.1 Sol 224 分钟,Claude Opus 5.5 253 分钟,Claude Fable 5.1 249 分钟,以及 Gemini 4 Argon 419 分钟。Carbon 的 453 分钟比 Argon 高 34 分钟——约长 8%——并且比四款非 Gemini 模型高约 200 分钟,这四款模型集中在 224 至 253 分钟的区间内。

• 若该会话覆盖了全部八项任务,则每项任务的平均用时为——Carbon 每项约 56.6 分钟,而 Argon 为 52.4 分钟、Astra 为 30.3 分钟、Sol 为 28 分钟。

• 与人类相比——AA 认为人们每个任务大约需要 20 秒,因此八个任务共 453 分钟,比一个人完成同样的桌面工作慢约 170 倍。

• 用于规划的时钟时间占比——Argon 的分配是 42% 用于理解、45% 用于规划、6% 用于相机、6% 用于机械臂。Astra 和 Sol 则相反,将整个运行时间的 13% 用于实际的机械臂运动,而大部分时间用于规划。

最后那句话,正是坏掉的夹爪变得有趣而非好笑的地方。在十月份的数据中,得分最高的两个模型(Astra 为 69.4,Sol 为 64.6)把最少的时间花在理解场景上,把最多的时间花在规划上;Argon 是最慢的、也是第三好的,它整个运行中有 42% 的时间只是在观察。一个推理更久、随后却损坏硬件的模型,所表现出的并不是十月“错误墙”所描述的那种失败。那面墙上满是误判状态的模型——“在盖子搁在楔块上时却报告盖子水平且已对齐”“把一个倾斜的黄色六边形算作已放置”。这些是感知和自我评估错误。猛砸机械臂直到夹爪损坏,是指令权限错误:模型向硬件提出了硬件无法承受的要求。Carbon 究竟是通过撞入碰撞极限、对抓取施加过大扭矩,还是仅仅重复一个已经被告知失败的动作才这样做,AA 尚未说明,帖子附带的 11 秒片段也无法定论。

重试是一个方法论问题,而不是脚注。

“我们给了它一次重试”是这篇文章里影响最大的半句话,它比坏掉的夹爪更值得细究。AA-Robotics 建立在零样本尝试之上——十月发布的那篇内容明确这么说,而零样本物理基准的全部意义就在于模型只有一次机会,就像人一样。在设备故障后允许重做是站得住脚的:夹爪折断是实验室的问题,而不是衡量模型规划能力的标准,把被毁掉的那次尝试记为零分,反倒会惩罚设备装置的脆弱性。

但这会带来一个可比性问题,最终得分必须对此作出回答。如果恰好有一次尝试被作废并重新运行,那么汇总结果与其他五个仍具可比性,重试只是脚注。如果重试被允许多于一次,或者只在 Carbon 已经因模型侧原因失败的任务上被允许,那么登上排行榜的数字就不会像其他五个数字那样有意义。表格更新时应当留意的诚实做法,是有一行说明有多少次尝试被作废、在哪个任务上、依据什么标准——就像十月那篇帖子记录的那样:Argon 的抓取样本为 n=75,而 Astra 的为 n=95。

还有第二个更不易察觉的测量问题。Argon 在 10 月发布中的计时明确是估算值:Antigravity 这个 Gemini 测试框架不会为步骤打时间戳,因此 AA 以 token 为依据,在带时间戳的 arm 命令之间对这些步骤进行插值。Carbon 在同一框架中运行。如果 7 小时这个数字也是用同样方式测得的,那它就不能直接与 Codex 和 Claude Code 生成的以分钟计的数值相比——而且它比 Argon 多出的 34 分钟差距,完全落在 token 插值方法在 453 分钟运行中可能引入的误差范围内。这并不意味着这一时长毫无意义。它意味着“Carbon 比 Argon 慢 8%”是数据并不支持的说法,尽管“Carbon 花了非常长时间”这一说法是稳妥的。

Carbon 的文本配置会预测什么

对照 Carbon 已公布的行为表现,这一切都不足为奇,而这也是我们可以独立核验的部分。在 Artificial Analysis 的 v5 指数上,该模型得分为 60,在 78 个模型中排名第四;其表现特征是一个审慎、冗长的推理模型,而非快速模型:每个任务耗时 28.4 分钟,而中位数为 13.0 分钟;输出速度为每秒 72 个 token;首个回答 token 耗时 64.71 秒;在整个指数上共输出 2.05 亿个 token——AA 将其描述为“非常冗长”,而中位数为 7280 万。它在每个指数任务上的成本为 5.48 美元,在成本效率方面在 77 个模型中排名第 59。

把这两点放在一起看,在分数出来之前,实验室结果就已经呈现出一种轮廓。一个模型在处理文本提示时,要在首个 token 之前花上一分钟,输出量接近中位数的三倍,而且在静态基准测试中每个任务已经要花 28 分钟;那么在每一步都需要读取四路摄像头画面、然后编写运动代码的循环里,它不可能快得起来。7 小时这个数字,就是 Carbon 的文本配置装到机械臂上时的样子。这种深思是否带来了更好的操作能力,正是那个缺失的分数要告诉我们的;而损坏的夹爪至少是一个微弱的证据,说明更多思考并没有转化为更轻柔的动作。

这样一次运行的成本是多少,以及为什么日历很重要

AA 尚未公布 Carbon 的每项任务成本,而猜测这个数字毫无意义,因为现有差距极其巨大:GPT-6 Astra 的 242 分钟运行成本为每项任务 $16.36,GPT-6.1 Sol 的成本为 $1.93——同一供应商的两个模型完成同样的八项任务,差距达 8.5 倍。八项任务合计大约是 $131 对 $15。约 70% 的花费用于输入和上下文,而不是输出,这正是四路摄像头画面和不断增长的转录文本对 token 账单造成的影响。Carbon 在文本上比两者都更冗长,所以按理说它的每项任务数字应该偏高——但这只是预测,不是实际数字,唯一诚实的用法是把它当作预算区间,而不是报价。

时间表才是你能采取行动的部分。Carbon 在 2026 年 11 月 30 日之前,每百万输入 token 收费 2 美元,每百万输出 token 收费 10 美元;12 月 1 日起,在模型保持不变的情况下,这两项将变为 4 美元和 20 美元。缓存输入的价格从 0.10 美元升至 0.20 美元,batch 和 flex 按半价计费,priority 按标准费率的 1.8 倍计费。像 AA 刚刚运行的那种长时间智能体循环,主要由缓存上下文和重复的摄像头帧构成,这意味着机器人风格的工作负载正是最能从当前费率中获益、也最能在此后费率上涨中受损的形态。在 12 月重新运行这个实验,成本将是本周的两倍。

A single-column infographic titled 'Gemini 4 Carbon — the scoreboard', with six rows: AA-Robotics v0.1 score: not yet published; Lab session time: 7 hours 33 minutes; Predecessor Gemini 4 Argon: 55.3 overall in 419 minutes; Intelligence Index v5: 60, ranked 4th of 78; Output speed: 72 tokens per second, 64.71 s to first token; Price: $2 input and $10 output per million tokens until 30 November, then $4 and $20. Footer reads 'Robotics figures per Artificial Analysis, 12 November 2026 post; score outstanding. Index and pricing per Artificial Analysis and Google.'

数字落定后如何读取

当 AA 更新榜单时,有三件事决定 Carbon 究竟是向前迈出的一步,还是又一个 Argon。

• 综合得分对比 55.3——Argon 的分数。若一个 Gemini 模型晚一个版本发布,却只达到或低于自己的前代,那这个家族的机器人故事就会变成关于评测框架延迟、而非关于能力的故事。

• 抓取成功率落在 28% 至 45% 区间:Astra 45%(n=95)、Fable 44%(n=89)、Opus 40%(n=100)、Argon 36%(n=75)、Sol 28%(n=111)。正是这项指标能识别出会弄坏夹爪的模型,因为损坏硬件的指令与未抓中物体的抓取,都源于同样的力反馈缺失。

• 逐任务来看各项表现。Argon 在 button、crocodile、pour、tidy、shapes、write、tower、measure 上的得分分别是 100、100、100、40、0、45、57、0。测量盒子任务是那个无人能解的任务:Astra 0,Argon 0,Fable 0,只有 Sol 和 Opus 达到 17。在三个维度上保持 2 毫米公差是一项精密任务,而精密恰恰是那种会猛砸机械臂的模型表现最差的地方。

关于这个基准测试究竟在给什么打分,也存在一个合理的问题。Carbon 是在 Antigravity 内以高投入运行的,Argon 也是如此。7.5 小时的会话是对模型规划能力与运行框架维持长时间循环连贯性的联合测试——而 10 月的数据已经显示出由框架塑造的产物,从 Argon 耗时 25 分钟的第一个动作,到 Fable 在动手前进行的十分钟研究。无论如何,Carbon 的结果都会被当作一个模型数字来引用。但它至少有一部分是智能体循环的数字。

Screenshot of the AA-Robotics v0.1 results table from Artificial Analysis. A colour legend reads 'Full score (100)', 'Partial (1 to 99)', 'Zero (0)'. Below it the eight task names run down the left column — Press the red button, Place the crocodile toy in the rectangle, Pour the drink into the cup, Tidy the blocks into the box, Complete the shape matching challenge, Write hello world, Build the tallest tower, Measure the box — with five model columns headed GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon, Claude Opus 5.5 and Claude Fable 5.1, each cell holding a coloured score dot. The bottom row, labelled AA-Robotics Score, reads 69.4, 64.6, 55.3, 48.8 and 46.3. There is no Gemini 4 Carbon column.

如果你想重现这个实验而不是等待

带有公开测试装置的公开基准,其有用之处在于:分数并不是从中学习的唯一方式。Carbon 现在已可调用——谷歌让 gemini-4-carbon于 2026 年 11 月 10 日在付费 Gemini API 上全面开放,此前于 10 月 28 日向一个仅限受邀的网络防御者群体公布——并且它已在 OrcaRouter 上以 google/gemini-4-carbon提供,按谷歌自己的 $2/$10 初始费率,使用与其他 200 多个模型相同的 OpenAI 兼容端点,并使用该密钥。由于我们以 0% 加价透传提供商标价,12 月 1 日的重新定价会在谷歌实施当天落到我们这边,而不是在一个转售周期之后。

在任何人把新模型接到昂贵硬件上之前,有两点实用提醒。第一,上线首周的端点不是生产端点:我们自己的汇总数据中,关于google/gemini-4-carbon的过去七天数据目前显示:错误率为 30.2%,首个 token 时间的 p50 为 6.89 秒,这是在我们路由所经过的提供商路径上测得的。对于一个全面可用仅三天的模型来说,这很正常,也正是为什么你不该把一个端点硬编码进要运行七小时的循环里——跨提供商的自动故障转移,才能让长时间的智能体会话不至于在第四个小时挂掉。第二,路由 DSL 让你可以在循环中为那些不需要 Carbon 的步骤保留一个廉价模型,这在 453 分钟的会话中很重要:那次会话的大部分时间都花在读取帧和重新规划上,而不是做任何困难决策。

Screenshot of the OrcaRouter model page for google/gemini-4-carbon. A breadcrumb reads Home, Models, Google above the heading 'Gemini 4 Carbon', with a 'by Google' label dated 2026-11-10 and badges for Vision, Audio, Tools and JSON. A description block lists a 1,048,576-token context, text, images, audio, video and documents in with text out, native tool use and function calling, and structured JSON outputs, above a /v1/chat/completions endpoint line and the price pair $2.00 and $10.00 per million tokens. A 'BEST FOR' list names long-context work up to about 1M tokens, multimodal understanding, agentic pipelines and structured JSON extraction. A sidebar panel labelled Reasoning reads 6.89 s, and the code samples use the base URL https://api.orcarouter.ai/v1. A technical block gives context as 1M tokens, maximum output as 65K, input as text, image, file, audio and video, output as text, and p50 time to first token as 6.89 s. A data retention note says Zero Data Retention is available and that with ZDR on, requests go only to providers with a zero-retention agreement.

会改变这一解读的,不是一段更好的机械臂视频。而是 AA 公布一个分数,记录下作废的尝试,并把抓取率与其他五个并列给出。在那之前,准确的总结只能是狭义的:Gemini 4 Carbon 是该实验室第一个让实验室损失了一件硬件的模型;除了它自己的前代之外,它耗时比该实验室测量过的任何东西都长;而随后的重试是一个最终数字将不得不承载的细节。11 月 12 日的帖子是一个真实的数据点,说明这个模型在被赋予手时会如何表现。它还不是关于它把这些手用得有多好的结果。

本文中的对比2

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新