一张生成的标题卡,大标题为“GPT-6.2 Astra 登顶 SO-101 机器人排行榜”,副标题为“1,984 DCR · 22.1% 全任务成功率 · 122 次盲测对比”,图注为“RoboColosseum SO-ARM101 Open Track · 评分计算于 2026 年 11 月 20 日”,旁边是一条细线机械臂和一幅上升的柱状图。OrcaRouter 徽标合成在右下角。
Guides & Insights

GPT-6.2 Astra 登顶 SO-101 机器人榜单:成功率 22%

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

RoboColosseum 的 SO-ARM101 排行榜迎来了新的第一名,而位居榜首的并不是一个机器人策略。GPT-6.2 Astra 以 1,984 分登上该网站 DCR 量表的榜首,Claude Fable 5.2 以 1,803 分位列第二,Claude Opus 5.5 以 1,666 分位列第三,表现最好的微调视觉-语言-动作检查点——Physical Intelligence 的 pi0.5——以 1,526 分位列第四,上一代 GPT-6 Astra 以 1,393 分位列第五。O​penAI 于 2026 年 11 月 17 日发布了 GPT-6.2 Astra;该评分于 11 月 20 日 19:46 UTC 计算得出,Greg Brockman 在次日清晨于 X 上转发了它。这就是公告的全部内容。这段引述没有提及的是该行其余的信息:22% 的全任务成功率、排行榜将其归为处于误差范围内的领先优势,以及一个由 122 次盲测对比组成、采集于模型从未见过的场景中的样本。

把这份排名当作最终结果来读,你就会误读它。把它读成一场仍在填充数据的评估的快照——而且是在该项目三块主要机器人板卡中最便宜、也最少被实际使用的一块上——它反而说明了更有用的事:通用模型能以多快的速度缩小专用操作策略花了一年才建立起来的差距,以及当前样本实际上只能证实这一差距中的多么小一部分。

RoboColosseum 衡量什么,以及不衡量什么

A screenshot of the RoboColosseum arXiv abstract page for 'RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild', 34 pages, version 1 posted 2 November 2026, listing the author affiliations and the abstract describing distributed real-world evaluation across partner sites and scenes.

RoboColosseum 是一个分布式评估框架,而不是实验室。其背后的论文 arXiv 2611.02497 于 2026 年 11 月 2 日发布,作者团队来自 NUS MAGIC Lab、Hugging Face、EAIC Singapore 和 BitRobot;作者名单包括 Dieter Fox、Siddhartha Srinivasa、Thomas Wolf、Harold Soh 和 David Hsu。其前提是无法仅靠笔记本电脑对机器人策略进行基准测试,因此该项目在初始研究中让策略运行在由合作方于 124 个站点操作的真实硬件上,覆盖 194 个场景和评估员现场编写的 8,237 条不同指令。每次 rollout 都以 LeRobot 格式发布在 Hugging Face 上,包括失败案例。

这个指标正是大多数报道出错的地方,因此值得直截了当地说明。网站会为每个策略保留两条记录:一条是来自盲测成对比较的 W/T/L 记录,即人类评估者观看同一场景中同一指令的两次运行,并选择更好的一次或判定为平局;另一条是 DCR 评分,它是在针对每个任务的实际难度进行校准后,根据全任务成功结果拟合得到的。排行榜自己就说明了这一点,而这句话从未出现在任何一条关于该结果的推文中:DCR 是“一种难度校准的 Rasch(DCR)评分(Elo 量表);不应将其解释为通过顺序 Elo 更新获得的 Elo 评分。”

这种区分并非吹毛求疵。Elo 数值会在每场比赛进行时发生变化;Rasch 估计值则是对策略能力与任务难度的联合拟合,只要该拟合的任一侧发生变化,它就会改变。把 SO-101 排行榜报告成“Elo 排名”——这也是 X 上对该结果的描述方式——等于把一个后验估计包装成实时记分板。两者在图表上看起来很像,这正是这种混淆得以持续存在的原因。DCR 还要求至少 20 次合格比较,才会对策略进行排名,并且它有意不使用胜-负-平记录:两个策略可以拥有截然不同的 W/T/L 战绩,却仍然会因基于成功率的拟合而被区分开。当下面的数字看起来彼此不一致时,请记住这一点。

看板,从上到下

A screenshot of the RoboColosseum SO-ARM101 leaderboard, Open track, headed 'SO-ARM101 · Open track' with the leader's DCR rating of 1,984, a ±96 posterior interval, a +181 lead over second place marked as inside the error bars, and ten ranked policies with their comparison counts and win/tie/loss records.

SO-ARM101 是 LeRobot 生态系统中开源的 3D 打印机械臂——论文将其描述为可在不同地点以完全相同的方式重建,因此在新加坡收集的结果可以在其他地方的实验室中复现。有十个策略在其上进行排名。截至 11 月 20 日更新:

• GPT-6.2 Astra — 1,984, 122 次比较,95 胜 / 18 平 / 9 负,27 次完全成功

• Claude Fable 5.2 — 1,803,112 次比较,62 / 23 / 27,21 次成功

• Claude Opus 5.5 — 1,666,187 次比较,98 / 57 / 32,9 次成功

pi0.5 — 1,526,194 次比较,66 / 57 / 71,9 次成功

• GPT-6 Astra — 1,393, 183 次比较,75 / 62 / 46,5 次成功

• Grok 4.7 — 1,366,181 次比较,37 / 79 / 65,4 次成功

• LingBot-MolmoAct2 — 1,259, 214 次比较,42 / 92 / 80,5 次成功

• GR00T N1.7 —— 1,233, 219 次比较,31 / 92 / 96,3 次成功

• MolmoAct2 — 1,122、216 次比较,40 / 83 / 93,3 次成功

• G0.5 — 1,095, 207 次比较,18 / 94 / 95,1 次成功

从那份清单中立刻可以得出两点。第一,排名前三的都是通过编码框架驱动的前沿语言模型,而不是经过微调的操作策略;最好的专用 VLA 模型 pi0.5 位列第四。第二,Claude Opus 5.5 在榜单上拥有最多的直接胜场——98 场,比 Astra 多三场——却最终排名第三,因为它还有 57 场平局,并且只有九次完全成功。Astra 的数据则相反:比较次数更少,平局少得多,完成的任务数则是其三倍。无论这个框架在做什么,它都在把部分进展转化为已完成的运行,而这正是 DCR 旨在奖励的。

百分之二十二就是这个数字

122 次对比中有 27 次成功,成功率为 22.1%。这是 SO-ARM101 榜单上最高的全任务成功率,这意味着大约每五次尝试中就有四次无法完成指令。这些任务并不罕见——已发布的试跑记录包括“将杯子放进平底锅中”“拿起黄色盒子并放到盘子上”“将马克笔顺时针旋转 90 度”“触碰蓝色笔”以及“拿起叉子,然后拿起刀”。场景都是普通的桌子:NUS COM3、露台上的一张室外桌子、MAGIC Lab 外的一处地点。

领先者五次运行中有四次失败,这是理解该标题最重要的背景,也与该项目已发布的一切内容相符。11月的论文报告称,在其六个操作类别中,“没有任何被评估系统在任何类别中的成功率超过13%”,而按预期比较得分最强的VLA——MolmoAct2,在相对指标上仅达到58%至77%,其绝对成功率则介于6%和13%之间。你看到的这个榜单并不是一份能完成任务的机器人榜单。它是一份系统榜单,而这些系统越来越擅长的是不完全失败。

成功率也是这一行中唯一不会被该指标夸大的数字。DCR 评级取决于难度校准,而难度校准又取决于拟合过程如何跨策略汇集任务;成功次数则不然。二十七就是二十七。如果你想在不争论 Rasch 模型的情况下,将 GPT-6.2 Astra 与列表上的任何对象进行比较,那就比较 27 对 21 对 9 对 5。

领先优势在误差条范围内

RoboColosseum 会在每个评分周围画出 ±1 后验标准差,并在同一行中说明领先者“对第2名的领先”+181 分位于“误差条之内”。这是该网站对自身结果的总结,就印在数字旁边,而不是埋在数字下面。

把 ±1 个标准差的区间并排放在一起,这种谨慎就有道理了。Astra 的区间大约从 1,888 到 2,080;Claude Fable 5.2 的区间大约从 1,712 到 1,894。它们在 1,890 附近一个只有几个点的窗口内重叠,而两个估计值之间 181 点的差距约为合并标准差的 1.4 倍——还不足以让人说这是领先,而不是打破平局。Astra 的 122 次比较足以把它排在第一,但不足以有把握地说它优于排名第二的模型。第一和第三之间的差距更宽也更清晰——1,984 对 1,666——但这也是一个有 122 次比较的模型和一个有 187 次比较的模型之间的比较,而且在这个榜单上,其他每个策略的样本量都比领头者更多。

这不是该结果独有的缺陷。这就是一个包含 1,017 次对比的榜单所呈现的样子。作为对比,同一项目的 Franka 榜单有 5,643 次对比,Bimanual-YAM 榜单有 4,517 次;SO-ARM101 是三者中最单薄的,约为另外两个的五分之一,其背后有 78 个场景和 70.3 个机器人小时。新来者在这里比其他任何榜单都更快登顶。这是榜单的属性,不是模型的属性,而且下一次有模型发布时仍将如此。

为什么语言模型会出现在机器人主板上

这个排行榜最有趣的结构性事实在于,它混合了两类通常被分隔开的系统。十项策略中有五项是视觉-语言-动作检查点——pi0.5、GR00T N1.7、MolmoAct2、LingBot-MolmoAct2、G0.5——它们在机器人数据上训练,并且在 Fine-tune Track 中针对每个任务用 100 条示范进行了微调。另外五项是前沿智能体:GPT-6.2 Astra、GPT-6 Astra、Claude Fable 5.2、Claude Opus 5.5 和 Grok 4.7,它们各自通过一套服务装置连接,并被交由自行编写运动代码。论文直言不讳地指出:前沿智能体“仅参加 Open Track”,而 VLA 模型则使用针对特定具身形态的检查点。

这种设计正是结果还能被解读的原因,也是它不应被当作关于机器人模型的论断的原因。GPT-6.2 Astra 没有在 SO-101 轨迹上训练过,也没有针对这些任务进行微调。它被要求查看摄像头画面、对桌面进行推理并发出运动指令,这是将通用能力应用于物理闭环的测试,而不是操作技能的测试。它能击败专门为该机械臂训练的策略,这才是关键;22% 的成功率就是这种做法的代价。

论文自身的跨具身检查正是纠偏所在。策略排名显示“跨特定具身任务套件的一致性较弱”,Kendall's W 为 0.24——这几乎等于完全不一致。π0.5 在 Franka 和 Bimanual-YAM 上排名第一,在 G1 人形机器人上排名第四;GR00T N1.7 经微调后在 SO-ARM101 上领先,并在另外两个上排名第四。在一种机械臂上取得的数字无法迁移,而 GPT-6.2 Astra 只在这一个本体上运行过。它完全缺席 Franka 榜单,而上一代 GPT-6 Astra 目前以 1,915 领先。

一天,122 次比较

最初引发此事的帖子称,该模型在“仅仅一天”内经历了“数百次真实环境中的一对一对比”。榜单给 GPT-6.2 Astra 记的是 122。两个数字都可能为真——竞技场会对其上的每个策略运行对比,而且每日吞吐量稳稳达到数百——但其中只有一个才是 1,984 背后的样本,而且是较小的那个。

时间线值得厘清,因为“一天”是在起修辞作用。OpenAI 于11月17日发布了 GPT-6.2 Astra。SO-ARM101 榜单上的评分带有11月20日19:46 UTC的计算时间戳,而该竞技场最近一次比较记录于当天上午09:49 UTC。因此,这122次比较是在一个实时榜单大约三天的时间里累积起来的,而不是在专门运行二十四小时内完成的。该网站每小时刷新一次,这意味着你看到的数字是一个动态估计,而不是最终结果——这也意味着,排名变化一两个位次完全在下次刷新可能产生的范围内。

这些都不会使结果出错。它使结果在一种具体且可核查的意义上成为暂定的:方向是明确的,量级尚未确定,而任何把 1,984 当作固定数量来引用的人,引用的都是一个将会变化的拟合值。

等级费用是多少

A generated single-model scoreboard titled 'GPT-6.2 Astra — the scoreboard' with the rows 'DCR rating: 1,984', 'Full-task success rate: 22.1%', 'Blind comparisons: 122', 'Win / tie / loss: 95 / 18 / 9', 'Lead over #2: +181, inside the error bars' and 'Price: $8 in / $40 out per million tokens', over the footer 'Figures per the RoboColosseum SO-ARM101 board, rating computed 20 November 2026 19:46 UTC.' The OrcaRouter logo is composited in the bottom-right corner.

噪声在这里变成了采购决策,而不只是方法论脚注。在 SO-ARM101 榜单上,排名前两位的模型标价相同。GPT-6.2 Astra 为每百万输入 token 8 美元、每百万输出 token 40 美元;Claude Fable 5.2 是 8 美元和 40 美元;再往下三位的 GPT-6 Astra 是 10 美元和 50 美元。排名第三的 Claude Opus 5.5 是 4 美元和 20 美元——仅为 Astra 输入价的一半、输出价的一半——而榜单上最好的专用策略 pi0.5 是开放权重,可在你自己的硬件上免费部署。

• 第 1 名 — GPT-6.2 Astra,1,984 DCR,每百万 token 输入 $8 / 输出 $40

• 第 2 名 — Claude Fable 5.2,1,803 DCR,$8 / $40

• 排名第 3 — Claude Opus 5.5,1,666 DCR,$4 / $20

• 第4名 — pi0.5,1,526 DCR,开放权重

排名第5 — GPT-6 Astra,1,393 DCR,$10 / $50

把它当作成本曲线来看,排名就不再是有意思的部分。从第三名升到第一名会让每 token 费用翻倍,换来的领先优势连榜单本身都说在误差范围内。从第五名升到第一名能省下 20%,并换来 591 个 DCR 点,这是榜单上单代最大的跃升——但这也意味着上一代现在是更贵的选择,这种倒挂只有当你把价格列和排名放在一起看时才会显现。

对于循环中执行的任何任务,这种成本算术都会不断累积。一次操控运行并不是单个请求;它是一长串调用,其中大多数调用都携带摄像头帧和不断增长的对话记录,而每 token 的价格会在每一步上成倍放大。一个能完成 22% 任务、每百万输入 token 收费 8 美元的模型,与一个能完成 5% 任务、收费 10 美元的模型,是两种不同的采购选择,而这种差异在排行榜上根本看不出来。

GPT-6.2 Astra 尚未出现在 OrcaRouter 的产品目录中,因此对于任何想调用它的人来说,诚实的答案就是使用供应商自己的 API。目录中确实收录的是该列其余内容:GPT-6 Astra 价格为 $10 和 $50,GPT-6.1 Sol 为 $2 和 $10,Claude Opus 5.5 为 $4 和 $20,全部按供应商标价 0% 加价,这就是为什么供应商降价会在同一天落到我们这边,就像落到他们那边一样。对其中三个运行同一任务并比较完成的运行结果,是这一页上最便宜的实验,而且这正是排行榜要求你去做、而不是它正在报告的那件事。

什么会改变判决?

三件事能把暂时的第一名变成稳固的第一名,而且这三件事都是可观察到的。

首先是样本。SO-ARM101 每种策略需要数百次比较,其区间才会收紧到 Franka 榜单的宽度。GPT-6.2 Astra 的区间在 95% 可信度下宽达 376 点;Franka 的领先者——上一代 GPT-6 Astra——在 194 次比较中处于约 185 点宽的区间内。当 Astra 的样本大致翻倍时,它是否真正领先于 Claude Fable 5.2 的问题便会不言自明。

第二个是第二种具身形态。一个在一条机械臂上领先、却从未在另一条机械臂上运行过的模型,只是一个数据点,而不是一种能力主张;论文中 0.24 的肯德尔 W 系数,正是该项目自己承认排名无法迁移。如果 GPT-6.2 Astra 出现在 Franka 或 Bimanual-YAM 榜单上并处于相近排名,那么 SO-101 的结果就不再是单薄榜单造成的假象。

第三个是微调赛道。论文报告称,在每个任务 100 个演示上微调后,GR00T N1.7 领先 SO-101——而 GR00T N1.7 目前在公开排行榜上排名第八,成功率为 1.37%,共有 219 次比较。这是整个数据集中最有价值的一句话:当所有人都获得相同演示时获胜的策略,在没人有时却接近垫底;而在开放赛道中获胜的前沿智能体,并不是任何人会选择部署的那一个。两个不同的问题,两个不同的赢家,而其中只有一个才是机器人团队在交付前真正需要回答的。

在此之前,对11月20日的公允总结范围有限,且值得精确表述。一个发布仅四天的通用模型登上了真实机器人排行榜榜首:它完成了22%的任务,基于122次盲测比较,领先于包括专为该机械臂构建的专业策略在内的对手阵容——而发布该排名的网站最先表示,这一领先幅度仍在噪声范围内。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新