一張生成的標題卡,主標題為「GPT-6.2 Astra 登上 SO-101 機器人排行榜榜首」,副標題為「1,984 DCR · 22.1% 全任務成功率 · 122 次盲測比較」,圖說為「RoboColosseum SO-ARM101 公開賽道 · 評分計算於 2026 年 11 月 20 日」,一旁是細線條機械手臂與上升的長條圖。OrcaRouter 標誌合成於右下角。
Guides & Insights

GPT-6.2 Astra 榮登 SO-101 機器人排行榜榜首:成功率 22%

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

RoboColosseum 的 SO-ARM101 排行榜出現了新的第一名,而位居榜首的並不是機器人策略。GPT-6.2 Astra 以 1,984 分登上該網站的 DCR 量表,Claude Fable 5.2 以 1,803 分位居第二,Claude Opus 5.5 以 1,666 分第三,最佳微調視覺-語言-動作檢查點——Physical Intelligence 的 pi0.5——以 1,526 分第四,前一代 GPT-6 Astra 以 1,393 分第五。O​penAI 於 2026 年 11 月 17 日發布 GPT-6.2 Astra;評分於 11 月 20 日 19:46 UTC 計算得出,Greg Brockman 於次日清晨在 X 上轉發放大。這就是公告的全部內容。引述沒有承載的是榜單該行的其餘部分:22% 的完整任務成功率、排行榜將其列為誤差範圍內的領先優勢,以及取自模型從未見過場景的 122 次盲測比較樣本。

把排名當成結果來讀,你就會讀錯。把它讀成一份仍在補齊資料的評測快照——而且是在專案三塊主要機器人板卡中最便宜、最少被操練的那塊上——它反而說明了更有用的事:通用模型多快就能追平專門操作策略花了一年才建立的差距,以及目前樣本實際能證實的差距有多有限。

RoboColosseum 衡量什麼,以及它不衡量什麼

A screenshot of the RoboColosseum arXiv abstract page for 'RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild', 34 pages, version 1 posted 2 November 2026, listing the author affiliations and the abstract describing distributed real-world evaluation across partner sites and scenes.

RoboColosseum 是分散式評估框架,而不是實驗室。其背後的論文 arXiv 2611.02497 於 2026 年 11 月 2 日發表,作者群橫跨 NUS MAGIC Lab、Hugging Face、EAIC Singapore 與 BitRobot;作者名單包括 Dieter Fox、Siddhartha Srinivasa、Thomas Wolf、Harold Soh 與 David Hsu。其前提是機器人策略無法只靠筆記型電腦進行基準測試,因此該專案在初始研究中,透過合作夥伴於 124 個站點操作的真實硬體來運行這些策略,涵蓋 194 個場景,以及由評估人員現場撰寫的 8,237 條不同指令。每一次 rollout 都以 LeRobot 格式發佈在 Hugging Face 上,包括失敗案例。

這項指標正是大多數報導出錯的地方,因此值得直說。該網站為每項策略保留兩份紀錄:一份是來自盲測成對比較的 W/T/L 紀錄,由人類評估者在同一場景中觀看同一指令的兩次執行,選出較好的一次或判定平手;另一份是 DCR 評分,該評分是根據完整任務的成功結果,在針對每項任務實際有多難進行校準後配適出來的。排行榜本身就這麼說,而這句話從未出現在任何一則關於該結果的推文中:DCR 是「Difficulty-Calibrated Rasch (DCR) Rating(Elo 尺度);不應將其解讀為透過循序 Elo 更新所得到的 Elo 評分。」

那個區別不是吹毛求疵。Elo 數值每進行一場對局就會變動;Rasch 估計則是策略能力與任務難度的聯合擬合,而當該擬合的任何一端改變時,它也會隨之改變。把 SO-101 排行榜報導成「Elo 排名」——這正是該結果在 X 上的描述方式——就是把後驗估計包裝成持續更新的計分板。兩者在圖表上看起來很像,這正是混淆得以持續的原因。DCR 也要求至少 20 個合格比較,才會對任何策略進行排名,而且它刻意不使用勝負平記錄:兩個策略可以有非常不同的 W/T/L 成績,卻仍可透過基於成功率的擬合被區分開來。當下文的數字看起來彼此不一致時,請記住這一點。

董事會,從上到下

A screenshot of the RoboColosseum SO-ARM101 leaderboard, Open track, headed 'SO-ARM101 · Open track' with the leader's DCR rating of 1,984, a ±96 posterior interval, a +181 lead over second place marked as inside the error bars, and ten ranked policies with their comparison counts and win/tie/loss records.

SO-ARM101 是 LeRobot 生態系中開源、3D 列印的機械手臂——論文中描述它被設計成可在不同地點以完全相同的方式重建,因此在新加坡收集到的結果,能夠在其他地方的實驗室中重現。共有十個策略在其上進行排名。截至 11 月 20 日更新:

• GPT-6.2 Astra — 1,984,122 次比較,95 勝 / 18 平 / 9 負,27 次完全成功

• Claude Fable 5.2 — 1,803、112 次比較、62 / 23 / 27、21 次成功

• Claude Opus 5.5 — 1,666,187 次比較,98 / 57 / 32,9 次成功

• pi0.5 — 1,526、194 次比較,66 / 57 / 71,9 次成功

• GPT-6 Astra — 1,393, 183 次比較,75 / 62 / 46,5 次成功

• Grok 4.7 — 1,366、181 次比較,37 / 79 / 65,4 次成功

• LingBot-MolmoAct2 — 1,259,214 次比較,42 / 92 / 80,5 次成功

• GR00T N1.7 — 1,233、219 次比較,31 / 92 / 96,3 次成功

• MolmoAct2 — 1,122、216 次比較,40 / 83 / 93,3 次成功

• G0.5 — 1,095, 207 次比較,18 / 94 / 95,1 次成功

那份清單立刻凸顯了兩件事。第一,前三名全都是透過程式設計框架驅動的前沿語言模型,而非微調過的操作策略;最佳專用 VLA——pi0.5——排名第四。第二,Claude Opus 5.5 在排行榜上擁有最多絕對勝場——98 場,比 Astra 多三場——卻只名列第三,因為它同時有 57 場平手,且僅有九次完整成功。Astra 的表現則相反:比較次數更少、平手次數少得多,完成的任務數卻是三倍。無論這個框架實際做了什麼,它都在把部分進展轉化為完成的執行回合,而這正是 DCR 被設計來獎勵的。

百分之二十二就是這個數字

122 次比較中有 27 次成功,佔 22.1%。這是 SO-ARM101 排行榜上最高的完整任務成功率,也意味著大約每五次嘗試就有四次無法完成指令。這些任務並不罕見——已公布的執行紀錄包括「把杯子放進平底鍋裡」、「拿起黃色盒子並放在盤子上」、「將麥克筆順時針旋轉 90 度」、「碰觸藍色筆」,以及「拿起叉子,然後拿起刀子」。場景都是普通的桌子:NUS COM3、露台上的一張戶外桌子、MAGIC Lab 外的一個地點。

領先者五次中有四次失敗,是這則標題最重要的背景,而且這與該專案已發布的所有內容一致。十一月論文報告指出,在其六個操作類別中,「沒有任何受評估系統在任何類別的成功率超過 13%」,而依預期比較分數最強的 VLA MolmoAct2,在相對指標上僅達到 58% 到 77%,其絕對成功率則介於 6% 到 13%。你現在看的排行榜,並不是一張由能完成任務的機器人組成的排行榜。它是一張由越來越擅長避免完全失敗的系統所組成的排行榜。

成功率也是同一列中唯一不會被該指標本身灌水的數字。DCR 評級取決於難度校準,而難度校準又取決於配適時如何跨策略彙整任務;成功次數則不然。二十七就是二十七。如果你想在不爭論 Rasch 模型的情況下,把 GPT-6.2 Astra 與那份清單上的任何項目相比,那就拿 27 跟 21、9、5 比。

領先幅度落在誤差範圍內

RoboColosseum 會針對每一項評分標出 ±1 的後驗標準差,並在同一行中說明,領先者「對第二名的領先幅度」+181 分落在「誤差範圍內」。這是該網站對自身結果的摘要,就印在數字旁邊,而不是埋在數字下方。

把 ±1 個標準差區間並排來看,這種謹慎就有道理了。Astra 的範圍大約從 1,888 到 2,080;Claude Fable 5.2 的範圍大約從 1,712 到 1,894。兩者在 1,890 附近幾個點的重疊區間內交疊,而兩個估計值之間 181 點的差距約為合併標準差的 1.4 倍——還不足以讓你把這稱作領先,而不是決勝。Astra 的 122 次比較足以將它排在第一,但不足以有信心地說它優於第二名的模型。第一名與第三名之間的差距更大且更明確——1,984 對上 1,666——但這也是在一個模型有 122 次比較、另一個有 187 次比較之間的比較,而且在這個排行榜上,其他每個策略的樣本數都比領先者更多。

這不是 {{1}}結果{{/1}}獨有的缺陷。這就是一個有 1,017 次比較的排行榜會呈現的樣子。相較之下,同一個專案的 Franka 排行榜有 5,643 次比較,Bimanual-YAM 排行榜則有 4,517 次;SO-ARM101 是三者中最單薄的,差距約達五倍,其背後有 78 個場景與 70.3 個機器人小時。新手在這裡登上第一名,會比在這組中的任何其他排行榜上都更快。這是排行榜本身的特性,而不是模型的特性,而且下一次有模型發布時,這點仍會成立。

為什麼語言模型會出現在機器人電路板上

這個排行榜最有趣的結構性事實,是它混合了兩種通常被分開看待的系統。十個策略中有五個是視覺-語言-動作檢查點——pi0.5、GR00T N1.7、MolmoAct2、LingBot-MolmoAct2、G0.5——以機器人資料訓練,且在微調賽道中,每個任務以 100 次示範進行微調。另外五個是前沿代理:GPT-6.2 Astra、GPT-6 Astra、Claude Fable 5.2、Claude Opus 5.5 和 Grok 4.7,各自透過推論服務架構連接,並被交由自行撰寫動作程式碼。論文直接指出:前沿代理「僅參與開放賽道」,而 VLA 模型使用針對特定具身形態的檢查點。

這樣的設計正是結果之所以還具有可解讀性的原因,也是它不應被解讀為關於機器人模型之主張的原因。GPT-6.2 Astra 並未接受過 SO-101 軌跡的訓練,也未針對這些任務進行微調。它被要求查看攝影機畫面、對桌面進行推理,並發出動作指令;這是一項將通用能力套用到實體迴路上的測試,而不是操作技能的測試。它能勝過專為該機械臂訓練的策略,這才是重點;而 22% 的成功率,就是採用這種做法所付出的代價。

論文自身的跨具身檢查正是校正機制。策略排名顯示「在具身特定任務套件之間的一致性薄弱」,Kendall's W 為 0.24——這幾乎等於完全沒有共識。π0.5 在 Franka 與 Bimanual-YAM 上排名第一,在 G1 人形機器人上排名第四;GR00T N1.7 經微調後在 SO-ARM101 上領先,並在其餘兩項上排名第四。在單一機械臂上取得的數字無法轉移,而 GPT-6.2 Astra 僅在這一個平台上跑過。它完全未出現在 Franka 排行榜上,而上一代 GPT-6 Astra 目前以 1,915 居首。

有一天,122 次比較

最初發布這則消息的貼文說,該模型在「僅僅一天」內經歷了「數百次在真實環境中的一對一比較」。排行榜給 GPT-6.2 Astra 記了 122。這兩個數字都可能是真的——該競技場會對其上的每個策略進行比較,而每日吞吐量遠達數百——但只有其中一個是 1,984 背後的樣本,而且它是較小的那個。

時間線值得明確釘住,因為「一天」在這裡承擔了修辭功能。OpenAI 於 11 月 17 日推出 GPT-6.2 Astra。SO-ARM101 看板上的評分帶有 11 月 20 日 19:46 UTC 的計算時間戳,而競技場最近一次比較記錄於同日上午 09:49 UTC。所以,這 122 次比較是在一個實際運作中的看板約三天內累積而成,並非二十四小時的專門測試。網站每小時更新一次,這意味著你看到的數字是變動中的估計值,而非最終結果——也意味著一、兩名的排名變動,完全可能在下一次更新中產生。

這一切都不會讓結果變成錯的。它讓結果以一種具體且可檢核的方式成為暫時性的:方向很清楚,量值尚未底定,而任何把 1,984 當成固定數量引用的人,引用到的是一個日後會變動的配適結果。

這個階級要付出什麼代價

A generated single-model scoreboard titled 'GPT-6.2 Astra — the scoreboard' with the rows 'DCR rating: 1,984', 'Full-task success rate: 22.1%', 'Blind comparisons: 122', 'Win / tie / loss: 95 / 18 / 9', 'Lead over #2: +181, inside the error bars' and 'Price: $8 in / $40 out per million tokens', over the footer 'Figures per the RoboColosseum SO-ARM101 board, rating computed 20 November 2026 19:46 UTC.' The OrcaRouter logo is composited in the bottom-right corner.

這裡正是噪音轉變成採購決策、而非方法論註腳的地方。在 SO-ARM101 榜單上,排名前兩名的模型標價相同。GPT-6.2 Astra 是每百萬輸入 token 8 美元、每百萬輸出 40 美元;Claude Fable 5.2 則是 8 美元與 40 美元;排名往下三位的 GPT-6 Astra 是 10 美元與 50 美元。排名第三的 Claude Opus 5.5 是 4 美元與 20 美元——是 Astra 輸入價格的一半,也是其輸出價格的一半——而榜單上最佳的專用策略 pi0.5 則是開放權重,且可在自有硬體上免費提供服務。

• 第 1 名 — GPT-6.2 Astra,1,984 DCR,每百萬個 token 輸入 $8/輸出 $40

• 第 2 名 — Claude Fable 5.2,1,803 DCR,$8 / $40

• 排名第 3 — Claude Opus 5.5,1,666 DCR,$4 / $20

• 第 4 名 — pi0.5,1,526 DCR,開放權重

• 第 5 名 — GPT-6 Astra,1,393 DCR,$10 / $50

把它看成成本曲線,排名就不再是有趣的部分。從第三名升到第一名,每個 token 的費用翻倍,換來的領先幅度卻是排行榜本身都說落在誤差範圍內的。從第五名升到第一名省下 20%,並換來 591 個 DCR 點數,這是排行榜上單一世代最大的躍升——但這也意味著上一代現在成了更貴的選項,這種倒掛只有在你把價格欄位和排名並排來看時才會顯現。

對任何在迴圈中執行的東西來說,這筆算術會層層累加。一次操作執行並不是單一請求;它是一長串呼叫,其中大多數都帶著相機影格與不斷增長的逐字稿,而每 token 的價格會在每一步中相乘累加。一個能完成 22% 任務、每百萬輸入 token 要價 $8 的模型,和一個能完成 5%、要價 $10 的模型,是不同的採購選擇,而這種差異在排行榜上根本看不出來。

GPT-6.2 Astra 目前還不在 OrcaRouter 的目錄上,所以對任何想呼叫它的人來說,最誠實的答案就是供應商自家的 API。目錄上確實有那一欄的其他項目:GPT-6 Astra 為 $10 與 $50、GPT-6.1 Sol 為 $2 與 $10,以及 Claude Opus 5.5 為 $4 與 $20,全部都以供應商定價 0% 加成提供,這就是為什麼供應商降價當天,我們這邊的價格也同步調降。用其中三個跑同一個任務並比較完成的執行結果,是這頁上最便宜的實驗,而這也正是排行榜要你去做、而不是它正在回報的那件事。

什麼會改變判決

有三件事能讓暫時的第一名變成穩固的第一名,而這三件事都是可觀察的。

首先是樣本。SO-ARM101 每項策略需要數百次比較,其區間才會收窄至 Franka 榜單的寬度。GPT-6.2 Astra 在 95% 可信度下的區間寬 376 點;Franka 的領先者、上一代 GPT-6 Astra,在 194 次比較中處於約 185 點寬的區間。當 Astra 的樣本大致翻倍時,它是否真正領先 Claude Fable 5.2 的問題便不言自明。

第二點是第二種具身形態。一個只在單一機械臂上領先、從未在另一條機械臂上運行過的模型,只是一個資料點,而不是能力主張;而論文中 Kendall's W 為 0.24,正是該專案自己承認排名無法遷移。如果 GPT-6.2 Astra 以相近排名出現在 Franka 或 Bimanual-YAM 榜單上,那麼 SO-101 的結果就不再是薄弱榜單造成的人為假象。

第三個是微調賽道。論文報告指出,在每項任務以 100 次示範進行微調後,GR00T N1.7 領先 SO-101——而 GR00T N1.7 目前以 1.37% 成功率和 219 次比較,在公開排行榜上排名第八。這是整個資料集中最有用的一句話:當每個人都拿到相同示範時勝出的策略,在沒有人拿到相同示範時卻接近墊底;而贏得公開賽道的前沿代理,並不是任何人都會選擇部署的那一個。兩個不同的問題,兩個不同的贏家,而其中只有一個是機器人團隊在出貨前真正需要回答的。

在那之前,對11月20日的公允總結範圍有限,值得精確表述。一個才問世四天的通用模型,在122次盲測比較中完成了22%的任務,登上真實機器人排行榜榜首,領先的競爭者包括專為該機械臂打造的特化策略——而發布該排名的網站率先表示,這一領先仍在雜訊範圍內。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新