生成されたタイトルカードは、見出し「GPT-6.2 AstraがSO-101ロボットボードで首位」、サブタイトル「1,984 DCR · 全タスク成功率22.1% · 122回のブラインド比較」、キャプション「RoboColosseum SO-ARM101 Open Track · レーティング算出日:2026年11月20日」を掲げ、細線のロボットアームと上昇する棒グラフのそばに配置されている。OrcaRouterのロゴは右下隅に合成されている。
Guides & Insights

GPT-6.2 AstraがSO-101ロボットボードで首位に:成功率22%

著者

Elias Hawthorne

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

RoboColosseumのSO-ARM101リーダーボードに新たな1位が誕生したが、そこに座っているものはロボットポリシーではない。GPT-6.2 AstraがサイトのDCRスケールで1,984を記録して首位に立ち、2位はClaude Fable 5.2の1,803、3位はClaude Opus 5.5の1,666、最高のファインチューニング済み視覚言語行動チェックポイントであるPhysical Intelligenceのpi0.5が1,526で4位、前世代のGPT-6 Astraが1,393で5位となった。OpenAIは2026年11月17日にGPT-6.2 Astraをリリースし、レーティングは11月20日19:46 UTCに計算され、Greg Brockmanが翌朝早くにXでそれを拡散した。発表はこれで全部である。この引用が伝えていないのは、その行の残り、つまりフルタスク成功率22%、リーダーボードが誤差範囲内と記録するリード、そしてモデルが一度も見たことのないシーンで取られた122件のブラインド比較のサンプルである。

ランキングを結果として読むと、誤読することになる。プロジェクトの3つの主要なロボットボードのうち、最も安価で最も試行回数の少ないボード上で、まだ埋まりつつある評価のスナップショットとして読むなら、より有用なことが見えてくる——汎用モデルが、専門特化したマニピュレーション方策が1年かけて築いた差をどれほど速く縮めるのか、そしてその差のうち現在のサンプルが実際に裏付けられるのはどれほどわずかなのか、について。

RoboColosseumが測定するもの、そして測定しないもの

A screenshot of the RoboColosseum arXiv abstract page for 'RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild', 34 pages, version 1 posted 2 November 2026, listing the author affiliations and the abstract describing distributed real-world evaluation across partner sites and scenes.

RoboColosseumは研究室ではなく、分散型の評価フレームワークだ。その背景となる論文arXiv 2611.02497は、NUS MAGIC Lab、Hugging Face、EAIC Singapore、BitRobotにまたがるグループによって2026年11月2日に公開された。著者リストにはDieter Fox、Siddhartha Srinivasa、Thomas Wolf、Harold Soh、David Hsuが名を連ねている。前提は、ロボットポリシーはノートPCからベンチマークできないというもので、そのためこのプロジェクトでは、初期研究において124拠点のパートナーが運用する実機上で、194のシーンと、評価者がその場で記述した8,237件の異なる指示にわたってそれらを実行する。すべてのロールアウトは、失敗も含めてLeRobot形式でHugging Face上に公開される。

指標こそが、ほとんどの報道が誤るところなので、はっきり述べておく価値がある。このサイトはポリシーごとに2つの記録を保持している。ひとつはブラインドのペアワイズ比較による W/T/L 記録で、これは人間の評価者が同一シーンにおける同一指示の2回の実行を視聴し、より良い方を選ぶか引き分けと判定するものだ。もうひとつは DCR レーティングで、各タスクが実際にどれほど難しかったかに合わせて較正したうえで、フルタスクの成功結果からフィットさせる。リーダーボード自身が、この結果についてのどのツイートにもまだ入っていない一文でこう述べている。DCR は「Difficulty-Calibrated Rasch(DCR)レーティング(Eloスケール)であり、逐次的なElo更新によって得られたEloレーティングとして解釈すべきではない」。

その区別は揚げ足取りではない。Eloの数値は試合が行われるたびに動く。Rasch推定値はポリシーの能力とタスクの難易度を同時にフィットしたもので、そのフィットのどちら側が変わっても変化する。SO-101ボードを「Eloランキング」として報告すること — Xで結果がそう説明された通り — は、事後推定値を随時更新されるスコアボードに仕立て上げるものだ。両者はグラフ上では似て見える。まさにそれが、この混同が残り続ける理由である。DCRはまた、ポリシーがそもそもランク付けされる前に少なくとも20件の適格な比較を必要とし、意図的に勝敗引き分けの記録を使用しない。2つのポリシーは大きく異なるW/T/Lの行を持っていても、成功率に基づくフィットによって依然として区別されうる。以下の数値が互いに食い違って見えるときは、それを念頭に置いてほしい。

盤面を上から下まで

A screenshot of the RoboColosseum SO-ARM101 leaderboard, Open track, headed 'SO-ARM101 · Open track' with the leader's DCR rating of 1,984, a ±96 posterior interval, a +181 lead over second place marked as inside the error bars, and ten ranked policies with their comparison counts and win/tie/loss records.

SO-ARM101 は、LeRobot エコシステムのオープンソースで 3D プリント製のアームです。論文では、異なる場所で同一に再構築できるように設計され、シンガポールで収集された結果を別の場所の研究室でも再現できると説明されています。このアーム上で 10 個のポリシーがランク付けされています。11 月 20 日の更新時点では:

• GPT-6.2 Astra — 1,984、122件の比較、95勝 / 18引き分け / 9敗、27件の完全成功

• Claude Fable 5.2 — 1,803、112件の比較、62 / 23 / 27、21件の成功

• Claude Opus 5.5 — 1,666,187 件の比較、98 / 57 / 32、9 件の成功

• pi0.5 — 1,526、194 件の比較、66 / 57 / 71、9 件の成功

• GPT-6 Astra — 1,393、183件の比較、75 / 62 / 46、5件の成功

• Grok 4.7 — 1,366、181 件の比較、37 / 79 / 65、4 件の成功

• LingBot-MolmoAct2 — 1,259、214件の比較、42 / 92 / 80、5件の成功

• GR00T N1.7 — 1,233、219件の比較、31 / 92 / 96、成功3件

• MolmoAct2 — 1,122、216件の比較、40 / 83 / 93、3件の成功

• G0.5 — 1,095、207 件の比較、18 / 94 / 95、成功 1 件

そのリストからすぐに二つのことが導かれる。第一に、上位3つはすべてコーディング用ハーネス経由で駆動されたフロンティア言語モデルであり、微調整された操作ポリシーではない。専門特化型VLAの最良であるpi0.5は4位だ。第二に、Claude Opus 5.5はボード上で単独勝利数が最も多く——98で、Astraより3つ多い——それでも3位に終わる。引き分けも57回あり、完全成功は9回だけだからだ。Astraの行はその逆で、比較回数は少なく、引き分けははるかに少なく、完了タスク数は3倍である。ハーネスが何をしているにせよ、それは部分的な進捗を完了した実行へと変えており、DCRはまさにそれを報いるように作られている。

その数字は22パーセントです。

122回の比較で27回成功は22.1%です。これはSO-ARM101ボード上での完全タスク成功率として最高であり、およそ5回に4回の試行は指示を完了できないことを意味します。課題は奇抜なものではありません——公開されたロールアウトには「カップを鍋の中に入れる」「黄色い箱を拾って皿の上に置く」「マーカーを時計回りに90度回転させる」「青いペンに触る」「フォークを拾い、その後ナイフを拾う」が含まれます。場面はありふれたテーブルです。NUS COM3、テラスにある屋外のテーブル、MAGIC Labの外の一画です。

首位のシステムが5回中4回失敗するということは、この見出しにとって最も重要な文脈であり、プロジェクトがこれまで公表してきたすべてと整合している。11月の論文は、6つの操作カテゴリー全体で「評価されたどのシステムも、どのカテゴリーでも成功率13%を超えない」と報告しており、また、期待比較スコアで最強のVLAであるMolmoAct2は相対指標では58%から77%に達しただけであり、その絶対成功率は6%から13%の間にあった。あなたが見ているボードは、そのタスクを実行できるロボットのボードではない。それは、完全には失敗しないという点で改善しつつあるシステムのボードである。

成功率はまた、その行の中で指標によって水増しできない唯一の数値でもある。DCR評価は難易度キャリブレーションに依存し、それはフィットがポリシー間でタスクをどのようにプールするかに依存するが、成功数はそうではない。27は27だ。Raschモデルについて論争せずにGPT-6.2 Astraをそのリスト上の何かと比較したいなら、27を21、9、5と比較せよ。

リードは誤差の範囲内にある

RoboColosseumは各評価値の周囲に±1事後標準偏差を描き、同じ行で、首位の「#2に対するリード」+181ポイントが「誤差範囲内」にあると述べている。これは、その数字の下に埋もれさせるのではなく、数字の隣に印刷された、サイト自身による自らの結果の要約である。

±1 SDの帯を並べてみると、その慎重な見方にも納得がいく。Astraは約1,888から2,080、Claude Fable 5.2は約1,712から1,894にわたる。両者は1,890前後の数ポイントの範囲で重なっており、2つの推定値の間の181ポイントの差は、合わせた標準偏差で約1.4倍——これを引き分けではなくリードと呼ぶには足りない。Astraの122回の比較は1位とランク付けるには十分だが、2位のモデルより優れていると自信を持って言うには足りない。1位と3位の差はより大きく、より明確だ——1,984対1,666——しかしそれは、122回の比較を持つモデルと187回の比較を持つモデルとの比較でもあり、しかも他のあらゆるポリシーがリーダーより多くのサンプルを持つボード上でのことだ。

これは結果に固有の欠陥ではない。1,017件の比較を含むボードとはこういうものだ。比較すると、同じプロジェクトのFrankaボードには5,643件、Bimanual-YAMボードには4,517件の比較があり、SO-ARM101は3つのうち最も薄く、その差はおよそ5倍で、背後には78シーンと70.3ロボット時間がある。新参者でも、このセット内のどのボードよりも速くここで首位に到達できる。それはモデルではなくボードの性質であり、次にモデルが出荷されるときにも当てはまり続けるだろう。

なぜ言語モデルがロボット基板に載っているのか

このリーダーボードの最も興味深い構造上の事実は、通常は分けて扱われる2種類のシステムを混在させていることだ。10個のポリシーのうち5つは視覚-言語-行動チェックポイント——pi0.5、GR00T N1.7、MolmoAct2、LingBot-MolmoAct2、G0.5——であり、ロボットデータで学習され、Fine-tune Trackではタスクごとに100件のデモンストレーションでファインチューニングされている。残りの5つはフロンティアエージェントだ。GPT-6.2 Astra、GPT-6 Astra、Claude Fable 5.2、Claude Opus 5.5、Grok 4.7で、それぞれがサービングリグ経由で接続され、動作コード自体を書くことを任されている。論文ではそれを端的に述べている。フロンティアエージェントは「Open Trackにのみ参加する」一方、VLAモデルはエンボディメント固有のチェックポイントを使用する。

その設計こそが、結果がそもそも判読可能である理由であり、ロボティクスモデルに関する主張として読むべきではない理由でもある。GPT-6.2 AstraはSO-101の軌道で訓練されていない。タスクにファインチューニングもされていない。カメラ映像を見て、テーブルについて推論し、動作コマンドを出力するよう求められている。これは操作スキルのテストではなく、物理ループに適用された汎用能力のテストである。これがそのアーム専用に訓練されたポリシーを上回るという事実こそが本題であり、22%の成功率はそうする代償である。

論文自身のクロスエンボディメント検証がその是正役となる。ポリシーランキングは「エンボディメント固有のタスクスイート間で弱い一致」を示しており、KendallのWは0.24——ほぼ一致がないに等しい。π0.5はFrankaとBimanual-YAMで1位、G1ヒューマノイドで4位。GR00T N1.7はファインチューニング後にSO-ARM101で首位となり、他の2つでは4位で終える。一つのアームで得た数値は他に移らず、GPT-6.2 Astraはこのアームでしか実行されていない。それはFrankaのリーダーボードにはまったく載っておらず、そこでは前世代のGPT-6 Astraが現在1,915で首位に立っている。

ある日、122件の比較

発端となった投稿には、そのモデルが「たった一日で」「実環境における数百回の一対一比較」に供されたと書かれている。ボードはGPT-6.2 Astraに122を記録している。両方の数字が真であり得る——アリーナはそこにあるすべてのポリシーにわたって比較を実行しており、1日のスループットは数百に十分達する——しかし、そのうち1,984の根拠となるサンプルに当たるのは一方だけで、しかもそれは小さい方だ。

時系列は押さえておく価値がある。というのも、「一日」という表現がレトリックとして機能しているからだ。OpenAIは11月17日にGPT-6.2 Astraをリリースした。SO-ARM101ボードの評価には、11月20日19:46 UTCという計算タイムスタンプが付いており、アリーナの最新の比較は同じ日の朝09:49 UTCに記録されている。つまり、122件の比較は、専用実行の24時間ではなく、ライブボードのおよそ3日間に蓄積されたものだ。サイトは1時間ごとに更新されるため、表示される数字は確定結果ではなく流動的な推定値であり、1〜2順位の変動は次の更新で十分に起こり得る範囲だということでもある。

これはいずれも結果を誤りにするものではない。それは結果を、特定の検証可能な形で暫定的なものにする。方向性は明確だが、大きさはまだ確定しておらず、1,984 を固定された量として引用する人は、いずれ動くフィットを引用していることになる。

ランクの費用はいくらですか

A generated single-model scoreboard titled 'GPT-6.2 Astra — the scoreboard' with the rows 'DCR rating: 1,984', 'Full-task success rate: 22.1%', 'Blind comparisons: 122', 'Win / tie / loss: 95 / 18 / 9', 'Lead over #2: +181, inside the error bars' and 'Price: $8 in / $40 out per million tokens', over the footer 'Figures per the RoboColosseum SO-ARM101 board, rating computed 20 November 2026 19:46 UTC.' The OrcaRouter logo is composited in the bottom-right corner.

ここで、ノイズは方法論上の脚注ではなく、購入判断へと変わる。SO-ARM101ボードでは、上位2モデルが同じ価格で掲載されている。GPT-6.2 Astraは入力100万トークンあたり8ドル、出力100万トークンあたり40ドル。Claude Fable 5.2は8ドルと40ドル。3つ下のGPT-6 Astraは10ドルと50ドル。3位のClaude Opus 5.5は4ドルと20ドル——Astraの入力価格の半分、出力価格の半分——であり、ボード上で最高の特化型ポリシーであるpi0.5はオープンウェイトで、自社ハードウェア上で無料で運用できる。

• 第1位 — GPT-6.2 Astra、1,984 DCR、100万トークンあたり入力8ドル/出力40ドル

• 2位 — Claude Fable 5.2、1,803 DCR、$8 / $40

• 第3位 — Claude Opus 5.5、1,666 DCR、$4 / $20

• 4位 — pi0.5、1,526 DCR、オープンウェイト

• 第5位 — GPT-6 Astra、1,393 DCR、$10 / $50

これをコスト曲線として読むと、順位はもはや興味の中心ではなくなる。3位から1位に上がるとトークンあたりの請求額は2倍になり、ボード自体が誤差範囲内だと言っているリードを買うことになる。5位から1位に上がると20%節約でき、591 DCRポイントを獲得する。これはボード上で単一世代における最大のジャンプだが、同時に前世代が今やより高価な選択肢になるということであり、順位の隣に価格の列を並べて見たときに初めて現れる種類の逆転だ。

ループ内のあらゆるものにとって、その計算は複利的に積み重なる。マニピュレーションの実行は1回のリクエストではない。長い一連の呼び出しであり、その大半はカメラフレームと増え続けるトランスクリプトを伴い、トークンあたりの価格は各ステップで積み上がっていく。タスクの22%を完了し、入力トークン100万個あたり8ドルかかるモデルは、5%を完了し10ドルかかるモデルとは購入対象として別物であり、その違いはリーダーボードにはまったく見えない。

GPT-6.2 AstraはまだOrcaRouterのカタログには掲載されていないため、それを呼び出したい人にとって正直な答えはベンダー自身のAPIです。カタログに掲載されているのは、その列の残りのラインナップです。GPT-6 Astraが$10と$50、GPT-6.1 Solが$2と$10、Claude Opus 5.5が$4と$20、いずれもプロバイダーの定価に対して0%のマークアップです。だからこそベンダーの値下げは、ベンダー側に反映されたその同じ日にこちら側にも反映されます。それらのうち3つで同じタスクを実行し、完了した実行結果を比較することが、このページで最も安価な実験であり、それはリーダーボードが報告しているものではなく、リーダーボードがあなたに求めているものです。

何が評決を変えるのだろうか

暫定的な首位を確定した首位に変える3つのことがあり、その3つはすべて観察可能だ。

第一はサンプル数です。SO-ARM101は、その区間がFrankaボードの区間幅まで狭まる前に、ポリシーごとに数百回の比較を必要とします。GPT-6.2 Astraの帯は95%信用度で幅376ポイントです。Frankaのリーダーである前世代のGPT-6 Astraは、194回の比較で幅約185ポイントの帯に収まっています。Astraのサンプルがおよそ2倍になれば、それがClaude Fable 5.2を本当に上回っているかという問いはおのずと答えが出ます。

二つ目は、第二の実施形態である。一方のアームで首位に立ち、もう一方では一度も実行されたことのないモデルは、能力の主張ではなく一つのデータ点にすぎず、論文のKendall's W 0.24は、ランキングがそのまま通用しないことをプロジェクト自身が認めたものだ。もしGPT-6.2 AstraがFrankaまたはBimanual-YAMのボードで同程度の順位に現れれば、SO-101の結果は薄いボードによるアーティファクトではなくなる。

第三はファインチューン・トラックです。論文は、タスクごとに100件のデモンストレーションでファインチューニングした後、GR00T N1.7がSO-101を上回ると報告しています——そしてGR00T N1.7は現在、オープンボードで成功率1.37%、比較数219で8位につけています。これがデータセット全体で最も有用な記述です:全員に同じデモンストレーションが与えられれば勝つポリシーは、誰も与えられない場合には最下位付近に沈み、オープントラックで勝つフロンティアエージェントは、誰も配備に選ばないものです。二つの異なる問い、二つの異なる勝者、そしてそのうち片方だけが、ロボティクスチームが実際に出荷前に答える必要があるものです。

それまでの間、11月20日についての公正な要約は限定的であり、正確に述べておく価値がある。4日前に登場した汎用モデルが、実機ロボットのリーダーボード首位に立った。122回のブラインド比較でタスクの22%を完了し、そのアーム向けに作られた専用ポリシーを含む競争相手を前にした結果である。そして、そのランキングを公開したサイト自身が真っ先に、首位はノイズの範囲内にあると述べている。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新