Gemini 4 Carbonがロボットアームを壊した：スコアが存在する前に、7時間33分のラボ実行が語るもの

スコアはまだ存在しない。Gemini 4 Carbonのロボティクス結果について最初に理解すべき点はこれであり、この記事の他のほぼすべてはそこから導かれる。2026年11月13日時点で存在するのは、11月12日のArtificial Analysisによる単一の投稿だけだ。そこには、Gemini 4 CarbonがAA-Robotics v0.1ラボ内で7時間33分を費やし、「アームをめちゃくちゃに振り回してグリッパーを壊してしまった」とあり、さらにその試行ではラボが再試行を認めたという注記が付いている。10月14日に公開された5モデルのリーダーボードは、当時と同じ5行を依然として載せている——GPT-6 Astra 69.4、GPT-6.1 Sol 64.6、Gemini 4 Argon 55.3、Claude Opus 5.5 48.8、Claude Fable 5.1 46.3——そしてCarbonはその中にいない。集計も、タスク別の内訳も、把持率も、請求額もない。

これは結果ではなく初期シグナルとして扱うべきだ。ベンチマークを所有するラボから、自らの表が更新される前に公開された、所要時間、ハードウェア障害、1回の再試行という3点である。その3つの事実を超える以下の内容はすべて推論であり、そのように明示している。今なお読む価値がある理由は、Carbonの前身であるGemini 4 Argonがそのラボで断トツに遅いモデルであり、7時間33分がArgonの数値にほぼぴったり重なることだ。つまり、スコアがなくてもこの所要時間から読み取れるのである。

唯一公開されている番号は時計です。

Artificial Analysisは、AA-Roboticsが「言語モデルがロボットアームを制御することで、物理世界をどれだけ理解し、計画し、行動できるか」を測定するものだと説明している。装置は6軸のHiwonder NexArmで、5つの関節とグリッパーを備え、4台のカメラ（テーブル上に3台、手首に1台）で見守られながら、8つの卓上タスクをこなす。赤いボタンを押す、ワニのおもちゃを長方形の中に入れる、飲み物をカップに注ぐ、ブロックを蓋も含めて箱に片付ける、形合わせボードを完成させる、「hello world」と書く、最も高い発泡スチロールの塔を建てる、箱を各寸法2 mm以内の精度で測定する、の8つだ。試行はゼロショットで、それぞれ0〜100点で採点され、部分点も与えられる。モデルはそれぞれ自身のコーディングハーネスを通じて高エフォート設定で投入され——GPTモデルにはCodex、ClaudeにはClaude Code、GeminiにはAntigravity——動きを計画・実行するPythonを自ら書かなければならない。

それに対して、Carbonのデータポイントは意図的に薄い。7時間33分は453分だ。それが8つのタスクすべてを対象にしているのか、再試行された試行を含んでいるのか、その実行にいくらかかったのかは述べられていない。これを性能の数値として引用する人は、ストップウォッチをスコアボードとして読んでいるようなものだ。

明確に言えるのは、Carbonは実験室での検証にかけられ、その装置は無傷では残らなかったということだ。このベンチマーク自体の出版物には、数十もの失敗モードが記録されている——空振りの把持、落とした瓶、テーブルから押し出されたブロック、ページそのもので試されたペン——しかもそのどれ一つとしてグリッパーの破損ではない。ハードウェアの破壊は、10月の報告書が記述する必要のなかったカテゴリーである。なぜなら、そこに含まれる5つのモデルのどれも、それを生じさせなかったからだ。

7時間33分、Argonを基準に測定

ここではベースラインがいつも以上に重要だ。なぜなら、比較が異例なほど明確だからだ。Artificial Analysisは10月の5モデルそれぞれについてライフタイム実行時間を公開した。GPT-6 Astraは242分、GPT-6.1 Solは224分、Claude Opus 5.5は253分、Claude Fable 5.1は249分、Gemini 4 Argonは419分。Carbonの453分はArgonより34分上で、約8%長く、非Geminiの4モデルよりおよそ200分上だ。それらは224〜253分の範囲に集中している。

• セッションが全8タスクをカバーした場合のタスクあたりのペース — Carbonは1タスクあたり約56.6分、それに対してArgonは52.4、Astraは30.3、Solは28。

• 人間と比べると、AA は人間が1タスクあたり約20秒と見積もっているため、8タスクで453分かかるのは、同じ卓上作業をする人間より約170倍遅い。

• 計画に費やした時間の割合 — Argon の内訳は、理解 42%、計画 45%、カメラ 6%、アーム 6% でした。Astra と Sol はこれを逆転させ、実行時間の 13% を実際のアーム動作に費やし、大部分を計画に費やしました。

その最後の一行こそ、壊れたグリッパーがおかしいというより興味深いものになる箇所だ。10月のデータでは、スコア上位2モデル（Astraが69.4、Solが64.6）が最も少なく時間を費やしたのはシーン理解で、最も長く時間を費やしたのは計画だった。最も遅く3位のArgonは、実行時間の42%をただ見ることに費やした。より長く熟考してからハードウェアを損傷するモデルは、10月の失敗の壁が描写したのと同じ失敗を起こしているわけではない。失敗の壁は状態を誤判定したモデルでいっぱいだ——「くさびの上に載っているのに、蓋は水平で位置合わせ済みだと報告する」「傾いた黄色い六角形を配置済みと数える」。これらは知覚と自己評価のエラーだ。グリッパーが壊れるまでアームを叩き続けるのはコマンド権限のエラーだ。モデルはハードウェアに、ハードウェアが受け止められないものを要求したのだ。Carbonがそうしたのが、衝突限界まで駆動したことによるのか、把持に過大なトルクをかけたことによるのか、それとも失敗したとすでに告げられた動作をただ繰り返したことによるのか、AAは明らかにしておらず、投稿に添付された11秒のクリップもそれを決着させない。

再試行は方法論上の問いであり、脚注ではない

「それについては一度やり直しをさせた」というのは、この投稿の中で最も重大な半文であり、壊れたグリッパー以上に精査されるべきだ。AA-Roboticsはゼロショットの試行を前提に構築されている——10月の出版物も明言しているし、ゼロショットの物理ベンチマークの要点は、人間と同じようにモデルに一度きりの機会が与えられることにある。機器故障後のやり直しを認めるのは妥当だ。グリッパーが折れたのはラボ側の問題であり、モデルの計画性を測るものではないし、破壊された試行をゼロ点と採点するのは、装置の脆さを罰することになる。

しかしそれは、最終的なスコアが答えなければならない比較可能性の問題を生む。ちょうど1回の試行が無効化されて再実行されたのであれば、集計値は他の5つと比較可能であり、再試行は脚注にすぎない。再試行が複数回認められた場合、あるいはCarbonがすでにモデル側の理由で失敗していたタスクに限って認められた場合、リーダーボードに載る数字は他の5つの数字と同じ意味を持たない。テーブルが更新されたときに探すべき誠実な情報は、何回の試行が、どのタスクで、どの基準で無効化されたかを示す一行だ——10月の投稿が、Argonの把持サンプルはn=75でAstraのn=95に対してだったと記録したのと同じように。

第二の、より目立たない測定上の問題がある。10月の公開資料におけるArgonのタイミングは、明示的に推定値である。GeminiのハーネスであるAntigravityはステップにタイムスタンプを付けないため、AAは計時されたarmコマンド間のトークン数でそれらを補間した。Carbonも同じハーネスで実行されている。7時間という数値が同じ方法で測定されたのであれば、CodexやClaude Codeが生成した分単位の数値と直接比較することはできない。また、Argonに対する34分の差は、453分の実行においてトークン補間手法が持ち込みうる誤差の範囲に十分収まっている。だからといって、その所要時間が無意味になるわけではない。ただし、「CarbonはArgonより8%遅い」はデータが支持しない主張になる。一方、「Carbonには非常に長い時間がかかった」は安全に言える。

Carbon のテキストプロファイルが予測する内容

これらはいずれも、Carbonが公表している挙動——私たちが独立に確認できる部分——に照らせば驚くには当たらない。Artificial Analysisのv5インデックスでは、このモデルは60点で78件中4位であり、そのプロファイルは高速型というより、慎重で冗長な推論モデルのものだ。1タスクあたり28.4分（中央値13.0分に対して）、毎秒72出力トークン、最初の回答トークンまで64.71秒、インデックス全体で2億500万出力トークンで、AAは中央値7280万トークンに対して「very verbose」と評している。また、インデックスの1タスクあたり$5.48かかり、コスト効率では77件中59位だ。

これらを合わせて読むと、スコアが届く前からラボ結果には形がある。テキストプロンプトに対して最初のトークンを出すまでに1分を費やし、中央値のほぼ3倍の量を出力し、静的ベンチマークですでにタスクあたり28分かかっていたモデルは、各ステップで4本のカメラ映像を読み取ってから動作コードを書く必要があるループの中で速くはならない。7時間という数字は、Carbonのテキストプロファイルをロボットアームに取り付けたときの姿だ。その熟考がより良いマニピュレーションを生んだかどうかこそ、欠けているスコアが教えてくれるはずであり、壊れたグリッパーは少なくとも、より多く考えることがより穏やかな動作に結びつかなかったという弱い証拠ではある。

このような取り組みにはどれほどのコストがかかるのか、そしてなぜカレンダーが重要なのか

タスクあたりのコストは、AAがCarbonについて公表していない数値であり、推測しても無意味だ。なぜなら既存のばらつきが非常に大きいからだ。GPT-6 Astraの242分の実行はタスクあたり16.36ドル、GPT-6.1 Solは1.93ドルだった。同じベンダーの2つのモデルが同じ8つのタスクを行って8.5倍の差がある。8タスク全体では約131ドル対15ドルになる。支出の約70%は出力ではなく入力とコンテキストに費やされており、これは4つのカメラフィードと増え続ける文字起こしがトークン料金に与える影響だ。Carbonはテキストではどちらよりも冗長なので、むしろタスクあたりの数値は高くなるはずだ。しかしそれは予測であって実測値ではなく、誠実に使えるのは見積もりではなく予算範囲としてのみだ。

あなたが実際に手を打てるのはカレンダーの部分だ。Carbonは2026年11月30日まで、入力100万トークンあたり2ドル、出力100万トークンあたり10ドル。12月1日には、モデルは変わらないまま4ドルと20ドルになる。キャッシュ入力は0.10ドルから0.20ドルに上がり、バッチとフレックスは半額で、プライオリティは標準の1.8倍で動く。AAが今実行したような長いエージェントループは、大半がキャッシュされたコンテキストと繰り返しのカメラフレームだ。つまり、ロボティクス風のワークロードはまさに、現在の料金から最も大きな恩恵を受け、その後は最も大きな打撃を受ける形だ。この実験を12月に再実行すると、今週かかるコストの2倍になる。

数字が出たときの読み方

AAがテーブルを更新するとき、Carbonが前進となるのか、それとももう一つのArgonとなるのかを決める3つのことがある。

• 55.3——Argonのスコア——に対する総合値。1リリース後に登場するGeminiモデルが自らの前身と同等以下であれば、そのファミリーのロボティクス物語は、能力ではなくハーネスのレイテンシについての物語になってしまうだろう。

• 28～45%の範囲に対する把持成功率：Astra 45%（n=95）、Fable 44%（n=89）、Opus 40%（n=100）、Argon 36%（n=75）、Sol 28%（n=111）。これは、グリッパーを壊すモデルを記録する指標である。なぜなら、ハードウェアを損傷するコマンドと物体を把持し損なうことは、どちらも同じ力覚フィードバックの欠如に由来するからだ。

• タスクごとのプロファイル、タスク別に見ると。Argon はボタン、ワニ、注ぐ、片付け、図形、書く、塔、測定で 100、100、100、40、0、45、57、0 だった。箱を測るタスクは誰も解けないものだ。Astra 0、Argon 0、Fable 0 で、Sol と Opus だけが 17 だ。三次元で 2 mm の許容差は精密タスクであり、精密さは腕を叩きつけるモデルが最も悪い成績を示すところだ。

ベンチマークが実際に何を評価しているのかという、もっともな疑問もある。CarbonはArgonと同様、Antigravity内で高エフォートで実行された。7.5時間のセッションは、モデルの計画能力と、長いループを一貫性のある状態に保つハーネスの能力を同時に試すものだ。そして10月のデータはすでに、Argonの25分に及ぶ最初の行動から、Fableが何かに触れる前に10分間調査したことまで、ハーネスに起因するアーティファクトを示していた。Carbonの結果は、それでもモデルの数値として引用されるだろう。それは少なくとも部分的にはエージェントループの数値なのだ。

待つのではなく実験を再現したい場合は

公開されたリグを備えた公開ベンチマークの有用な点は、スコアだけがそこから学ぶ唯一の方法ではないことです。Carbon は今や呼び出し可能です — Google は gemini-4-carbonを2026年11月10日に有料の Gemini API で一般提供開始しました（10月28日に限定公開のサイバーディフェンダー向けコホートで発表した後）— そして OrcaRouter では google/gemini-4-carbonとして、Google 自身の導入価格 $2/$10 で、キー上の他の 200 以上のモデルと同じ OpenAI 互換エンドポイント上で利用できます。当社はプロバイダーの定価を 0% のマークアップでそのまま反映するため、12月1日の価格改定は、再販サイクルを経た後ではなく、Google が適用する当日に当社側へ反映されます。

新しいモデルを高価なハードウェアで動かす前に、実務上の注意を2点。第一に、提供開始から1週間のエンドポイントは本番用エンドポイントではありません。当社独自の集計によるgoogle/gemini-4-carbonの直近7日間の数値は現在、エラー率30.2%、最初のトークンまでのp50時間6.89秒です（当社がルーティングしているプロバイダーパス全体で測定）。これは一般提供開始から3日目のモデルとしては正常であり、7時間稼働するループに1つのエンドポイントをハードコードすべきでない理由でもまさにあります。プロバイダー間の自動フェイルオーバーこそが、長時間のエージェントセッションが4時間目で停止するのを防ぎます。第二に、ルーティングDSLを使えば、Carbonを必要としないステップでは安価なモデルをループ内に維持できます。これは453分という長さでは重要です。そのセッションの大半はフレームを読み、再計画していたのであり、難しい判断をしていたわけではありません。

この読み方を変えるのは、アームのより良い映像クリップではない。AAが、無効となった試行を記録したスコアと、他の5つと並べた把持率を公表することだ。それまでは、正確な要約は狭いものになる。Gemini 4 Carbonは、そのラボで初めてラボにハードウェアを1台失わせたモデルであり、ラボが測定したどのモデルよりも時間がかかった（前任者を除く）。そしてその後に続いた再試行は、最終的な数値が背負わなければならない詳細だ。11月12日の投稿は、このモデルに手が与えられたときの振る舞いに関する実際のデータポイントだ。まだ、それをどれほどうまく使うかについての結果ではない。