Gemini 4 Pro対GPT-6 AstraのXbox 360コントローラーテスト — そしてFable 5.2がそれに含まれなかった理由

9月21日、3つの名前と1本の動画、そして「SOTA比較」という言葉を添えたXの投稿が公開された：Gemini 4 Pro、GPT-6 Astra、Claude Fable 5.2。これらの名前のうち2つは、誰も呼び出せないモデルのものだ。1つは、発売から18日経つモデルのものだ。そして投稿が指し示す成果物——単一のプロンプトから一発でベクターグラフィックスとして描かれたゲームコントローラー——は、実際にそれを実行した人々によれば、最初の2つによる2者比較だった。Claude Fable 5.2はそこに含まれていない。Claude Fable 5.1も同様だ。

その枠組みと証拠の間の隔たりこそが、今の Gemini 4 Pro をめぐる話の全体像そのものであり、切り捨てるのではなく注意深く分解して検討する価値がある。コントローラーテストは取るに足らないものではない。それは今月、未発表のフロンティアモデルについて誰かが生み出した中で最も再現できそうに見える成果物であり、背後には4か月にわたる系譜があり、多くの人に評決として読まれている。それは評決ではない。それは、テスター自身が翌日には再現できなかった一回の試行から生まれた引き分けであり、どこまで届き、どこまで届かないかを正確に知ることは、誇大宣伝や白けた反応のどちらよりも役に立つ。

テスト、そしてなぜSVGがベンチマークになったのか

このプロンプトは、今それを評価するために使われているモデルたちよりも古い。Gemini 3.0時代にさかのぼり、当時はこう出回っていた。「Xbox 360コントローラーのSVG画像を作成せよ。Markdownの複数行コードブロックで出力すること。」 この言い回しが重要なのは、それが言語モデルに対して意図的に容赦ないものだからだ。ベクター描画は構造だけでできていてテクスチャがない。モデルが身を隠せる写真のようなノイズもなければ、ミスを滑らかに覆い隠してくれる拡散サンプラーもない。すべての曲線を座標として指定しなければならない。コントローラーはモデルにとって難敵だ。左右対称の2つのグリップ、凹んだ皿状の部分、遠近法で描かれるショルダートリガー、それぞれに位置が必要な16個ほどのボタン、どれか一つの比率がずれただけで即座に「違う」と分かってしまうシルエット。しかも、答えはビューアに貼り付けられるテキストとして届くので、比較は手軽でどこへでも持ち運べる。誰かのチャットウィンドウのスクリーンショットを信じる必要など誰にもないのだ。

9月にコミュニティはそのプロンプトを再び取り上げた。アリーナセッションから出回った出力——自転車に乗ったペリカン、5つのマクロカメラアングルからレンダリングされたPlayStation 5コントローラー、照明を切り替え可能な3Dパゴダ、ボクセル寺院のシーン、Airbus H145ヘリコプターのページ——は、報道では、高い思考エフォートでそれぞれおよそ8分から20分かかると説明されている。比較用にスクリーンショットを撮られたのは、このコントローラーだ。

コントローラー比較が実際に示すもの

テスターが報告したままの結果がこれであり、タイムラインがそこから作り上げた主張に比べれば、はるかに小さい話でしかない。

• 判定 — 引き分け。これを実施した人物は、Lumina として投稿し、両方の出力を「ほぼ完璧」と評した。

• 唯一の非対称点 — Astra のバージョンはロゴがわずかに間違っていた。それは単一の細部にとどまるエッジケースであり、テスターもそれを一般的な手がかりではなく、単一の細部のエッジケースとして位置づけていた。

• 視覚的な完成度 — どちらのレンダリングも、コントローラー本体、操作部、陰影まで詳細に表現されている。どちらも形状が崩れることはなかった。

・この比較が立証しないこと — 未公開モデルが優位にあるということ。2つの出力が同等に優れていると判定されることこそ、優位ではないことの定義である。

• 再現性 — 報告によれば、その出力は前夜に生成されたもので、約20分を要したが、テスターは翌日に同等の結果を得ることができなかった。

• アイデンティティ — 出力元のアリーナ項目にはgemini-3.8-flashというラベルが付いていた。これは、Google が9月2日にリリースしたモデルにすでに付けられている名前で、後にgemini-3.7-flashにラベル変更されたと報じられている。このエイリアスの背後に実際にどのモデルがいたのかは未解決で、同じ期間に他の2人のテスターも、自分たちがどのモデルを使ったのか確認できなかったと述べている。

リストを順番に読むと、証拠の輪郭がはっきりしてくる。興味深い主張は「未公開モデルが勝った」ということではない。誰も特定できないモデルが、出荷済みモデルの名前で動いていて、慎重なテスターが9月の大半を通じて一般に利用可能だったフロンティアモデルの出力と区別できないベクター作業を一発で生み出した、ということだ。それは実際の観察である。同時に、ある1日の午後についての観察でもあり、テスター自身もそう述べている。

二者間の結果と三者間の主張

この記事のきっかけとなった投稿はモデルが3つだと言っている。同じコントローラー・セッションを扱った記事は2つだと言っている。Claude Fable 5.2の今週の実際の状況は、たまたま同じニュースサイクルに重なっただけの別の話であり、混同が双方に影響を及ぼしている以上、正確を期す価値がある。

• 主張されている内容 — Xアカウント @chetaslua は9月18日、Claude Fable 5.2 は「claude code で fable 5.1 をそれにルーティングしてテストされている」と投稿した。これは Claude Code に関するルーティングの主張であり、単一のアカウントによるものだ。

• この名称とは何か —— 記者自身の推測である。JAZII 名義で投稿したテスターは、9月18日の投稿がこの挙動について最も詳細な説明であり、そこで「Fable 5.2」は自分が付けた名称であって、誰にも確認されていない名称ではないと明言している。モデルカードも、API 識別子も、価格ページも、システムカードも存在せず、Fable 5.2 の経路を独自に報じる第二の媒体も存在しない。

• 裏付けの取れたClaudeルーティングの話が実際に何を指すのか——本ブログでは別途取り上げている。複数の独立系メディアが拾い上げた9月中旬のサイレントルーティング報道は、未公開のOpusティアのチェックポイントに関するものであり、Fableではなかった。Fableへの帰属は単一情報源によるものだ。これは一つの証言に基づく報告として扱うべきであり、確定した知見と見なしてはならない。

• テスターが実際に報告したこと — 高い推論エフォートでは、次期 Fable と目されるものが GPT-6 Astra よりも好まれ、しかもより遅く、より高コストだった。それは、一人の人物が自身の作業について述べた好みにすぎない。

• 出荷済みモデルについて検証されていること — Claude Fable 5.1 は 2026年9月1日から一般提供されています。そのモデルは実在し、価格が設定されており、今日呼び出すことができます。

つまり、この三者比較の枠組みを正直に言えばこうなる。その投稿にある3つの名前のうち2つは、コミュニティが命名した未発表モデルであり、コントローラーテストが関係したのは、少なくともアリーナのエントリーに身元が紐づいている1つだけだった。そしてFableの列は、モデル名を明示的に伏せた単独のテスターによる好みにすぎない。だからといって、どれも無視してよい理由にはならない。むしろ、3つの名前を1つの信頼度ではなく、それぞれ異なる3つの信頼度で扱うべき理由である。

実際に議論をしているのはベンチマーク表

コントローラーのSVGは目に見える成果物にすぎない。本当に説得力を発揮しているのは、9月18日頃に浮上し、それ以来中国語と英語のテック系メディアで繰り返し取り上げられてきたベンチマークシートだ。これは列挙する価値がある。数値は検証できるほど具体的であり、しかもそのどれ一つとして検証されていないからだ。

• DeepSWE v1.1 — 88.7%、GPT-6 Astra をおよそ2ポイント上回ると説明されている。

• GDPval-AA v2 — 2,064 Elo、上記の比較で2,000を超える唯一の項目と説明されている。

• Terminal-bench 2.1 — 95.3%、表内で最高スコアとして示されています。

• OSWorld-2.0 — 86.8%、GPT-6 AstraとClaude Fable 5.1の両方を上回りました。

• 主張されている価格 — 入力トークン100万あたり$2.25、出力トークン100万あたり$11.25。

• 主張されている仕様 — 1000万トークンの入力上限、256Kトークンの出力上限、会話をまたぐメモリ。

上の各行はすべてコミュニティによる主張です。Google はそのいずれも確認しておらず、アリーナの登録項目が Gemini 4 Pro であること自体も確認しておらず、コメント要請にも応じていません。この表にはチェックポイント識別子も、推論エフォート設定も、エージェントハーネスも、ツール権限も、テスト分割も、サンプルサイズも、実行ログもありません——本物の評価には備わっていて、スライドのスクリーンショットには備わっていないものです。ベンチマーク名もまた、OpenAI が自社の9月の発表資料で使ったのと同じ系統から取られており、これはこの表がどこで測定されたかではなく、どこで組み立てられたかを示す手がかりです。

今月、フロンティア比較を行う際に注意すべき理由はもう1つある。誰もが頼りにするあの独立系インデックスが9月7日にv4.3へ再バージョン化され、再バージョン化はリーダーボードの上位を圧縮したり伸長したりする。バージョンが添えられていないスコアは、3週間前のスコア——私たちのものであれ、誰のものであれ——と比較できない。

Gemini 4 Pro について実際に確認されていることとは

主張を取り除けば、確かな記録はごく短い。

• 2026年7月21日 — Googleは、Gemini 4に向けたこれまでで最も野心的な事前学習を開始したことを認めた。最高経営責任者は第2四半期の決算説明会でこのことを繰り返した。

• 2026年9月2日 — Gemini 3.8 Flash がリリース。Google の最新の一般提供モデルは、引き続き Flash ティアのモデルです。

• 2026年9月15日～18日 —「Lentils」と名乗るリーカーが、Gemini 4 Proのチェックポイントがコードネーム「argon」で内部的に出現していると主張。コミュニティのトラッカーは、出荷済みのgemini-3.8-flashというラベルの下でアリーナのエントリーを記録しており、回答ごとに8～10分を要し、そのモデルが生成するものをはるかに超えるベクターおよび3Dの成果物を生成している。

• 今日 — Gemini 4 のモデルIDも、エンドポイントも、価格も、モデルカードもない。6月にプレビューされながら一度も出荷されなかった Gemini 3.5 Pro は、その向上幅が小さすぎたため中止されたとウォール・ストリート・ジャーナルが報じた。

それが、確認済みの表面のすべてだ。ほかに出回っているもの——表、価格、コンテキストウィンドウ、コードネーム、アリーナ項目の正体——は、小数点をまとった推測でしかない。

待っている間に実際に実行できるもの

これは比較記事が見落としている部分であり、そして判断を変える部分でもある。

GPT-6 Astra は噂ではない。2026年9月3日に出荷済みで、モデル ID gpt-6-astra を持ち、今日すでに OpenAI 自身の定価、入力トークン100万あたり10.00ドル、出力100万あたり50.00ドル、キャッシュ済み入力は1.00ドルで呼び出せる。OrcaRouter 上では同じプロバイダー定価のまま、マークアップ0%で動作する — ベンダーの料率をそのまま通しているので、料率が動けば、誰かがマージンを更新するのを待つのではなく、こちらの数字も当日に動く。OpenAI が報告しているベンチマークは、DeepSWE v1.1 が74%、OSWorld 2.0 が72.6%、Terminal-Bench 4.0 が57.9%、ExploitBench が100%で、これが Critical cyber capability の閾値を超えさせた。これらはベンダー報告であり未再現の数字で、リークされた Gemini 4 Pro の資料が暗に反論しているのはまさにこの数字だ。

Gemini 4 ProはOrcaRouterには存在せず、そうでないふりをするつもりもありません。エンドポイントもモデルIDも価格もありません。出荷済みのモデルが存在しないからです。対照的に、Claude Fable 5.1は9月1日から一般提供されており、自身の定価でルーティングできます。Claude Opus 5や現行の最先端層のその他も同様です——1つのAPIが200以上のモデルをプロバイダー定価で、マークアップなしでカバーするので、このような比較を実行するのに3つのアカウント、3つのSDK、3つの請求書は必要ありません。

コントローラーの結果が、未発表のモデルを軸に本番パスを再構築したくなる誘因であるなら、証拠が支持する賢明な行動は「やらない」だ。今あるパスを維持し、その効果が自分の仕事にも一般化するかどうかを確かめたければ、すでに信頼しているモデルへのフォールバックを備えた実証されていないパスに、トラフィックの一部を流すといい。そうすれば、悪い午後はインシデントではなく、トラフィックの1パーセントポイントの損失で済み、他人が20分で出した結果を借りるのではなく、自分自身の答えが得られる。

コントローラーの結果を意味のあるものにするには、何が必要だろうか

• 別名に本物の名前がつく。アリーナのエントリーは、リーダーボードの行を伴った噂でしかない。ベンダー自身のドキュメントに載ったモデルIDこそが製品だ。タイムラインではなく、モデル一覧を見よ。

• 結果は再現する。あるテスターは翌日、同じ出力を得ることができなかった。3人の独立した人物が、モデルを明示した上で、要求どおりにそれを得られるというのは、まったく別のクラスの証拠である。

• 漏洩したシートには方法論が与えられる。チェックポイント、エフォート設定、ハーネスを欠いたベンチマークスコアは測定ではない。それは測定についての主張である。

• 価格が登場する。主張されている$2.25/$11.25が事実であれば、未リリースのフロンティアモデルは3つの中で圧倒的に最安となるが、これは料金表に載るか載らないかという類の主張だ。

• Fable の帰属に2つ目の情報源が加わる。今は1つしかなく、それを作った人物は、その名前はそもそも自分のものだったと言っている。

答えに値する質問

もしアリーナのエントリーが本当に Gemini 4 Pro なのなら、なぜリリース済みモデルの名前で走らせるのか?

既存モデルのラベルの背後で新しいチェックポイントをテストするのは、ブラインドベンチマークの標準的なやり方だ——名前が投票に影響を与えずに、ラボが直接対決の投票を集められる。同時に、そのラベルは背後に何があるかを何も教えてくれないということも意味しており、まさにここでの問題はそれだ。そのエイリアスは、何かがテストされている証拠ではあっても、何がテストされているかの証拠ではない。

GPT-6 Astraとの引き分けは、未公開のモデルが期待外れだということを意味するのでしょうか？

いや、そしてこここそ、そのフレーミングが最も大きな害を及ぼす場面だ。まだポストトレーニング中で、別名で稼働し、難しいワンショットタスクで出荷済みのフロンティアモデルに匹敵しているチェックポイントは、ローンチ当日のチャートよりもはるかに強いシグナルだ。それは、購入できる製品についてのものというより、方向性についてのシグナルにすぎず、比較記事ではその二つが同じものとして読まれてしまう。

これのせいで、今日何か切り替えるべきでしょうか？

これが理由ではない。コントローラーテストの何も、何が利用可能か、何にいくらかかるか、どのモデルが何を得意とするかを変えるものではない。今週の意思決定に関わる事実は、GPT-6 Astra と Claude Fable 5.1 がどちらも稼働中で価格設定済みであり、Gemini 4 Pro はそのどちらでもないということだ。その可能性に備えてヘッジしたいなら、書き換えではなくルーティングでヘッジするといい。

率直な見方

コントローラー・テストは、Gemini 4 Proについてこれまでに誰かが提示した中で最良の証拠だ。そして、これまでに誰かが提示した中で最良の証拠とは、誰も名前を挙げられないモデルに対する、再現されなかった一度きりの試行から生まれた引き分けであり、誰にも検証できないベンチマーク表と並んで報告されている。それは否定のように聞こえるが、否定ではない。このテストが広まったのは、この話の中でスライドではなく製品のように見える最初の成果物だからだ——本物のプロンプト、本物の出力、それらを比較する本物の人物、そしてどちらの陣営の支持者も手放しで我がものと主張できなかった結果。

やらないのは、何かを決着させることだ。今週中に出荷しなければならないなら、実在するフロンティア層――GPT-6 Astraの$10/$50、Claude Fable 5.1はそれぞれの定価――こそが、あなたの判断が実際に依存する場所であり、どちらも2つ目の契約なしに1つのキーで呼び出せる。Googleが何を持っているかを知りたいなら、これを「現時点で分かっていること」の記事からローンチ記事へと動かす唯一のシグナルは、モデルID、料金表、そして再現だ。それらが届くまで、Xbox 360コントローラー比較の正しい読み方は、それを実施した人物が示したもの、すなわち非常によく描かれた図が2つ、そして勝者なし、である。