GPT-6.2 AstraとGPT-6.2 Solが同じthree.jsのYonkersメカデモを構築する比較のタイトルカード。Artificial AnalysisのAA-3DでAstraが1,318 Elo、Solが1,259であることを示し、ある開発者が公開した並列比較ではどちらのモデルも都市をメカへ説得力のある形で変形させられなかったことを記した帯を添えている。OrcaRouterのロゴが右下隅に配置されている。
Guides & Insights

GPT-6.2 Astra vs GPT-6.2 Sol:2つのメカデモ、1つのミス

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

Open​AI のローンチ投稿はGPT-6.2 Astra と GPT-6.2 Sol について、限定的だが検証可能な約束をしている。この2モデルは「よりクリーンなコードを書き、特にウェブサイト、ゲーミング、3D デザインにおいて、見た目も動作もより優れたフロントエンドを構築する」というものだ。これは仕様書では決着がつかず、ベンチマークでも近似しかできない種類の主張なので、リリースから2日後、公開され再現可能な直接対決はちょうど1件だけ存在する。Simon Willison の Yonkers プロンプトを Codex CLI で Ultra エフォート設定の両モデルに対して実行し、両方の出力を誰でも開けるようオンラインに残したものだ。彼の結論は記事の冒頭の一文になっている。「どちらも、Yonkers を大きなメカに変形させる仕事を十分にこなせなかった。」

このテストが記事にする価値を持つのは、2つのモデルが及ばなかったからではない。それぞれが違う形で及ばず、しかも読めるコードでそれをやらかし、より高くつく形で及ばなかったほうが、後から比較動画を編集できるほどには十分良かったからだ。フロントエンド生成に1週間分のコンテキストウィンドウを費やそうとしているなら、568 KBのバンドルと手書きの4モジュールとの違いは、出荷できるデモと書き直さざるを得ないデモとの違いだ。

Open​AIがこのペアに構築できると述べているもの

この主張は検証するのに十分具体化されている。Open​AIの投稿は、両モデルが「書かれたブリーフをインタラクティブなブラウザ体験に変えること、遊べるピンボール台から、さまざまな角度から探索できるコロッセオの再現まで」を実現していると説明し、Artificial AnalysisのAA-3Dを挙げている。そこでは人間の審査員が、同じプロンプトから構築された2つのブラインドされた体験を見て、好ましい方に投票する。そのボードではGPT-6.2 Astraが1,318 Eloで1位、Claude Fable 5.2が1,271、GPT-6.2 Solが1,259で続く。

2つのOpen​AIモデル間の59ポイント差を読めば、Astraは3Dにおいて明らかに優れていると結論するだろう。だが絶対的な数値を読むと、ランキングが隠していることが見えてくる。ボードは常に同じプロンプトへの2つの試行だけを比較するため、ペアのどちらが見た目に優れているかは教えられても、どちらかが優れているかについては何も語らない。未完成のメカ2体による盲検の好みテストでも、それでも勝者は出る。

ドキュメントには、プロンプトエンジニアリングチームからの謝罪のように読める注記が加えられている。GPT-6.2の移行ノートで、Open​AIは、両モデルがより簡潔で率直だとして、比較対象にGPT-6 Astraを挙げ、意図が不明なときには手順を提案して待つ場合があること、そして——本稿にとって重要な一文だが——フロントエンド作業では画像とタイポグラフィについて明示的な指示が必要になったことを述べている。あなたが書かなかった指示は、モデルが発明する指示だ。Yonkersのプロンプトにはアートディレクションが一切含まれていない。だからこそ、これは2つのモデルにとって公平なテストであり、どちらにとっても少し不公平なテストなのである。

1つのプロンプト、2つの公開デモ

three jsのアニメーションを作ってください。ヨンカーズが巨大メカとして立ち上がり(かっこいい立ち上がりモーション)、マンハッタン、クイーンズ、ブルックリンを踏み荒らしながら歩き回るものにし、openstreetmapの地図データを使ってください。どちらの実行もCodex CLIでUltraエフォートを使用しました。どちらの結果もまだオンラインで、どちらも実際のカメラ、実際のローポリ都市、実際のルートを備えた動作するWebGLシーンとして開きます。これは、ほとんどのthree.jsリクエストが初回で生み出すものよりもすでに多いものです。

どちらも完成品ではない。Willison自身の比較は、同じブリーフから作られたClaude Fable 5.2とGemini 4 Carbonのビルドとの比較であり、彼の判断では、GPT-6.2の2つの試みはいずれも、プロンプトが実際に求めた一点、つまり都市から立ち上がったメックへの移行で負けている。立ち上がる動きこそがデモであり、どちらのモデルもそれを本当にはアニメーション化していない。

• バンドル — GPT-6.2 Astra は 568,418 バイトの Vite ビルド 1 つに加えて 8,075 バイトの CSS を提供するのに対し、GPT-6.2 Sol は city.js、mech.js、effects.js をインポートする 17,094 バイトの main.js で、three.js はローカルで 658,900 バイトとして配信されます

• タイムライン — Astraは0–960のスクラバー上で96秒のシーケンスを実行し、Solは48秒のシーケンスで、歩行は6.25秒から始まり、最後のステップは44.5秒です

• チャプター — それぞれ4つ:Astraは「01 / 04」と表示されるシーケンスカウンターで番号を振るのに対し、SolはYonkers、Manhattan、Queens、Brooklynと名付け、0、17.6、30.2、38秒から開始する

• カメラ — Astra は「track」ビューと「atlas」ビューを切り替えますが、Sol は O に割り当てられたオービット切り替えです

• テレメトリ — Astra はアクション読み取り表示として「Rising」と座標「40.9310° N 73.8987° W」を出力するのに対し、Sol は「40.93° N · 73.90° W」の位置に 184×138 のレーダーキャンバスを表示する

• 帰属表示 — 両モデルとも、ページフッターに OpenFreeMap、OpenMapTiles、および © OpenStreetMap contributors のクレジットを記載している。これは、どちらのモデルも落とさなかった唯一の要件である

• 実行コスト — 最大エフォートでは、Willisonの標準的なSVGペリカンはAstraで88.71¢、Solで13.69¢かかり、この比率は彼が測定したすべてのエフォートレベルで当てはまった

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: 568 KBの単一バンドル、スクリプト化されたUI

Astraのビルドは「Stride Atlas — Yonkers Rising」と題され、プレゼンテーションのように動作します。ブランド名と「システムオンライン」ステータスを表示するマストヘッド、オーディオトグル、フルスクリーンボタン、そしてアクセシブルラベルに「三次元の都市とアニメーションするメック。ドラッグで回転、スクロールでズーム。」と記されたキャンバスがあります。その下には「メックシミュレーション / 001」と読めるアイブロウ、見出し「Yonkers Rising.」、サブライン「ニューヨーク大都市圏」があります。

技巧は計装に宿る。アクション表示が「上昇中」とライブ座標を示すテレメトリパネル、10 km と表示されたインセットのルート概観キャンバス、そしてシーケンスカウンター、再生とリスタートのボタン、時計、0 から 960 までのスクラブ範囲、終了時刻 01:36 を備えたトランスポートコンソールがある。それは 96 秒の作り込まれたシーケンスであり、これほど長いスクラバーは偶然ではない——デモは映画であり、カメラが監督だという決断なのだ。

また、単一のバンドル成果物として届きます。上記のすべては、1つの568,418バイトのVite出力と1つの8,075バイトのスタイルシートにコンパイルされ、文字列 chaptersと stompProgramCacheは、シーケンスデータが実データであるためミニファイ後も残ります。デモ用途では、バンドルが適切な選択です。ホストするファイルは1つ、キャッシュエントリは1つ、壊れるインポートグラフもありません。拡張していく必要のあるコードベースにとっては、568 KBの壁です。

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: 4つのモジュール、ローカルのthree.js

Solのビルドは「Yonkers Protocol | A New York Mech Simulation」と題され、そのメタディスクリプションでは技術を明言している:「ヨンカーズで都市サイズのメカが立ち上がり、マンハッタン、クイーンズ、ブルックリンを行進する、映画のようなThree.jsアニメーション」。ページは「METRO CONTROL / NEW YORK, NY」ブランドの下で、「OPENSTREETMAP TERRAIN」チップ、軌道ビュー切り替え、サウンド切り替え、「Yonkers Protocol simulation」とラベル付けされたビューポートを備えて動作する。

Astraが映画を脚本化したのに対し、Solはコントロールルームを築いた。そこには「01 / 04 YONKERS」のセクター表示、SPACEヒント付きの「シーケンス開始」ボタン、184×138のレーダーキャンバス、4つのフェーズボタン——ヨンカーズ / 覚醒、マンハッタン / 南下、クイーンズ / イーストリバー、ブルックリン / 最終進入——、そしてドラッグで周回、スクロールでズームのヒントがある。どちらのページでも最も自信に満ちているのはコピーだ:「ヨンカーズがハドソン川のウォーターフロントから立ち上がり、マンハッタン、クイーンズ、ブルックリンを進んでいく様子を見よ。」

面白いのはコードの部分だ。Solはバンドラーを完全に省き、threeをモジュールビルドのローカルコピーに向けるインポートマップを使い、それから作業を手作業で分割した:city.js は9,603バイト、mech.js は25,511、effects.js は12,119。main.js が方向を担っている — 48秒の継続時間、6.25秒から始まる歩行、最後の歩が44.5秒、ヨンカーズからブルックリンまで下る16個の経度・緯度チェックポイント、そしてそれらを通る THREE.CatmullRomCurve3を使い、arcLengthDivisions を1,000に設定しているので、メカは狭いカーブで速度を上げずに一定のペースで歩く。最後の設定は、キャラクターがカクつくのを見たことがある人でなければ書かない類のディテールだ。

どちらのアプローチも間違いではない。Astra はロードされるもののために最適化し、Sol は開いて編集できるもののために最適化した——そしてファイル分割は、Sol が3Dデモとはシーングラフ、アクター、そして一連のエフェクトであり、それらは別々のファイルに属することを理解していたことを示している。

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

どちらのデモも見逃したモーフ

ここが、どれだけUIを磨いても覆い隠せない部分だ。プロンプトは、Yonkersが立ち上がることを求めている — 巨大メカとして。街区が身体になるという変形だ。どちらのビルドもその移行を説得力をもって実現できておらず、Willisonはそう直接述べて、両方をClaude Fable 5.2の解釈とGemini 4 Carbonのものより下に順位付けしている。

1,318 Eloスコアに対する率直な解釈はこうだ。Artificial AnalysisはAstraをSolより上と測定し、デモもそれを裏付けている——Astraの方がより完成度の高いページだ。しかし、ボードが答えるのは「この2つのうちどちらが優れているか」であり、読者が実際に抱く問いは「これは使うに十分な品質か」だ。そして、唯一公開されている並列比較から得られるその答えは「No」だ。両方ともモーフを見逃した2モデル間の選好テストでも、順位は出る。そしてその順位は依然として能力面の優位として報告される。

ローンチのフロントエンド側の話のもう半分はコミュニケーションであり、これもまた褒められたものではない。WillisonはTheo Browneのリリース前フィードバックレターを引用しており、その中では、長いタスクではサブエージェントをうまく管理しながら、その後、人間には答えようがない内部実装上の疑問で行き詰まるモデルが描写されている——彼の例は、プロジェクト開始から2時間経ったエージェントが、レビュアーがそのクリップをどちらのファイル名に書き込むのかを尋ねるために止まってしまうというものだ。Open​AI自身の移行ノートにある、モデルは「意図が不明瞭なときはステップを提案して待つことがある」という記述は、内部の視点から語られた同じ挙動であり、これは実際のコストだ。与えることのできない入力を待つエージェントは、停止してしまったエージェントなのである。

そのギャップがあなたのビルドにとって何を意味するか

作業が3Dまたはフロントエンドのデモなら、2つのモデル間の実用的な違いは59 Eloの差ではない。違いは、Astraが完成品に見える成果物を渡してくるのに対し、Solはリポジトリを渡してくることだ。成果物が誰かに送るリンクならAstraを選び、月曜に他の誰かが変更しなければならないコードならSolを選べ。

同じ軸で選択肢の価格を比較します。GPT-6.2 Astra は入力100万トークンあたり8ドル、出力100万トークンあたり40ドルで、キャッシュ済み入力は0.40ドル、キャッシュ書き込みは10ドルです。GPT-6.2 Sol は2ドル、10ドル、0.10ドル、2.50ドルで、すべての項目でトークン単価が4分の1です。どちらもコンテキストウィンドウは1,050,000トークン、最大入力922,000、最大出力128,000で、どちらもreasoning_effort: "none"を拒否し、どちらもリクエストあたり272,000トークンを超えると入力とキャッシュ済み入力が2倍になり、出力は1.5倍の課金となります。バッチは標準の50%、Fastモードは2倍、Ultrafastは2027年2月28日までは3倍、2027年3月1日からは6倍で課金されます。

同じ午後の成果物あたりコストの数字こそが保持すべきものだ。ウィリソンのペリカンテストは同じSVGを3つのエフォートレベルで描画しており、最大エフォートではAstraが88.71¢、Solが13.69¢だった——どちらも彼が明確な勝利とは表現しなかった描画に対して、およそ6.5倍のコストだ。Ultraエフォートでのフロントエンド生成は、高価なモデルの優位性が現実に存在しつつも限定的な領域であり、一度のリトライでそれが消し飛ぶ領域でもある。

ルーティング層の位置づけ

率直に言うと、GPT-6.2 Astra と GPT-6.2 Sol は現在 OrcaRouter のカタログにはありません。当社が提供している Open​AI のラインナップは GPT-6 Astra、GPT-6 Sol、そして GPT-6.1 Solです。つまりこの2つは、一般的には Open​AI 自身の API やサードパーティのプラットフォームを通じて利用できますが、当社経由では利用できません。

カタログがもたらすのは、この記事が主張している習慣そのものだ。Yonkersのようなテストは、本番経路をコミットするのではなくモデル間でA/Bテストしたい、まさにそういう種類のワークロードであり、それを単一のエンドポイント経由で行えば、キーは1つ、請求も1つ、2つ目の契約も不要で、試用中のモデルがレンダリング途中でタイムアウトし始めても自動フェイルオーバーが働く。実際に扱っている行については、OrcaRouterはプロバイダーの定価を0%のマークアップでそのまま通すので、支払うのはベンダー自身の料金表どおりであり、値下げは当日に当社側でも反映される。フロントエンド作業で$2のモデルと$8のモデルのどちらを選ぶか検討しているなら、デフォルトを決める前に、同じプロンプトで自分自身で走らせてみる価値のある比較だ。

今回のローンチから得られるより限定的な教訓は、3D生成が「できない」から「未完成」へと越えたということだ。そして2つのモデルは、その坂道の異なる地点に位置している。一方は完成して見えるページを生成し、もう一方は実際に完成したコードを生成する。どちらもヨンカーズをモーフィングしたわけではない。しかし両者とも十分に近づいており、次のリリースならおそらく可能になるだろう。そしてその時、それを確かめるコストは移行1回ではなく、プロンプト1回になる。

この記事で比較したモデル1

この記事から検出