生成されたタイトルカード。見出しは「GPT-6.2 AstraがBlueprint-Bench 2で首位」、サブタイトルは「人間の基準線は12件のアパート」、キャプションは「0.614 対 人間ベースライン 0.586」。下に角丸カードが2枚並ぶ。左側は「GPT-6.2 Astra」と表示され、行は「Blueprint-Bench 2: 0.614」「ボード上で1位」「3Dシーン再構築」。右側は「人間ベースライン」と表示され、「0.586」「12件のアパートで測定」「ベンチマークの50件中」とある。OrcaRouterのロゴが右下隅に合成されている。
Guides & Insights

GPT-6.2 AstraがBlueprint-Bench 2で首位:人間の基準ラインは12戸のアパート

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

GPT-6.2 AstraはBlueprint-Bench 2で0.614を記録した。同じボードでの人間のベースラインは0.586だ。これは確かなリードであり、同時に、Andon Labsが12件のアパートから算出した人間の数値に対して測られた0.028ポイントでもある。この結果は2026年11月20日にAndonの評価ページに掲載され、同じ朝にGreg Brockmanが広く拡散した。彼はGPT-6.2 Astraが「物理的な3D理解ベンチマークで人間のベースラインを上回った」と表現した。その文の前半と後半はどちらも少しだけ膨らみを抜く必要があり、本記事はどの部分が生き残るかを扱う。GPT-6.2 Astra、GPT-6.2 Sol、Gemini 4 CarbonがAndonのボードの上位4枠を占めているが、これは見出しの順位よりも、読者がこれをどう呼ぶかを決めるうえで重要だ。

ベンチマーク自体は新しいものではない。Blueprint-Bench 2 は2026年5月から Andon Labs のサイトに掲載されており、6か月間モデルを集めてきた。11月20日に変わったのは、あるモデルがついに自身の誤差範囲を超えて人間のラインを上回ったことだ。つまりこれはベンチマークの公開ではなく、モデルの公開でもない——O​penAI は2026年11月17日、スコアが現れる3日前に GPT-6.2 Astra をリリースした。既存のボードに結果が載ったのであり、興味深い問いはその数字が本物かどうかではない。その数字が何を測定しているかだ。というのも「物理的な3D理解」という表現は、その評価が自らの方法論で果たす役割よりも、ツイートの中で大きな役割を果たしているからだ。

Andon Labsが実際に測定したもの

Blueprint-Bench 2 は、エージェントに五十のアパートを次々と与える。各アパートについて、エージェントは約二十枚の室内写真を見て、2D の間取り図を描かなければならない。部屋、どの部屋がどの部屋につながるか、そしてそれらの相対的な広さである。エージェントはアパート間で永続的なノートを持ち運ぶため、モデルは典型的な間取りについて学んだこと——廊下が通常どこにあるか、角にあるドア枠が何を意味するか——を書き留め、次の住戸で活用できる。このノートこそが、この設計を単なる視覚テストではなくエージェント評価にしている部分であり、単一画像のベンチマークよりも、フロンティアモデルと中位モデルをより明確に分ける理由でもある。

スコアリングは、モデルの接続グラフを正解と比較し、六つのサブ指標に重み付けして評価する。部屋間接続のジャッカード類似度が50%、次数類似度が20%、グラフ密度が10%、部屋数が10%、ドア数が5%、向きが5%である。プランはD4対称性の下で照合されるため、回転や鏡映が施されていても採点対象となり、合成スコアはランダムなベースラインが0、完璧なプランが1に対応するよう正規化される。ジャッカードへの50%の重みは、このベンチマーク全体を一行で言い表している。Andon自身の記述によれば、どのモデルも部屋数はおおむね正しく、約90%の精度に達するが、判別要因となるのは、どの部屋がどの部屋に通じているかをモデルが導き出せるかどうかである。写真から部屋を数えるのは簡単だ。ウォークスルーからトポロジーを再構築するのはそうではない。

その設計からは二つの帰結が導かれる。第一に、出力は3Dモデルではなく2Dの平面図である。空間推論が三次元的だというのは、エージェントが一連の重なり合う視点からフロアのレイアウトを推測しなければならないという意味であり、天井高や体積、家具を正確に再構成しても、採点では何も評価されない。第二に、スコアは精度のパーセンテージではなく、グラフ類似度の数値である。0.614は、モデルが住戸の61%を正しく当てたという意味ではない。その重み付けの下で、その連結グラフがランダムから完全な正解へ向かう道の61.4%の位置にある、という意味だ。

モデルと人間を分ける0.028

2026年11月20日時点のボード上位は次のとおりです。Andonがチャートに描く標準誤差バーは、公表された図から読み取ったものです:

• GPT-6.2 Astra — 0.614、1位、誤差範囲はおよそ0.601~0.627

• Gemini 4 Carbon — 0.586、同率2位、誤差範囲は約0.571〜0.601

• 人間のベースライン — 0.586、同率2位、12件のアパートでテスト、区間は未公開

• GPT-6.2 Sol — 0.570、4位、誤差範囲はおよそ0.558~0.584

• Claude Fable 5.2 — 0.566、5位

• Gemini 4 Argon — 0.544、6位

• Claude Opus 5.5 — 0.512、7位

• GPT-6 Astra — 0.497、8位

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

そのリストから特に取り出しておく価値があるのは3点だ。1点目は差の大きさで、ランダムが0、完璧が1の尺度で0.028ポイントだ。2点目は、Astraの誤差範囲が0.586まで下がらないこと——その帯の下端は0.601——なので、人間の数値に対するリードはモデル自身のノイズの内側にはない。3点目は、人間の数値には不確実性の帯がまったくないことだ。なぜならそれは、50アパートのタスクのうち12アパートだけで計算されたからだ。12戸からの人間のスコアと50戸からのモデルのスコアは同じ測定ではなく、Andonもそれを率直に認めている。リーダーボードの脚注には「人間のベースラインは12アパートのサブセットのみでテスト」とある。0.586は、人間がどこに位置するかの推定値として扱い、幅が既知の線として扱ってはならない。

エラーバーが示しているもう一つの点は、首位集団の層がどれほど薄いかということだ。Astraの下側ヒゲとGemini 4 Carbonの上側ヒゲは、ちょうど0.601で接している。このベンチマークでは、1位と同率2位の差はヒゲが1本触れるだけであり、これは「他のどのAIよりも優れている」という主張とは異なり、より擁護しやすい主張だ。Andon自身のチャートキャプションは、注目に値する形でこの違いを曖昧にしている。破線の人間のラインを「Human (0.59)」とラベル付けしながら、GPT-6.2 AstraとGemini 4 Carbonが「now ties it」と書いている。しかし表では、Astraは0.028上、Carbonはちょうど線上にある。より慎重に作られた成果物は表のほうだ。引用されたのはキャプションのほうだった。

2つのベンチマーク、1つの方向性

あるリーダーボードが人間の基準線を超えたとしても、それは採点上の見かけの産物にすぎない可能性がある。この結果を真剣に受け止めるべき理由は、独立に構築された第2の3D評価が同じ週に同じ方向へ動いたからだ。Artificial AnalysisはAA-3Dを運営しており、これはまったく別のタスクだ。モデルはStirrupを通じてオフラインサンドボックス内でエージェントとして動作し、書かれたブリーフをインタラクティブなthree.jsシーンに変換する。順位はグラフ比較によるものではなく、募集された人間パネルによるブラインドのペアワイズ投票——現在のボードでは20,000票超——から決まる。

• GPT-6.2 Astra (Max) — 1,318 Elo、95%区間 1,286〜1,349、1位

• Claude Fable 5.2 (Max) — 1,271 Elo、2位

• GPT-6.2 Sol (Max) — 1,259 Elo、ランク3

• Claude Sonnet 5.5(Max)— 1,204 Elo、4位

• Claude Opus 5.5 (Max) — Elo 1,202、5位

• GPT-6 Astra (Max) — Elo 1,168、95%区間 1,141~1,196、6位

2つのボードは中位について意見が分かれている——Claude Fable 5.2はAndon版で5位、Artificial Analysis版で2位——が、トップについては完全に一致している。Astraが首位、Solがトップ3入り、前世代は約150 Elo後方に位置する。O​penAI自身のローンチ投稿は11月17日に同じ3つの数値でAA-3Dの主張を行い、独立系ボードは現在もそれらを変わりなく示している。これはベンダーの数値と第三者機関の数値が同一になる稀なケースだ。これはBlueprint-Benchの数値には当てはまらない。O​penAIは間取りについて何も述べておらず、スコアはAndonからのみ届いた。

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

この収束こそが論拠だ。コードで採点されるグラフ類似度ベンチマークと、盲検の人間の選好で採点されるEloベンチマークは、「空間能力」の二つの評価として考えうる限り大きく隔たっているのに、同じ三つのモデルを同じ順序で順位付けしている。両者が確立していないのは、どちらか一方がロボティクスチームなら空間知能と呼ぶものを測定しているということであり、これがAndonの表の最も興味深い行へと導く。

ロボティクスモデルがゼロ点だった理由

Gemini Robotics-ER 1.6 は Blueprint-Bench 2 で 0.000 を記録した — ランダムベースラインと同等かそれ以下であり、Andon によって二重アスタリスク付きでフラグが立てられている。これはページ上で最も有用な数値だ。空間的および身体化推論のために特化して構築されたモデル、つまり「物理空間を理解する」というタスクなら手に取るようなモデルが、偶然を上回らない接続グラフを生成する。Andon 自身もこう指摘している。空間特化は間取り生成には転移しない、と。

他にも4つのモデルがランダムベースラインに位置しており、そのクラスタの形から、このベンチマークが何に報酬を与えているかがわかる。報酬を与えているのは、特定の複合スキルだ。一連の写真を読み、あるフロアについて一貫した仮説を維持し、パーサーが採点できる厳密にフォーマットされた計画を出力する。モデルは物理空間についての推論に優れていても、これには失敗しうる。失敗モードは通常、空間推論ではなく、出力形式か長期的な整合性だからだ。つまり「物理3D理解で人間のベースラインを上回る」は、スコアの公正な要約ではあるが、スキルについてはやや寛大な要約だ。正直な表現はより狭い。それは、グラフ構造のみを採点するベンチマークにおいて、12戸のアパートからなる人間のサンプルよりも正確に、写真からアパートの接続性を再構成する、というものだ。

実際の仕事で平面図を扱う人——物件情報の取得、保険書類、施設管理業務、紙の図面のデジタル化——にとっては、そのより狭い主張のほうが依然として有用だ。なぜならグラフ構造こそ、そうしたワークフローに必要なものであり、PDF-to-CADパイプラインがまさに間違えるところだからだ。部屋を移動するロボットについての記述として読む人にとっては、Robotics-ERの行がその訂正である。

そのリードを購入するのにかかる費用

GPT-6.2 Astraの定価は、入力100万トークンあたり8ドル、キャッシュ済みトークン100万あたり0.40ドル、出力100万トークンあたり40ドルで、これは入力・出力の両方でGPT-6 Astraより20%低い。人間のラインに並ぶモデル、Gemini 4 Carbonの定価は2ドルと10ドルで、Astraの入力価格の4分の1、出力価格の4分の1にあたる。Andonのボードで0.570の4位、AA-3Dで1,259 Eloの3位につけるGPT-6.2 Solは、Astraの価格ではなくGPT-6.1 Solのトークン価格を維持している。

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 対 GPT-6.2 Astra 0.614

• 100万トークンあたりの入力価格 — Carbon $2.00 対 Astra $8.00

• 出力価格(100万あたり) — Carbon $10.00 対 Astra $40.00

• AA-3D Elo — Carbon はボード未掲載、Astra 対比 1,318、ランク 1

• それぞれの位置 — Carbon は人間のラインに並び、Astra はそれを 0.028 上回る

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

これを価格に関する問いとして読むと、その答えはフラッグシップにとって居心地の悪いものになる。両モデルが登場する唯一のベンチマークでは、価格が5分の1でも人間のベースラインと同点になり、首位とは紙一重の差だ。Astraの価格を正当化する根拠は間取り図にあるのではなく、OpenAIのローンチ記事にある専門業務の評価にある。そこではAstraは105万トークンのコンテキストウィンドウを持ち、Agents' Last ExamとTerminal-Bench-Scienceでフロンティア級のスコアを出すモデルだ。あなたのワークロードがアパートの写真と接続グラフなら、この表だけから価格差を正当化するのは難しい。あなたのワークロードが長い法律文書や科学文書の集合なら、このベンチマークはどちらとも何も語っていない。

コストに関する注意点がもう1つあります。AndonもArtificial Analysisも、Blueprint-Bench 2のタスクあたりコストの数値は公表しておらず、このベンチマークはその点に極めて敏感です。約20枚ずつの画像がある50戸のアパートは、モデルが部屋を1つ書き出す前から大量の入力トークンを伴い、同じグラフスコアに達するまでにノートパッドループのターン数が多くなるモデルは、トークン単価から連想されるよりもアパート1戸あたりのコストが高くなります。上記のトークン価格をアパート1戸あたりの請求額として読まないでください。そうしたものではありません。

これによってルーティングの判断がどこに残るか

この話を実用的に言えば、「空間作業にはどのモデルを使うか」は価格差を伴う2モデルの選択問題になったばかりで、その価格差が解消されるのはルーティング層です。 Gemini 4 CarbonはOrcaRouterのカタログに定価で掲載され、0%のマークアップがそのまま反映されています、つまり上記の$2と$10は、プラットフォームのマージンが上乗せされたベンダー料金ではなく、100万トークンあたりに実際に支払う金額です。これは特にここで重要です。なぜなら、このボードの1位と同率2位のコスト差は4倍であり、4倍の差は、どちらかに標準化する前に自社の間取り図で測定しておきたい種類のものだからです。

GPT-6.2 Astraは11月20日時点で当社のカタログにはありません。当社が提供するOpenAIモデルはGPT-6 Astra(このボードで0.497を記録)とGPT-6 Sol系です。Astraがカタログにあるかのようにほのめかすのではなく、率直に言っておく価値があります。というのも、これによって推奨が変わるからです。Astraがここでルーティング可能になるまでは、当社のカタログで人間のベースラインに並ぶモデルはCarbonであり、OpenAIの出力スタイルを$10と$50で求めるならGPT-6 Astraは同じキー上にあります。モデルとそのより安価な競合が1つのエンドポイントに載ると、ご自身のアパートメントでのA/Bテストは2つ目の契約ではなくAPIキーの変更だけで済み、フェイルオーバーにより、一方のレート制限がバッチを止めることはありません。

何がこの読みを変えるだろうか

話をどれだけ動かすかの順に3つ。1つ目は、より広い人間のベースラインだ。50アパートのタスクに対して12アパートは小さなサンプルであり、Andonが人間の数値に区間を公表すれば、0.586が線なのかにじみなのかが決着する——人間の帯が0.55から0.62に及ぶと判明すれば、Astraのリードは本物だがCarbonの同点はそうではなく、ボード上位全体が再編される。2つ目は、同じボードでのGPT-6.2 Astraの2回目の実行だ。モデルは3日前に出たばかりで、Andonの数値は1回のキャンペーンから来ている。ノートパッドループと50アパートのホライズンを持つベンチマークは、単発評価より実行間の分散が大きい。標準誤差のバーが示唆しているが完全には吸収できないのはそのためだ。

第三はページそのものだ。Andonの「Key findings」セクションは依然としてGPT 5.5、Gemini 3.1 Pro、Claude Opus 4.7を上位3モデルとして挙げているが、それは2026年5月時点では正しく、表が埋まっていくにつれて更新されていない。空間推論に関する記事も、依然としてGemini 3.1 ProとGPT 5.5が個々のアパートを処理する例を引いている。リーダーボードは最新だが、その周囲の文章は6か月前のスナップショットだ。Key findingsセクションではなく表を読み、2つのモデルが同じ線で並んでいると書かれたキャプションではなく、グラフの誤差範囲を読め——一方は測定可能なほど上にあるのだから。

そうしたことのどれも、この結果が誤りであることにはならない。GPT-6.2 Astra は今週公開された2つの独立した3D評価の両方で最高のモデルであり、その差は一方ではそれ自体の誤差範囲を上回り、もう一方では47 Eloに達している(ただし2つの95%区間は依然として重なっている)。5月から続いているベンチマークで、人間の推定値を意味のある形で上回った最初のモデルだ。この主張はツイートより小さく、リークより堅牢であり、モデルが登場してから3日後に届いた結果としては、それは適切な形だ。

この記事で比較したモデル2

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新