Kartu judul yang dihasilkan berjudul 'GPT-6.2 Astra Memuncaki Blueprint-Bench 2' dengan subjudul 'garis manusia adalah dua belas apartemen' dan keterangan '0,614 dibandingkan baseline manusia 0,586'. Dua kartu membulat terletak di bawah: kartu kiri berlabel 'GPT-6.2 Astra' dengan baris 'Blueprint-Bench 2: 0,614', 'peringkat 1 di papan' dan 'rekonstruksi adegan 3D'; kartu kanan berlabel 'baseline manusia' dengan '0,586', 'diukur pada 12 apartemen' dan 'dari 50 dalam benchmark'. Logo OrcaRouter dikompositkan di sudut kanan bawah.
Guides & Insights

GPT-6.2 Astra Memuncaki Blueprint-Bench 2: Garis Manusia Adalah Dua Belas Apartemen

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

GPT-6.2 Astra mencetak 0.614 pada Blueprint-Bench 2. Baseline manusia di papan yang sama adalah 0.586. Itu adalah keunggulan nyata, dan sekaligus 0.028 poin yang diukur terhadap angka manusia yang dihitung Andon Labs dari dua belas apartemen. Hasilnya dipasang di halaman evaluasi Andon pada 20 November 2026 dan diperbesar pagi itu juga oleh Greg Brockman, yang menyebutnya sebagai GPT-6.2 Astra "melampaui baseline manusia pada benchmark pemahaman 3D fisik." Kedua bagian kalimat itu perlu sedikit dikendurkan, dan artikel ini membahas bagian mana yang bertahan. GPT-6.2 Astra, GPT-6.2 Sol, dan Gemini 4 Carbon menempati empat posisi teratas di papan Andon, yang lebih penting bagi pembaca yang menentukan sebutan apa yang pantas dipakai daripada peringkat utama itu sendiri.

Benchmark itu sendiri bukan hal baru. Blueprint-Bench 2 telah ada di situs Andon Labs sejak Mei 2026 dan telah mengumpulkan model selama enam bulan; yang berubah pada 20 November adalah bahwa sebuah model akhirnya melampaui garis manusia dengan selisih lebih besar daripada batas galatnya sendiri. Jadi ini bukan peluncuran benchmark dan bukan peluncuran model — O​penAI merilis GPT-6.2 Astra pada 17 November 2026, tiga hari sebelum skor itu muncul. Ini adalah hasil yang mendarat di papan yang sudah ada, dan pertanyaan yang menarik bukanlah apakah angka itu nyata. Melainkan apa yang diukur oleh angka itu, karena frasa "pemahaman 3D fisik" lebih berperan di tweet daripada eval itu sendiri dalam metodologinya.

Apa yang sebenarnya diukur oleh Andon Labs

Blueprint-Bench 2 memberi seorang agen lima puluh apartemen, satu demi satu. Untuk setiap apartemen, agen tersebut melihat sekitar dua puluh foto interior dan harus menggambar denah lantai 2D: ruangan-ruangan, ruangan mana yang terhubung ke ruangan mana, dan ukuran relatifnya. Agen membawa buku catatan persisten antarangkaian apartemen, sehingga sebuah model dapat menuliskan apa yang telah dipelajarinya tentang tata letak tipikal — di mana biasanya letak lorong, apa yang tersirat dari kusen pintu di sudut — dan menggunakannya pada apartemen berikutnya. Buku catatan itulah bagian dari desain yang menjadikan ini eval agen alih-alih uji penglihatan, dan itulah sebabnya skor memisahkan model frontier dari model kelas menengah lebih jelas daripada yang bisa dilakukan tolok ukur satu gambar.

Penilaian membandingkan graf konektivitas model dengan ground truth, dengan bobot pada enam submetrik: kemiripan Jaccard pada koneksi antarkamar sebesar 50%, kemiripan derajat sebesar 20%, kepadatan graf sebesar 10%, jumlah kamar sebesar 10%, jumlah pintu sebesar 5%, dan orientasi sebesar 5%. Denah dicocokkan di bawah simetri D4, sehingga denah yang diputar atau dicerminkan tetap mendapat skor, dan nilai komposit dinormalisasi sehingga baseline acak dipetakan ke 0 dan denah sempurna dipetakan ke 1. Bobot 50% pada Jaccard adalah inti seluruh benchmark dalam satu baris: tulisan Andon sendiri menyatakan bahwa setiap model mendapatkan jumlah kamar kira-kira benar, sekitar 90%, dan yang menjadi pembeda adalah apakah model dapat mengetahui kamar mana yang terbuka ke kamar mana. Menghitung kamar dari foto itu mudah. Merekonstruksi topologi dari sebuah walk-through tidak.

Ada dua konsekuensi dari desain tersebut. Pertama, keluarannya adalah denah 2D, bukan model 3D — penalaran spasialnya bersifat tiga dimensi dalam arti bahwa agen harus menyimpulkan tata letak suatu lantai dari rangkaian tampilan yang saling tumpang tindih, tetapi tidak ada bagian dari penilaian yang memberi imbalan atas rekonstruksi tinggi langit-langit, volume, atau furnitur yang benar. Kedua, skornya adalah angka kemiripan graf, bukan persentase akurasi. Nilai 0,614 tidak berarti model tersebut benar untuk 61% apartemen; itu berarti graf konektivitasnya berada pada 61,4% jarak dari acak ke sempurna berdasarkan pembobotan tersebut.

0,028 yang memisahkan sebuah model dari seorang manusia

Berikut adalah posisi teratas papan peringkat sebagaimana pada 20 November 2026, dengan batang kesalahan standar yang digambar Andon pada grafiknya dibaca dari angka yang diterbitkan:

• GPT-6.2 Astra — 0.614, peringkat 1, batang galat sekitar 0.601 hingga 0.627

• Gemini 4 Carbon — 0,586, peringkat 2 bersama, batang galat sekitar 0,571 hingga 0,601

• Baseline manusia — 0.586, peringkat 2 bersama, diuji pada 12 apartemen, tidak ada interval yang dipublikasikan

• GPT-6.2 Sol — 0.570, peringkat 4, batang galat sekitar 0.558 hingga 0.584

• Claude Fable 5.2 — 0.566, peringkat 5

• Gemini 4 Argon — 0.544, peringkat 6

• Claude Opus 5.5 — 0.512, peringkat 7

• GPT-6 Astra — 0,497, peringkat 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

Ada tiga hal yang layak disorot dari daftar itu. Yang pertama adalah besarnya selisih, yaitu 0,028 poin pada skala di mana acak adalah 0 dan sempurna adalah 1. Yang kedua adalah bahwa batang galat Astra tidak turun hingga 0,586 — batas bawah pitanya adalah 0,601 — sehingga keunggulan atas angka manusia tidak berada di dalam derau model itu sendiri. Yang ketiga adalah bahwa angka manusia tidak membawa rentang ketidakpastian sama sekali, karena dihitung pada selusin apartemen dari tugas yang berisi lima puluh apartemen. Skor manusia dari dua belas flat dan skor model dari lima puluh bukanlah pengukuran yang sama, dan Andon terang-terangan soal itu: catatan kaki papan peringkat menyebutkan "Human baseline tested on subset of 12 apartments only." Perlakukan 0,586 sebagai perkiraan posisi seseorang, bukan sebagai garis dengan lebar yang diketahui.

Hal lain yang ditunjukkan oleh batang galat adalah betapa tipisnya selisih di puncak papan peringkat. Kumis bawah Astra dan kumis atas Gemini 4 Carbon bertemu tepat di 0,601. Pada tolok ukur ini, peringkat pertama dan peringkat kedua bersama hanya terpaut satu sentuhan kumis, yang merupakan klaim berbeda dari "lebih baik daripada AI lain mana pun" dan lebih bisa dipertahankan. Keterangan gambar Andon sendiri mengambil jalan tengah dengan cara yang layak dicermati: keterangan itu memberi label pada garis manusia putus-putus "Human (0,59)" lalu menulis bahwa GPT-6.2 Astra dan Gemini 4 Carbon "kini menyamainya," meskipun tabel menempatkan Astra 0,028 di atasnya dan Carbon tepat padanya. Tabel adalah artefak yang lebih cermat. Keterangan gambarlah yang dikutip.

Dua benchmark, satu arah

Satu papan skor yang melewati ambang manusia bisa jadi merupakan artefak penilaian. Alasan untuk menanggapi hasil ini dengan serius adalah bahwa evaluasi 3D kedua yang dibangun secara independen bergerak ke arah yang sama pada minggu yang sama. Artificial Analysis menjalankan AA-3D, yang merupakan tugas yang sama sekali berbeda: model bekerja sebagai agen dalam sandbox offline melalui Stirrup dan mengubah ringkasan tertulis menjadi adegan three.js yang interaktif, dan peringkatnya berasal dari suara berpasangan secara buta oleh panel manusia yang direkrut — lebih dari 20.000 suara pada papan saat ini — bukan dari perbandingan grafik.

• GPT-6.2 Astra (Max) — 1.318 Elo, interval 95% 1.286 hingga 1.349, peringkat 1

• Claude Fable 5.2 (Max) — 1.271 Elo, peringkat 2

• GPT-6.2 Sol (Max) — 1.259 Elo, peringkat 3

• Claude Sonnet 5.5 (Max) — 1.204 Elo, peringkat 4

• Claude Opus 5.5 (Max) — 1.202 Elo, peringkat 5

• GPT-6 Astra (Max) — 1.168 Elo, interval 95% 1.141 hingga 1.196, peringkat 6

Dua papan peringkat itu tidak sepakat tentang bagian tengah klasemen — Claude Fable 5.2 berada di peringkat ke-5 di Andon's dan ke-2 di Artificial Analysis's — dan keduanya sepenuhnya sepakat tentang puncak. Astra memimpin, Sol ada di tiga besar, dan generasi sebelumnya tertinggal sekitar 150 Elo. Posting peluncuran O​penAI sendiri membuat klaim AA-3D pada 17 November dengan tiga angka yang sama, dan papan independen kini menunjukkan angka-angka itu tidak berubah, yang merupakan kasus langka ketika angka vendor dan angka pihak ketiga adalah angka yang sama. Itu tidak berlaku untuk angka Blueprint-Bench: O​penAI tidak mengatakan apa pun tentang denah lantai, dan skor tersebut datang dari Andon saja.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

Konvergensi adalah inti argumennya. Sebuah tolok ukur kemiripan graf yang dinilai oleh kode, dan sebuah tolok ukur Elo yang dinilai oleh preferensi manusia secara buta, kira-kira sejauh mungkin dua evaluasi "kemampuan spasial" dapat berbeda, dan keduanya memberi peringkat tiga model yang sama dalam urutan yang sama. Yang tidak ditetapkan keduanya adalah bahwa salah satunya mengukur sesuatu yang akan disebut tim robotika sebagai kecerdasan spasial, yang membawa kita ke baris paling menarik pada tabel Andon.

Mengapa model robotika mendapat skor nol

Gemini Robotics-ER 1.6 mencetak 0,000 pada Blueprint-Bench 2 — pada atau di bawah baseline acak, ditandai oleh Andon dengan tanda bintang ganda. Itu adalah angka paling berguna di halaman tersebut. Sebuah model yang dibangun khusus untuk penalaran spasial dan embodied, jenis yang akan Anda pilih jika tugasnya adalah “memahami ruang fisik,” menghasilkan grafik konektivitas yang tidak lebih baik daripada kebetulan. Andon sendiri menandainya: spesialisasi spasial tidak bertransfer ke pembuatan denah lantai.

Empat model lain juga berada pada baseline acak, dan bentuk kluster itu memberi tahu Anda apa yang diberi imbalan oleh benchmark. Yang diberi imbalan adalah keterampilan komposit tertentu — membaca rangkaian foto, mempertahankan hipotesis yang konsisten tentang sebuah lantai, dan mengeluarkan rencana berformat ketat yang dapat dinilai oleh parser. Sebuah model bisa sangat baik dalam bernalar tentang ruang fisik dan tetap gagal dalam hal ini, karena mode kegagalannya biasanya adalah format keluaran atau konsistensi jangka panjang, bukan inferensi spasial. Artinya, "melampaui baseline manusia dalam pemahaman 3D fisik" adalah ringkasan yang adil untuk skor tersebut dan ringkasan yang agak terlalu murah hati untuk keterampilannya. Versi jujurnya lebih sempit: model itu merekonstruksi konektivitas sebuah apartemen dari foto dengan lebih akurat daripada yang dicapai sampel manusia dua belas apartemen, pada benchmark yang menilai struktur graf dan tidak menilai apa pun selain itu.

Bagi siapa pun yang pekerjaan sebenarnya melibatkan denah lantai — perekaman properti, dokumentasi asuransi, pekerjaan fasilitas, digitalisasi denah kertas — klaim yang lebih sempit itu tetap yang berguna, karena struktur graf persis seperti yang dibutuhkan alur kerja tersebut dan persis seperti yang salah ditangani oleh pipeline PDF-ke-CAD. Bagi siapa pun yang membacanya sebagai pernyataan tentang robot yang menavigasi ruangan, baris Robotics-ER adalah koreksinya.

Berapa biaya untuk membeli prospek itu

GPT-6.2 Astra dipatok $8 per juta token input, $0,40 untuk cache, dan $40 per juta output, yaitu 20% lebih rendah daripada GPT-6 Astra pada kedua arah pengukuran. Model yang menyamai garis manusia, Gemini 4 Carbon, dipatok $2 dan $10 — seperempat harga input Astra dan seperempat harga outputnya. GPT-6.2 Sol, peringkat keempat di papan Andon pada 0,570 dan peringkat ketiga di AA-3D pada 1.259 Elo, mempertahankan harga token GPT-6.1 Sol alih-alih harga Astra.

• Blueprint-Bench 2 — Gemini 4 Carbon 0,586 vs GPT-6.2 Astra 0,614

Harga input per 1 juta — Carbon $2,00 vs Astra $8,00

• Harga output per 1 juta — Carbon $10.00 vs Astra $40.00

• AA-3D Elo — Carbon tidak ada di papan peringkat vs Astra 1.318, peringkat 1

• Posisi masing-masing — Carbon menyamai garis manusia, sedangkan Astra melampauinya sebesar 0,028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

Bacalah itu sebagai pertanyaan harga, dan jawabannya tidak nyaman bagi model unggulan. Pada satu-satunya benchmark tempat kedua model muncul, seperlima harganya memberi Anda hasil imbang dengan baseline manusia dan jarak yang sangat tipis dari posisi pertama. Alasan Astra untuk harganya tidak bertumpu pada denah lantai; alasan itu bertumpu pada evaluasi pekerjaan profesional dalam pos peluncuran O​penAI, tempat ia adalah model dengan jendela konteks 1.050.000 token dan skor terdepan pada Agents' Last Exam dan Terminal-Bench-Science. Jika beban kerja Anda adalah foto apartemen dan grafik konektivitas, perbedaan harga sulit dibenarkan hanya dari papan ini. Jika beban kerja Anda adalah kumpulan dokumen hukum atau ilmiah yang panjang, benchmark ini tidak mengatakan apa pun tentang itu, ke arah mana pun.

Satu peringatan lagi soal biaya: baik Andon maupun Artificial Analysis tidak menerbitkan angka biaya per tugas untuk Blueprint-Bench 2, dan benchmark ini luar biasa sensitif terhadap hal itu. Lima puluh apartemen dengan kira-kira dua puluh gambar masing-masing berarti banyak token masukan sebelum model menulis satu ruangan pun, dan model yang mencapai skor grafik yang sama dengan lebih banyak putaran loop catatan memakan biaya per apartemen lebih tinggi daripada yang tersirat dari harga tokennya. Jangan membaca harga token di atas sebagai tagihan per apartemen; angka itu bukan tagihan per apartemen.

Implikasinya bagi keputusan perutean

Versi praktis dari semua ini adalah bahwa "model mana untuk pekerjaan spasial" baru saja menjadi pertanyaan dua model dengan rentang harga, dan lapisan perutean adalah tempat rentang itu diselesaikan. Gemini 4 Carbon ada di katalog OrcaRouter dengan harga daftar tanpa markup 0% yang diteruskan, yang berarti $2 dan $10 di atas adalah yang sebenarnya Anda bayarkan per juta token, bukan tarif vendor dengan margin platform yang ditambahkan di atasnya. Hal ini penting di sini secara khusus karena selisih biaya antara peringkat pertama dan peringkat kedua bersama di papan ini adalah 4x, dan selisih 4x adalah hal yang ingin Anda ukur pada denah lantai Anda sendiri sebelum Anda menstandarkan salah satunya.

GPT-6.2 Astra tidak ada di katalog kami per 20 November; model OpenAI yang kami layani adalah GPT-6 Astra, yang memperoleh skor 0,497 pada papan ini, dan lini GPT-6 Sol. Itu layak dikatakan terus terang alih-alih menyiratkan sebaliknya, karena itu mengubah rekomendasi: sampai Astra dapat dirutekan di sini, model di katalog kami yang menyamai baseline manusia adalah Carbon, dan GPT-6 Astra berada pada kunci yang sama jika Anda menginginkan gaya keluaran O​penAI dengan harga $10 dan $50. Ketika sebuah model dan pesaingnya yang lebih murah berada di satu endpoint, uji A/B pada apartemen Anda sendiri hanya memerlukan perubahan kunci API alih-alih kontrak kedua, dan failover berarti batas laju pada salah satunya tidak menghentikan batch.

Apa yang akan mengubah pembacaan ini?

Tiga hal, menurut seberapa besar hal-hal itu akan menggerakkan cerita. Pertama adalah baseline manusia yang lebih luas. Dua belas apartemen adalah sampel yang kecil untuk tugas lima puluh apartemen, dan jika Andon menerbitkan interval pada angka manusia, itu akan memastikan apakah 0,586 adalah garis atau noda — jika rentang manusia ternyata membentang dari 0,55 hingga 0,62, maka keunggulan Astra nyata, tetapi hasil seri Carbon tidak, dan seluruh puncak papan peringkat akan berubah urutan. Kedua adalah menjalankan GPT-6.2 Astra untuk kedua kalinya pada papan yang sama. Model itu baru berumur tiga hari; angka Andon berasal dari satu kampanye, dan benchmark dengan loop notepad serta horizon lima puluh apartemen memiliki varians antareksekusi yang lebih besar daripada evaluasi sekali jalan, yang merupakan hal yang coba ditunjukkan oleh batang galat standar tetapi tidak sepenuhnya dapat diserap.

Yang ketiga adalah halamannya sendiri. Bagian "Temuan Utama" Andon masih menyebut GPT 5.5, Gemini 3.1 Pro, dan Claude Opus 4.7 sebagai tiga model teratas, yang benar pada Mei 2026 dan belum diperbarui seiring tabelnya terisi. Tulisan penalaran spasial mereka masih mengutip Gemini 3.1 Pro dan GPT 5.5 yang menelusuri apartemen satu per satu. Papan peringkatnya mutakhir; prosa di sekitarnya adalah cuplikan dari enam bulan lalu. Bacalah tabelnya, bukan bagian temuan, dan bacalah batang galat pada grafik, bukan keterangan yang menyatakan dua model setara pada suatu garis padahal salah satunya terukur lebih tinggi.

Tak satu pun dari itu membuat hasilnya salah. GPT-6.2 Astra adalah model terbaik pada kedua evaluasi 3D independen yang diterbitkan minggu ini, dengan selisih yang melampaui batas galatnya sendiri pada salah satunya dan sebesar 47 Elo pada yang lain, di mana kedua interval 95% masih tumpang tindih. Ini adalah model pertama yang berada secara signifikan di atas estimasi manusia pada tolok ukur yang telah berjalan sejak Mei. Klaim itu lebih kecil daripada twitnya dan lebih kokoh daripada kebocoran, yang merupakan bentuk yang tepat untuk hasil yang tiba tiga hari setelah modelnya hadir.

Dibandingkan dalam artikel ini2

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari