
GPT-6.2 Astra Memuncaki Blueprint-Bench 2: Garis Manusia Adalah Dua Belas Apartemen
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 185 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 826 tok/s
- AlibabaBARUQwen: Qwen4 Max2026-11-16$1.50 / $4.50 per 1 juta token · 407 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 87 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 83 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 120 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 108 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 90 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 212 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
GPT-6.2 Astra mencetak 0.614 pada Blueprint-Bench 2. Baseline manusia di papan yang sama adalah 0.586. Itu adalah keunggulan nyata, dan sekaligus 0.028 poin yang diukur terhadap angka manusia yang dihitung Andon Labs dari dua belas apartemen. Hasilnya dipasang di halaman evaluasi Andon pada 20 November 2026 dan diperbesar pagi itu juga oleh Greg Brockman, yang menyebutnya sebagai GPT-6.2 Astra "melampaui baseline manusia pada benchmark pemahaman 3D fisik." Kedua bagian kalimat itu perlu sedikit dikendurkan, dan artikel ini membahas bagian mana yang bertahan. GPT-6.2 Astra, GPT-6.2 Sol, dan Gemini 4 Carbon menempati empat posisi teratas di papan Andon, yang lebih penting bagi pembaca yang menentukan sebutan apa yang pantas dipakai daripada peringkat utama itu sendiri.
Benchmark itu sendiri bukan hal baru. Blueprint-Bench 2 telah ada di situs Andon Labs sejak Mei 2026 dan telah mengumpulkan model selama enam bulan; yang berubah pada 20 November adalah bahwa sebuah model akhirnya melampaui garis manusia dengan selisih lebih besar daripada batas galatnya sendiri. Jadi ini bukan peluncuran benchmark dan bukan peluncuran model — OpenAI merilis GPT-6.2 Astra pada 17 November 2026, tiga hari sebelum skor itu muncul. Ini adalah hasil yang mendarat di papan yang sudah ada, dan pertanyaan yang menarik bukanlah apakah angka itu nyata. Melainkan apa yang diukur oleh angka itu, karena frasa "pemahaman 3D fisik" lebih berperan di tweet daripada eval itu sendiri dalam metodologinya.
Apa yang sebenarnya diukur oleh Andon Labs
Blueprint-Bench 2 memberi seorang agen lima puluh apartemen, satu demi satu. Untuk setiap apartemen, agen tersebut melihat sekitar dua puluh foto interior dan harus menggambar denah lantai 2D: ruangan-ruangan, ruangan mana yang terhubung ke ruangan mana, dan ukuran relatifnya. Agen membawa buku catatan persisten antarangkaian apartemen, sehingga sebuah model dapat menuliskan apa yang telah dipelajarinya tentang tata letak tipikal — di mana biasanya letak lorong, apa yang tersirat dari kusen pintu di sudut — dan menggunakannya pada apartemen berikutnya. Buku catatan itulah bagian dari desain yang menjadikan ini eval agen alih-alih uji penglihatan, dan itulah sebabnya skor memisahkan model frontier dari model kelas menengah lebih jelas daripada yang bisa dilakukan tolok ukur satu gambar.
Penilaian membandingkan graf konektivitas model dengan ground truth, dengan bobot pada enam submetrik: kemiripan Jaccard pada koneksi antarkamar sebesar 50%, kemiripan derajat sebesar 20%, kepadatan graf sebesar 10%, jumlah kamar sebesar 10%, jumlah pintu sebesar 5%, dan orientasi sebesar 5%. Denah dicocokkan di bawah simetri D4, sehingga denah yang diputar atau dicerminkan tetap mendapat skor, dan nilai komposit dinormalisasi sehingga baseline acak dipetakan ke 0 dan denah sempurna dipetakan ke 1. Bobot 50% pada Jaccard adalah inti seluruh benchmark dalam satu baris: tulisan Andon sendiri menyatakan bahwa setiap model mendapatkan jumlah kamar kira-kira benar, sekitar 90%, dan yang menjadi pembeda adalah apakah model dapat mengetahui kamar mana yang terbuka ke kamar mana. Menghitung kamar dari foto itu mudah. Merekonstruksi topologi dari sebuah walk-through tidak.
Ada dua konsekuensi dari desain tersebut. Pertama, keluarannya adalah denah 2D, bukan model 3D — penalaran spasialnya bersifat tiga dimensi dalam arti bahwa agen harus menyimpulkan tata letak suatu lantai dari rangkaian tampilan yang saling tumpang tindih, tetapi tidak ada bagian dari penilaian yang memberi imbalan atas rekonstruksi tinggi langit-langit, volume, atau furnitur yang benar. Kedua, skornya adalah angka kemiripan graf, bukan persentase akurasi. Nilai 0,614 tidak berarti model tersebut benar untuk 61% apartemen; itu berarti graf konektivitasnya berada pada 61,4% jarak dari acak ke sempurna berdasarkan pembobotan tersebut.
0,028 yang memisahkan sebuah model dari seorang manusia
Berikut adalah posisi teratas papan peringkat sebagaimana pada 20 November 2026, dengan batang kesalahan standar yang digambar Andon pada grafiknya dibaca dari angka yang diterbitkan:
• GPT-6.2 Astra — 0.614, peringkat 1, batang galat sekitar 0.601 hingga 0.627
• Gemini 4 Carbon — 0,586, peringkat 2 bersama, batang galat sekitar 0,571 hingga 0,601
• Baseline manusia — 0.586, peringkat 2 bersama, diuji pada 12 apartemen, tidak ada interval yang dipublikasikan
• GPT-6.2 Sol — 0.570, peringkat 4, batang galat sekitar 0.558 hingga 0.584
• Claude Fable 5.2 — 0.566, peringkat 5
• Gemini 4 Argon — 0.544, peringkat 6
• Claude Opus 5.5 — 0.512, peringkat 7
• GPT-6 Astra — 0,497, peringkat 8

Ada tiga hal yang layak disorot dari daftar itu. Yang pertama adalah besarnya selisih, yaitu 0,028 poin pada skala di mana acak adalah 0 dan sempurna adalah 1. Yang kedua adalah bahwa batang galat Astra tidak turun hingga 0,586 — batas bawah pitanya adalah 0,601 — sehingga keunggulan atas angka manusia tidak berada di dalam derau model itu sendiri. Yang ketiga adalah bahwa angka manusia tidak membawa rentang ketidakpastian sama sekali, karena dihitung pada selusin apartemen dari tugas yang berisi lima puluh apartemen. Skor manusia dari dua belas flat dan skor model dari lima puluh bukanlah pengukuran yang sama, dan Andon terang-terangan soal itu: catatan kaki papan peringkat menyebutkan "Human baseline tested on subset of 12 apartments only." Perlakukan 0,586 sebagai perkiraan posisi seseorang, bukan sebagai garis dengan lebar yang diketahui.
Hal lain yang ditunjukkan oleh batang galat adalah betapa tipisnya selisih di puncak papan peringkat. Kumis bawah Astra dan kumis atas Gemini 4 Carbon bertemu tepat di 0,601. Pada tolok ukur ini, peringkat pertama dan peringkat kedua bersama hanya terpaut satu sentuhan kumis, yang merupakan klaim berbeda dari "lebih baik daripada AI lain mana pun" dan lebih bisa dipertahankan. Keterangan gambar Andon sendiri mengambil jalan tengah dengan cara yang layak dicermati: keterangan itu memberi label pada garis manusia putus-putus "Human (0,59)" lalu menulis bahwa GPT-6.2 Astra dan Gemini 4 Carbon "kini menyamainya," meskipun tabel menempatkan Astra 0,028 di atasnya dan Carbon tepat padanya. Tabel adalah artefak yang lebih cermat. Keterangan gambarlah yang dikutip.
Dua benchmark, satu arah
Satu papan skor yang melewati ambang manusia bisa jadi merupakan artefak penilaian. Alasan untuk menanggapi hasil ini dengan serius adalah bahwa evaluasi 3D kedua yang dibangun secara independen bergerak ke arah yang sama pada minggu yang sama. Artificial Analysis menjalankan AA-3D, yang merupakan tugas yang sama sekali berbeda: model bekerja sebagai agen dalam sandbox offline melalui Stirrup dan mengubah ringkasan tertulis menjadi adegan three.js yang interaktif, dan peringkatnya berasal dari suara berpasangan secara buta oleh panel manusia yang direkrut — lebih dari 20.000 suara pada papan saat ini — bukan dari perbandingan grafik.
• GPT-6.2 Astra (Max) — 1.318 Elo, interval 95% 1.286 hingga 1.349, peringkat 1
• Claude Fable 5.2 (Max) — 1.271 Elo, peringkat 2
• GPT-6.2 Sol (Max) — 1.259 Elo, peringkat 3
• Claude Sonnet 5.5 (Max) — 1.204 Elo, peringkat 4
• Claude Opus 5.5 (Max) — 1.202 Elo, peringkat 5
• GPT-6 Astra (Max) — 1.168 Elo, interval 95% 1.141 hingga 1.196, peringkat 6
Dua papan peringkat itu tidak sepakat tentang bagian tengah klasemen — Claude Fable 5.2 berada di peringkat ke-5 di Andon's dan ke-2 di Artificial Analysis's — dan keduanya sepenuhnya sepakat tentang puncak. Astra memimpin, Sol ada di tiga besar, dan generasi sebelumnya tertinggal sekitar 150 Elo. Posting peluncuran OpenAI sendiri membuat klaim AA-3D pada 17 November dengan tiga angka yang sama, dan papan independen kini menunjukkan angka-angka itu tidak berubah, yang merupakan kasus langka ketika angka vendor dan angka pihak ketiga adalah angka yang sama. Itu tidak berlaku untuk angka Blueprint-Bench: OpenAI tidak mengatakan apa pun tentang denah lantai, dan skor tersebut datang dari Andon saja.

Konvergensi adalah inti argumennya. Sebuah tolok ukur kemiripan graf yang dinilai oleh kode, dan sebuah tolok ukur Elo yang dinilai oleh preferensi manusia secara buta, kira-kira sejauh mungkin dua evaluasi "kemampuan spasial" dapat berbeda, dan keduanya memberi peringkat tiga model yang sama dalam urutan yang sama. Yang tidak ditetapkan keduanya adalah bahwa salah satunya mengukur sesuatu yang akan disebut tim robotika sebagai kecerdasan spasial, yang membawa kita ke baris paling menarik pada tabel Andon.
Mengapa model robotika mendapat skor nol
Gemini Robotics-ER 1.6 mencetak 0,000 pada Blueprint-Bench 2 — pada atau di bawah baseline acak, ditandai oleh Andon dengan tanda bintang ganda. Itu adalah angka paling berguna di halaman tersebut. Sebuah model yang dibangun khusus untuk penalaran spasial dan embodied, jenis yang akan Anda pilih jika tugasnya adalah “memahami ruang fisik,” menghasilkan grafik konektivitas yang tidak lebih baik daripada kebetulan. Andon sendiri menandainya: spesialisasi spasial tidak bertransfer ke pembuatan denah lantai.
Empat model lain juga berada pada baseline acak, dan bentuk kluster itu memberi tahu Anda apa yang diberi imbalan oleh benchmark. Yang diberi imbalan adalah keterampilan komposit tertentu — membaca rangkaian foto, mempertahankan hipotesis yang konsisten tentang sebuah lantai, dan mengeluarkan rencana berformat ketat yang dapat dinilai oleh parser. Sebuah model bisa sangat baik dalam bernalar tentang ruang fisik dan tetap gagal dalam hal ini, karena mode kegagalannya biasanya adalah format keluaran atau konsistensi jangka panjang, bukan inferensi spasial. Artinya, "melampaui baseline manusia dalam pemahaman 3D fisik" adalah ringkasan yang adil untuk skor tersebut dan ringkasan yang agak terlalu murah hati untuk keterampilannya. Versi jujurnya lebih sempit: model itu merekonstruksi konektivitas sebuah apartemen dari foto dengan lebih akurat daripada yang dicapai sampel manusia dua belas apartemen, pada benchmark yang menilai struktur graf dan tidak menilai apa pun selain itu.
Bagi siapa pun yang pekerjaan sebenarnya melibatkan denah lantai — perekaman properti, dokumentasi asuransi, pekerjaan fasilitas, digitalisasi denah kertas — klaim yang lebih sempit itu tetap yang berguna, karena struktur graf persis seperti yang dibutuhkan alur kerja tersebut dan persis seperti yang salah ditangani oleh pipeline PDF-ke-CAD. Bagi siapa pun yang membacanya sebagai pernyataan tentang robot yang menavigasi ruangan, baris Robotics-ER adalah koreksinya.
Berapa biaya untuk membeli prospek itu
GPT-6.2 Astra dipatok $8 per juta token input, $0,40 untuk cache, dan $40 per juta output, yaitu 20% lebih rendah daripada GPT-6 Astra pada kedua arah pengukuran. Model yang menyamai garis manusia, Gemini 4 Carbon, dipatok $2 dan $10 — seperempat harga input Astra dan seperempat harga outputnya. GPT-6.2 Sol, peringkat keempat di papan Andon pada 0,570 dan peringkat ketiga di AA-3D pada 1.259 Elo, mempertahankan harga token GPT-6.1 Sol alih-alih harga Astra.
• Blueprint-Bench 2 — Gemini 4 Carbon 0,586 vs GPT-6.2 Astra 0,614
Harga input per 1 juta — Carbon $2,00 vs Astra $8,00
• Harga output per 1 juta — Carbon $10.00 vs Astra $40.00
• AA-3D Elo — Carbon tidak ada di papan peringkat vs Astra 1.318, peringkat 1
• Posisi masing-masing — Carbon menyamai garis manusia, sedangkan Astra melampauinya sebesar 0,028

Bacalah itu sebagai pertanyaan harga, dan jawabannya tidak nyaman bagi model unggulan. Pada satu-satunya benchmark tempat kedua model muncul, seperlima harganya memberi Anda hasil imbang dengan baseline manusia dan jarak yang sangat tipis dari posisi pertama. Alasan Astra untuk harganya tidak bertumpu pada denah lantai; alasan itu bertumpu pada evaluasi pekerjaan profesional dalam pos peluncuran OpenAI, tempat ia adalah model dengan jendela konteks 1.050.000 token dan skor terdepan pada Agents' Last Exam dan Terminal-Bench-Science. Jika beban kerja Anda adalah foto apartemen dan grafik konektivitas, perbedaan harga sulit dibenarkan hanya dari papan ini. Jika beban kerja Anda adalah kumpulan dokumen hukum atau ilmiah yang panjang, benchmark ini tidak mengatakan apa pun tentang itu, ke arah mana pun.
Satu peringatan lagi soal biaya: baik Andon maupun Artificial Analysis tidak menerbitkan angka biaya per tugas untuk Blueprint-Bench 2, dan benchmark ini luar biasa sensitif terhadap hal itu. Lima puluh apartemen dengan kira-kira dua puluh gambar masing-masing berarti banyak token masukan sebelum model menulis satu ruangan pun, dan model yang mencapai skor grafik yang sama dengan lebih banyak putaran loop catatan memakan biaya per apartemen lebih tinggi daripada yang tersirat dari harga tokennya. Jangan membaca harga token di atas sebagai tagihan per apartemen; angka itu bukan tagihan per apartemen.
Implikasinya bagi keputusan perutean
Versi praktis dari semua ini adalah bahwa "model mana untuk pekerjaan spasial" baru saja menjadi pertanyaan dua model dengan rentang harga, dan lapisan perutean adalah tempat rentang itu diselesaikan. Gemini 4 Carbon ada di katalog OrcaRouter dengan harga daftar tanpa markup 0% yang diteruskan, yang berarti $2 dan $10 di atas adalah yang sebenarnya Anda bayarkan per juta token, bukan tarif vendor dengan margin platform yang ditambahkan di atasnya. Hal ini penting di sini secara khusus karena selisih biaya antara peringkat pertama dan peringkat kedua bersama di papan ini adalah 4x, dan selisih 4x adalah hal yang ingin Anda ukur pada denah lantai Anda sendiri sebelum Anda menstandarkan salah satunya.
GPT-6.2 Astra tidak ada di katalog kami per 20 November; model OpenAI yang kami layani adalah GPT-6 Astra, yang memperoleh skor 0,497 pada papan ini, dan lini GPT-6 Sol. Itu layak dikatakan terus terang alih-alih menyiratkan sebaliknya, karena itu mengubah rekomendasi: sampai Astra dapat dirutekan di sini, model di katalog kami yang menyamai baseline manusia adalah Carbon, dan GPT-6 Astra berada pada kunci yang sama jika Anda menginginkan gaya keluaran OpenAI dengan harga $10 dan $50. Ketika sebuah model dan pesaingnya yang lebih murah berada di satu endpoint, uji A/B pada apartemen Anda sendiri hanya memerlukan perubahan kunci API alih-alih kontrak kedua, dan failover berarti batas laju pada salah satunya tidak menghentikan batch.
Apa yang akan mengubah pembacaan ini?
Tiga hal, menurut seberapa besar hal-hal itu akan menggerakkan cerita. Pertama adalah baseline manusia yang lebih luas. Dua belas apartemen adalah sampel yang kecil untuk tugas lima puluh apartemen, dan jika Andon menerbitkan interval pada angka manusia, itu akan memastikan apakah 0,586 adalah garis atau noda — jika rentang manusia ternyata membentang dari 0,55 hingga 0,62, maka keunggulan Astra nyata, tetapi hasil seri Carbon tidak, dan seluruh puncak papan peringkat akan berubah urutan. Kedua adalah menjalankan GPT-6.2 Astra untuk kedua kalinya pada papan yang sama. Model itu baru berumur tiga hari; angka Andon berasal dari satu kampanye, dan benchmark dengan loop notepad serta horizon lima puluh apartemen memiliki varians antareksekusi yang lebih besar daripada evaluasi sekali jalan, yang merupakan hal yang coba ditunjukkan oleh batang galat standar tetapi tidak sepenuhnya dapat diserap.
Yang ketiga adalah halamannya sendiri. Bagian "Temuan Utama" Andon masih menyebut GPT 5.5, Gemini 3.1 Pro, dan Claude Opus 4.7 sebagai tiga model teratas, yang benar pada Mei 2026 dan belum diperbarui seiring tabelnya terisi. Tulisan penalaran spasial mereka masih mengutip Gemini 3.1 Pro dan GPT 5.5 yang menelusuri apartemen satu per satu. Papan peringkatnya mutakhir; prosa di sekitarnya adalah cuplikan dari enam bulan lalu. Bacalah tabelnya, bukan bagian temuan, dan bacalah batang galat pada grafik, bukan keterangan yang menyatakan dua model setara pada suatu garis padahal salah satunya terukur lebih tinggi.
Tak satu pun dari itu membuat hasilnya salah. GPT-6.2 Astra adalah model terbaik pada kedua evaluasi 3D independen yang diterbitkan minggu ini, dengan selisih yang melampaui batas galatnya sendiri pada salah satunya dan sebesar 47 Elo pada yang lain, di mana kedua interval 95% masih tumpang tindih. Ini adalah model pertama yang berada secara signifikan di atas estimasi manusia pada tolok ukur yang telah berjalan sejak Mei. Klaim itu lebih kecil daripada twitnya dan lebih kokoh daripada kebocoran, yang merupakan bentuk yang tepat untuk hasil yang tiba tiga hari setelah modelnya hadir.
Dibandingkan dalam artikel ini2
Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari
