Kartu judul untuk perbandingan GPT-6.2 Astra dan GPT-6.2 Sol yang membangun demo mech Yonkers three.js yang sama, menampilkan Astra pada 1.318 Elo di AA-3D milik Artificial Analysis dan Sol pada 1.259, dengan pita catatan bahwa pada perbandingan berdampingan yang dipublikasikan oleh seorang pengembang, tidak ada model yang mengubah kota menjadi mech secara meyakinkan. Logo OrcaRouter berada di sudut kanan bawah.
Guides & Insights

GPT-6.2 Astra vs GPT-6.2 Sol: Dua Demo Mech, Satu Meleset

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Posting peluncuran OpenAI untuk GPT-6.2 Astra dan GPT-6.2 Sol membuat janji yang sempit dan dapat diperiksa: pasangan ini "menulis kode yang lebih bersih dan membangun frontend yang tampil serta berfungsi lebih baik, khususnya untuk situs web, gaming, dan desain 3D." Itu adalah jenis klaim yang tidak bisa dipastikan oleh lembar spesifikasi dan hanya bisa didekati oleh benchmark, jadi dua hari setelah rilis tepat ada satu perbandingan head-to-head yang diterbitkan dan dapat direproduksi untuk hal itu — prompt Yonkers milik Simon Willison, dijalankan terhadap kedua model pada tingkat upaya Ultra di Codex CLI, dengan kedua output dibiarkan online agar siapa pun dapat membukanya. Putusannya adalah baris pertama cerita ini: "Tidak satu pun dari keduanya cukup baik dalam mengubah Yonkers menjadi mech besar."

Yang membuat pengujian ini layak menjadi artikel bukanlah bahwa dua model gagal memenuhi standar. Yang membuatnya layak adalah bahwa keduanya gagal dengan cara yang berbeda, dalam kode yang dapat Anda baca, dan bahwa model yang gagal dengan cara yang lebih mahal adalah model yang cukup baik untuk mengedit video perbandingan sesudahnya. Jika Anda akan menghabiskan seminggu context window untuk generasi frontend, perbedaan antara bundel 568 KB dan empat modul yang ditulis tangan adalah perbedaan antara demo yang dapat Anda kirim dan demo yang harus Anda tulis ulang.

Apa yang menurut Open​AI dapat dibangun oleh pasangan tersebut

Klaim ini cukup spesifik untuk diuji. Postingan OpenAI menjelaskan bahwa kedua model mengubah "ringkasan tertulis menjadi pengalaman browser interaktif, dari meja pinball yang bisa dimainkan hingga rekreasi Colosseum yang bisa dijelajahi dari berbagai sudut," dan merujuk ke AA-3D milik Artificial Analysis, tempat juri manusia melihat dua pengalaman tersamar yang dibuat dari prompt yang sama dan memilih salah satu yang mereka sukai. Di papan itu, GPT-6.2 Astra berada di peringkat pertama dengan 1.318 Elo, di atas Claude Fable 5.2 dengan 1.271 dan GPT-6.2 Sol dengan 1.259.

Baca selisih 59 poin antara dua model Open​AI itu dan Anda akan menyimpulkan Astra jauh lebih baik dalam 3D. Baca angka absolutnya dan Anda akan mempelajari sesuatu yang disembunyikan oleh peringkat: papan peringkat hanya membandingkan dua percobaan pada prompt yang sama, sehingga dapat memberi tahu Anda mana dari sepasang percobaan yang terlihat lebih baik sekaligus tidak mengatakan apa pun tentang apakah salah satunya bagus. Uji preferensi tersamar antara dua mech yang belum selesai tetap menghasilkan pemenang.

Dokumentasi tersebut menambahkan peringatan yang terdengar seperti permintaan maaf dari tim prompt engineering. Dalam catatan migrasi untuk GPT-6.2, OpenAI menyatakan bahwa kedua model lebih ringkas dan lebih langsung daripada GPT-6 Astra, bahwa model dapat mengusulkan langkah dan menunggu ketika maksudnya tidak jelas, dan — kalimat yang penting untuk tulisan ini — bahwa pekerjaan frontend kini memerlukan arahan eksplisit tentang citra dan tipografi. Arahan yang tidak Anda tulis adalah arahan yang diciptakan model. Prompt Yonkers tidak memuat arahan seni sama sekali, yang justru menjadi alasan mengapa ini uji yang adil bagi kedua model dan uji yang agak tidak adil bagi salah satunya.

Satu prompt, dua demo yang telah dipublikasikan

Promptnya hanya satu kalimat: "Buat animasi three js di mana Yonkers berdiri sebagai mech besar (gerakan berdiri yang keren) dan menghentakkan kaki berkeliling Manhattan, Queens, dan Brooklyn, gunakan data pemetaan OpenStreetMap." Kedua percobaan menggunakan upaya Ultra di Codex CLI. Kedua hasilnya masih online, dan keduanya terbuka menjadi scene WebGL yang berfungsi dengan kamera sungguhan, kota low-poly sungguhan, dan rute sungguhan — yang sudah lebih dari yang dihasilkan sebagian besar permintaan three.js pada percobaan pertama.

Keduanya bukanlah karya yang sudah selesai. Perbandingan Willison sendiri adalah dengan build Claude Fable 5.2 dan Gemini 4 Carbon dari brief yang sama, dan penilaiannya adalah bahwa kedua percobaan GPT-6.2 kalah pada satu hal yang sebenarnya diminta oleh prompt: transisi dari kota ke mech yang berdiri. Gerakan berdiri adalah demo, dan tidak ada model yang benar-benar menganimasikannya.

• Bundle — GPT-6.2 Astra menyertakan satu build Vite berukuran 568,418 byte ditambah 8,075 byte CSS, sedangkan GPT-6.2 Sol memiliki main.js berukuran 17,094 byte yang mengimpor city.js, mech.js, dan effects.js, dengan three.js disajikan secara lokal sebesar 658,900 byte

• Garis waktu — Astra menjalankan sekuens 96 detik pada scrubber 0–960, sedangkan Sol menjalankan sekuens 48 detik, dengan berjalan dimulai pada 6,25 s dan langkah terakhir pada 44,5 s

• Bab — masing-masing empat: Astra menomori sebagai penghitung urutan yang terbaca "01 / 04", sedangkan Sol menamainya Yonkers, Manhattan, Queens, dan Brooklyn, mulai pada 0, 17,6, 30,2, dan 38 detik

• Kamera — Astra beralih antara tampilan "track" dan "atlas", sedangkan Sol adalah tombol alih orbit yang terikat ke O

Telemetri — Astra mencetak tampilan aksi bertuliskan "Naik" dan koordinat "40.9310° N 73.8987° W" dibandingkan dengan Sol, kanvas radar 184×138 pada "40.93° N · 73.90° W"

• Atribusi — keduanya mencantumkan kredit OpenFreeMap, OpenMapTiles, dan © OpenStreetMap contributors di footer halaman, yang merupakan satu-satunya persyaratan brief yang tidak dilewatkan oleh model mana pun

• Biaya eksekusi — pada upaya maksimum, pelikan SVG standar Willison menghabiskan biaya 88,71¢ di Astra dibandingkan 13,69¢ di Sol, rasio yang berlaku pada setiap tingkat upaya yang ia ukur

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: satu bundel 568 KB, UI berskrip

Build Astra berjudul "Stride Atlas — Yonkers Rising" dan berperilaku seperti presentasi: masthead dengan merek dan status "Sistem online", tombol audio, tombol layar penuh, serta kanvas yang label aksesibelnya menjanjikan "Kota tiga dimensi dan mech beranimasi. Seret untuk memutar dan gulir untuk memperbesar." Di bawahnya, teks pengantar bertuliskan "Simulasi mech / 001", judul "Yonkers Rising.", dan subbaris "Wilayah Metropolitan New York".

Keahliannya terletak pada instrumentasi. Ada panel telemetri dengan pembacaan aksi yang bertuliskan "Naik" dan koordinat langsung, kanvas ikhtisar rute sisipan berlabel 10 km, serta konsol transportasi dengan penghitung urutan, tombol putar dan mulai ulang, jam, rentang geser dari 0 hingga 960, dan waktu akhir 01:36. Itu adalah 96 detik urutan yang dirancang, dan penggeser selama itu bukan kebetulan — itu adalah keputusan bahwa demo ini adalah sebuah film dan kameranya adalah sutradaranya.

Ini juga hadir sebagai artefak tunggal yang dibundel. Semua di atas dikompilasi menjadi satu keluaran Vite berukuran 568,418 byte dan satu stylesheet berukuran 8,075 byte, dengan string chapters dan stompProgramCache yang tetap bertahan setelah minifikasi karena data urutannya nyata. Untuk sebuah demo, bundel adalah pilihan yang tepat: satu file untuk di-hosting, satu entri cache, tidak ada graf impor yang bisa rusak. Untuk basis kode yang harus Anda perluas, ini adalah dinding 568 KB.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: empat modul, three.js lokal

Build Sol berjudul "Yonkers Protocol | A New York Mech Simulation" dan deskripsi metanya menyebut teknologinya secara gamblang: "A cinematic Three.js animation of a city-sized mech rising in Yonkers and marching through Manhattan, Queens, and Brooklyn." Halaman ini berjalan di bawah merek "METRO CONTROL / NEW YORK, NY" dengan chip "OPENSTREETMAP TERRAIN", tombol alih tampilan orbit, tombol suara, dan viewport berlabel "Yonkers Protocol simulation".

Sementara Astra menulis naskah film, Sol membangun ruang kendali. Ada pembacaan sektor di "01 / 04 YONKERS", tombol "Mulai urutan" dengan petunjuk SPACE, kanvas radar 184×138, empat tombol fase — Yonkers / Kebangkitan, Manhattan / Arah Selatan, Queens / East River, Brooklyn / Pendekatan akhir — dan petunjuk seret untuk mengorbit, gulir untuk memperbesar. Teksnya adalah hal paling percaya diri di kedua halaman: "Saksikan Yonkers bangkit dari tepi air Hudson dan bergerak melalui Manhattan, Queens, dan Brooklyn."

Kodenya adalah bagian yang menarik. Sol melewati bundler sepenuhnya dan menggunakan import map yang menunjuk three ke salinan lokal dari build modul, lalu membagi pekerjaan secara manual: city.js sebesar 9.603 byte, mech.js sebesar 25.511, effects.js sebesar 12.119. main.js berisi arahan — durasi 48 detik, berjalan dimulai pada 6,25 dtk, langkah terakhir pada 44,5 dtk, enam belas titik pemeriksaan bujur dan lintang yang membentang dari Yonkers turun ke Brooklyn, dan sebuah THREE.CatmullRomCurve3 melewatinya dengan arcLengthDivisions diatur ke 1.000 agar mech berjalan dengan laju yang merata alih-alih mempercepat laju saat melewati tikungan tajam. Pengaturan terakhir itu adalah jenis detail yang hanya Anda tulis jika Anda pernah melihat karakter tersendat-sendat.

Tidak ada pendekatan yang salah. Astra mengoptimalkan untuk sesuatu yang dimuat, Sol mengoptimalkan untuk sesuatu yang dapat kamu buka dan edit — dan pemisahan file menunjukkan bahwa Sol memahami bahwa demo 3D adalah scene graph, sebuah aktor, dan sekumpulan efek, serta bahwa hal-hal itu seharusnya berada di file yang berbeda.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

Morph yang terlewat oleh kedua demo

Inilah bagian yang tidak bisa ditutupi oleh polesan UI sebanyak apa pun. Prompt meminta Yonkers untuk berdiri sebagai mech besar — sebuah transformasi, dengan satu blok kota menjadi tubuh. Tidak ada build yang menyampaikan transisi itu secara meyakinkan, dan Willison mengatakan itu langsung, menempatkan keduanya di bawah versi Claude Fable 5.2 dan Gemini 4 Carbon.

Itulah bacaan jujur dari skor Elo 1.318. Artificial Analysis mengukur Astra di depan Sol, dan demo setuju — halaman Astra lebih matang. Namun papan peringkat menjawab "mana dari keduanya yang lebih baik," sementara pertanyaan yang sebenarnya dimiliki pembaca adalah "apakah ini cukup baik untuk digunakan," dan untuk itu jawaban dari satu-satunya perbandingan berdampingan yang dipublikasikan adalah tidak. Uji preferensi antara dua model yang keduanya melewatkan morph tetap akan menghasilkan peringkat, dan peringkat itu tetap akan dilaporkan sebagai keunggulan kemampuan.

Separuh lainnya dari kisah frontend peluncuran ini adalah komunikasi, dan itu juga tidak menyanjung. Willison mengutip surat umpan balik pra-rilis Theo Browne, yang menggambarkan sebuah model yang mengelola subagen dengan baik pada tugas-tugas panjang lalu terhenti oleh pertanyaan implementasi internal yang tidak bisa dijawab manusia mana pun — contohnya adalah agen yang sudah dua jam mengerjakan sebuah proyek lalu berhenti untuk bertanya apakah seorang reviewer menulis klipnya ke satu nama file atau nama file lainnya. Catatan migrasi Open​AI sendiri bahwa model "mungkin mengusulkan sebuah langkah dan menunggu ketika maksudnya tidak jelas" adalah perilaku yang sama yang digambarkan dari dalam, dan itu adalah biaya nyata: agen yang menunggu masukan yang tidak bisa Anda berikan adalah agen yang telah berhenti.

Apa arti celah ini bagi build Anda

Jika pekerjaannya adalah demo 3D atau frontend, perbedaan praktis antara kedua model bukanlah 59 Elo. Perbedaannya adalah Astra akan memberi Anda artefak yang tampak selesai dan Sol akan memberi Anda repositori. Pilih Astra ketika hasil yang diserahkan adalah tautan yang Anda kirim kepada seseorang; pilih Sol ketika hasil yang diserahkan adalah kode yang harus diubah orang lain pada hari Senin.

Tetapkan harga pilihan pada sumbu yang sama. GPT-6.2 Astra menagih $8 per juta input dan $40 per juta output, dengan input cache $0,40 dan penulisan cache $10. GPT-6.2 Sol menagih $2, $10, $0,10, dan $2,50 — seperempat tarif token di setiap baris. Keduanya memiliki jendela konteks 1.050.000 token dengan input maksimum 922.000 dan output maksimum 128.000, keduanya menolak reasoning_effort: "none", dan keduanya menggandakan input dan input cache di atas 272.000 token per permintaan sambil menagih output 1,5×. Batch menagih 50% dari standar, mode Fast dua kali lipat, dan Ultrafast tiga kali lipat hingga 28 Februari 2027 dan enam kali lipat mulai 1 Maret 2027.

Angka biaya per artefak dari sore yang sama itulah yang perlu diingat. Uji pelikan Willison merender SVG yang sama pada tiga tingkat upaya, dan pada upaya maksimum Astra menelan biaya 88,71¢ dibandingkan Sol 13,69¢ — sekitar enam setengah kali lipat untuk sebuah gambar yang tidak ia sebut sebagai kemenangan bersih pada keduanya. Pembuatan frontend pada upaya Ultra adalah area di mana keunggulan model mahal itu nyata tetapi sempit, dan di mana satu percobaan ulang saja menghapusnya.

Di mana lapisan routing berada

Langsung saja soal posisinya: GPT-6.2 Astra dan GPT-6.2 Sol tidak ada dalam katalog OrcaRouter saat ini. Baris Open​AI yang kami sediakan adalah GPT-6 Astra, GPT-6 Sol dan GPT-6.1 Sol, jadi pasangan ini dapat diakses melalui API Open​AI sendiri dan platform pihak ketiga pada umumnya, bukan melalui kami.

Apa yang sebenarnya diberikan katalog kepada Anda adalah kebiasaan yang diperjuangkan artikel ini. Uji seperti Yonkers adalah persis jenis beban kerja yang ingin Anda A/B-kan lintas model alih-alih mengikatkan jalur produksi padanya — dan melakukannya melalui satu endpoint berarti satu kunci, satu tagihan, dan tanpa kontrak kedua, dengan failover otomatis ketika model yang sedang Anda uji mulai timeout di tengah render. Pada baris yang memang kami sediakan, OrcaRouter meneruskan harga daftar penyedia dengan markup 0%, jadi tarif resmi vendor adalah yang Anda bayar dan pemotongan harga langsung aktif di sisi kami pada hari yang sama. Jika Anda memilih antara model $2 dan model $8 untuk pekerjaan frontend, itulah perbandingan yang layak Anda jalankan sendiri, dengan prompt yang sama, sebelum memilih default.

Pelajaran yang lebih sempit dari peluncuran ini adalah bahwa generasi 3D telah beralih dari "tidak bisa" menjadi "belum selesai," dan kedua model berada di titik yang berbeda pada kemiringan itu: yang satu menghasilkan halaman yang tampak selesai, yang lain menghasilkan kode yang memang selesai. Tidak ada yang mengubah Yonkers. Keduanya cukup mendekat sehingga rilis berikutnya mungkin akan berhasil — dan saat itu terjadi, biaya untuk mengetahuinya hanyalah satu prompt, bukan satu migrasi.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini