Gemini 4 Pro vs GPT-6 Astra pada Tes Kontroler Xbox 360 — dan Mengapa Fable 5.2 Tidak Ada di Dalamnya

Sebuah unggahan X muncul pada 21 September yang memuat tiga nama, sebuah video, dan kata-kata "perbandingan SOTA": Gemini 4 Pro, GPT-6 Astra, Claude Fable 5.2. Dua dari nama-nama itu dimiliki oleh model yang tidak bisa dipanggil oleh siapa pun. Satu di antaranya dimiliki oleh model yang telah dijual selama delapan belas hari. Dan artefak yang dirujuk oleh unggahan itu — sebuah pengontrol game yang digambar sebagai grafik vektor dalam sekali percobaan dari satu prompt — adalah, menurut orang-orang yang benar-benar menjalankannya, perbandingan dua arah antara dua yang pertama. Claude Fable 5.2 tidak ada di dalamnya. Claude Fable 5.1 juga tidak.

Celah antara pembingkaian dan bukti itulah seluruh keadaan cerita Gemini 4 Pro saat ini, dan itu layak dibedah dengan hati-hati alih-alih diabaikan. Uji pengontrol itu bukan hal sepele. Itu adalah artefak yang paling tampak dapat direproduksi yang dihasilkan siapa pun tentang model frontier yang belum dirilis bulan ini, ia punya riwayat empat bulan di belakangnya, dan ia dibaca banyak orang sebagai putusan. Itu bukan putusan. Itu hasil seri, dari satu percobaan, yang bahkan tidak bisa diulang sendiri oleh pengujinya pada hari berikutnya — dan mengetahui secara persis sejauh mana hal itu berlaku dan tidak berlaku lebih berguna daripada euforia maupun sikap meremehkan.

Tes, dan mengapa sebuah SVG menjadi tolok ukur

Prompt ini lebih tua daripada model-model yang kini digunakan untuk menilainya. Prompt ini berasal dari era Gemini 3.0, saat beredar sebagai: "Buat gambar SVG dari kontroler Xbox 360. Keluarkan dalam blok kode multi-baris Markdown."Pilihan kata itu penting, karena sengaja dibuat bermusuhan terhadap model bahasa. Gambar vektor seluruhnya struktur dan tanpa tekstur — tidak ada noise fotografis untuk disembunyikan model, tidak ada sampler difusi untuk menghaluskan kesalahan. Setiap kurva harus ditentukan sebagai koordinat. Kontroler adalah target yang sulit untuknya: dua grip simetris, lekukan cekung, pemicu bahu yang dirender dalam perspektif, sekitar enam belas tombol yang masing-masing memerlukan posisi, siluet yang langsung terbaca salah jika satu proporsinya melenceng. Dan karena jawabannya datang sebagai teks yang bisa Anda tempelkan ke penampil, perbandingannya murah dan portabel. Tidak ada yang perlu mempercayai tangkapan layar jendela obrolan orang lain.

Pada bulan September, komunitas kembali menggunakan prompt itu. Output yang beredar dari sesi arena — seekor pelikan di atas sepeda, kontroler PlayStation 5 yang dirender dari lima sudut kamera makro, pagoda 3D dengan pencahayaan yang dapat diganti, adegan kuil voxel, halaman helikopter Airbus H145 — digambarkan dalam laporan sebagai membutuhkan waktu sekitar delapan hingga dua puluh menit masing-masing dengan upaya berpikir tinggi. Kontroler itulah yang diambil tangkapan layarnya ke dalam sebuah perbandingan.

Apa yang sebenarnya ditunjukkan oleh perbandingan controller

Inilah hasilnya sebagaimana dilaporkan oleh penguji, dan ini adalah klaim yang jauh lebih kecil daripada yang telah dibuat oleh linimasa tentangnya.

• Putusan — seri. Orang yang menjalankannya, memposting sebagai Lumina, menyebut kedua keluaran itu "hampir sempurna."

• Satu-satunya asimetri — versi Astra memuat logo yang sedikit keliru. Itu adalah keunggulan pada satu detail, dan penguji membingkainya sebagai keunggulan pada satu detail, bukan sebagai keunggulan umum.

• Kelengkapan visual — kedua rendering menampilkan badan kontroler, kontrol, dan bayangan yang detail. Keduanya tidak berantakan pada bentuknya.

• Apa yang tidak dibuktikan oleh perbandingan ini — bahwa model yang belum dirilis itu lebih unggul. Dua output yang dinilai sama baiknya adalah definisi dari tidak adanya keunggulan.

• Reproduksibilitas — keluaran tersebut dilaporkan dihasilkan pada malam sebelumnya, memakan waktu sekitar dua puluh menit, dan penguji tidak dapat memperoleh hasil yang sebanding pada hari berikutnya.

• Identitas — entri arena asal keluaran tersebut diberi label gemini-3.8-flash, nama yang sudah dimiliki oleh model yang dirilis Google pada 2 September, dan kemudian dilaporkan diberi label ulang gemini-3.7-flash. Model mana yang sebenarnya ada di balik alias itu masih belum jelas, dan dua penguji lain mengatakan pada rentang waktu yang sama bahwa mereka juga tidak dapat memastikan model mana yang telah mereka gunakan.

Baca daftar itu secara berurutan dan bentuk buktinya menjadi jelas. Klaim yang menarik bukanlah "model yang belum dirilis menang." Yang menarik adalah bahwa sebuah model yang tidak dapat diidentifikasi siapa pun, berjalan dengan nama model yang sudah dirilis, menghasilkan karya vektor dalam satu percobaan yang tidak dapat dibedakan oleh penguji yang teliti dari keluaran model terdepan yang telah tersedia secara umum hampir sepanjang September. Itu adalah pengamatan nyata. Itu juga pengamatan tentang suatu sore, dan penguji mengatakan demikian.

Hasil dua arah dan klaim tiga arah

Postingan yang memulai artikel ini menyebut tiga model. Tulisan-tulisan yang menguraikan sesi controller yang sama menyebut dua. Status aktual Claude Fable 5.2 minggu ini adalah cerita tersendiri yang kebetulan berbagi siklus berita, dan penting untuk bersikap tepat karena pencampuradukan itu berpengaruh di kedua arah.

• Yang diklaim — akun X @chetaslua memposting pada 18 September bahwa Claude Fable 5.2 "diuji di claude code yang merutekan fable 5.1 ke sana." Itu adalah klaim perutean tentang Claude Code, dari satu akun.

• Apa nama itu — asumsi reporter sendiri. Penguji yang memposting sebagai JAZII, yang tulisannya pada 18 September adalah catatan paling terperinci tentang perilaku tersebut, menyatakan dengan gamblang bahwa "Fable 5.2" adalah nama yang mereka tetapkan, bukan nama yang dikonfirmasi oleh siapa pun. Tidak ada kartu model, tidak ada pengenal API, tidak ada halaman harga, tidak ada kartu sistem, dan tidak ada media kedua yang secara independen melaporkan rute Fable 5.2.

• Apa yang sebenarnya melibatkan kisah perutean Claude yang telah dikonfirmasi — blog ini telah membahasnya secara terpisah: laporan perutean senyap pertengahan September yang diangkat oleh beberapa media independen adalah tentang checkpoint tingkat Opus yang belum dirilis, bukan Fable. Atribusi Fable hanya berasal dari satu sumber. Perlakukan itu sebagai laporan satu akun, bukan sebagai temuan.

• Apa yang sebenarnya dilaporkan penguji — pada upaya penalaran tinggi, Fable berikutnya yang diduga lebih disukai daripada GPT-6 Astra, serta lebih lambat dan lebih mahal. Itu hanyalah sebuah preferensi, dari satu orang, atas pekerjaannya sendiri.

• Apa yang terverifikasi tentang model yang dirilis — Claude Fable 5.1 telah tersedia secara umum sejak 1 September 2026. Model itu ada, memiliki harga, dan dapat dipanggil hari ini.

Jadi versi jujurnya dari pembingkaian tiga arah itu adalah ini: dua dari tiga nama dalam postingan itu adalah model yang belum diumumkan dengan nama yang diberikan komunitas, uji controller hanya melibatkan satu nama yang identitasnya setidaknya tertambat pada entri arena, dan kolom Fable adalah preferensi dari satu penguji yang secara eksplisit menolak menyebutkan nama modelnya. Itu bukan alasan untuk mengabaikan semuanya. Itu adalah alasan untuk menempatkan ketiga nama itu pada tiga tingkat keyakinan yang berbeda, bukan satu.

Tabel benchmark yang benar-benar berargumen

SVG pengontrol adalah artefak yang terlihat. Yang benar-benar melakukan persuasi adalah lembar benchmark yang muncul sekitar 18 September dan sejak itu telah direproduksi di pers teknologi Tiongkok dan Inggris. Lembar itu layak dicantumkan, karena angka-angkanya cukup spesifik untuk diperiksa dan tidak satu pun dari angka-angka itu yang telah diperiksa.

• DeepSWE v1.1 — 88,7%, digambarkan sekitar dua poin di atas GPT-6 Astra.

• GDPval-AA v2 — 2.064 Elo, digambarkan sebagai satu-satunya entri dalam perbandingan di atas 2.000.

• Terminal-bench 2.1 — 95,3%, diberikan sebagai skor tertinggi dalam tabel.

• OSWorld-2.0 — 86,8%, berada di depan baik GPT-6 Astra maupun Claude Fable 5.1.

Harga yang diklaim — $2,25 per juta token input dan $11,25 per juta output.

• Spesifikasi yang diklaim — batas input 10 juta token, batas maksimum output 256K token, memori lintas percakapan.

Setiap baris di atas adalah klaim komunitas. Google belum mengonfirmasi satu pun dari itu, belum mengonfirmasi bahwa entri arena itu sama sekali adalah Gemini 4 Pro, dan tidak menanggapi permintaan komentar. Tabel itu tidak memuat pengenal checkpoint, tidak ada pengaturan upaya penalaran, tidak ada harness agen, tidak ada izin alat, tidak ada split pengujian, tidak ada ukuran sampel, dan tidak ada log eksekusi — hal-hal yang dimiliki oleh evaluasi sungguhan dan tidak dimiliki oleh tangkapan layar sebuah slide. Nama-nama tolok ukur juga diambil dari keluarga yang sama yang digunakan OpenAI dalam materi peluncuran September-nya sendiri, yang merupakan petunjuk tentang di mana lembar itu disusun, bukan di mana ia diukur.

Ada alasan kedua untuk berhati-hati dengan perbandingan frontier apa pun bulan ini: indeks independen yang selalu dijadikan acuan semua orang telah diperbarui ke versi v4.3 pada 7 September, dan penggantian versi memampatkan atau meregangkan bagian atas papan peringkat. Skor tanpa versi yang disertakan tidak dapat dibandingkan dengan skor dari tiga minggu sebelumnya, baik milik kami maupun milik siapa pun.

Apa yang sebenarnya dikonfirmasi tentang Gemini 4 Pro

Singkirkan klaim-klaimnya, dan catatan faktualnya singkat.

• 21 Juli 2026 — Google mengonfirmasi bahwa pihaknya telah memulai proses pra-pelatihan paling ambisius sejauh ini, untuk Gemini 4. CEO mengulanginya dalam panggilan pendapatan Q2.

• 2 September 2026 — Gemini 3.8 Flash dirilis. Model terbaru Google yang tersedia secara umum tetap merupakan model kelas Flash.

• 15–18 September 2026 — seorang pembocor yang memposting sebagai "Lentils" mengklaim bahwa checkpoint Gemini 4 Pro muncul secara internal dengan nama kode "argon"; pelacak komunitas mencatat entri arena di bawah label yang dirilis gemini-3.8-flash yang memerlukan delapan hingga sepuluh menit per jawaban dan menghasilkan karya vektor dan 3D jauh melampaui apa yang dihasilkan model tersebut.

• Hari ini — tidak ada id model Gemini 4, tidak ada endpoint, tidak ada harga, tidak ada kartu model. Gemini 3.5 Pro, yang dipratinjau untuk Juni dan tidak pernah dirilis, dilaporkan oleh Wall Street Journal telah dibatalkan karena peningkatannya terlalu kecil.

Itulah seluruh permukaan yang terkonfirmasi. Semua hal lain yang beredar — tabel, harga, jendela konteks, nama sandi, identitas entri arena — adalah inferensi yang mengenakan titik desimal.

Apa yang benar-benar bisa Anda jalankan sambil menunggu

Inilah bagian yang tidak disertakan oleh postingan perbandingan, dan inilah bagian yang mengubah sebuah keputusan.

GPT-6 Astra bukan rumor. Model ini dirilis pada 3 September 2026, membawa id model gpt-6-astra, dan dapat dipanggil hari ini dengan harga daftar OpenAI sendiri sebesar $10,00 per juta token input dan $50,00 per juta token output, dengan input cache sebesar $1,00. Model ini berjalan di OrcaRouter dengan harga daftar penyedia yang sama tanpa markup — kami meneruskan tarif vendor apa adanya, jadi ketika tarif berubah, angka di sisi kami berubah pada hari yang sama, bukan menunggu sampai ada yang sempat memperbarui margin. Baris tolok ukur yang dilaporkan OpenAI adalah DeepSWE v1.1 pada 74%, OSWorld 2.0 pada 72,6%, Terminal-Bench 4.0 pada 57,9%, dan ExploitBench pada 100%, yang membuatnya melampaui ambang kemampuan siber Kritis. Angka-angka itu dilaporkan vendor dan belum direproduksi, dan itulah angka-angka yang secara implisit dibantah oleh lembar Gemini 4 Pro yang bocor.

Gemini 4 Pro tidak ada di OrcaRouter, dan kami tidak akan berpura-pura sebaliknya. Tidak ada endpoint, tidak ada id model, dan tidak ada harga, karena memang belum ada model yang dirilis. Sebaliknya, Claude Fable 5.1 telah tersedia secara umum sejak 1 September dan dapat dirutekan dengan harga daftar resminya, begitu pula Claude Opus 5 dan sisa tingkatan terdepan saat ini — satu API mencakup 200+ model dengan harga daftar penyedia tanpa markup, jadi perbandingan seperti ini tidak menuntut tiga akun, tiga SDK, dan tiga faktur untuk bisa ditindaklanjuti.

Jika hasil controller-lah yang menggoda Anda untuk merestrukturisasi jalur produksi di sekitar model yang belum diumumkan, langkah waras adalah langkah yang didukung bukti: jangan. Pertahankan jalur yang Anda miliki, dan jika Anda ingin mencari tahu apakah efeknya berlaku umum pada pekerjaan Anda sendiri, arahkan sebagian kecil trafik ke jalur yang belum terbukti dengan fallback ke model yang sudah Anda percayai. Dengan begitu, sore yang buruk hanya membuat Anda kehilangan satu poin persentase trafik, bukan sebuah insiden, dan Anda mendapatkan jawaban Anda sendiri alih-alih meminjam hasil dua puluh menit orang lain.

Apa yang akan membuat hasil pengendali menjadi berarti?

• Alias itu mendapat nama sungguhan. Entri arena hanyalah rumor yang punya baris di papan peringkat. ID model di dokumentasi milik vendor sendiri adalah sebuah produk. Perhatikan daftar modelnya, bukan lini masanya.

• Hasilnya dapat direproduksi. Seorang penguji tidak bisa mendapatkan keluaran yang sama keesokan harinya. Tiga orang independen yang mendapatkannya sesuai permintaan, dengan model yang diidentifikasi, adalah kelas bukti yang sama sekali berbeda.

• Lembar yang bocor itu mendapat metodologi. Skor benchmark tanpa checkpoint, pengaturan effort, dan harness bukanlah sebuah pengukuran; itu adalah klaim tentang sebuah pengukuran.

• Sebuah harga muncul. Klaim $2.25/$11.25 akan membuat model frontier yang belum dirilis menjadi yang termurah di antara ketiganya dengan selisih yang sangat besar, yang merupakan jenis klaim yang entah tercantum dalam kartu tarif atau tidak.

• Atribusi Fable mendapat sumber kedua. Saat ini hanya ada satu, dan orang yang membuatnya mengatakan bahwa nama itu memang miliknya sejak awal.

Pertanyaan yang layak dijawab

Jika entri arena itu benar-benar Gemini 4 Pro, mengapa menjalankannya dengan nama model yang sudah dirilis?

Menguji checkpoint baru di balik label model yang sudah ada adalah praktik standar untuk benchmarking buta — ini memungkinkan sebuah lab mengumpulkan suara head-to-head tanpa nama memengaruhi suara tersebut. Ini juga berarti label tidak memberi tahu Anda apa pun tentang apa yang ada di baliknya, yang justru menjadi masalah di sini: alias adalah bukti bahwa sesuatu sedang diuji, bukan bukti tentang apa itu.

Apakah hasil imbang melawan GPT-6 Astra berarti model yang belum dirilis itu mengecewakan?

Tidak, dan di sinilah framing menimbulkan kerusakan paling besar. Sebuah checkpoint yang masih dalam post-training, berjalan di balik alias, dan menyamai model frontier yang sudah dirilis pada tugas one-shot yang sulit adalah sinyal yang jauh lebih kuat daripada grafik hari peluncuran. Itu hanyalah sinyal tentang arah, bukan tentang produk yang bisa Anda beli, dan keduanya dibaca sebagai hal yang sama dalam sebuah postingan perbandingan.

Haruskah saya mengganti apa pun hari ini karena ini?

Bukan karena ini. Tidak ada apa pun dalam uji pengendali yang mengubah apa yang tersedia, berapa biaya sesuatu, atau apa yang menjadi keunggulan model mana pun. Fakta yang relevan untuk keputusan minggu ini adalah bahwa GPT-6 Astra dan Claude Fable 5.1 keduanya sudah aktif dan sudah memiliki harga, sedangkan Gemini 4 Pro tidak satu pun dari keduanya. Jika Anda ingin melakukan lindung nilai terhadap kemungkinan itu, lakukanlah dengan perutean, bukan dengan penulisan ulang.

Pembacaan yang jujur

Uji pengontrol adalah bukti terbaik yang pernah dihasilkan siapa pun tentang Gemini 4 Pro, dan bukti terbaik yang pernah dihasilkan siapa pun adalah hasil imbang, dari satu percobaan, yang tidak terulang, pada model yang tidak bisa disebutkan namanya oleh siapa pun, dilaporkan bersama lembar tolok ukur yang tidak bisa diperiksa siapa pun. Kedengarannya seperti pengabaian, dan bukan itu maksudnya. Alasan uji itu menyebar adalah bahwa itu adalah artefak pertama dalam cerita ini yang tampak seperti produk alih-alih salindia — prompt sungguhan, keluaran sungguhan, orang sungguhan yang membandingkannya, dan hasil yang tidak bisa diklaim secara terang-terangan oleh partisan mana pun dari kedua kubu.

Yang tidak dilakukannya adalah menyelesaikan apa pun. Jika Anda perlu merilis minggu ini, tingkat terdepan yang ada — GPT-6 Astra pada $10/$50, Claude Fable 5.1 pada harga daftarnya sendiri — adalah tempat keputusan Anda sebenarnya berada, dan keduanya dapat dipanggil dengan satu kunci tanpa kontrak kedua. Jika Anda ingin tahu apa yang dimiliki Google, satu-satunya sinyal yang akan mengubah ini dari artikel tentang apa-yang-kita-ketahui-sejauh-ini menjadi artikel peluncuran adalah id model, kartu tarif, dan reproduksi. Sampai itu semua muncul, pembacaan yang benar atas perbandingan pengontrol Xbox 360 adalah yang diberikan oleh orang yang menjalankannya: dua gambar yang sangat bagus, dan tidak ada pemenang.