GPT-6.1 Sol pada COBOL: 86,6% berbanding 5,4%, dan Hanya Satu dari Dua Tes yang Dapat Dijalankan Ulang

Pada 19 Oktober 2026, O​penAI menerbitkan dua evaluasi pengodean untuk bahasa dengan sumber daya rendah, dan angka utama menjadi milik GPT-6.1 Sol: 86,6% tugas migrasi COBOL lulus pada upaya penalaran rendah, dibandingkan 5,4% untuk GPT-5.6 Sol pada pengaturan yang sama, naik menjadi 97,9% saat upaya dinaikkan. Evaluasi kedua, MultiLangBench, adalah kisah model lain — GPT-6 Astra rata-rata 87,4% di dua puluh bahasa pada upaya maksimum — tetapi itu adalah bagian rilis yang lebih berguna, karena O​penAI menaruh harness-nya di GitHub dengan lisensi Apache-2.0 dan Anda dapat menjalankannya sendiri sore ini. Evaluasi migrasi COBOL, yang membawa angka 86,6%, adalah hal lain: tesnya tersembunyi, kriteria kelulusannya adalah kesetaraan keluaran byte demi byte terhadap kasus yang belum pernah dilihat siapa pun di luar O​penAI, dan belum ada pihak ketiga yang mereproduksinya. Asimetri itu adalah keseluruhan ceritanya, dan layak dinyatakan secara terus terang sebelum salah satu angka dikutip dalam studi kelayakan bisnis migrasi. Kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan di OrcaRouter AI Incident Archive di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan tanda diperdebatkan.

Satu tanggal yang perlu diingat. GPT-6.1 Sol sendiri berasal dari 29 September 2026 — ini bukan peluncuran, dan tidak ada di sini yang mengubah bobot, harga, atau daftar tarif model. Yang terjadi pada 19 Oktober adalah O​penAI menerbitkan bukti tentang apa yang dapat dilakukan model dalam kategori yang sebelumnya belum didokumentasikannya, dan merilis benchmark yang dapat dijalankan ulang oleh siapa saja. Itulah peristiwa yang menjadi fokus tulisan ini.

Apa yang sebenarnya diterbitkan, dan untuk apa masing-masing bagian itu

Kedua evaluasi menjawab pertanyaan yang berbeda, dan kerangka O​penAI sendiri memisahkan keduanya. MultiLangBench menanyakan apakah sebuah model dapat membangun sesuatu dalam bahasa yang tidak digunakan siapa pun untuk pelatihan: mengimplementasikan SQLite 3.40.1 dari awal dalam salah satu dari dua puluh bahasa pemrograman, lalu lulus rangkaian uji kepatuhan basis data. Evaluasi migrasi COBOL menanyakan apakah sebuah model dapat memindahkan sesuatu: menerjemahkan program COBOL ke C++, Java, Kotlin, Python, atau Rust sambil mempertahankan perilaku yang dapat diamati secara persis.

{{1}}Yang pertama adalah uji ambang kemampuan{{/1}}. {{2}}Yang kedua adalah hal yang sebenarnya menjadi perhatian perusahaan{{/2}}, karena COBOL bukan sekadar keingintahuan benchmark — perkiraan IBM yang sudah lama berlaku menempatkan COBOL di balik lebih dari 40% sistem perbankan online dan sekitar 95% transaksi ATM, dan kodenya dipelihara oleh tenaga kerja yang tidak digantikan.

• MultiLangBench, upaya maksimal — GPT-6 Astra 87,4%, GPT-6 Luna 40,3%, GPT-5.6 Sol 26,8%. Astra melewati 83% di 19 dari 20 bahasa; COBOL menjadi yang terlemah pada 72,1% dibandingkan 10,9% milik GPT-5.6 Sol, yang menunjukkan bahwa bahasa tersulit dalam kumpulan ini tetap bahasa dengan perkakas paling tua.

• Migrasi COBOL, upaya rendah — GPT-6.1 Sol 86,6%, GPT-5.6 Sol 5,4%, dengan perkiraan 61% dari biaya API model lama untuk proses evaluasi, atau 39% lebih hemat.

• Migrasi COBOL, upaya lebih tinggi — GPT-6.1 Sol 97,9%, yang oleh O​penAI digambarkan sebagai mendekati saturasi.

• Rincian per bahasa yang O​penAI terbitkan — Fortran 83,5% untuk Astra dibandingkan 21,4% untuk GPT-5.6 Sol; Visual Basic 89,4% dibandingkan 27,5%; OCaml 85,8% dibandingkan 25,6%; GPT-6 Luna sebesar 17,1% pada COBOL, 31,4% pada Fortran, 34,1% pada OCaml, dan 41,6% pada Visual Basic.

• Biaya per sampel pada MultiLangBench — sekitar $0.77 untuk GPT-6 Luna dibandingkan $3.48 untuk GPT-5.6 Sol, sekitar 78% lebih rendah, dan itulah angka yang membuat model terlemah di papan menjadi yang menarik untuk pipeline pembuatan build.

Evaluasi yang dapat dijalankan ulang: apa yang sebenarnya diminta MultiLangBench

Repositori ini adalah github.com/openai/MultiLangBench, Apache-2.0, dan membaca harness lebih informatif daripada membaca papan peringkat. Tugasnya cukup spesifik sehingga sebuah model tidak dapat menggertaknya: menghasilkan sebuah eksekutabel yang mengambil jalur basis data sebagai argumen baris perintah, membaca kueri SQL dari stdin, dan berperilaku seperti SQLite 3.40.1. Tes-tesnya berasal dari rangkaian TCL milik SQLite sendiri — sekitar 51.000 tes secara total, yang kira-kira 24.000 di antaranya dikonversi menjadi triplet yang digunakan harness: basis data awal, kueri pengguna, dan kueri validasi. Nama-nama tes adalah hash SHA-256 dari komponen-komponen tersebut, sehingga rangkaian tes tidak dapat dihafal berdasarkan nama.

Kesulitannya terletak pada aturan-aturannya, dan masing-masing menutup jalan pintas:

• Tidak ada internet, dan tidak ada SQLite di mana pun dalam lingkungan. Harness mengatakan untuk menghapus setiap jejak SQLite terlebih dahulu. Sebuah model tidak dapat memanggil shell ke mesin yang sebenarnya, dan tidak dapat mengambil implementasi.

• Validasi dijalankan terhadap SQLite 3.40.1 asli. Implementasi Anda memodifikasi basis data; harness mengekstraknya dan memeriksanya dengan versi aslinya. Perilaku yang hanya mendekati akan gagal.

• Enam puluh detik per tes, dan jawaban dalam bahasa yang salah mendapat nilai nol. Mencampur bahasa akan gagal, dan harness mencatat bahwa model lain mungkin digunakan untuk memeriksa bahasa yang sebenarnya Anda tulis. Aturan terakhir itu ada karena kecurangan yang jelas — menulisnya dalam Python lalu membungkusnya — adalah hal pertama yang dicoba oleh model yang cakap.

• Run cepat mencakup 272 tes, bukan 24.000. README menyarankan agar hanya menjalankan tes yang namanya diawali dengan 00, 01 atau 02 saat Anda menginginkan angka yang sebanding. Itulah detail yang perlu diperhatikan sebelum Anda membandingkan skor Anda sendiri dengan O​penAI: menjalankan seluruh rangkaian tes dan run cepat bukanlah pengukuran yang sama, dan README menyatakannya.

Itu adalah tolok ukur yang nyata dan dapat diperiksa. Ini juga memberi tahu Anda sesuatu yang tidak disampaikan oleh liputan pers: angka utama 87,4% diukur pada rangkaian uji yang dapat Anda tujukan ke model Anda sendiri, yang cukup jarang sehingga layak untuk diunduh.

Evaluasi yang tidak bisa dijalankan ulang, dan mengapa itu tidak otomatis merupakan skandal

Evaluasi migrasi COBOL dirancang, dijalankan, dan dinilai oleh OpenAI, dan kasus ujinya tidak dipublikasikan. Ambang kelulusannya dinyatakan secara tepat — sebuah migrasi dihitung hanya jika setiap uji tersembunyi menghasilkan output yang dapat diamati identik byte demi byte — dan ketepatan itulah yang justru membuat hasilnya tidak dapat diverifikasi dari luar: 86,6% adalah pengukuran OpenAI terhadap kasus tersembunyi milik OpenAI sendiri. Hanya satu dari dua evaluasi dalam rilis tersebut yang dapat direproduksi oleh pembaca.

Menahan tes migrasi bukanlah hal yang tidak dapat dipertahankan. Korpus tersebut diduga diambil dari program legacy nyata, dan menerbitkannya dapat membocorkan kode pelanggan atau menyerahkan set pelatihan kepada model masa depan. Kesetaraan byte demi byte juga merupakan kriteria yang benar-benar konservatif, lebih ketat daripada sebagian besar evaluasi vendor: kriteria ini tidak memberi nilai lebih pada terjemahan yang sekadar mendekati.

Namun kriteria itu juga menjadi titik awal masalah praktis, dan peringatan OpenAI sendiri menunjuk ke sana. Keluaran migrasi tetap memerlukan tinjauan ahli dan pengujian terhadap aturan bisnis serta dependensi sistem sebelum produksi. Dan paritas byte sulit tepat di area yang juga sulit bagi COBOL: bahasa ini memotong dan membulatkan aritmetika titik tetap dengan cara yang tidak dilakukan sebagian besar bahasa target, sehingga terjemahan bisa tampak benar, lolos dari rangkaian uji yang memeriksa "cukup dekat", tetapi tetap menggeser saldo sebesar satu sen. Rangkaian uji tersembunyi yang menuntut kesamaan persis menangani hal itu; proses tinjauan Anda sendiri juga harus menanganinya, karena skor model bukanlah pernyataan tentang program-program Anda.

Angka biaya memerlukan kehati-hatian yang sama. Penghematan 39% adalah estimasi untuk proses evaluasi — token masuk dan keluar dari benchmark — bukan biaya menggantikan sistem produksi, yang didominasi oleh discovery, tinjauan ahli, pengujian integrasi, dan bertahun-tahun perilaku tak terdokumentasi yang tidak disampel oleh eval mana pun.

Apa yang seharusnya diubah oleh 86,6% dan 97,9% dalam sebuah keputusan

Pembacaan yang jujur lebih sempit daripada judul-judul berita dan lebih berguna daripada judul-judul itu. Dasar 5,4% bukanlah model yang setengah berfungsi; itu adalah model yang hampir tidak pernah menghasilkan terjemahan yang mempertahankan perilaku, jadi generasi lama tidak pernah menjadi kandidat untuk pekerjaan ini. GPT-6.1 Sol pada 86,6% berada dalam rentang ketika logika ekonominya berbalik: alat yang menyusun sebagian besar terjemahan dan membiarkan peninjau memeriksanya adalah produk yang berbeda dari alat yang tidak menghasilkan apa pun yang dapat digunakan.

Angka 97,9% pada upaya tinggi itulah yang perlu disikapi dengan skeptis, bukan karena salah, melainkan karena sudah jenuh. Begitu sebuah benchmark mendekati plafonnya, ia berhenti membedakan antarmodel dan mulai mengukur rangkaian ujinya sendiri, dan OpenAI pun mengakui hal itu. Untuk perencanaan, perlakukan 86,6% pada upaya rendah sebagai titik operasi yang murah dan 97,9% sebagai plafon dari apa yang bisa ditunjukkan oleh eval tersebut — bukan sebagai janji akurasi untuk basis kode Anda.

Ada juga pemeriksaan silang yang layak dilakukan, dan ini bertentangan dengan gembar-gembor itu. Dalam uji build, COBOL tetap menjadi bahasa terlemah GPT-6 Astra pada 72,1% meskipun secara keseluruhan Astra adalah model yang lebih kuat dengan rata-rata 87,4%. Bahasa ini sulit di kedua arah. Model yang memigrasikan COBOL dengan baik dalam evaluasi tersembunyi tidak otomatis baik dalam COBOL; ia baik pada pola yang dijadikan sampel oleh evaluasi tersebut.

Hal lain yang terjadi minggu ini: klaim jejak penalaran

Sebuah unggahan yang banyak dibagikan pada 21 Oktober menyatakan bahwa jejak penalaran GPT-6.1 Sol "sepenuhnya terbaca, tidak ada yang perlu dikhawatirkan." Tidak ada apa pun dalam publikasi OpenAI tanggal 19 Oktober, dan tidak ada apa pun di halaman dokumentasi model itu sendiri, yang mendukung hal itu sebagai perubahan pada apa yang dikembalikan API. Panduan penalaran OpenAI secara eksplisit menyatakan bahwa token penalaran mentah tidak diekspos — item penalaran tetap buram — dan bahwa yang dapat Anda minta adalah ringkasan dari penalaran melalui summary parameter, dengan konten penalaran terenkripsi yang diputar ulang antar giliran. GPT-6.1 Sol mendukung bentuk all_turns dari pemutaran ulang itu. Saluran ringkasan bukanlah jejak yang terbaca, dan memperlakukan keduanya sebagai hal yang sama adalah cara klaim keamanan dibuat lewat tangkapan layar.

Apa yang dapat diukur bersifat berdampingan dan lebih menarik bagi siapa pun yang mengaudit agen. Evaluasi Sonar pada 9 Oktober terhadap GPT-6.1 Sol, yang dijalankan terhadap GPT-6 Sol pada upaya sedang atas 4.444 tugas Java, menemukan token penalaran turun 51,4% — dari 2,64 juta menjadi 1,28 juta — sementara porsi penalaran dalam keluaran turun dari 41,8% menjadi 19,5%, keluaran naik, dan tingkat kelulusan fungsional meningkat dari 83,09% menjadi 85,29%. Uji yang sama menemukan kepadatan kerentanan turun 32,4% tetapi temuan keandalan bertingkat kritis naik dari 21 menjadi 46, dengan bug konkurensi sebagai kategori terbesar sebanyak 196 temuan. Itu adalah pertukaran yang dapat ditindaklanjuti oleh peninjau. “Jejak dapat dibaca” tidak demikian, karena jejak bukanlah yang dikembalikan.

Bagi proyek migrasi, ini penting secara konkret: jejak audit Anda adalah diff dan output pengujian, bukan narasi model. Anggarkan kapasitas peninjauan sesuai dengan itu — temuan Sonar bahwa kode yang dihasilkan 39,4% lebih banyak menghasilkan total 12.982 temuan dibandingkan 9.859 adalah bentuk biaya yang tersembunyi di balik skor benchmark.

Menjalankan kedua kelompok sendiri

Masalah praktis dengan perbandingan seperti ini adalah bahwa varian baseline dan varian baru biasanya melibatkan dua kontrak, dua kunci, dan dua hubungan penagihan, yang menimbulkan hambatan cukup besar sehingga tidak ada yang menjalankan baseline. Kedua model berada di katalog kami di balik satu kunci: openai/gpt-6.1-sol dan openai/gpt-5.6-sol, dengan harga daftar O​penAI tanpa markup 0%, sehingga tarifnya sama dengan yang akan Anda bayarkan kepada vendor: $2.00 untuk input dan $10.00 untuk output per juta token, dengan input cache $0.10 dan penulisan cache $2.50, serta tier di atas 272K diteruskan pada $4.00, $0.20, $5.00, dan $15.00. Perubahan tarif vendor berlaku di sini pada hari diterbitkan, bukan pada tinjauan kontrak berikutnya.

Pass-through itulah yang membuat benchmark di hari yang sama murah untuk dijalankan: arahkan quick suite MultiLangBench ke kedua model, bayar harga daftar pada masing-masing, dan Anda mendapatkan angka tentang toolchain Anda sendiri, bukan milik O​penAI. Failover otomatis adalah separuh argumen lainnya — jika model yang lebih baru menurun performanya di tengah proses atau sebuah rute terkena rate limit, permintaan tidak ikut gagal, yang memungkinkan Anda menempatkan model yang belum terbukti di depan pipeline migrasi sebelum Anda memiliki bukti sendiri.

Harness MultiLangBench bersifat publik dan kasus migrasi COBOL tidak, jadi satu-satunya uji jujur atas angka 86,6% adalah uji yang Anda bangun sendiri: ambil sampel beberapa ratus program COBOL milik Anda, terjemahkan, lalu bandingkan outputnya byte demi byte dengan perilaku aslinya. Itu pekerjaan seminggu dan nilainya lebih besar daripada tabel vendor.

Tontonan Berikutnya

Tiga hal akan mengubah gambaran ini, dan belum satu pun terjadi. OpenAI menerbitkan kasus migrasi COBOL, atau laboratorium independen menjalankannya ulang, akan mengubah angka dari vendor menjadi sebuah pengukuran. Pihak ketiga yang mereproduksi tabel MultiLangBench per bahasa akan memberi tahu kita apakah 72.1% milik COBOL merupakan sifat bahasa tersebut atau sifat suite itu. Dan catatan tolok ukur independen model — Artificial Analysis saat ini menempatkan GPT-6.1 Sol pada Intelligence Index 52, peringkat kedua belas dari 214 model, dengan 55.2 token keluaran per detik dan $0.72 per tugas indeks — adalah pemeriksaan yang sama sekali tidak bergantung pada evaluasi OpenAI sendiri.

Sampai saat itu, ringkasan yang berguna ini singkat. GPT-6.1 Sol adalah model dari 29 September yang kemampuan kode lamanya didokumentasikan pada 19 Oktober, dalam satu evaluasi yang dapat Anda jalankan dan satu yang tidak. Yang dapat dijalankan mengatakan generasi baru berada di kelas berbeda pada bahasa dengan sumber daya rendah. Yang tidak dapat dijalankan mengatakan migrasi COBOL kini layak untuk pilot. Hanya basis kode Anda sendiri yang dapat mengubah salah satunya menjadi keputusan.