Benchmark GPT-6.1 Terra, Diurutkan: Di Mana 48 Menyamai 52 dan Di Mana Tidak

Angka komposit untuk GPT-6.1 Terra adalah 48. GPT-6.1 Sol 52, GPT-6 Astra 53, GPT-5.6 Terra 42, dan GPT-6 Luna 38. Itulah keseluruhan ceritanya jika Anda hanya membaca baris teratas Artificial Analysis Intelligence Index — sebuah model kelas menengah yang berada enam poin di atas pendahulunya dan empat poin di bawah model saudaranya yang lebih mahal. Itu juga cara paling tidak berguna untuk membaca peluncuran ini, karena indeks yang sama menyembunyikan kesenjangan coding sebesar 29 poin terhadap Astra, kesenjangan penggunaan komputer sebesar 7,6 poin terhadap Claude Opus 5.5, dan peningkatan halusinasi yang lebih besar daripada gabungan seluruh peningkatan kecerdasan dalam peluncuran ini.

Berikut ini memisahkan tiga jenis angka: pengukuran independen dari Artificial Analysis, hasil yang dilaporkan vendor dari OpenAI yang belum direproduksi oleh pihak luar mana pun, dan angka turunan — aritmetika yang mengubah salah satu dari dua jenis pertama menjadi biaya atau rasio. Perbedaan ini penting, karena liputan peluncuran sudah mulai mencampurkan ketiganya.

Tiga skor yang akan dikutip semua orang

Artificial Analysis mencantumkan GPT-6.1 Terra pada 48 dalam Intelligence Index, peringkat ke-25 dari 221 model, dengan biaya $0,40 per tugas indeks. GPT-6.1 Sol berada di 52 dan peringkat ke-13, dengan biaya $0,72 per tugas. GPT-6 Astra, unggulan saat ini, berada di 53. GPT-5.6 Terra berada di 42 dan peringkat ke-53, dengan biaya $1,40 per tugas. GPT-6 Luna berada di 38.

Jika dibaca sebagai tangga, Terra adalah peningkatan yang nyata: enam poin dengan biaya per tugas selesai kurang dari sepertiga, dan sepuluh poin di atas tier anggaran. Jika dibaca sebagai perbandingan terhadap Sol, hasilnya persis seperti yang tersirat dalam kartu harga — empat poin lebih lemah, dengan harga token sekitar setengahnya. Tidak ada apa pun dalam komposit yang bertentangan dengan posisi OpenAI.

Komposit juga meratakan hal-hal yang seharusnya tidak. Empat poin indeks antara Terra dan Sol adalah 8% dari skala; 29 poin antara Terra dan Astra pada Coding Agent Index adalah 60% dari skala tersebut. Satu angka tidak dapat memuat keduanya, dan liputan peluncuran yang hanya mengutip yang pertama diam-diam telah menghilangkan yang kedua.

Di mana kesenjangan melebar: pengodean

Pada Coding Agent Index v2.0 dari Artificial Analysis, GPT-6.1 Terra memperoleh skor 48, GPT-6.1 Sol memperoleh skor 54, dan GPT-6 Luna memperoleh skor 31. Itu berarti defisit enam poin terhadap Sol dan keunggulan 17 poin atas Luna — bentuk yang sama seperti indeks kecerdasan, tetapi dengan selisih terhadap model teratas dalam keluarga tersebut lebih besar secara relatif.

Angka dari vendor menunjukkan cerita yang lebih menguntungkan, dan itu memang angka dari vendor. OpenAI melaporkan 50,3% terselesaikan pada Terminal-Bench 4.0 dengan upaya maksimum, dibandingkan 21,5% untuk GPT-5.6 Terra. Itu lebih dari dua kali lipat, dan merupakan lompatan antargenerasi terbesar dalam rilis ini. Ini juga tolok ukur tugas terminal, bukan ukuran agen pengkodean yang luas: Terra bisa mendekati Sol pada pekerjaan shell yang singkat dan cakupannya jelas namun tetap tertinggal enam poin pada indeks yang lebih luas, dan kedua hal itu sama-sama benar.

Pembacaan praktisnya adalah bahwa peningkatan kemampuan coding Terra terkonsentrasi {{1}}pada area yang ruang lingkup tugasnya terbatas{{/1}}. "Jalankan suite tes ini, baca kegagalannya, tambal file-nya" adalah bentuk Terra. "Menyimpan refactor lima belas file di kepala Anda selama empat puluh langkah" bukanlah bentuknya, dan rekomendasi OpenAI sendiri masih mengarahkan pekerjaan pemrograman yang kompleks ke {{2}}Sol atau Astra{{/2}}.

Ketika kesenjangannya lebih kecil daripada yang ditunjukkan indeks: penggunaan komputer

Pada OSWorld 2.1, tolok ukur otomasi desktop standar, GPT-6.1 Terra memperoleh skor 74,2% pada penalaran maksimum. GPT-6.1 Sol memperoleh skor 75,9% pada xhigh. GPT-6 Astra memperoleh skor 75,8%. Claude Opus 5.5 memimpin di antara model yang dapat kami bandingkan pada 81,8%, dengan Claude Fable 5.1 pada 80,7%, Claude Sonnet 5.5 pada 80,1%, dan Kimi K3.1 Pro pada 79,6%.

Ada dua hal yang menyusul. Pertama, Terra berada dalam jarak 1,7 poin dari Sol pada tugas yang menjadi tujuan pembuatannya, dengan setengah harga token — pertukaran yang jauh lebih baik daripada yang tersirat oleh selisih kecerdasan empat poin. Kedua, seluruh keluarga GPT-6 tertinggal dari Anthropic dalam otomasi desktop sebesar enam hingga tujuh poin, dan Terra tidak menutup celah itu. Jika produk Anda adalah agen browser, perbandingan yang menarik bukanlah Terra versus Sol; melainkan Terra versus Claude Sonnet 5.5, yang lebih murah per token daripada Sol dan mencetak skor 5,9 poin lebih tinggi pada OSWorld.

Angka agentik milik vendor sendiri menunjukkan hal yang sama. Pada Agents' Last Exam v1, OpenAI melaporkan 57,6% untuk Terra pada upaya sedang, dibandingkan 50,7% untuk GPT-5.6 Terra pada maksimum. Klaim yang menyertainya — setara dengan GPT-6 Astra pada tingkat sedang, dengan harga per token sekitar sepersepuluhnya — adalah klaim per tugas, dan itu adalah kalimat paling bermakna secara ekonomi dalam peluncuran ini.

Angka yang benar-benar berubah: halusinasi

Artificial Analysis mengukur tingkat halusinasi Omniscience: seberapa sering sebuah model menebak saat tidak mengetahuinya. GPT-5.6 Terra memperoleh skor 88%. GPT-6.1 Terra memperoleh skor 38%. Akurasi meningkat dua poin selama periode yang sama.

Penurunan 50 poin dalam menebak lebih besar daripada peningkatan kecerdasan apa pun dalam rilis ini, dan itulah satu-satunya angka yang mengubah untuk apa sebuah model aman digunakan. Model yang mengarang jawaban 88% dari waktu saat tidak yakin tidak dapat dipercaya untuk ekstraksi faktur atau pengisian formulir tanpa pemeriksaan manusia pada setiap keluaran. Pada 38%, model masih menebak lebih dari sepertiga waktu — ini adalah peningkatan, bukan solusi — tetapi mode kegagalan bergeser dari "anggap saja salah" menjadi "ambil sampel dan verifikasi."

Itu memiliki konsekuensi biaya langsung. Verifikasi adalah pos tersembunyi dalam setiap penerapan model murah: jika Anda harus memeriksa 88% jawaban, biaya tenaga kerja jauh melebihi penghematan token. Pada 38%, pemeriksaan sampel menjadi layak, dan angka $0.40 per tugas mulai terlihat seperti biaya sebenarnya, bukan separuh bagian yang terlihat.

Klaim vendor, dan apa yang hilang dari klaim-klaim tersebut

Hasil yang diterbitkan OpenAI, semuanya dijalankan oleh vendor dan belum ada yang direproduksi secara independen pada saat penulisan ini:

• Terminal-Bench 4.0 — 50,3% pada upaya maksimal, dibandingkan 21,5% untuk GPT-5.6 Terra.

• Agents' Last Exam — 15 poin di atas GPT-5.6 Terra pada effort sedang, dengan biaya sekitar sepertiganya.

• MMMU-Pro — lebih unggul dari GPT-5.6 Terra pada setiap tingkat upaya, mendekati Astra dan Sol, tanpa skor absolut yang dipublikasikan.

• Terminal-Bench-Science 0.1 — dalam selisih 5 poin dari Claude Opus 5.5 dengan estimasi biaya kurang dari seperlimanya.

• Prompt yang memicu kesalahan — 16,7% pada upaya rendah dibandingkan 53,6%, dan 4,3% pada maksimal, dalam pengujian internal yang belum dipublikasikan perusahaan.

Pola dalam daftar itu layak diberi nama. Dua klaim terkuat — MMMU-Pro dan uji tingkat kesalahan — adalah dua yang tidak disertai angka absolut. "Mendekati Astra" dan "dekat dengan Sol" adalah pernyataan komparatif yang tidak dapat diperiksa tanpa angka di baliknya. Klaim dengan angka pasti adalah klaim yang dapat direproduksi pihak ketiga, dan Artificial Analysis telah mereproduksi sisi biayanya: $0,40 per tugas, $1,40 untuk pendahulunya.

Kecepatan adalah angka independen yang tidak ada dalam indeks.

Artificial Analysis mengukur GPT-6.1 Terra pada 90,9 token keluaran per detik dengan 133,64 detik hingga token pertama pada benchmark penalarannya. GPT-6.1 Sol terukur pada 73,5 token per detik dan 284,31 detik. Itu berarti throughput sekitar 24% lebih tinggi dan keunggulan waktu hingga token pertama sedikit lebih dari dua kali lipat — pengukuran independen, bukan klaim vendor, dan argumen objektif terkuat untuk Terra di seluruh rilis ini.

Untuk produk chat, throughput hampir tidak penting; bagi loop computer-use yang membutuhkan dua puluh langkah per tugas, itu adalah perbedaan antara tugas 40 detik dan 90 detik. Indeks tersebut tidak memperhitungkan latensi, itulah sebabnya model yang berada di peringkat 25 bisa menjadi pilihan yang tepat untuk sebuah agen yang berada di peringkat 13 dalam hal kualitas.

Cara membaca indeks tanpa disesatkan

• Perlakukan komposit sebagai filter, bukan peringkat. Komposit memberi tahu Anda model mana yang masuk dalam percakapan; komposit tidak memberi tahu Anda model mana yang paling unggul untuk tugas Anda.

• Lihat sub-skor coding dan computer-use secara terpisah. Profil Terra luar biasa lebar: hampir setara Sol pada otomasi desktop, tertinggal enam poin pada coding, dan empat poin secara keseluruhan.

• Periksa ulang angka absolut terhadap satu tanggal. Indeks dinormalisasi ulang secara berkala, dan tulisan dari minggu yang berbeda mengutip angka yang berbeda untuk model yang sama.

• Beri bobot tingkat halusinasi sebesar skor kecerdasan jika beban kerja Anda memiliki biaya verifikasi. Peningkatan 50 poin mengubah model operasional, bukan sekadar skor.

• Ukur tugas Anda sendiri. Angka biaya per tugas dari Artificial Analysis adalah proksi yang dibangun berdasarkan prompt mereka; prompt Anda akan menghasilkan rasio yang berbeda antara harga token dan jumlah percobaan.

Tidak satu pun dari ini membuat GPT-6.1 Terra menjadi model yang buruk. Semua ini membuatnya menjadi model yang spesifik: model yang cepat, murah, jauh lebih jarang berhalusinasi, yang mendekati saudaranya yang lebih mahal pada layar dan jauh dari model unggulan pada kode. Skor komposit mengatakan 48. Sub-skor mengatakan 48 yang mana yang Anda beli.