Angka Terbesar GPT-6.1 Terra Adalah 38%: Tingkat Halusinasi, Bukan IQ

Liputan peluncuran GPT-6.1 Terra berpusat pada peningkatan kecerdasan enam poin dan kartu setengah harga. Angka yang benar-benar mengubah cara model dapat digunakan adalah 38% — ukuran Artificial Analysis tentang seberapa sering Terra menebak ketika tidak tahu, turun dari 88% pada GPT-5.6 Terra. Penurunan lima puluh poin dalam menebak lebih besar daripada gabungan semua peningkatan kualitas dalam rilis ini, dan itu menggeser model dari “anggap jawabannya dikarang” menjadi “sampel dan verifikasi”.

Tulisan ini memisahkan dua hal berbeda yang orang sebut halusinasi dalam rilis ini — ukuran kemahatahuan independen dan uji kesalahan internal OpenAI — dan menghitung berapa biaya tingkat tebakan 38% dalam pipeline verifikasi nyata.

Apa yang diukur oleh 38%

Evaluasi AA-Omniscience milik Artificial Analysis mengajukan pertanyaan kepada model yang mungkin tidak mereka ketahui jawabannya, dan menghitung seberapa sering model tetap memberikan jawaban dengan percaya diri. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. Akurasi meningkat dua poin selama periode yang sama.

Dibaca bersama-sama, kedua fakta itu menggambarkan sebuah model yang menjadi lebih bersedia mengatakan “Saya tidak tahu” — bukan model yang menjadi jauh lebih berpengetahuan. Indeks kecerdasan bergerak enam poin, dari 42 menjadi 48. Perilaku abstensi bergerak lima puluh. Bagi siapa pun yang menggunakan model ini untuk mengekstrak fakta, itulah perubahan yang lebih bernilai.

Ini masih belum bagus. Tiga puluh delapan persen berarti bahwa dalam sekumpulan pertanyaan yang tidak dapat dijawab model, lebih dari satu dari tiga tetap mendapatkan jawaban salah dengan penuh keyakinan. Model yang tidak menjawab 62% saat tidak tahu jauh lebih aman daripada model yang tidak menjawab 12% — dan tetap bukan sesuatu yang bisa disodorkan kepada pelanggan tanpa pemeriksaan.

Nomor vendor adalah pengujian yang berbeda

Berita utama OpenAI adalah penurunan 37 poin pada prompt yang dirancang untuk memicu kesalahan: dari 53,6% pada GPT-5.6 Terra dengan upaya rendah menjadi 16,7% pada Terra, dan 4,3% pada upaya maksimum. Uji tersebut bersifat internal, tidak dipublikasikan, dan dibangun secara adversarial. Uji itu mengukur apakah model dapat menahan prompt yang direkayasa agar membuatnya gagal — bukan apakah model mengarang fakta ketika tidak memilikinya.

Kedua angka itu bisa saja benar. Uji dari vendor mengukur ketahanan terhadap prompt adversarial; uji independen mengukur kalibrasi dalam kondisi ketidaktahuan. Keduanya berkorelasi tetapi tidak dapat saling menggantikan, dan liputan peluncuran sebagian besar telah memperlakukan yang pertama sebagai bukti bagi yang kedua. Padahal tidak demikian.

Berapa Biaya dari Tingkat Tebakan 38%

Verifikasi adalah pos biaya tersembunyi dalam setiap penerapan model murah, dan biayanya meningkat seiring tingkat tebakan. Ambil contoh alur ekstraksi dokumen yang memproses 100.000 halaman per bulan, dengan pemeriksaan sampel oleh manusia yang menelan biaya $2 per halaman yang diperiksa.

Pada tingkat tebakan 88%, Anda tidak bisa melakukan pemeriksaan sampel. Anda memeriksa semuanya: 100.000 halaman × $2 = $200.000 per bulan. Tagihan token tidak relevan.

Pada 38%, skema penyampelan menjadi layak. Periksa 20% halaman: 20.000 × $2 = $40.000 sebulan, dengan tingkat kelewat yang diketahui pada sisanya.

• Pada hipotetis 10%, pemeriksaan 5% akan menelan biaya $10.000 per bulan dan tetap membatasi tingkat kesalahan.

Biaya token dari pipeline itu sendiri pada tarif Terra — misalnya 20.000 token input dan 500 token output per halaman — adalah $2.250 per 100.000 halaman. Lini verifikasi sepuluh hingga sembilan puluh kali lebih besar daripada lini model. Itulah kerangka yang tepat untuk membandingkan model-model murah: tagihannya adalah model ditambah tinjauan, dan tinjauan didorong oleh tingkat tebakan.

Tugas mana yang mentoleransi tebakan

• Toleran — peringkasan dokumen yang sepenuhnya berada dalam konteks (jawaban didasarkan pada masukan), klasifikasi dengan kumpulan label tetap, penyusunan draf yang diedit oleh manusia, ekstraksi dengan skema yang menolak keluaran yang tidak valid.

• Intoleran — menjawab pertanyaan faktual tanpa retrieval, angka keuangan, kutipan hukum, dosis medis, apa pun yang mana jawaban salah yang tampak masuk akal lebih buruk daripada tidak ada jawaban.

Garis pemisahnya bukan skor kecerdasan model; melainkan apakah jawaban dapat diperiksa terhadap sumber. Tingkat tebakan sebesar 38% dalam tugas yang setiap outputnya diverifikasi adalah masalah efisiensi. Dalam tugas yang outputnya langsung sampai ke pelanggan, itu adalah beban risiko.

Cara mengukurnya pada data Anda sendiri

• Bangun sekumpulan pertanyaan yang tidak dapat dijawab model dari konteks. Tingkat tebakan diukur pada item yang tidak dapat dijawab, bukan pada seluruh set tes — tes yang setiap pertanyaannya memiliki jawaban mengukur akurasi, bukan kalibrasi.

• Nilai tiga hasil, bukan dua: benar, salah, abstain. Model yang menjawab “tidak diketahui” berperilaku benar pada item yang tidak dapat dijawab.

• Bandingkan dengan GPT-5.6 Terra pada set yang sama. Peningkatan lima puluh poin adalah klaim yang independen dari vendor, tetapi diukur pada pertanyaan Artificial Analysis; pertanyaan Anda mungkin berbeda.

• Perhatikan pengaturan effort. Klaim tingkat error bersifat spesifik untuk effort, dan perilaku abstensi kemungkinan juga berubah seiring effort penalaran — proses dengan effort rendah mungkin lebih banyak menebak daripada proses dengan effort maksimal.

Mendorong abstensi

Kalibrasi sebagian merupakan sifat prompt. Tiga pola yang secara andal mengurangi tebakan yang terlalu percaya diri:

• Beri model jalan keluar eksplisit — “jika jawabannya tidak ada dalam konteks yang diberikan, balas UNKNOWN” — dan nilai balasan itu sebagai benar untuk item yang tidak dapat dijawab.

• Wajibkan sitasi untuk setiap klaim faktual, dan tolak keluaran yang sitasinya tidak sesuai dengan konteks.

• Minta label tingkat keyakinan dan arahkan jawaban dengan keyakinan rendah ke model kedua atau manusia, alih-alih meminta model murah untuk yakin.

Masing-masing memakan token dan menambah satu tahap. Namun masing-masing lebih murah daripada jawaban keliru yang sampai ke pelanggan, dan angka 38% itulah yang membuat pertukaran ini layak diperhitungkan alih-alih diabaikan.

Mengapa ini lebih penting daripada indeks

Peningkatan kecerdasan sebesar enam poin mengubah tugas mana yang sama sekali bisa dilakukan sebuah model. Perubahan lima puluh poin dalam kemampuan menebak mengubah tugas mana yang bisa dilakukannya tanpa manusia dalam proses. Untuk keputusan perutean, sumbu kedua lebih berguna: ini menentukan apakah model murah dapat bekerja tanpa pengawasan pada suatu tugas, dan pengawasan adalah biaya yang mendominasi tagihan produksi.

GPT-6.1 Terra bukanlah model yang sudah berhenti berhalusinasi. Ia adalah model yang berhalusinasi kurang dari separuh frekuensi pendahulunya, dengan harga separuh, dan batas pengetahuan yang lebih baru. Kombinasi itu sungguh bermanfaat — dan ini adalah kisah verifikasi, bukan kisah kapabilitas.

Apa yang dapat Anda jalankan hari ini

GPT-6.1 Terra tidak ada dalam katalog OrcaRouter pada saat penulisan ini, jadi perilaku abstensinya harus diukur langsung terhadap OpenAI. Semua yang dibandingkan dengannya sudah aktif di sisi kami dengan markup 0% di atas harga daftar penyedia — GPT-5.6 Terra seharga $2/$12, GPT-6.1 Sol seharga $2/$10, GPT-6 Astra seharga $10/$50, GPT-6 Luna seharga $0.10/$0.50, Claude Sonnet 5.5 seharga $2/$10 — yang cukup untuk membangun set kalibrasi dan model biaya verifikasi sebelum Terra tersedia.

Angka yang perlu dibawa ke eksperimen itu bukan 48. Angka itu adalah 38, dan pertanyaan yang perlu diajukan adalah seperti apa anggaran peninjauan Anda pada tingkat tebakan tersebut.