GPT-6.1 Terra untuk Agen Browser: Matematika per Langkah di Balik 74,2%

Promosi OpenAI untuk GPT-6.1 Terra bukanlah bahwa model itu lebih pintar. Melainkan bahwa model itu dapat mengoperasikan layar — mengisi formulir, membaca gambar teknis, mengklik aplikasi — dan melakukannya dengan murah serta cepat. Tolok ukur yang mendukung klaim tersebut adalah OSWorld 2.1, di mana Terra mencetak 74,2% pada upaya penalaran maksimum, dalam jarak 1,7 poin dari GPT-6.1 Sol pada xhigh dan 1,6 poin dari GPT-6 Astra. Namun, angka yang penting bagi agen bukanlah skor tugas. Melainkan keandalan per langkah yang tersirat dari skor itu, karena agen gagal langkah demi langkah, bukan tugas demi tugas.

Tulisan ini membedah angka 74,2%: apa yang diukur OSWorld, apa implikasinya per langkah, berapa biaya tugas dua puluh langkah, di mana loop-nya putus, dan pagar pengaman yang mencegah agen berakurasi 74% berubah menjadi insiden berakurasi 0%.

Apa yang dikatakan papan skor

• GPT-6.1 Terra — 74.2% pada OSWorld 2.1 dengan upaya maksimum.

• GPT-6.1 Sol — 75,9% pada xhigh.

• GPT-6 Astra — 75,8%.

• Claude Opus 5.5 — 81,8%.

• Claude Sonnet 5.5 — 80,1%.

• Kimi K3.1 Pro — 79,6%.

Tiga pembacaan perlu dipisahkan. Dalam keluarga GPT-6, Terra hanya terpaut selisih pembulatan dari saudara-saudaranya yang lebih mahal — selisih harga hampir tidak memberikan keuntungan apa pun pada otomasi desktop. Di antara vendor, seluruh keluarga tertinggal dari Anthropic sebesar enam hingga tujuh poin. Dan klaim Terra sendiri yang berdekatan dengan vendor — kurang lebih setara dengan GPT-6 Astra pada medium di Agents’ Last Exam, dengan sepersepuluh harga per token — adalah klaim per tugas yang sebagian besar didukung oleh angka OSWorld.

Dari skor tugas hingga keandalan tiap langkah

Tugas-tugas OSWorld dinilai lulus atau gagal setelah serangkaian tindakan. Jika suatu tugas membutuhkan sekitar dua puluh langkah dan Terra menyelesaikan 74,2% tugas dari awal hingga akhir, tingkat keberhasilan per langkah yang tersirat adalah akar pangkat dua puluh dari 0,742 — sekitar 98,5%. Itu adalah ilustrasi aritmetika, bukan pengukuran: beberapa tugas lebih pendek, beberapa lebih panjang, dan kegagalan tidak independen. Namun itu menetapkan skala dengan benar. Model yang tampak seperti model 74% sebenarnya adalah model 98,5% per langkah, dan celah itulah tempat desain agen berada.

Hitung perhitungannya dengan arah sebaliknya untuk alur kerja lima puluh langkah. Pada laju per langkah yang sama, keberhasilan ujung ke ujung turun menjadi sekitar 47%. Pada delapan puluh langkah, angkanya 30%. Skor tugas tidak berubah; alur kerjanya yang berubah, dan itulah sebabnya “cukup baik untuk agen” sepenuhnya bergantung pada berapa lama agen berjalan tanpa pengawasan.

Berapa biaya sebuah tugas

Asumsikan 3.000 token masukan per langkah — tangkapan layar ditambah status tugas ditambah riwayat tindakan — dan 150 token keluaran untuk tindakan tersebut, selama dua puluh langkah.

• Untuk setiap tugas: 60.000 input dengan tarif $1 per juta adalah $0,06; 3.000 output dengan tarif $5 per juta adalah $0,015. Total $0,075.

• Dengan tingkat percobaan ulang 30%: sekitar $0,0975 per tugas yang berhasil, atau $98 per seribu tugas.

• Beban kerja yang sama pada GPT-6.1 Sol dengan harga $2/$10: $0,15 per tugas, $195 per seribu.

• Pada GPT-6 Astra dengan harga $10/$50: $0.75 per tugas, $975 per seribu tugas.

• Pada Claude Opus 5.5 dengan tarif $4/$20: $0,30 per tugas, $390 per seribu.

Asumsi token lebih penting daripada rasio harga. Tangkapan layar mendominasi biaya input, dan ukuran tangkapan layar adalah pilihan: PNG penuh 1440×900 memakan jauh lebih banyak token daripada wilayah minat yang dipotong. Pipeline yang mengirim satu tangkapan layar yang dipotong per langkah alih-alih seluruh desktop dapat memotong token input menjadi setengah, yang separuhnya juga memangkas biaya per tugas dan mengubah peringkat dibandingkan model yang lebih akurat.

Latensi adalah produknya

Artificial Analysis mengukur Terra pada 90,9 token keluaran per detik dan 133,64 detik hingga token pertama dalam tolok ukur penalarannya, dibandingkan dengan 73,5 token per detik dan 284,31 detik untuk GPT-6.1 Sol. Angka latensi tersebut berasal dari tugas penalaran dengan upaya maksimal, sehingga melebih-lebihkan penundaan per langkah dalam loop agen — tetapi rasionya, sedikit di atas 2×, adalah indikator yang tepat untuk berapa lama setiap model berpikir sebelum bertindak.

Dalam loop agen, waktu berpikir terakumulasi dua puluh kali per tugas. Jika Sol membutuhkan empat detik per langkah dan Terra dua detik, tugas dua puluh langkah selesai dalam 40 detik alih-alih 80 detik. Staf OpenAI Victor E. Nunez melaporkan bahwa Terra menyelesaikan formulir web lebih dari dua menit lebih cepat daripada Sol; itu anekdot, bukan tolok ukur, tetapi itulah jenis perbedaan yang disadari pengguna tanpa perlu diberi tahu.

Di mana perulangan terputus

• Tindakan yang tidak dapat dibatalkan. Ajukan, kirim, hapus, bayar — tindakan apa pun yang memiliki efek samping memerlukan gerbang persetujuan. Tidak ada perubahan skor benchmark yang mengubah itu.

• Antarmuka yang ambigu. Dua tombol berlabel “Continue” membuat model apa pun tak berdaya, berapa pun harganya; solusinya adalah kebersihan prompt dan tangkapan layar.

• Horizon panjang. Matematika per langkah di atas adalah keseluruhan argumen menentang pekerjaan horizon panjang tanpa pengawasan pada 98,5% per langkah.

• Tangkapan layar usang. Bingkai yang diambil sebelum pergeseran tata letak itu salah, dan bingkai yang salah menghasilkan klik keliru yang penuh keyakinan.

• State yang bertahan di seluruh tab. Agen berbasis tangkapan layar hanya melihat satu jendela pada satu waktu; alur kerja multi-tab memerlukan pelacakan state eksplisit di luar model.

Pagar pengaman yang membuat 74% siap dirilis

• Batasi langkah, bukan hanya dolar. Dua puluh adalah anggaran sekaligus kontrol keselamatan; perulangan yang tidak dapat berhenti adalah mode kegagalan yang paling mahal.

• Kendalikan efek samping. Arahkan tindakan apa pun yang mengubah keadaan eksternal melalui verifikasi manusia atau kebijakan.

• Catat frame bersama aksinya. Saat agen melakukan kesalahan, satu-satunya artefak yang berguna adalah tangkapan layar yang menjadi dasar tindakannya.

• Gunakan output terstruktur untuk skema aksi. Aksi berupa teks bebas tidak dapat diuraikan tepat pada saat Anda membutuhkan kepastian.

• Ukur per langkah, bukan per tugas. Regresi 2% per langkah tidak terlihat dalam skor tugas dan menggandakan tingkat kegagalan sepanjang lima puluh langkah.

• Gunakan model kedua untuk langkah-langkah sulit. Terra untuk frame rutin, model yang lebih kuat untuk yang ambigu, lebih murah daripada Terra dengan percobaan ulang.

Apa yang harus dijalankan hari ini

GPT-6.1 Terra tidak ada dalam katalog OrcaRouter pada saat penulisan, jadi varian Terra harus diuji langsung terhadap OpenAI. Set perbandingan sudah aktif di sisi kami dengan markup 0% di atas harga daftar penyedia — GPT-6.1 Sol seharga $2/$10, GPT-6 Astra seharga $10/$50, Claude Opus 5.5 seharga $4/$20, Claude Sonnet 5.5 seharga $2/$10, dan Kimi K3.1 Pro seharga $2/$10 — semuanya pada satu kunci dengan failover otomatis.

Eksperimen yang layak dijalankan bukanlah “model mana yang mencetak skor tertinggi di OSWorld”. Melainkan kumpulan tugas Anda sendiri, dinilai per langkah, dengan kebijakan tangkapan layar dijaga tetap konstan. Pengukuran itulah yang menentukan apakah harga dan kecepatan Terra sepadan dengan selisih 7,6 poin terhadap Claude Opus 5.5 pada tugas-tugas yang benar-benar Anda jalankan — dan hanya angka itulah yang bisa menjadi fondasi bagi sebuah produk agen.