
Skor Browser-Use 82% GPT-6.2 Sol Hanyalah Cuitan, Bukan Entri Papan Peringkat
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 184 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 223 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 87 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 96 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 78 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 208 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
Pada 18 November, Browser Use memposting bahwa GPT-6.2 Sol adalah model teratas di benchmark agen browser mereka: 82%, naik dari 81% untuk GPT-6.1 Sol, 35% lebih murah per tugas, dua kali lebih cepat, dan 36% lebih sedikit langkah. Greg Brockman memperkuatnya pada hari yang sama dengan "GPT-6.2 luar biasa dalam penggunaan browser." Dua hari sebelumnya, OpenAI telah merilis GPT-6.2 Sol dengan harga $2 per juta token input dan $10 per juta output. Klaim itu bagus dan kemungkinan besar benar arahnya. Itu juga, per hari ini, satu-satunya tempat keempat angka itu ada. Papan peringkat publik Browser Use sendiri masih mencantumkan GPT-6.1 Sol di 81,3 dan tidak memiliki baris GPT-6.2 Sol sama sekali — halaman hasilnya memiliki stempel terakhir diubah 29 Oktober 2026, dan URL yang seharusnya memuat halaman per model untuk GPT-6.2 Sol mengembalikan 404. Jadi versi jujur dari cerita ini lebih sempit dan lebih berguna daripada tweet itu: vendor benchmark memberi tahu Anda bahwa model yang sekarang mereka peringkat pertama lebih baik, lebih murah, dan lebih cepat daripada model yang mereka peringkat pertama tiga minggu lalu, dan papan yang biasanya Anda periksa untuk mengonfirmasinya belum mengejar.
Apa yang sebenarnya diposting oleh Browser Use, secara lengkap
Postingan yang dikutip berasal dari akun resmi Browser Use pada 00:09 UTC, 18 November. Isinya: "GPT-6.2 Sol adalah model teratas untuk penggunaan browser 👀 — 82%, naik dari 81% untuk GPT-6.1 Sol; 35% lebih murah; 2x lebih cepat: 12 menit alih-alih 22 menit; 36% lebih sedikit langkah." Itu adalah empat klaim terpisah dengan tingkat kekuatan yang sangat berbeda, dan semuanya harus dipisahkan sebelum salah satunya digunakan untuk membenarkan migrasi.
• Skor — 82 berbanding 81. Satu poin pada skor rubrik berbobot rata-rata 0–100, pada benchmark yang metodologi terbitannya menjelaskan 180 tugas yang dijalankan di situs web langsung. Satu poin berada dalam rentang noise dari benchmark yang dijalankan ulang terhadap situs pihak ketiga yang berubah.
• Biaya per tugas — 35% lebih murah. Ini adalah klaim terkuat dalam rangkaian ini, karena inilah klaim yang dapat direproduksi dengan murah oleh operator agen dan karena klaim ini dibatasi secara aritmetika: harga token tidak berubah, jadi penghematan harus berasal dari tempat lain.
• Waktu jam dinding — 12 menit, bukan 22. Inilah klaim yang paling langsung bertentangan dengan data terbitan vendor sendiri, dan hal ini dibahas di bawah.
• Langkah — 36% lebih sedikit. Dalam agen peramban, langkah adalah panggilan alat, dan panggilan alat adalah tempat loop agen menghabiskan biaya sekaligus waktu. Pengurangan 36% dalam langkah kemungkinan besar menjelaskan sebagian besar tiga angka lainnya sekaligus.
Browser Use Bench v2.1 bukanlah latihan pemasaran. Kartu metodologinya menyatakan secara eksplisit bahwa skor adalah rata-rata skor rubrik berbobot per tugas pada skala 0–100, bahwa kolom biaya adalah perkiraan biaya model per tugas dalam USD dan tidak mencakup biaya pencarian, penilai, browser, dan runner, serta bahwa pengujian dijalankan pada 180 situs web langsung alih-alih kumpulan tes yang dibekukan. Itu adalah rezim pengukuran yang nyata. Ini juga merupakan rezim di mana pergeseran skor sebesar satu poin dan pengujian ulang situs langsung bukanlah jenis bukti yang sama, itulah sebabnya dewan secara historis lebih konservatif daripada unggahan media sosialnya sendiri.
Keempat angka itu tidak ada di papan.
Kami memeriksa papan peringkat di browser-use.com/benchmarks/agents pada 19 November 2026. Metadata kumpulan data terstruktur yang tertanam di halaman itu masih tertulis "Browser Use Bench v2.1 model results" dengan dateModified bertanggal 2026-10-29. Menelusuri sumber halaman untuk string "GPT-6.2" menghasilkan nol kecocokan. Halaman per model di browser-use.com/benchmarks/models/gpt-6-2-sol tidak ada — halaman itu menyajikan stub 404. Dan FAQ halaman itu sendiri masih menggambarkan urutan yang berlaku sebagai "GPT-6.1 Sol high: 81.3 dari 100 dengan $1.92 per tugas, pada 180 tugas di situs web live. Berikutnya adalah GPT-6 Sol high pada 79.4."

Itu bukan tuduhan itikad buruk. Benchmark diterbitkan menurut jadwal tertentu, sedangkan pengumuman tidak; akun yang memposting pada 18 November adalah akun yang menjalankan harness, jadi akun itu sudah memiliki angka-angkanya sebelum situs memilikinya. Namun hal itu mendefinisikan status epistemik dari tulisan ini, dan dari keputusan pengadaan apa pun yang dibuat berdasarkan tulisan ini minggu ini: angka 82%, 35%, 2x, dan 36% dilaporkan oleh vendor dan belum dipublikasikan, dalam pengertian spesifik bahwa tabel terbitan vendor sendiri belum memuatnya. Tim yang memindahkan agen browser produksi ke GPT-6.2 Sol hari ini bertindak berdasarkan pengumuman benchmark, bukan hasil benchmark.
Kabar baiknya, pengumuman itu mudah dibuktikan salah. Jika angka-angka itu bertahan, papan yang diperbarui dengan baris GPT-6.2 Sol semestinya muncul dalam beberapa hari, dan keempat angka itu semestinya tetap bertahan saat dihadapkan dengan JSON. Jika baris tersebut muncul dengan angka yang berbeda, Anda akan tahu sebelum membangun ulang apa pun.
Baseline di tweet tidak cocok dengan baseline di papan.
Inilah detail yang layak ditandai, karena inilah jenis hal yang hilang ketika sebuah klaim tersebar sebagai tangkapan layar. Tweet tersebut menyebutkan hasil sebelumnya GPT-6.1 Sol sebagai “81%” dan “22 mnt”. Papan peringkat terbitan Browser Use menyebut GPT-6.1 Sol pada upaya penalaran tinggi sebagai 81,3 dari 100 dengan $1,92 per tugas, dengan median 14,3 menit. Skornya cukup dekat — 81 dan 81,3 adalah angka yang sama yang dibulatkan secara berbeda. Waktunya tidak. Empat belas menit dan dua puluh dua menit bukan pengukuran yang sama.

Ada penjelasan-penjelasan yang wajar. Kolom waktu di papan peringkat adalah median dari 180 tugas aktif, dan median sensitif terhadap tugas mana yang dikeluarkan saat sebuah situs gagal; 22 menit bisa jadi rata-rata, bisa jadi subset khusus upaya tinggi, bisa jadi irisan tugas yang berbeda, atau bisa jadi waktu eksekusi sebelum perbaikan harness diterapkan antara 29 Oktober dan 18 November. Ada juga penjelasan yang tidak begitu wajar: angka waktu dalam tweet adalah perbandingan yang dipilih agar model baru terlihat lebih cepat, dan penyebut yang jujur untuk klaim kecepatan 2x adalah apa pun yang dihasilkan harness yang sama untuk model lama pada hari yang sama.
Anda tidak dapat menyelesaikannya dari luar. Yang dapat Anda lakukan adalah menolak mengimpor rasio itu. "2x lebih cepat" di sini berarti "harness 18 November milik vendor mengukur 12 menit, sedangkan untuk model sebelumnya mengukur 22 menit," bukan "GPT-6.2 Sol dua kali lebih cepat daripada model yang menurut papan peringkat publik berjalan dalam 14,3 menit." Jika kecepatan adalah alasan Anda mempertimbangkan peralihan, angka yang perlu dijadikan acuan adalah angka terbitan 14,3 menit sampai papan baru menggantikannya, karena hanya angka itu yang memiliki halaman metodologi di baliknya.
Mengapa klaim 35% lebih murah disertai perhitungan di bawahnya
Harga tersebut membuat klaim biaya dapat diverifikasi dengan cara yang tidak dimiliki oleh yang lain. GPT-6.2 Sol dan GPT-6.1 Sol memakai kartu tarif yang sama, menurut halaman model OpenAI sendiri:
• Input — $2,00 per juta token untuk keduanya.
• Input yang di-cache — $0,10 per juta token pada keduanya. Penulisan cache $2,50 per juta untuk cache 30 menit, $5,00 untuk penulisan 12 jam, pada keduanya.
• Keluaran — $10.00 per juta token untuk keduanya.
• Konteks panjang — di atas 272,000 token input, tarif input dan cache menjadi dua kali lipat dan tarif output menjadi 1.5x untuk seluruh permintaan, pada kedua model. Titik kritisnya berada di posisi yang sama.
{{1}}Batch{{/1}} — 50% dari tarif standar untuk keduanya; mode Fast menjadi dua kali lipat, Ultrafast menjadi tiga kali lipat hingga 28 Februari 2027 dan enam kali lipat mulai 1 Maret 2027 untuk keduanya.
• Konteks — jendela 1.050.000 token, maksimal input 922.000, maksimal output 128.000, input teks dan gambar, output teks, pada keduanya. Batas pengetahuan GPT-6.2 Sol adalah 1 Juni 2026 dibandingkan dengan 30 April 2026.
Input identik, harga per token identik. Jadi penurunan biaya per tugas sebesar 35% tidak mungkin merupakan pemotongan harga. Itu pasti karena lebih sedikit token yang dibeli, dan tweet tersebut menyediakan mekanismenya: 36% lebih sedikit langkah. Tagihan token agen browser didominasi oleh riwayat percakapan yang diputar ulang pada setiap langkah, sehingga langkah dan biaya berskala hampir linear dalam jangka panjang. Kurangi jumlah langkah sepertiga dan tagihan turun sekitar sepertiga, yang persis sebesar penghematan yang dilaporkan. Kedua klaim saling menguatkan, yang merupakan tanda baik bagi keduanya.
Ini juga menjadi peringatan tentang cara membaca penghematan. Tugas yang 35% lebih murah bukan berarti bulan yang 35% lebih murah jika model yang lebih murah diberi tugas-tugas yang gagal dilakukan model lama, atau jika langkah yang lebih sedikit berarti agen berhenti lebih awal dan mengembalikan pekerjaan parsial. Skor rubrik 82 adalah yang menyingkirkan kemungkinan itu — eksekusi yang berhenti lebih awal dengan langkah sepertiga lebih sedikit akan mendapat skor lebih rendah, bukan satu poin lebih tinggi — tetapi satu poin adalah margin yang tipis untuk memikul bobot sebesar itu.
Harga token yang diteruskan tanpa perubahan adalah bagian dari ini yang benar-benar membosankan sekaligus benar-benar berguna. Di OrcaRouter, model markup 0% berarti harga daftar dari penyedia adalah harga yang Anda bayar, jadi ketika vendor memang mengubah kartu tarif — seperti yang dilakukan OpenAI untuk GPT-6.2 Astra, yang turun 20% pada input dan output di hari yang sama — perubahan itu langsung aktif di platform pada hari itu juga, alih-alih menunggu reseller menetapkan ulang harga. Itu juga berlaku dua arah: tidak ada yang bisa diarbitrase, dan tidak ada diskon yang bisa didapat dengan berpindah. Jika Anda menjalankan GPT-6.1 Sol melalui satu kunci API hari ini, panggilan model GPT-6.2 Sol akan memakan biaya per token yang sama dengan biaya di vendor.
Apa yang penting untuk loop agen, di luar judul utama
Empat detail operasional dari halaman model OpenAI lebih penting untuk penerapan agen browser daripada angka benchmark, dan tidak satu pun muncul dalam judul 82%.
• Upaya penalaran — GPT-6.2 Sol menolak none. Pengaturan terendah adalah pengaturan yang nyata, bukan tombol untuk mematikan penalaran. GPT-6.1 Sol menerima rentang penuh dari rendah hingga maksimum. Jika harness Anda mengkodekan secara tetap "tanpa penalaran, langsung bertindak" demi latensi, konfigurasi itu tidak dapat diporting.
• {{1}}Batch{{/1}} — didukung, dengan 50% dari tarif standar. Trajektori agen peramban biasanya sensitif terhadap latensi, jadi ini terutama penting untuk proses evaluasi offline daripada produksi.
• Endpoints — Responses, Chat Completions, dan Batch. Realtime, Assistants, Fine-tuning, Images, Videos, Speech, dan Transcription semuanya tidak didukung. Tidak tersedianya Fine-tuning adalah hal yang paling merugikan tim yang menyetel kebijakan browser pada model sebelumnya.
• Alat — computer_use, web_search, mcp, hosted_shell, apply_patch, skills, tool_search, code_interpreter, image_generation dan file_search tercantum sebagai didukung. Bagi agen peramban, pasangan yang menarik adalah computer_use bersama dengan tool_search: harness yang dapat menemukan alat saat proses berjalan adalah sumber yang masuk akal untuk pengurangan langkah sebesar sepertiga, karena agen berhenti menebak-nebak tindakan yang tidak ada lalu mencobanya lagi.
• Batas laju — 5.000 permintaan dan 1.000.000 token per menit pada tier Build, 10.000 dan 4.000.000 pada Launch, 15.000 dan 40.000.000 pada Grow.
Cara mencobanya tanpa mempertaruhkan jalur produksi padanya
Tanggapan yang tepat terhadap klaim benchmark yang belum dipublikasikan adalah sampel, bukan migrasi. Pilih dua puluh hingga lima puluh tugas browser Anda sendiri, jalankan pada kedua model melalui harness yang sama pada hari yang sama, lalu bandingkan tiga angka: tingkat penyelesaian menurut rubrik Anda, token yang dikonsumsi per tugas yang diselesaikan, serta waktu aktual (wall-clock) p50 dan p95. Kemudian bandingkan kedua hasil itu satu sama lain, bukan dengan angka 82 milik Browser Use, karena distribusi tugas mereka bukan distribusi Anda dan selisih satu poin tidak akan bertahan saat diterjemahkan ke konteks Anda.
Dua catatan praktis untuk pengujian itu. Pertama, tetapkan tingkat upaya penalaran secara eksplisit di kedua sisi dan gunakan pengaturan yang diterima kedua model, atau Anda akan menghabiskan proses pengujian untuk mengukur perbedaan konfigurasi. Kedua, catat jumlah langkah, karena 36% lebih sedikit langkah adalah mekanisme di balik klaim biaya dan hal pertama yang harus dikonfirmasi atau disangkal dalam data Anda sendiri.
Untuk uji coba itu sendiri, failover adalah cara murah untuk menjalankan model yang belum terbukti di samping model yang sudah terbukti: arahkan sampel ke model baru dengan fallback otomatis ke model yang Anda percaya, sehingga penolakan, timeout, atau lonjakan batas laju membuat Anda hanya perlu mencoba ulang alih-alih pekerjaan yang gagal. Itu berguna di sini secara khusus karena GPT-6.2 Sol baru berusia dua hari dan mode kegagalannya di situs langsung adalah persis hal yang ingin diukur oleh benchmark dan belum dipublikasikan. Namun, perhatikan status katalog: OrcaRouter mencantumkan 217 model termasuk GPT-6.1 Sol, model yang saat ini memuncaki papan Browser Use, tetapi GPT-6.2 Sol belum ada di dalamnya — untuk yang itu Anda akan langsung melalui API OpenAI sendiri. Model sebelumnya dengan harga pass-through adalah baseline yang solid untuk mengukur model baru, dan itulah peran yang harus dimainkannya minggu ini.

Apa yang akan mengubah cerita ini
Tiga hal, dalam urutan seberapa besar pengaruhnya terhadap jawaban. Baris GPT-6.2 Sol yang muncul di browser-use.com/benchmarks/agents dengan angka yang cocok atau mendekati tweet — itu mengubah pengumuman vendor menjadi hasil vendor dan membuat argumen migrasi jauh lebih kuat, meskipun tetap tidak independen. Pengukuran independen oleh pihak ketiga terhadap waktu dan biaya tugas browser pada kumpulan tugas yang sama — itulah yang akan menyelesaikan pertanyaan 12 versus 22 menit, dan itulah angka yang perlu diperhatikan. Dan rincian tingkat tugas yang dipublikasikan, karena “36% lebih sedikit langkah” bisa jadi merupakan peningkatan di tingkat harness yang berlaku umum untuk agen Anda atau kekhasan dari 180 situs web tertentu, dan hanya data per tugas yang dapat membedakan keduanya.
Sampai setidaknya salah satu dari hal-hal itu terwujud, ringkasan yang bisa dipertanggungjawabkan adalah ini: GPT-6.2 Sol memiliki biaya per token yang sama dengan GPT-6.1 Sol, kenaikan skor yang kecil dan penghematan biaya yang besar yang dilaporkan Browser Use secara internal konsisten dengan pemangkasan sepertiga dalam pemanggilan alat, dan klaim kecepatan bertumpu pada baseline yang tidak cocok dengan median yang diterbitkan vendor itu sendiri. Itu cukup untuk membenarkan evaluasi dua hari pada tugas Anda sendiri. Itu tidak cukup untuk membenarkan penulisan ulang.
Dibandingkan dalam artikel ini1
Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari
