LMArena dan Papan Peringkat LLM: Tiga Alat Ukur, Tiga Pertanyaan Berbeda

Pada 19 Februari 2026, Artificial Analysis menerbitkan artikel berjudul "Gemini 3.1 Pro Preview: Pemimpin baru dalam AI". Model ini memimpin enam dari sepuluh evaluasi dan unggul empat poin dari Claude Opus 4.6. Buka halaman model yang sama hari ini dan angkanya adalah 30, berada di peringkat 69 dari 200. Google tidak mengubah apa pun. Yang berubah adalah alat ukurnya: pada 19 September 2026 Artificial Analysis merevisi Intelligence Index-nya menjadi v4.3.2, menghentikan Terminal-Bench 2.1 dan menggantinya dengan Terminal-Bench 4.0, menukar tau3-Banking dengan AutomationBench-AA, dan menambatkan ulang skala Elo GDPval-AA. Pemimpin di bulan Februari menjadi pemain tengah pada September karena instrumen pengukurannya bergeser di bawahnya.

Satu episode itu saja sudah menjadi argumen utuh untuk belajar membaca papan-papan ini dengan benar. Claude Opus 5.5 dan Claude Fable 5.1, Kimi K3.1 Pro dan MiniMax M3.1 Flash, serta setiap model di antaranya dinilai oleh setidaknya tiga hal yang tidak kompatibel sekaligus, dan pencarian yang membawa orang ke sini — lmarena, llm ranking, model mana yang sebenarnya terbaik — mengasumsikan hanya ada satu jawaban. Ada tiga, dan masing-masing menjawab pertanyaan yang berbeda.

Tiga jenis papan skor, tiga pertanyaan berbeda

Setiap angka yang akan Anda lihat di papan peringkat berasal dari salah satu dari tiga keluarga, dan keluarga itulah yang menentukan apa yang dapat dan tidak dapat diberitahukan oleh angka tersebut kepada Anda.

Arena kerumunan. LMArena menampilkan dua output model anonim untuk satu prompt, seseorang memilih pemenang, dan suara diagregasikan menjadi peringkat. Ini mengukur preferensi dalam kondisi buta pada prompt yang tidak dipilih sebelumnya oleh siapa pun. Kekuatannya adalah tidak ada vendor yang menjalankan harness dan tidak ada yang memilih pertanyaan secara manual. Kelemahannya adalah pemilih menghargai jawaban yang lancar, percaya diri, dan berformat baik, dan prompt yang diketik oleh sukarelawan bukanlah beban kerja Anda. Peringkat arena yang tinggi berarti orang cenderung lebih menyukai output; bukan berarti outputnya benar.

Indeks komposit. Artificial Analysis menjalankan serangkaian evaluasi tetap dan menggabungkannya menjadi satu Intelligence Index, bersama dengan ukuran terpisah untuk kecepatan, latensi, harga, dan biaya per tugas yang diselesaikan. Ini adalah yang paling berguna dari ketiganya untuk menyusun daftar pendek, karena harness-nya sama untuk setiap model dan kolom-kolom di sekitarnya memungkinkan Anda menimbang kualitas terhadap biaya. Kelemahannya adalah bahwa indeks komposit mengandung pilihan editorial: evaluasi mana yang dihitung, bagaimana bobotnya, dan apa yang terjadi ketika salah satunya dihentikan. Revisi v4.3.2 adalah tepatnya kelemahan itu yang dibuat terlihat.

Lembar vendor. Materi peluncuran dari lab yang membangun model tersebut. Ini adalah sumber terkaya — ratusan baris, benchmark terbaru, konfigurasi yang belum pernah dijalankan orang lain — dan paling tidak dapat dibandingkan, karena setiap vendor memilih harness, pengaturan upaya, dan lawannya. Tabel Claude Opus 5.5 milik Anthropic menempatkan modelnya 29 poin di depan GPT-5.6 Sol pada Terminal-Bench 4.0; materi Sol milik OpenAI mengunggulkan Terminal-Bench 2.1, dengan Sol mencetak 91.9, dan sama sekali tidak memuat baris untuk Opus 5.5, karena Opus 5.5 belum ada saat materi itu ditulis. Tabel yang hanya berisi baris yang menguntungkan bukanlah bukti kemenangan menyeluruh. Itu adalah bukti pemilihan baris.

Baris tersebut adalah konfigurasi, bukan model.

Kesalahpahaman paling umum tentang papan peringkat adalah menganggap satu baris sebagai satu model. Di papan peringkat LLM milik Artificial Analysis sendiri minggu ini, Claude Opus 5.5 muncul tiga kali:

• Claude Opus 5.5 pada upaya maksimum dengan fallback — Intelligence Index 58, biaya per tugas $5,98, kecepatan keluaran median 98 token per detik, latensi 706 ms, end-to-end 711 ms.

• Claude Opus 5.5 pada tingkat upaya xhigh dengan fallback — Indeks Kecerdasan 56, biaya per tugas $3,46, kecepatan 82 token per detik, latensi 119 ms, end-to-end 125 ms.

• Claude Sonnet 5.5 pada upaya maksimal — 56, $5,46, 141 token per detik, 427 ms.

Dua poin indeks memisahkan dua baris pertama. Pengurangan biaya per tugas sebesar 42% dan perbedaan latensi enam kali lipat juga memisahkan keduanya. Tidak ada yang berubah pada model; pengaturan upayanya yang berubah. Oleh karena itu, argumen apa pun dalam bentuk "model X mendapat skor lebih tinggi daripada model Y" tidak lengkap sampai menyebutkan konfigurasinya, itulah sebabnya satu angka perbandingan langsung tidak boleh menjadi dasar keputusan pengadaan sendirian.

Aturan yang sama berlaku untuk tingkat upaya penalaran di dalam materi milik vendor sendiri. Anthropic mencantumkan dalam catatan kaki bahwa uji Terminal-Bench Claude Opus 5.5 mereka menggunakan upaya xhigh, bukan upaya default, dan bahwa pada upaya medium default, keunggulan FrontierCode atas GPT-5.6 Sol menyempit dari selisih utama menjadi tujuh poin. Kedua angka itu benar. Hanya satu di antaranya yang menggambarkan apa yang akan Anda dapatkan jika Anda tidak mengatur parameter tersebut.

Jebakan versi, yang menjadi penyebab sebagian besar perbandingan yang keliru

Nama benchmark digunakan ulang lintas generasi dan angkanya tidak ikut berpindah di antaranya. Tiga contoh dari liputan bulan ini sudah cukup untuk menunjukkan polanya.

• Terminal-Bench 2.1 versus 4.0 — Kartu Google untuk Gemini 3.5 Flash-Lite melaporkan 54,0% pada Terminal-Bench 2.1; Artificial Analysis, yang menjalankan 4.0, mencatat 1%. Keduanya benar, dan mengutip salah satunya tanpa versi akan menyesatkan dengan cara yang menguntungkan model mana pun yang Anda pilih.

• OSWorld-Verified versus OSWorld 2.0 — Anthropic melaporkan 85,0% untuk {{1}}Claude Mythos 5{{/1}} pada OSWorld-Verified. Vendor lain mengutip skor OSWorld 2.0 di kisaran enam puluhan. Menempatkannya dalam satu kolom bukanlah perbandingan antar-model.

• Model yang tepat, versi yang salah — Claude Mythos 5.1 mencetak 60,9 pada Terminal-Bench 4.0, dibandingkan dengan 52,0 milik Muse Wonder, yang merupakan satu-satunya tes bersama antara kedua keluarga tersebut. Mythos 5 yang dipublikasikan sebesar 88,0 adalah Terminal-Bench 2.1. Menggantikan satu generasi dengan generasi lain menghasilkan selisih 36 poin yang sebenarnya tidak ada.

Kebiasaan praktisnya kecil dan layak diadopsi: ketika sebuah angka muncul tanpa versi benchmark dan pengaturan upaya, anggap itu sebagai klaim, bukan hasil pengukuran.

Biaya per tugas bukanlah harga yang tertera pada kartu

Papan peringkat diam-diam telah menambahkan kolom yang paling penting untuk penganggaran, dan kolom itu kerap bertentangan dengan kartu tarif. MiniMax M3.1 Flash berbiaya $0.15 per juta token input dan $0.60 output; Gemini 3.5 Flash-Lite berbiaya $0.30 dan $2.50 — empat kali lebih mahal untuk output. Untuk biaya per tugas Intelligence Index yang diselesaikan, Flash-Lite menang: $0.19 versus $0.22.

Inversi itu bukanlah kesalahan. Metriknya adalah token yang benar-benar dikonsumsi dikalikan tarif penyedia, sehingga mengukur berapa banyak kerja yang dilakukan setiap model untuk menyelesaikan tugas yang sama. MiniMax M3.1 Flash mengonsumsi sekitar 180 juta token output di seluruh indeks, dibandingkan dengan median mendekati 100 juta untuk model yang dilacak Artificial Analysis: ini adalah penalar yang bertele-tele, dan verbositas ditagih. Pada tugas di mana pertimbangan mendalam menghasilkan jawaban yang benar, itu pertukaran yang baik. Pada tugas di mana jawabannya tidak pernah diragukan, itu pemborosan.

Ini adalah kolom yang harus dijalankan terhadap trafik Anda sendiri sebelum Anda memercayai perbandingan per token apa pun, karena hanya kolom ini yang memperhitungkan fakta bahwa model tidak menghabiskan jumlah token yang sama untuk sampai ke tempat yang sama.

Apa yang tidak akan diberitahukan papan peringkat kepada Anda

Dua titik buta layak mendapat pembahasan tersendiri, karena keduanya menimbulkan kerugian jika diabaikan.

Abstensi.Evaluasi AA-Omniscience dari Artificial Analysis memberi MiniMax M3.1 Flash skor 16: 56% pertanyaan faktual dijawab dengan benar, dan tingkat halusinasi 93%. Angka kedua itu tidak berarti 93% jawaban salah — melainkan bahwa dari respons yang tidak benar, 93% benar-benar salah, bukan jawaban parsial atau penolakan. Model ini biasanya menjawab ketika seharusnya menolak. Gemini 3.5 Flash-Lite sama sekali tidak memiliki skor AA-Omniscience, yang merupakan data yang hilang, bukan jaminan bebas masalah.

Ketersediaan. Skor adalah pernyataan tentang suatu momen. Gemini 3.1 Pro telah menghabiskan tujuh bulan sebagai pratinjau tanpa tanggal GA, menghilang dari pemilih model AI Studio pada pertengahan September tanpa penjelasan dari vendor, dan masih membawa peringkat. Grok 4.7 baru berumur satu hari ketika diberi skor 46 pada indeks. Salah satunya adalah angka tentang model yang dapat Anda panggil bulan depan; yang lain adalah angka tentang model yang mungkin tidak ada kuartal depan. Papan peringkat tidak membedakan keduanya.

Di mana dewan kami sendiri berada, dan mengapa itu adalah hal keempat

OrcaRouter menjalankan papan peringkat model AI yang sengaja tidak mereproduksi satu pun dari hal di atas. Peringkatnya didasarkan pada apa yang diamati gateway kami sendiri — lalu lintas produksi dan suara komunitas Battle Mode — lalu memadukannya dengan suara LMArena, tolok ukur independen, dan adopsi ekosistem dengan bobot tetap yang dipublikasikan. Papan ini diperbarui setiap hari, mencantumkan model dalam 48 jam sejak kemunculannya, dan terbagi ke dalam tampilan Teks, Coding, Vision, Matematika, Penalaran, dan Agentic alih-alih berpura-pura bahwa satu urutan cocok untuk semua pekerjaan.

Itu memberinya mode kegagalan yang berbeda dari tiga lainnya, yang layak dinyatakan secara gamblang: ia hanya dapat memeringkat model yang kami rutekan, sehingga titik butanya bersifat komersial, bukan metodologis. Yang ia tambahkan adalah satu sinyal yang tidak dimiliki yang lain — apakah hal itu benar-benar menjawab, pada kecepatan berapa, dengan harga campuran berapa, pada lalu lintas yang tidak dibangun untuk sebuah tolok ukur.

Membaca satu dalam lima menit

Temukan versi benchmark dan pengaturan upaya sebelum Anda membaca skornya. Jika salah satunya tidak ada, angka itu hanyalah klaim.

• Bacalah kolom biaya per tugas, bukan harga per token. Keduanya lebih sering tidak sependapat daripada sependapat.

• Perlakukan indeks komposit sebagai daftar pendek, bukan putusan. Itu adalah pembobotan ulang, dan pembobotan ulang akan direvisi — revisi yang sama yang menurunkan peringkat Gemini 3.1 Pro juga menurunkan peringkat puluhan model yang tidak disentuh siapa pun.

• Pisahkan kesenjangan kapabilitas dari kesenjangan skor. Batas keluaran 65.536 token atau model yang tidak bisa membaca video adalah fakta tentang beban kerja Anda; dua poin indeks bukanlah fakta.

• Periksa kapan model itu dirilis dan apakah masih berupa pratinjau. Peringkat tanpa tanggal ketersediaan adalah peringkat untuk sesuatu yang mungkin tidak tersedia saat Anda men-deploy.

Papan peringkat adalah awal dari pertanyaan, bukan jawabannya. Satu-satunya pengukuran yang menentukan sebuah pilihan adalah trafik Anda sendiri pada prompt Anda sendiri — itulah sebabnya hal berguna yang dapat ditawarkan gateway bukanlah peringkat lain, melainkan kemampuan menjalankan dua kandidat secara berdampingan dengan satu kunci dan membandingkan tagihannya.

Catatan sumber: pergerakan Gemini 3.1 Pro dari Februari ke September, isi revisi v4.3.2, tiga baris Claude Opus 5.5, angka AA-Omniscience, nilai biaya per tugas, dan skor Intelligence Index berasal dari Artificial Analysis, yang dibaca pada 26 Oktober 2026. Angka Terminal-Bench 2.1 dan 4.0, angka OSWorld-Verified dan OSWorld 2.0, skor Terminal-Bench 4.0 sebesar 60.9 dan 52.0, estimasi konsumsi token MiniMax, dan perbandingan lembar data vendor masing-masing berasal dari materi yang diterbitkan sendiri oleh Anthropic, Google, MiniMax, dan OpenAI, serta dilaporkan oleh vendor kecuali disebutkan di atas sebagai berasal dari Artificial Analysis. Deskripsi papan peringkat, bobot, dan kadensi pembaruan OrcaRouter adalah metodologi terbitan kami sendiri.