Benchmark Kimi K3.1 Pro: Setiap Skor, Siapa yang Menghasilkannya, dan Bagian Tabel yang Masih Kosong

Angka paling berguna dalam peluncuran Kimi K3.1 Pro tidak ada di grafik Moonshot sendiri. Artificial Analysis, yang menjalankan evaluasinya sendiri alih-alih mengutip tabel vendor, mengukur Kimi K3.1 Pro pada 55 di Intelligence Index miliknya — keempat dari 215 model di kelasnya, dua poin di atas GPT-6 Astra pada 53, dan tiga poin di bawah Claude Opus 5.5 pada 58. Materi peluncuran Moonshot menceritakan kisah yang berbeda dan lebih menyanjung: 65.7% pada Terminal-Bench 4.0, unggul 7.5 poin atas 58.2% yang dikaitkannya dengan Astra. Kedua angka itu nyata, keduanya dihasilkan secara jujur, dan keduanya tidak sepakat tentang siapa yang unggul. Ketidaksepakatan itulah hal yang perlu dipahami sebelum Anda memindahkan beban kerja ke model ini.

Berikut adalah setiap angka yang dipublikasikan untuk Kimi K3.1 Pro, lengkap dengan sumber dan pengaturan yang dilampirkan pada setiap baris, serta catatan di mana pun lembarnya kosong. Ini adalah perlakuan yang sama yang diberikan blog ini kepada model-model Anthropic dan OpenAI, dengan alasan yang sama: tabel benchmark adalah klaim tentang harness evaluasi sama besarnya dengan klaim tentang model.

Nomor independen, pertama

Artificial Analysis mengevaluasi model tersebut pada versi 4.3.2 dari indeksnya, yang menggabungkan sepuluh evaluasi menjadi satu angka. Empat angka yang penting bagi pembeli adalah ini:

• {{1}}Indeks kecerdasan{{/1}} — 55, peringkat ke-4 dari 215 model. Sebagai referensi, median di kelasnya adalah 27, dan {{2}}GPT-6 Astra (Max){{/2}} mencetak skor 53 sementara {{3}}Claude Opus 5.5{{/3}} mencetak skor 58 pada versi indeks yang sama.

• Biaya per tugas — $2.11 per tugas Intelligence Index, berada di peringkat 85 dari 113 dalam hal biaya. Padanan GPT-6 Astra adalah $3.26. Angka inilah yang mengubah harga per token menjadi biaya beban kerja, dan harga token model yang rendah sebagian terpakai kembali pada verbositas.

• Verbositas — 150 juta token keluaran dihasilkan selama proses indeks, dibandingkan median 87 juta. Evaluator menyebut model ini "sangat bertele-tele", dan itu berpengaruh langsung: keluaran adalah pos biaya yang mahal pada kartu tarif model ini sendiri, yaitu $10 per juta token.

Kecepatan — 73,5 token keluaran per detik pada penyedia evaluator, lebih lambat daripada rata-rata 82. Pada rute kami sendiri, median waktu ke token pertama adalah 7,15 detik, angka yang menentukan bagaimana rasanya model ini dalam sesi pengodean interaktif.

Satu label di halaman itu perlu diperhatikan: Artificial Analysis mencantumkan Kimi K3.1 Pro sebagai model proprietary, karena per 24 Oktober bobotnya dijanjikan tetapi belum diterbitkan. Klasifikasi itu seharusnya berubah pada 4 November jika Moonshot menepati tanggalnya.

Tabel vendor, baris demi baris, dengan pengaturan yang terlampir

Moonshot menerbitkan lembar evaluasi komprehensif miliknya sendiri bersamaan dengan peluncuran, dan di beberapa bagian ia membandingkan Kimi K3.1 Pro dengan Claude Opus 5.5 dan GPT-6 Astra pada baris yang sama. Setiap angka di bawah ini dilaporkan oleh vendor kecuali baris menyatakan sebaliknya.

• Terminal-Bench 4.0 — 65.7% untuk Kimi K3.1 Pro, dibandingkan dengan 66.4% untuk Claude Opus 5.5 dan 58.2% untuk GPT-6 Astra. Ini adalah berita utamanya. Ini juga baris dengan catatan paling banyak: 66.4% milik Anthropic dihasilkan pada effort xhigh, satu tingkat di atas default-nya; run Kimi sendiri berada pada default model, yaitu max. Kedua angka tersebut berasal dari harness yang berbeda.

• Kimi Code Bench 3.0, horizon panjang — 61,2% berbanding 55,95% untuk Kimi K3. Ini adalah perbandingan pendahulu paling bersih dalam peluncuran ini, dan paling dikendalikan vendor: baik benchmark maupun harness-nya milik Moonshot.

• BenchCAD dengan alat — 92,7% untuk Kimi K3.1 Pro, dibandingkan 96,2% untuk Claude Opus 5.5 dan 95,9% untuk GPT-6 Astra. Tanpa alat, 72,8% dibandingkan 73,0% milik Opus; Astra tidak melaporkan angka tanpa alat. Ini adalah baris tempat penantang terlihat kalah, dan posisinya berada di tengah narasi pembuatan 3D dalam peluncuran itu sendiri.

• Kimi Hallu Bench Hard — tingkat halusinasi tingkat klaim sebesar 8,3% dengan alat, 5,4% tanpa alat. Pada tolok ukur yang sama, GPT-6 Astra lebih baik dengan alat (5,5 versus 8,3) dan lebih baik tanpa alat (4,2 versus 5,4); Claude Opus 5.5 lebih buruk pada keduanya (15,0 dan 6,8). Moonshot juga melaporkan bahwa tingkatnya turun dari 23,4% pada Kimi K3, dan bahwa respons yang mengandung setidaknya satu kesalahan faktual kini sebesar 42,4% dari tingkat pendahulunya.

• Evaluasi finansial dan bisnis, internal — Financial Modeling 57,6 dibandingkan 50,4 untuk K3, Financial Research 70,4 dibandingkan 58,8, Business Operation 37 dibandingkan 8,9. Yang terakhir merupakan peningkatan empat kali lipat pada tugas yang model lamanya hampir tidak berfungsi. Anggap besaran-besaran ini sebagai indikatif; ini adalah suite milik Moonshot sendiri.

• OfficeQA Pro v2 — 64.4, yang oleh Moonshot disebut sebagai state of the art. Tidak ada angka dari vendor kedua yang muncul pada baris tersebut.

• xdev-bench-hard, pass@3 — 81,0% untuk model yang dirilis, 90,5% untuk checkpoint yang dilatih tanpa langkah pengurangan risiko siber perusahaan, 33,3% untuk Kimi K3. Kesenjangan 9,5 poin itu adalah harga yang menurut Moonshot dibayar untuk menjaga kemampuan siber ofensif tetap di bawah ambang batas.

Di mana tabelnya masih kosong

Ada tiga celah yang layak disebutkan karena liputan tentang peluncuran ini sebagian besar justru melewatkannya.

Yang pertama ada di dokumentasi API Moonshot sendiri. Pada hari peluncuran, halaman quickstart Kimi K3.1 Pro masih memuat string placeholder literal — "[xx.x%]" — di tempat seharusnya ada skor Terminal-Bench 4.0, Terminal-Bench-Science 0.1, dan coding internal, sementara posting pemasaran memuat angka finalnya. Itu adalah pipeline dokumentasi yang dirilis sebelum naskahnya, bukan fabrikasi, tetapi itu menjadi alasan untuk membaca angka dari halaman blog, bukan dari dokumentasi.

Yang kedua adalah Terminal-Bench-Science 0.1, di mana Anthropic memublikasikan 58,7% untuk Claude Opus 5.5 dan materi Moonshot hanya menyebut bahwa Kimi K3.1 Pro "di atas K3", tanpa angka. Baris yang tidak memiliki angka di kedua sisi perbandingan bukanlah sebuah baris.

Yang ketiga adalah SWE-bench. Ini adalah benchmark yang masih dikutip oleh sebagian besar tim ketika mereka membahas agen coding, dan postingan peluncurannya menyebut DeepSWE v1.1 dan SWE-Marathon v1.1 di catatan kaki tanpa mempublikasikan skornya. Apa pun alasannya, angka yang paling banyak diminta justru tidak ada.

Cara membaca 65.7

Ada dua hal yang lebih memengaruhi skor Terminal-Bench daripada modelnya: perancah di sekitarnya dan pengaturan tingkat usaha penalaran. Tabel Opus 5.5 milik Anthropic sendiri menunjukkan kedua efek tersebut dalam satu model yang sama — CursorBench 4.0 bergeser dari 57,8% pada effort xhigh ke 52,5% pada medium, sementara FrontierCode bergeser 0,2 poin antara dua pengaturan yang sama. Kimi K3.1 Pro memiliki tiga pengaturan dan secara default memakai yang paling mahal, sehingga uji coba vendor yang tidak menyebutkan tingkat effort-nya kemungkinan besar merupakan uji coba maksimum, terlepas dari apakah hal itu dinyatakan atau tidak.

Itulah sebabnya indeks independen dan tabel vendor memberi peringkat berbeda pada ketiga model ini. Pada baris Terminal-Bench milik Moonshot, Kimi mengalahkan Astra dengan selisih 7,5 poin. Pada indeks sepuluh evaluasi Artificial Analysis, Kimi unggul 2 poin dari Astra dan tertinggal 3 poin dari Opus. Tidak ada urutan yang salah; keduanya menjawab pertanyaan berbeda dengan harness yang berbeda, dan satu-satunya ringkasan yang dapat dipertahankan adalah bahwa ketiga model berada dalam selisih beberapa poin satu sama lain pada kemampuan umum, dengan harga berbeda lima kali lipat antara yang termurah dan yang termahal.

Apa yang harus dilakukan dengan angka-angka itu

Untuk beban kerja yang didominasi oleh volume output — pembuatan kode panjang, penyusunan dokumen, loop agentik yang menulis jauh lebih banyak daripada membaca — angka verbositas adalah yang perlu dijadikan dasar perencanaan. Pada 150 juta token per proses indeks dibandingkan 60 juta milik Astra, Kimi K3.1 Pro menghasilkan sekitar 2,5 kali output untuk suatu tugas, dan bahkan dengan seperlima harga output, hal itu tetap cukup mempersempit keunggulan biaya. Angka $2.11 per tugas sudah memperhitungkannya, itulah sebabnya angka ini lebih baik untuk perencanaan daripada daftar harga.

Untuk beban kerja di mana satu poin akurasi menentukan hasil, selisih tiga poin terhadap Claude Opus 5.5 pada indeks independen adalah angka yang relevan, dan tidak ada tabel vendor yang boleh membuat Anda mengesampingkannya.

Kimi K3.1 Pro dapat dipanggil melalui OrcaRouter dengan harga $2.00 per juta token input dan $10.00 per juta token output, dengan konteks 1,048,576 token, hingga 943,718 token output, dan tiga format endpoint — Chat Completions, Responses, dan Messages — pada kunci yang sama dengan bagian lain dari stack Anda. Harga daftar vendor adalah yang Anda bayar, tanpa markup tambahan, yang berarti perhitungan di atas adalah perhitungan yang Anda dapatkan. Satu hal yang tidak dapat diberikan halaman ini kepada Anda adalah benchmark Anda sendiri: jalankan sampel lalu lintas nyata Anda pada effort rendah, tinggi, dan maksimum sebelum Anda memilih default, karena pengaturan ini mengubah biaya lebih besar daripada pilihan model.