Kimi K3.1 Pro Memangkas Kemampuan Sibernya Sendiri sebesar 9,5 Poin. Dua Lab Lain Memilih Berbeda

Moonshot melakukan sesuatu pada 24 Oktober yang biasanya tidak dilakukan laboratorium-laboratorium: mereka merilis model yang lebih lemah daripada yang sebenarnya bisa mereka rilis, dan menerbitkan biaya persisnya. Pada xdev-bench-hard dengan pass@3, sebuah checkpoint yang dilatih tanpa langkah-langkah pengurangan risiko siber perusahaan itu mencetak 90,5%. Kimi K3.1 Pro, model yang dapat Anda panggil, mencetak 81,0%. Selisih 9,5 poin itu adalah harga dari menghapus data terkait siber dari pelatihan menengah dan dari pembelajaran penguatan, dan ini adalah pernyataan paling jelas yang dibuat salah satu dari tiga laboratorium terdepan tahun ini tentang apa yang bersedia mereka tukarkan demi kemampuan.

Setiap lab besar kini memiliki kebijakan siber. Kebijakan-kebijakan itu berbeda dalam mekanisme, bukan niat, dan mekanisme itulah yang menentukan apa yang sebenarnya Anda dapatkan saat memanggil API. Moonshot mengurangi kemampuan tersebut dari bobot model. Anthropic mengalihkan permintaan ke model lain. OpenAI membatasi akses di balik penilaian risiko. Bagi tim keamanan — atau siapa pun yang beban kerjanya bersinggungan dengan perkakas ofensif — ketiga pendekatan itu menghasilkan tiga jenis kejutan yang berbeda.

Apa yang dihapus Moonshot, dan apa yang dipertahankannya

Materi peluncurannya luar biasa spesifik. Data terkait siber dihapus dari tahap pelatihan menengah maupun tahap pembelajaran penguatan, sementara tugas pemrograman umum dipertahankan. Prinsip yang dinyatakan perusahaan adalah tidak merilis bobot terbuka yang akan memperluas batas terdepan absolut kemampuan siber, dan perusahaan menggambarkan kemampuan ofensif model yang dikirimkan sebagai "secara desain, di bawah apa yang dapat dihasilkan pipeline kami" dan tertinggal dari apa yang telah ditawarkan model proprietary terdepan secara publik setidaknya selama tiga bulan.

Ada dua detail dalam kebijakan itu yang lebih penting daripada angka utamanya.

Yang pertama adalah bahwa pengurangan itu relatif terhadap pipeline Moonshot sendiri, bukan terhadap pasar. Model yang dibatasi pada 81,0% tetap mencetak skor di atas 33,3% milik Kimi K3 dengan selisih lebar, dan di atas 57,1% milik GLM-5.3 pada tolok ukur yang sama. Batas itu menurunkan posisi sebuah model terdepan, bukan mengeluarkannya dari kategori.

Kedua, Moonshot mengatakan akan “secara progresif menaikkan” kemampuan siber yang tersedia dalam bobot terbuka. Itu adalah jadwal, bukan garis tetap: evaluasi yang mengasumsikan plafon hari ini mungkin tidak berlaku pada rilis berikutnya, dan salinan yang di-hosting sendiri mewarisi plafon apa pun yang ada pada tanggal rilisnya.

Apa yang sebenarnya diminta oleh benchmark

Dokumentasi Moonshot menjelaskan evaluasi tersebut dengan cukup rinci untuk menilainya. xdev-bench-hard dibangun dari kerentanan yang baru diungkapkan dalam perangkat lunak termasuk kernel Linux, Node.js, JavaScriptCore, Exim, dan VirGL, dengan mitigasi diaktifkan. Setiap tugas menyediakan sumber rentan, petunjuk bug singkat, dan biner terkompilasi; agen harus mengembangkan eksploit, mencapai eksekusi kode arbitrer di sandbox terpisah, dan mengambil string rahasia agar hasilnya dapat diverifikasi secara otomatis. Penilaian adalah pass@3 pada subset acak, tanpa batas waktu yang ketat dan tanpa batas token keluaran.

Itu adalah uji yang menuntut dan sempit: uji itu mengukur apakah sebuah model dapat mengubah biner yang diketahui rentan menjadi eksploit yang berfungsi, bukan apakah model dapat menulis pemindai atau melakukan triase atas suatu peringatan. Kesenjangan 9,5 poin antara checkpoint tanpa mitigasi dan model yang dirilis karena itu merupakan pengukuran nyata atas perbedaan kemampuan yang nyata — dan pengingat bahwa angka tersebut hanya sedikit berbicara tentang kerja defensif yang sebenarnya dilakukan sebagian besar tim dengan model itu.

Alternatif Anthropic: pertahankan kemampuannya, ubah jawabannya

Pendekatan Anthropic pada Claude Opus 5.5 adalah perutean di sisi penyajian. Dokumentasinya menyatakan bahwa sebagian besar tugas terkait siber dapat dialihkan ke Claude Opus 4.8, dan pekerjaan biologi serta pengembangan model frontier dapat beralih ke Claude Opus 5. Pemanggil tidak menerima kesalahan; responsnya simply berasal dari model yang berbeda. Tingkat kemampuan tertinggi, Claude Mythos 5.1, hanya tersedia bagi organisasi yang terverifikasi melalui program seperti Cyber Verification Program.

Trade-off ini adalah kebalikan dari milik Moonshot. Kemampuan frontier itu ada dan disajikan — kepada pelanggan terverifikasi, dengan id model yang berbeda — sementara pemanggil tak terverifikasi secara diam-diam menerima jawaban dari model yang lebih lama. Bagi tim keamanan di dalam organisasi terverifikasi, ini adalah opsi paling mumpuni dari ketiganya. Bagi siapa pun di luar organisasi semacam itu, ini adalah model yang diam-diam menjawab dengan sesuatu yang lain tepat pada tugas-tugas di mana mereka paling menginginkan kemampuan frontier.

Pendekatan OpenAI: putuskan sebelum meluncurkan

GPT-6 Astra adalah model OpenAI pertama yang diberi peringkat "critical" di bawah Preparedness Framework perusahaan, karena model ini dapat secara mandiri menemukan celah keamanan baru. Peluncurannya dilakukan secara bertahap — mitra akses awal, lalu tingkatan langganan, kemudian API — dan kemampuan dengan risiko tertinggi dibatasi berdasarkan peringkat, bukan melalui penyaringan prompt. Akses ditentukan di tingkat akun, sebelum permintaan apa pun dibuat.

Itu lebih rapi daripada pengalihan rute senyap dan lebih lambat daripada kedua alternatif. Ini juga berarti jawaban atas "bisakah saya menggunakan model ini untuk pekerjaan keamanan saya" dapat diketahui sebelumnya, yang ada nilainya bagi pembeli yang harus menulis dokumen pengadaan.

Apa yang dilakukan ketiga strategi terhadap suatu evaluasi

Jika Anda melakukan benchmark model pada tugas keamanan, mekanisme tersebut mendistorsi pengukuran secara berbeda, dan distorsinya tidak saling meniadakan.

• Batas Moonshot ada di dalam bobot. Uji benchmark pada API dan uji benchmark pada salinan yang di-host sendiri seharusnya menghasilkan hasil yang sama, dan keduanya mengukur model yang sengaja dibuat lebih buruk pada kategori tersebut. Angkanya jujur dan dapat direproduksi.

• Perutean Anthropic berada di dalam tumpukan penyajian. Permintaan yang sama dapat menghasilkan kualitas berbeda tergantung apakah permintaan tersebut memicu pengaman, dan angka tolok ukur yang diterbitkan vendor mungkin tidak mencerminkan perutean yang diterima akun Anda. Liputan kami sendiri tentang tabel tolok ukur Opus 5.5 menandai masalah yang sama dari arah sebaliknya: angka independen Artificial Analysis untuk Terminal-Bench adalah 59,6% berbanding 66,4% milik Anthropic, dalam konfigurasi yang mencakup perutean pengaman sisi server.

• Pembatasan akses OpenAI berada di luar model. Begitu Anda memiliki akses, model berperilaku sesuai hasil benchmark; jika tidak, Anda sama sekali tidak dapat menjalankan perbandingan tersebut.

Apa yang perlu diambil tim keamanan dari ini

Tiga kesimpulan praktis, diurutkan menurut tingkat keyakinan.

Pertama, "kapabilitas siber" bukan lagi properti yang bisa Anda baca begitu saja dari kartu model. Itu adalah fungsi dari bobot yang Anda terima, perutean yang dipicu oleh akun Anda, dan program verifikasi yang Anda ikuti. Evaluasi apa pun yang tidak menyatakan ketiga hal tersebut sedang mengukur sesuatu yang lain.

Kedua, jika pekerjaan Anda bersifat defensif — triase, penyusunan draf patch, rekayasa deteksi — batas kapabilitas tersebut biayanya lebih kecil daripada kedengarannya. 9,5 poin itu terkonsentrasi pada perilaku adversarial yang berdekatan dengan eksploitasi; pengodean umum dan penggunaan alat oleh model, yang sebagian besar dibutuhkan untuk pekerjaan defensif, adalah hal yang ditingkatkan dalam proses pasca-pelatihan. Moonshot melaporkan Kimi Code Bench 3.0 long-horizon meningkat dari 55,95% menjadi 61,2% dalam rilis yang sama.

Ketiga, batasannya bergerak. Moonshot telah mengatakan akan menaikkan plafonnya; program verifikasi Anthropic semakin meluas; peringkat OpenAI berubah antar model. Kebijakan yang memandu keputusan penerapan pada Oktober mungkin sudah salah pada Januari, yang merupakan alasan untuk membaca ulang dokumentasi akses pada setiap peningkatan model alih-alih menganggapnya sebagai gerbang sekali jalan.

Kimi K3.1 Pro dapat dipanggil melalui OrcaRouter dengan $2,00 per juta token masukan dan $10,00 per juta token keluaran, dengan kondisi akhir yang sama seperti di tempat lain: batasnya ada pada bobot, bukan pada apa yang dilakukan penyedia tertentu terhadap permintaan Anda. Jika beban kerja Anda bergantung pada mengetahui model mana yang sebenarnya menjawab, itu adalah fitur. Jika bergantung pada plafon ofensif dari frontier, tidak ada API di pasar yang akan memberikannya kepada Anda tanpa program verifikasi.