Apa Itu Cyber Model? Kategori Ini, dan Apa yang Sebenarnya Berubah

Tiga produk disebut sebagai "model siber" setiap minggu dan hampir tidak ada kesamaan di antara ketiganya. Salah satunya adalah model generalis dengan korpus keamanan dalam campuran pelatihannya. Satu lagi adalah model biasa yang dibungkus dalam loop yang memberinya sandbox, fuzzer, dan percobaan ulang. Satu lagi adalah model yang sama dengan milik semua orang, di balik formulir verifikasi. Hanya yang pertama di antaranya adalah model yang berbeda. Dua lainnya adalah keputusan produk — dalam beberapa kasus, keputusan yang bagus — dan dipasarkan dengan frasa yang sama, itulah sebabnya kategori ini sulit dibandingkan. Tabel benchmark yang tidak menyebutkan mana dari ketiga jenis itu yang diukur tidak dapat dibandingkan dengan tabel yang menyebutkannya, dan sebagian besar tabel tidak menyebutkannya. Ini adalah panduan tentang perbedaan tersebut, tentang sejumlah kecil model yang benar-benar berada di kategori pertama, dan tentang apa yang harus dilakukan tim keamanan dengan jawaban tersebut. Ini juga merupakan pandangan kategori yang melatari 400 insiden agen yang tercatat di arsip insiden AI, tempat pertanyaan "apakah modelnya yang menjadi masalah atau deployment-nya" terus muncul.

Tiga hal yang dicakup oleh frasa tersebut

Mulailah dengan perbedaan yang penting secara operasional: apa yang berubah ketika vendor membangun hal itu.

Dilatih untuk keamanan berarti bobotnya berubah. Korpus keamanan dimasukkan ke dalam campuran pelatihan, basisnya sering kali merupakan model generalis yang sudah kuat, dan model yang dihasilkan berbeda secara terukur pada tugas-tugas di mana pengetahuan keamanan menjadi hambatan utama — membaca crash, menalar tentang tata letak memori, mengenali pola rentan di seluruh diff yang besar. Model dalam kelompok ini biasanya dilaporkan terhadap benchmark khusus keamanan seperti CyberGym atau CyberSecEval, dan modelnya dapat berupa open-weight atau hanya API.

Dibungkus dalam harness berarti loop berubah dan modelnya tidak. Vendor menambahkan sandbox, tools, logika retry, planner, mungkin fuzzer, dan membangun sistem yang berperforma baik pada tugas keamanan karena sistem tersebut direkayasa dengan baik. Ini adalah produk yang sah dan sering diremehkan. Ini juga kategori di mana skor menjadi ambigu, karena angka tersebut sama-sama milik harness dan model — dan harness bukanlah sesuatu yang dapat Anda tukar secara independen.

Dibatasi oleh akses berarti pintunya berubah. Modelnya bisa jadi identik dengan model publik; yang berbeda adalah Anda harus menjadi bisnis terverifikasi, melakukan pekerjaan yang diizinkan, di bawah ketentuan yang membatasi penggunaan. Ini adalah produk kebijakan, dan salah satu yang dapat dipertahankan, tetapi tidak ada klaim kemampuan yang timbul darinya. Model yang berbahaya di tangan yang salah dan aman di tangan yang benar tidak menjadi lebih mampu; model itu menjadi lebih terkendali.

Konsekuensi praktisnya: ketika Anda membaca bahwa suatu model adalah "model siber", pertanyaan berikutnya adalah yang mana dari ketiga jenis itu, karena jawabannya menentukan apakah Anda membeli kapabilitas, rekayasa, atau izin — dan ketiganya memiliki harga serta mode kegagalan yang berbeda.

Mengapa kategori itu ada sama sekali

Pekerjaan keamanan sangat sensitif terhadap dua sifat yang ditunjukkan model umum secara tidak konsisten: penalaran konteks panjang atas kode yang tidak ditulis untuk dibaca, dan kesediaan menjelaskan serangan dengan cukup rinci agar berguna. Yang pertama adalah pertanyaan kapabilitas dan itulah sebabnya model dalam kelompok ini cenderung mengiklankan jendela konteks dalam ratusan ribu atau jutaan token. Yang kedua adalah pertanyaan keselamatan, dan itulah alasan kategori ini terkait erat dengan kontrol akses.

Model yang bernalar baik tentang basis kode tetapi menolak menulis proof-of-concept yang berfungsi tidak berguna untuk triase, karena proof-of-concept itulah buktinya. Model yang dengan bebas menulis proof-of-concept berguna bagi seorang defender dan sama bergunanya bagi orang yang bukan defender. Model yang disetel untuk siber pada dasarnya adalah upaya menyelesaikan ketegangan itu dengan mempersempit siapa yang boleh bertanya, alih-alih mempersempit apa yang boleh dijawab — sebuah rancangan yang koheren dan sulit ditegakkan di lapisan model, karena penegakannya adalah proses verifikasi, bukan perubahan bobot.

Di mana kemampuan itu sebenarnya diperdebatkan

Keunggulan yang diklaim dari model yang disetel untuk siber bersifat spesifik dan dapat diperiksa, yang menyegarkan di bidang yang biasanya berdebat dengan kata sifat. Yang berulang adalah penyerapan konteks panjang atas seluruh repositori atau jejak audit dalam satu kali proses, keluaran terstruktur untuk penggunaan pipeline, serta pemanggilan alat atau fungsi yang cukup stabil untuk berada di dalam alur kerja otomatis. Itu adalah klaim rekayasa sebagaimana klaim model, dan dapat diuji terhadap korpus Anda sendiri dalam satu sore.

Sisi evaluasi telah menumbuhkan institusi-institusinya sendiri. Wiz Research menjalankan Cyber Model Arena yang mengevaluasi agen AI yang terdiri dari model fondasi ditambah harness standar di berbagai tugas keamanan siber dunia nyata, dan melaporkan kualitas model terhadap efisiensi — tingkat keberhasilan diplot terhadap biaya, waktu, atau langkah per penyelesaian selama k percobaan independen. Kerangka itu layak diadopsi sepenuhnya, karena ia menangkap hal yang disembunyikan oleh tingkat kelulusan mentah: dua agen dapat mencapai tingkat keberhasilan yang sama dengan biaya per penyelesaian yang sangat berbeda, dan yang mahal sering kali adalah yang menghabiskan anggarannya untuk percobaan ulang.

Perhatikan apa yang tersirat dari konstruksi itu. Ini adalah benchmark agen, bukan model — model dasar plus harness — yang justru merupakan ambiguitas yang melekat pada kategori ini. Arena tersebut jujur soal itu dengan menyebutkan harness dalam definisinya. Sebagian besar postingan peluncuran tidak demikian.

Gerbang akses, dan mengapa itu adalah batas nyata kategori tersebut

Jika Anda mencermati bagaimana model yang disetel untuk siber sebenarnya diserahkan, gerbang verifikasi lebih menentukan daripada angka tolok ukur mana pun, karena gerbang itulah yang menentukan siapa yang bisa menjalankan evaluasi sama sekali. Polanya konsisten: langkah verifikasi bisnis, ketentuan yang membatasi penggunaan hanya untuk pekerjaan keamanan yang diizinkan, dan kebijakan penggunaan yang dapat diterima yang menjadi dasar pencatatan akses.

Ada dua detail desain dalam pola itu yang layak ditiru bahkan jika Anda tidak pernah membeli model siber. Yang pertama adalah verifikasi bisnis alih-alih pernyataan mandiri, karena kotak centang bukanlah mekanisme akuntabilitas. Yang kedua adalah menempatkan gerbang di lokasi yang sama dengan kontrol runtime — gateway yang sama yang menampung model juga menampung firewall, guardrail, dan logging, sehingga izin dan penegakannya berada di satu tempat. Gerbang verifikasi yang berada di sistem berbeda dari lalu lintas adalah gerbang yang tidak dapat Anda audit.

Tingkat siber kami sendiri mengikuti pola itu: model untuk pekerjaan ofensif, kontrol gateway untuk pekerjaan defensif, dan verifikasi di depan keduanya. Ini juga merupakan jawaban jujur atas "bisakah saya langsung memanggil model ini" — untuk tingkat ofensif, jawabannya adalah bahwa akses merupakan keputusan yang dibuat seseorang tentang Anda, bukan kolom dalam permintaan API.

Model cyber apa saja yang ada, dan bagaimana membedakannya

Populasinya cukup kecil untuk diingat di kepala, dan terbagi berdasarkan tiga kategori di atas, bukan berdasarkan vendor.

• Model yang benar-benar disetel untuk bidang siber. Dilatih dengan data yang sarat aspek keamanan, biasanya dilaporkan pada CyberGym atau CyberSecEval, dengan perbedaan yang terukur dalam tugas membaca crash dan menulis patch. Sebagian merupakan open-weight, yang memungkinkan evaluasi lokal; sebagian lagi hanya tersedia melalui API dalam tahap verifikasi.

• Generalis dengan perilaku keamanan yang kuat. Model frontier yang kebetulan bagus dalam pekerjaan itu tanpa disetel khusus untuknya. Sering kali menjadi pilihan yang tepat bagi tim pertahanan, karena model yang sama juga mengerjakan bagian pekerjaan lainnya.

• Produk agen. Sebuah model plus loop khusus keamanan — sandbox, fuzzer, planner — yang dijual sebagai satu sistem. Nilai produk-produk ini berdasarkan biaya per penyelesaian dan berdasarkan apa yang dilakukan loop ketika gagal, bukan berdasarkan benchmark model.

• Versi dengan akses terbatas dari yang di atas. Model yang sama, akses terbatas. Pembatasan akses mengubah siapa yang boleh menggunakannya, bukan apa yang dapat mereka lakukan.

Perbandingan yang benar-benar penting bagi tim keamanan jarang sekali adalah model versus model. Yang menjadi persoalan adalah apakah pekerjaan yang perlu Anda selesaikan terikat pengetahuan atau terikat loop. Membaca laporan audit dan menalar tentang rantai eksploitasi bersifat terikat pengetahuan dan lebih cocok untuk model yang disetel. Menjalankan fuzzer selama enam jam dan melakukan triase atas crash bersifat terikat loop dan lebih cocok untuk rekayasa yang baik. Sebagian besar program nyata membutuhkan keduanya, itulah sebabnya pertanyaan pengadaan yang berguna adalah "untuk pekerjaan mana dari dua pekerjaan ini saya membeli" bukan "model mana yang mendapat skor lebih tinggi".

Apa yang perlu ditanyakan sebelum mengadopsinya?

Lima pertanyaan memisahkan keputusan kategori dari keputusan pemasaran.

• Apa yang berubah — bobot, loop, atau akses? Vendor harus bisa menjawab dalam satu kalimat. Jika jawabannya "loop", evaluasi produk sebagai produk.

• Benchmark mana, dijalankan oleh siapa, dalam harness mana? Angka CyberGym tanpa harness adalah angka tentang konfigurasi yang tidak dapat Anda reproduksi.

• Berapa biaya per penyelesaian, bukan tingkat kelulusan? Kerangka berpikir Wiz adalah yang tepat; dua agen dengan tingkat keberhasilan yang sama bukanlah pembelian yang sama.

• Apa yang dilakukan gerbang saat saya gagal melewatinya? Deployment apa pun yang bergantung pada akses terverifikasi harus memberi tahu Anda apa yang terjadi pada negatif palsu, karena engineer Anda sendiri akan menjadi negatif palsu itu.

• Apa yang tidak dapat dilakukannya? Varian yang hanya untuk pertahanan mendokumentasikan batasannya sendiri, dan dokumentasi tersebut merupakan sebuah fitur — model yang tidak dapat dialihkan untuk menyerang adalah objek risiko yang berbeda dari model yang dapat dialihkan untuk menyerang.

Kategorinya nyata, perbedaan kemampuannya juga nyata, dan sebagian besar kebingungan muncul karena tiga produk berbeda menggunakan satu nama yang sama. Begitu Anda memisahkan bobot dari loop dari pintu, tabel perbandingan tidak lagi saling bertentangan dan mulai membahas hal-hal yang berbeda — dan hanya dalam kondisi itulah tim keamanan dapat mengambil keputusan dengan menggunakan tabel tersebut.