Jailbreaking Titik Batas: Bagaimana AISI Menembus Dua Filter AI Frontier dengan Satu Bit per Kueri

Pada 17 Februari 2026, UK AI Security Institute menerbitkan Boundary Point Jailbreaking, sebuah metode otomatis yang belajar menyusup melewati dua dari pertahanan AI terkuat yang telah diterapkan, padahal metode itu hanya diberi tahu apakah setiap kueri diblokir atau tidak. Metode ini mengoptimalkan prefiks adversarial yang ditempatkan sebelum permintaan berbahaya, menggunakan kurikulum berisi target yang kurang terobfuskasi dan pencarian "boundary point" di tepi keputusan sebuah classifier. Terhadap Constitutional Classifiers milik Anthropic yang menjaga Claude Sonnet 4.5, metode ini menaikkan skor rubrik rata-rata pada pertanyaan penyalahgunaan biologis yang belum pernah dilihat dari 0% menjadi 25,5% dengan biaya sekitar $330 dan 660.000 kueri. Terhadap classifier input milik OpenAI untuk GPT-5, metode ini mencapai 75,6% dengan biaya sekitar $210. Tidak ada sistem yang ditembus dan tidak ada orang yang dirugikan: AI Incident Archive mencatatnya sebagai catatan penelitian dengan tingkat keparahan sedang, nilai keyakinan A, tanpa sengketa yang disertakan. Catatan itu sendiri, daftar sitasinya, dan entri penelitian yang diajukan di sekitarnya disimpan di Orca AI Incident Archive, yang menautkan langsung baik ke pos AISI maupun ke makalah arXiv.

Apa yang dioptimalkan oleh serangan, dan apa yang boleh dilihatnya

Makalah ini adalah Boundary Point Jailbreaking of Black-Box LLMs, oleh Xander Davies, Giorgi Giglemiani, Edmund Lau, Eric Winsor, Geoffrey Irving dan Yarin Gal — diunggah ke arXiv pada 16 Februari 2026, direvisi dua hari kemudian, dan diumumkan oleh AISI pada hari di antaranya. Kontribusinya bukanlah string jailbreak baru melainkan prosedur pencarian untuk menemukannya di bawah anggaran informasi yang sengaja dibuat sangat minim.

Serangan otomatis sebelumnya, sebagaimana dijelaskan para penulis, mengandalkan akses white-box atau grey-box: skor pengklasifikasi, gradien, atau pustaka jailbreak yang sudah ditulis seseorang. BPJ mengasumsikan penyerang yang tidak memiliki apa pun selain akses API dan satu bit per kueri — ditandai atau tidak ditandai. Bit itu adalah seluruh sinyal objektif, dan setiap bagian dari metode ini ada untuk memeras informasi peringkat darinya.

• Objek yang dioptimalkan adalah sebuah prefiks. Urutan token dengan panjang yang dibatasi disambungkan di depan target yang berbahaya, dan pencarian memutasinya dengan mengganti, menyisipkan, atau menghapus satu token setiap kali. Prefiks tersebut dioptimalkan sekali lalu diterapkan pada pertanyaan yang tidak pernah digunakan untuk menyetelnya; transfer itulah yang dimaksud dengan kata "universal".

• Kurikulum mengubah satu target sulit menjadi tangga. Karakter dalam string berbahaya diganti secara acak dengan karakter noise, dan tingkat kesulitan ditentukan oleh proporsi yang dikorupsi. Pada korupsi tinggi, pengklasifikasi melihat hampir sampah dan mudah diloloskan; saat serangan berhasil, korupsi dikurangi secara bertahap hingga string berbahaya asli diloloskan tanpa modifikasi.

• Titik batas adalah trik pemeringkatannya. Untuk setiap target kandidat, metode ini mengambil sampel varian berderau dan hanya menyimpan varian yang populasinya dari prefiks kandidat saling bertentangan — sebagian ditandai, sebagian tidak. Target yang diselesaikan semua orang, atau tidak diselesaikan siapa pun, tidak memberi informasi apa pun tentang prefiks mana yang lebih baik, dan dibuang. Inilah bagian yang membuat satu bit per kueri cukup.

• Pencarian itu sendiri adalah sebuah loop evolusioner yang elitis. Pilih sebuah prefiks induk, mutasikan satu token, nilai anaknya berdasarkan berapa banyak titik batas saat ini yang berhasil dipecahkannya, dan pertahankan jika ia mengalahkan setidaknya satu incumbent.

Ablasi tersebut adalah bukti paling jelas bahwa pemilihan titik batas berperan: BPJ konvergen sekitar lima kali lebih cepat daripada kurikulum yang sama dengan set evaluasi acak, dan baseline best-of-N dari prefiks acak tidak pernah konvergen dalam anggaran yang tersedia. Penulis juga menjalankan pipeline terhadap klasifier GPT-4.1-nano murah yang diberikan prompt, dengan mengoptimalkan pada satu pertanyaan HarmBench dan mengulanginya pada lima pertanyaan — masing-masing sekitar 25.000 hingga 30.000 kueri — dan menemukan bahwa prefiks yang dihasilkan bertransfer ke set HarmBench lengkap, termasuk ke topik di luar kategori pertanyaan asli.

Kedua target tersebut, dan apa yang sebenarnya diukur oleh persentase itu

Pengujian frontier menggunakan Claude Sonnet 4.5 (claude-sonnet-4-5-20250929, per 27 November 2025) di balik Constitutional Classifiers, dan gpt-5 di balik pengklasifikasi input OpenAI (per 6–7 November 2025). Dalam kedua kasus, para penulis menjangkau pengklasifikasi secara tidak langsung, dengan mengirim kueri melalui produk dan memeriksa apakah responsnya kembali sebagai penolakan atau flag.

Pengaturan itu penting untuk membaca angka-angka. "Score" bukanlah pemisahan biner; skor dihitung per pertanyaan dengan rubrik yang memeriksa apakah detail teknis tertentu muncul dalam jawaban, dan rata-rata yang dilaporkan mengecualikan keluaran kosong. Max@50 adalah skor terbaik dari lima puluh percobaan pada satu pertanyaan. Rata-rata 25,5% karena itu bukanlah "satu serangan dari empat berhasil" — melainkan kualitas rubrik rata-rata dari jawaban yang benar-benar dihasilkan.

Dibandingkan dengan sejarah pertahanan itu sendiri, hasilnya tetap mencolok. Constitutional Classifiers sebelumnya telah bertahan terhadap lebih dari 3.700 jam red-teaming manusia di lebih dari 300.000 interaksi obrolan, dengan hanya satu universal jailbreak yang sepenuhnya berhasil dan dipimpin manusia yang ditemukan dalam kurun waktu itu. Anthropic memberi tahu AISI bahwa BPJ akan memenuhi ambang batas universal-jailbreak yang dijelaskan dalam program bug bounty mereka.

Pengklasifikasi input GPT-5 bertahan jauh lebih buruk dalam serangan yang sama: rata-rata 75,6% dan 94,3% pada best-of-fifty, dibandingkan dengan 25,5% dan 39,9% untuk Constitutional Classifiers, meningkat menjadi 68% dan 80,4% setelah prompting elisitasi dasar diterapkan di atas prefiks.

Kedua perusahaan mengungkapkan hasilnya dengan kata-kata mereka sendiri, sebagaimana dikutip oleh AISI. Anthropic memverifikasi bahwa BPJ adalah serangan black-box yang sepenuhnya otomatis pertama yang diketahuinya berhasil dalam pengaturan Constitutional Classifiers. OpenAI memverifikasi bahwa ini adalah serangan otomatis pertama yang diketahuinya berhasil terhadap pengklasifikasi inputnya untuk GPT-5 tanpa bergantung pada serangan benih manusia. Kedua pernyataan dibatasi pada apa yang diketahui masing-masing perusahaan, dan tidak satu pun diterbitkan oleh perusahaan sebagai advisory tersendiri.

Biayalah yang menjadi sorotan, bukan persentasenya.

Rata-rata 25,5% tidak akan istimewa dalam sebagian besar makalah jailbreak. Yang menjadikan catatan ini entri tonggak dalam arsip adalah rasio antara kemampuan dan anggaran: dua ratus hingga tiga ratus dolar, dan sekitar satu setengah juta kueri di kedua target, untuk serangan yang berjalan tanpa pengawasan dan tidak memerlukan campur tangan manusia.

Sebelum BPJ, asumsi yang berlaku di balik pertahanan berbasis classifier adalah bahwa menemukan jailbreak universal memerlukan upaya manusia terampil yang berkelanjutan — angka 3.700 jam adalah pernyataan paling jelas dari asumsi tersebut. BPJ menggantikan red team dengan loop pencarian yang membaca satu boolean dan meningkatkannya. Pertahanan tersebut masih berfungsi sebagian besar waktu; ekonomi serangannya telah berubah.

Kedua laboratorium menolak tafsiran paling kuat, dan AISI memuat bantahan mereka dalam tulisan itu alih-alih menguburnya. Anthropic mencatat bahwa BPJ memerlukan upaya penelitian dan pengembangan selama berbulan-bulan, dan bahwa Constitutional Classifiers dirancang untuk menahan aktor berketerampilan lebih rendah yang bekerja dengan anggaran kueri lebih kecil, mencurahkan lebih sedikit waktu untuk pengembangan serangan, dan akan kesulitan menerapkan detail metode tersebut. Itu adalah klaim tentang siapa yang dapat mereproduksi BPJ, bukan tentang apakah metode itu berhasil.

Mengapa pembelaan harus diperhitungkan lintas percakapan

Kalimat yang paling penting dalam pos AISI bukanlah angka tingkat keberhasilan. Yang penting adalah pengamatan bahwa BPJ "sulit dipertahankan dalam interaksi individual tetapi memunculkan banyak tanda peringatan selama optimasi", dan bahwa pertahanan yang efektif karena itu menuntut pelengkap bagi metode interaksi tunggal dengan pemantauan tingkat batch.

Asimetri ini bersifat struktural, bukan insidental. Klasifier per-percakapan harus membuat penilaian atas satu input pada satu waktu, dan prefiks yang dipilih untuk berada dekat batas keputusan secara khusus dipilih agar penilaian itu menjadi sedikit keliru. Pemantauan tingkat-batch melihat objek yang berbeda: lalu lintasnya. Sebuah proses optimasi yang menghabiskan 660.000 kueri harus memicu sejumlah besar tanda peringatan di sepanjang prosesnya, dan tanda-tanda itu terlihat bahkan ketika tidak ada satu pun percakapan yang benar-benar memberatkan.

Komentar OpenAI sendiri kepada AISI adalah versi praktis dari argumen tersebut. Komentar itu mencatat bahwa pengembangan dan eksekusi BPJ dilakukan pada akun yang tidak dikenai tindakan penegakan seperti pelarangan, dan bahwa pada akun standar, penandaan berulang kemungkinan besar akan menyebabkan pelarangan akun — yang OpenAI gambarkan sebagai contoh persis dari pemantauan tingkat batch yang direkomendasikan AISI. Kontrol yang seharusnya dapat menangkap serangan ini bukanlah pengklasifikasi yang lebih baik, melainkan kontrol tingkat akun.

Apa yang menurut penulis tidak dapat dilakukan oleh serangan tersebut

BPJ menyerang pengklasifikasi input, bukan model. Dalam kedua pengaturan frontier, penulis menggunakan jailbreak sederhana yang ditemukan manusia untuk melewati penolakan model utama itu sendiri, sehingga skor yang diukur menggambarkan apa yang terjadi setelah pengklasifikasi dikalahkan dan model masih bersedia menjawab. Tidak ada dalam makalah yang menunjukkan BPJ mengalahkan pelatihan penolakan model secara langsung.

• Ini tidak bersifat siluman. Para penulis menyatakan secara terus terang bahwa serangan BPJ menimbulkan banyak penanda pengklasifikasi, yang akan mengakibatkan larangan dalam kondisi realistis.

• Ini boros kueri. Proses yang dipublikasikan menghabiskan 660.000 dan 800.000 kueri. Itu menjadi hambatan nyata untuk penggunaan santai, dan sinyal yang mencolok bagi siapa pun yang memantau lalu lintas.

• Ini mengasumsikan pengklasifikasi yang hampir deterministik. Para penulis secara eksplisit tidak mempertimbangkan pengaturan dengan pengklasifikasi yang sangat stokastik.

• Metode tersebut sebagian dirahasiakan. Untuk membatasi risiko proliferasi, makalah tidak mengungkapkan detail algoritme yang signifikan dan tidak merilis string serangan maupun kode. Itu adalah pilihan yang dapat dipertahankan, dan juga alasan hasilnya tidak dapat direproduksi secara independen hanya dari publikasi tersebut.

Apa yang sudah dilakukan tentang hal itu, dan apa yang belum ditetapkan

AISI mengatakan bahwa pihaknya membagikan hasil tersebut kepada kedua perusahaan sebelum publikasi, bahwa keduanya mereplikasi serangan itu dalam kemitraan dengan lembaga tersebut, dan bahwa keduanya telah mengembangkan langkah-langkah mitigasi khusus BPJ. Makalah tersebut menyatakan bahwa pengungkapan itu terjadi setidaknya enam minggu sebelum publikasi. Postingan itu tidak menyebutkan detail teknis apa pun tentang mitigasi tersebut, dan tidak menyebutkan kapan hal itu dirilis atau bagaimana validasinya.

Itu juga merupakan batas dari apa yang dapat dikonfirmasi oleh artikel ini. Tingkat keyakinan A pada catatan tersebut mencerminkan kualitas dokumentasinya, bukan pengujian independen atas serangan itu: dokumen primernya ada dua, dan keduanya berasal dari organisasi yang sama. Konfirmasi Anthropic dan OpenAI sampai ke catatan tersebut melalui keterangan AISI, bukan melalui dokumen yang dapat dibaca langsung oleh artikel ini. Liputan di luar AISI hanya mengulang postingan blog — tulisan media industri dari It Does What Now? dan Resultsense mengulang angka-angka itu tanpa pengujian independen — dan pencarian untuk artikel ini tidak menemukan liputan pers arus utama asli tentang hasil tersebut.

Tidak ada dalam catatan yang menunjukkan BPJ digunakan terhadap sistem aktif di luar pengujian, dan arsip tidak mencatat adanya kerugian di dunia nyata. Makalah ini adalah preprint arXiv, bukan publikasi yang ditinjau sejawat. Klaim "pertama" dibatasi secara hati-hati oleh laboratorium yang membuatnya — "yang pertama yang mereka ketahui" — dan harus dibaca seperti itu, bukan sebagai hal yang absolut.

Satu batasan lebih lanjut mudah ditafsirkan secara berlebihan. Targetnya adalah konfigurasi yang berlaku pada November 2025, dan postingan AISI tidak menyebut pertahanan yang lebih baru daripada dua yang diserangnya. Apa pun bentuk Constitutional Classifiers dan penyaringan input OpenAI setelah mitigasi khusus BPJ, catatan ini tidak mengatakannya — dan baik blog maupun makalahnya tidak mengklaim bahwa pertahanan yang lebih baru tetap rentan terhadap prefiks yang sama.

Temuan yang bertahan adalah tentang di mana menempatkan pertahanan. Pengklasifikasi yang menilai satu percakapan pada satu waktu adalah bentuk yang keliru bagi penyerang yang diberi kesempatan ratusan ribu percobaan, karena proses pencarian serangan itu sendirilah yang membocorkannya. Rekomendasi AISI untuk memantau batch alih-alih pesan mengikuti mekanika serangan, dan rekomendasi itu berlaku terlepas dari apakah BPJ sendiri pernah digunakan lagi atau tidak.