Constitutional Classifiers++: tidak ada jailbreak universal dalam 1.736 jam red-team

Anthropic menerbitkan generasi kedua pertahanan jailbreak untuk Claude — Constitutional Classifiers++ — dalam tulisan riset bertanggal 9 Januari 2026 dan makalah 29 penulis yang dikirimkan ke arXiv pada 8 Januari 2026. Desainnya menempatkan probe linear pada aktivasi internal model itu sendiri di depan klasifier yang lebih berat yang membaca setiap balasan dalam konteks prompt, dan Anthropic melaporkan bahwa penerapan bayangan selama satu bulan pada lalu lintas Claude Sonnet 4.5 menolak 0,05% kueri, bahwa sistem produksi menggunakan sekitar seperempat puluh komputasi dari klasifier pertukaran tunggal yang menjadi pembandingnya, dan bahwa 1.736 jam red-teaming manusia tidak menghasilkan jailbreak universal. Tidak ada yang dirugikan dan tidak ada serangan yang dituduhkan: ini adalah pertahanan yang dijelaskan dan diukur, bukan intrusi yang diungkapkan. Arsip mencatat episode ini sebagai catatan tata kelola dengan tanggal presisi hari 30 Januari 2026, tingkat keyakinan A, dan tanpa kerugian yang tercatat, bersama entri keselamatan AI lainnya di Orca AI Incident Archive.

Tanggal arsip bukan tanggal publikasi

Dua sumber yang dikutip saling sepakat — dasar bagi nilai A arsip — tetapi tidak satu pun bertanggal 30 Januari 2026. Postingan riset "Constitutional Classifiers generasi berikutnya: Perlindungan yang lebih efisien terhadap jailbreak universal" memuat stempel waktu publikasi 9 Januari 2026 dalam metadata halamannya. Makalah "Constitutional Classifiers++: Pertahanan Tingkat Produksi yang Efisien terhadap Jailbreak Universal" dikirim pada 8 Januari 2026 pukul 05.16 UTC dan belum direvisi di arXiv sejak itu; versi yang dikutip arsip, 2601.04603v1, adalah satu-satunya. Tanggal 30 Januari dilaporkan di sini sebagai pengarsipan presisi-hari milik arsip itu sendiri, bukan sebagai tanggal salah satu dokumen.

Itu penting karena ringkasan satu baris arsip tersebut memuat tiga angka yang mungkin akan diulang pembaca — 40x, 0,05%, 1.700 lebih jam — dan masing-masing diukur terhadap dasar pembanding yang berbeda dari yang tersirat dalam frasa ringkasan. Sisa tulisan ini membahas apa dasar pembanding tersebut.

Tiga perubahan, bertumpuk

Constitutional Classifiers diperkenalkan pada Februari 2025 sebagai sepasang filter yang dilatih pada data sintetis yang dihasilkan dari "konstitusi" tertulis berisi konten yang diizinkan dan dilarang. Generasi pertama itu menjalankan classifier input terpisah dan classifier khusus output, dan postingan Anthropic sendiri mengklaimnya mampu menurunkan tingkat keberhasilan jailbreak pada model tanpa pertahanan dari 86% menjadi 4,4% — memblokir sekitar 95% serangan — dengan biaya komputasi tambahan 23,7% dan kenaikan penolakan pada kueri tidak berbahaya sebesar 0,38%.

Makalah ini dibuka dengan menunjukkan bagaimana pasangan tersebut dapat dipisahkan. Dua kelas serangan berhasil. Serangan rekonstruksi menyebarkan permintaan berbahaya ke dalam fragmen-fragmen yang tampak tidak berbahaya — contoh dalam makalah menyisipkan sebuah pertanyaan ke dalam nilai kembalian fungsi yang tersebar di seluruh basis kode, lalu menginstruksikan model untuk menyusunnya kembali — sehingga filter input tidak pernah melihat permintaan yang utuh. Serangan obfuskasi output membuat model menjawab dalam kode substitusi atau metafora, sehingga pengklasifikasi yang hanya membaca output membaca sesuatu yang tidak berbahaya; ilustrasi dalam makalah memperlihatkan sebuah model menjelaskan pembuatan asam klorida sebagai gabungan dari "api matahari" dan "hadiah laut" sementara pengklasifikasi tidak pernah mengetahui apa yang didekodekan teka-teki itu. Karena output saja tidak dapat ditafsirkan tanpa input, filter yang hanya membaca satu sisi pertukaran tidak dapat melihat bahayanya.

Berikut tiga perubahan, dan makalah ini mengevaluasi masing-masing secara terpisah sebelum menggabungkannya.

• Classifier pertukaran. Satu classifier membaca output model dalam konteks input, menilai token secara batch saat dihasilkan, dengan prompt caching membuat pemutaran ulang terjangkau. Red-teaming manusia menemukan 2,2 kali lebih sedikit kerentanan berisiko tinggi per upaya jailbreaking dibandingkan desain dual-classifier — tetapi dengan komputasi sekitar 50% lebih banyak, karena model seukuran Haiku kini mengevaluasi seluruh percakapan.

• Kaskade. Pengklasifikasi tahap pertama yang ringan menyaring semua trafik dan hanya mengeskalasi apa yang ditandainya ke tahap kedua yang mahal. Desain ini memanfaatkan properti arsitektur, bukan properti model: karena pertukaran yang ditandai dieskalasi, bukan ditolak, tahap murah diizinkan memiliki tingkat positif palsu yang tinggi, yang berarti model yang lebih lemah dan lebih murah dapat menjalankannya. Anthropic menetapkan ambang batas tahap pertama sehingga sebagian besar contoh yang diambil dari kumpulan data red-teaming miliknya sendiri ditandai, dan, dengan perubahan pipeline inferensi serta model yang diperbarui, melaporkan pengurangan komputasi sebesar 5,4 kali lipat dibandingkan pengklasifikasi pertukaran tunggal. Sekitar 10% trafik mencapai tahap kedua, dan tahap pertama menyumbang sekitar 77% dari total biaya.

• Probe aktivasi linear. Perubahan ketiga menggunakan kembali aritmetika yang sudah dilakukan model. Probe linear membaca aktivasi residual-stream di setiap lapisan saat token diambil sampelnya, sehingga biaya marginalnya mendekati nol — makalah menempatkan probe semua lapisan pada model 27B pada sekitar 377K FLOPs per token dibandingkan sekitar 8B untuk satu forward pass model 4B. Dua detail pelatihan ternyata penting: merata-ratakan logits pada jendela geser 16 token selama pelatihan agar satu aktivasi palsu tidak dapat menandai suatu urutan, dan loss berbobot softmax yang menghukum positif palsu yang percaya diri jauh lebih besar daripada negatif benar yang percaya diri. Pada kumpulan statis berisi sekitar 7.000 pertukaran red-team, probe terbaik mengalahkan pengklasifikasi eksternal ekstra-kecil dan hampir menyamai yang Haiku 4.5. Saat di-ensemble dengan pengklasifikasi eksternal, ia lebih baik daripada masing-masing secara sendiri, dan bagian yang menarik adalah penjelasan makalah: kesalahan probe berkorelasi lebih sedikit dengan kesalahan pengklasifikasi daripada korelasi kesalahan dua pengklasifikasi satu sama lain, sehingga probe "tampaknya memanfaatkan sinyal yang melengkapi sinyal yang digunakan pengklasifikasi eksternal".

Sistem produksi, dalam angka-angkanya sendiri

Yang dirilis menggabungkan dua yang terakhir: probe linear pada aktivasi Claude Sonnet 4.5 menyaring setiap pertukaran selama generasi, dan ketika skornya melewati ambang batas, pertukaran tersebut dikirim ke klasifikasi tahap kedua yang di-fine-tune dari Claude Haiku 4.5. Untuk pertukaran yang dieskalasi, kedua skor digabungkan 0,55 probe dan 0,45 klasifikasi. Probe tersebut mengeskalasi sekitar 5,5% dari lalu lintas produksi.

Anthropic mengevaluasinya dalam penerapan bayangan pada lalu lintas produksi Claude Sonnet 4.5 antara 1 Desember 2025 dan 1 Januari 2026. Tingkat penandaan — proporsi kueri yang ditolak — adalah 0,05%, dibandingkan dengan 0,38% yang dilaporkan oleh pekerjaan generasi pertama. Dalam postingan blog, perusahaan menyebutnya sebagai penurunan 87% dari pengklasifikasi awal, dan secara terpisah mengatakan sistem tersebut menambahkan "sekitar 1% overhead komputasi jika diterapkan pada lalu lintas Claude Opus 4.0".

Tiga catatan penting ada di dalam dua kalimat itu, dan tidak satu pun disembunyikan oleh Anthropic — semuanya hanya mudah terlewat ketika angka-angka itu berpindah.

Pertama, perbandingan penolakan dilakukan terhadap 0,38%, angka yang dipublikasikan untuk generasi pertama. Tabel 1 dalam makalah itu sendiri mencantumkan tingkat penolakan produksi untuk reimplementasi Anthropic atas sistem generasi terakhir sebesar 0,073%, yang diukur pada minggu pertama setelah penerapan. Kedua angka tersebut milik Anthropic; keduanya mengukur hal yang berbeda — peningkatan penolakan atas kueri tak berbahaya dalam satu kasus, dan proporsi kueri produksi yang ditolak dalam kasus lainnya — dan klaim 87% dihitung dari angka yang lebih besar di antara keduanya.

Kedua, tingkat penolakan sistem yang diterapkan bukan yang terendah dalam makalah. Tabel 1 memberikan 0,038% untuk klasifikasi pertukaran tunggal dan 0,036% untuk kaskade dua tahap tanpa probe; sistem produksi adalah 0,050%. Sistem itu unggul dalam komputasi dan ketahanan, bukan dalam penolakan, dan tabelnya sendiri menyatakan demikian.

Ketiga, angka komputasi 1% dan angka 40x bukanlah pengukuran yang sama. Angka 40x dibandingkan dengan pengklasifikasi exchange tunggal pada bagian ketiga makalah — sebuah sistem yang sendirinya sekitar 50% lebih mahal daripada generasi sebelumnya. Tabel 1 dalam makalah, yang mengindeks semuanya terhadap sistem generasi terakhir pada 100,0, memberikan 150,0 untuk pengklasifikasi exchange tersebut, 27,8 untuk kaskade dua tahap, dan 3,5 untuk sistem produksi. Jika dibaca terhadap generasi sebelumnya alih-alih terhadap desain perantara, tabel itu menyiratkan pengurangan sekitar dua puluh sembilan kali lipat. Angka ~1% dalam blog adalah dasar ketiga lagi: angka overhead absolut yang diukur pada lalu lintas Claude Opus 4.0, disandingkan dengan 23,7% milik generasi pertama.

Apa yang ditetapkan oleh 1.736 jam red-teaming

Klaim ketahanan bertumpu pada definisi tertentu, dan definisi itulah tempat argumennya berada. Tim red team Anthropic diminta membangun strategi yang mengekstrak jawaban terperinci untuk delapan pertanyaan target CBRN yang telah ditetapkan. Sebuah respons dianggap berbahaya jika rubrik LLM menilainya setidaknya setengah dari tingkat detail jawaban dari model tanpa pengaman, dan "kerentanan berisiko tinggi" adalah serangan yang berhasil pada lebih dari lima dari delapan pertanyaan. Jailbreak universal, dalam literatur ini, adalah strategi yang berfungsi di sebagian besar kumpulan target — hal yang memungkinkan seseorang menyerahkan resep kepada orang asing alih-alih kebetulan mendapatkan satu jawaban.

Sistem produksi menghasilkan estimasi 1.736 jam kumulatif red-teaming di sekitar 198.000 percobaan, dengan jam diestimasi dari log API dalam bucket lima menit. Satu kerentanan berisiko tinggi ditemukan, tingkat penemuan 0,005 per seribu kueri, dan butuh 30 jam untuk menemukannya — waktu penemuan minimum terpanjang dari sistem mana pun dalam makalah tersebut. Tidak ada serangan yang menjawab kedelapan pertanyaan target pada setengah tingkat detail model tanpa pertahanan. Baris pembanding adalah reimplementasi generasi terakhir milik makalah itu sendiri: 13 kerentanan berisiko tinggi di 695.000 kueri, tingkat 0,01871 per seribu, termasuk empat jailbreak yang menjawab setiap pertanyaan target pada setengah detail, ditemukan dalam rata-rata 27 jam.

Ada dua batasan pada hasil itu yang perlu dinyatakan secara gamblang. Yang pertama terdapat dalam catatan kaki makalah itu sendiri, yang dilampirkan pada bagian yang menjelaskan kaskade dua tahap yang mendahului sistem probe: "para red-teamer tingkat ahli yang beroperasi di luar program bounty kami tetap mampu menemukan jailbreak universal untuk sistem ini, meskipun hal itu memerlukan upaya besar dan alat otomatis." Sistem produksi final bukan subjek catatan kaki tersebut, tetapi catatan itu menegaskan bahwa standar bounty Anthropic bukanlah batas tertinggi dari apa yang dapat dilakukan penyerang yang gigih. Yang kedua adalah kesimpulan Anthropic sendiri dalam pos blog: "tidak ada sistem AI yang saat ini ada di pasar yang memiliki pertahanan yang benar-benar kokoh." Montana Research Foundation, organisasi riset independen yang menganalisis rilis tersebut pada 21 Januari 2026, menyatakan poin yang sama dengan lebih tajam — ambang delapan pertanyaan adalah "ambang yang dipilih oleh pihak bertahan", dan dua kelas serangan yang disebutkan Anthropic sendiri "menggerusnya alih-alih melewatinya dengan bersih".

Apa yang masih lolos

Anthropic menyebut dua kelas serangan residual dan tidak mengklaim telah menutupnya. Serangan rekonstruksi, yang memecah permintaan ke dalam suatu konteks, dan obfuscation output, yang menyamarkan jawaban dalam eufemisme, metafora, atau kode, adalah teknik yang sama yang menembus generasi pertama; classifier pertukaran membuatnya lebih sulit, bukan mustahil. Makalah itu juga mencatat biaya menyerang sama sekali: pada GPQA Diamond, Claude Opus 4 mencetak 74,2% tanpa modifikasi, 32,3% di bawah satu serangan pemecahan dan 49% di bawah serangan lainnya. Para penulis menyebut variabilitas itu "mengkhawatirkan", dengan alasan bahwa penyerang yang berinvestasi dalam masalah tersebut mungkin dapat menemukan serangan yang mempertahankan lebih banyak kemampuan model sambil tetap berhasil lolos.

Karya selanjutnya telah menanggapi kedua celah itu dengan serius, dan karya itu independen dari Anthropic dengan cara yang tidak dimiliki oleh rilis itu sendiri.

• Boundary Point Jailbreaking, yang diajukan ke arXiv pada 16 Februari 2026 oleh para peneliti di UK AI Security Institute dan OATML Oxford, menjelaskan serangan otomatis black-box sepenuhnya yang hanya membutuhkan satu bit per kueri — ditandai atau tidak ditandai — dan melaporkannya sebagai "algoritme serangan otomatis pertama yang sepenuhnya berhasil mengembangkan jailbreak universal terhadap Constitutional Classifiers". Targetnya adalah pengklasifikasi yang menjaga Claude Sonnet 4.5 per 27 November 2025, yang dalam makalah dirujuk ke karya generasi pertama 2025 alih-alih ke kaskade probe; makalah itu juga menyampaikan temuan awal Anthropic bahwa pengklasifikasi berbasis probe "mungkin lebih tahan terhadap jenis serangan ini daripada pengklasifikasi berbasis teks", dan bahwa pelatihan pada string serangan meningkatkan deteksi.

• Trojan-Speak, diajukan pada 30 Maret 2026 oleh para penulis di Anthropic Fellows Program dan Virginia Tech, menyerang dari arah berbeda: fine-tuning adversarial yang mengajarkan model suatu pengodean yang tidak dapat dibaca oleh classifier, melaporkan lebih dari 99% penghindaran classifier untuk model dengan 14B parameter ke atas dengan kehilangan kemampuan di bawah 5%, pada pertanyaan CBRN dari set bug-bounty. Makalah ini mencatat bahwa kaskade probe-first masih menyisakan "classifier LLM" yang membuat keputusan pemblokiran akhir, dan menemukan bahwa probe aktivasi secara substansial meningkatkan ketahanan terhadap serangan pengodean.

Tidak ada dari kedua makalah itu yang membantah angka yang diterbitkan Anthropic untuk penerapan mereka sendiri. Keduanya memperlakukan kaskade sebagai patokan yang harus dikalahkan. Itu merupakan pengawasan yang lebih ketat daripada yang diperoleh rilis tersebut di tempat lain: pencarian indeks berita untuk periode publikasi tidak memunculkan liputan media arus utama tentang postingan 9 Januari, dan selain kedua makalah ini, satu-satunya analisis independen yang ditemukan untuk artikel ini adalah milik Montana Research Foundation, yang diterbitkan pada 21 Januari 2026.

Mengapa arsip mengarsipkan ini sebagai tata kelola

Jenis catatan ini adalah policy, tag tipenya GOV dan tingkat keparahannya info, yang terdengar janggal untuk makalah tentang arsitektur classifier sampai Anda melihat apa yang sebenarnya dicatat. Tidak ada korban, tidak ada tenggat pengungkapan, dan tidak ada populasi terdampak selain orang-orang yang kuerinya dinilai oleh filter. Isi dokumennya adalah seorang vendor yang menerbitkan arsitektur, pengukuran deployment, dan protokol red-teaming dengan cukup rinci agar orang lain dapat memeriksa perhitungannya — dan, dalam bagian ucapan terima kasih, menyebutkan organisasi luar yang melakukan red-teaming terhadap versi-versi sebelumnya: UK AISI, US CAISI, dan FAR.AI, dengan HackerOne menjalankan program bounty secara operasional.

Kepentingan tata kelola adalah kurva biaya. Pengaman yang menambahkan seperempat pada harga setiap kueri adalah pengaman yang diperdebatkan tim produk untuk dimatikan; analisis Montana menyampaikan tepat poin ini, dengan menulis bahwa pada 23,7% tim keselamatan harus membenarkan mengaktifkannya, dan pada sekitar 1% "tim produk harus membenarkan mematikannya". Apakah angka itu berlaku di luar tumpukan Anthropic sendiri adalah pertanyaan yang masih hidup, dan analisis yang sama menyatakan ujinya: probe membaca aktivasi, aktivasi bersifat spesifik-model, dan "jika tidak, ini adalah hasil Anthropic".

Apa yang tidak terdapat dalam catatan adalah bukti apa pun bahwa sistem gagal di produksi. Tidak ada insiden, tidak ada bypass, tidak ada kerugian pengguna yang muncul dalam kedua dokumen yang dikutip, dan arsip mencatat kerugian nyata sebagai null. Tanggal pengajuan 30 Januari tetap tidak dijelaskan oleh sumber-sumber; pekerjaan yang diuraikannya bertanggal 8 dan 9 Januari 2026.