Jailbreak LLM Dijelaskan: Apa yang Diubah oleh Jailbreak, dan Mengapa Itu Bukan Abliteration

Pada Juli 2023, tiga peneliti menjalankan 32 prompt berbahaya terhadap GPT-4 dan Claude 1.3 melalui 28 serangan berbeda. Teknik tunggal terkuat — tiga keluarga serangan ditumpuk satu di atas yang lain — berhasil menembus 94 persen dari set terhadap GPT-4 dan 81 persen terhadap Claude 1.3. Yang menembus seluruh set bukanlah serangan yang lebih baik, melainkan sebuah pilihan: penyerang yang diizinkan memilih mana pun dari 28 serangan yang paling berhasil untuk setiap prompt berhasil menembus seluruh 32 prompt pada kedua model, yang dilaporkan makalah sebagai nilai bersih 1,00. Pembacaan yang tidak nyaman adalah bahwa jailbreak bukanlah cacat yang hilang ketika model menjadi lebih pintar atau perilakunya lebih baik. Itu adalah sifat dari prompt, dan prompt itu milik siapa pun yang mengirimnya. Apa yang terjadi setelah penolakan berhenti — pemanggilan alat, pembacaan file, keluaran yang mendarat di suatu tempat yang menindaklanjutinya — adalah bagian yang Arsip Insiden AI dibangun untuk mencatat.

Kerangka pemikiran itu perlu dipertegas secara presisi, karena "jailbreak" digunakan untuk beberapa hal yang berbeda dan perbedaannya menentukan apa yang bahkan dapat dilakukan oleh mitigasi apa pun. Tulisan ini membahas apa yang diedit oleh sebuah jailbreak, apa yang sebenarnya dikatakan oleh angka-angka hasil pengukuran, mengapa tidak ada jawaban per model untuk "apakah ini dapat di-jailbreak", dan di mana teknik tersebut berhenti menjadi pertanyaan keselamatan model dan menjadi pertanyaan keamanan sistem.

Jailbreak adalah edit pada prompt, bukan pada model

Model tetap persis seperti saat dikirim. Tidak ada pelatihan ulang, tidak ada bobot yang disentuh, tidak ada fine-tune yang diterapkan. Penyerang mengubah permintaan sehingga mematuhinya menjadi kelanjutan yang benar secara lokal, dan perilaku keamanan yang telah dilatihkan ke dalam model kalah oleh instruksi bersaing yang juga dilatih untuk diikutinya.

Kalimat tunggal itu menyingkirkan kategori besar perbaikan yang diduga bisa dilakukan. Anda tidak dapat menambalnya pada bobot — tidak ada yang salah dengan bobot tersebut. Anda tidak dapat menghitungnya satu per satu, karena ruang prompt bersifat terbuka. Dan Anda tidak dapat memeriksanya sekali saja, karena teknik yang gagal hari ini bukanlah teknik yang akan dicoba besok. Yang dapat Anda lakukan adalah mengukur laju, pada set prompt tetap, terhadap versi model tetap, lalu mengamati pergerakan laju itu ketika salah satu dari ketiga hal tersebut berubah.

Apa yang sebenarnya diukur oleh eksperimen dengan 32 prompt

Studi ini adalah Jailbroken: How Does LLM Safety Training Fail? oleh Alexander Wei, Nika Haghtalab, dan Jacob Steinhardt, yang diposting ke arXiv pada Juli 2023 sebagai 2307.02483. Himpunan ujinya terdiri atas 32 prompt berbahaya — separuhnya diambil dari evaluasi GPT-4 yang diterbitkan, separuhnya diadaptasi dari karya red-teaming Claude yang diterbitkan — dan ukuran hasilnya bersifat lugas: sebuah kasus dinilai berhasil ketika balasannya berbahaya dan sesuai topik dengan permintaan awal. Apa pun yang macet, mengalihkan, atau menjawab pertanyaan yang berbeda tidak dihitung.

Dua sifat hasil ini lebih berguna daripada baris individual mana pun. Yang pertama adalah betapa tidak meratanya serangan bertransfer antar model. Role-play AIM mendapat 0,75 terhadap GPT-4 dan 0,00 terhadap Claude 1.3. JSON few-shot mendapat 0,53 dan 0,00. Sementara itu, pengodean Base64 adalah jenis ketidakmerataan yang sebaliknya — 0,34 pada GPT-4 dan 0,38 pada Claude 1.3 — dan distraktor berada pada 0,44 dan 0,47. Teknik yang jelas telah dilatih oleh vendor untuk diantisipasi akan terbaca sebagai nol pada model itu dan tidak mengatakan apa pun tentang model di sebelahnya.

Yang kedua adalah apa yang terjadi ketika keluarga-keluarga digabungkan. Injeksi prefiks ditambah penekanan penolakan ditambah Base64 menghasilkan 0,56 terhadap GPT-4 dan 0,66 terhadap Claude 1.3. Menambahkan injeksi gaya membawanya ke 0,69 dan 0,84. Menambahkan pembuatan konten situs web dan batasan pemformatan membawanya ke 0,94 dan 0,81. Penumpukan adalah seluruh triknya: setiap lapisan adalah sesuatu yang dilatih untuk dilakukan model, dan kombinasinya tidak menyisakan posisi token di mana menolak adalah kelanjutan yang lebih alami.

Model-model dalam tabel itu sudah berusia tiga tahun dan bukan lagi yang digunakan siapa pun dalam penerapan. Angka-angkanya bukan intinya; polanya yang penting. Setiap mekanisme dalam tabel itu masih berlaku di setiap model sejak saat itu, karena tidak satu pun dari mekanisme tersebut pernah menjadi bug di GPT-4 atau Claude 1.3 — semuanya adalah konsekuensi dari bagaimana pelatihan mengikuti instruksi dan pelatihan keselamatan saling berinteraksi.

Dua cara pelatihan keselamatan gagal

Penjelasan makalah ini luar biasa rapi, dan itulah bagian yang layak diingat: ada dua mode kegagalan, dan setiap serangan dalam tabel merupakan contoh dari salah satunya.

Sasaran yang saling bersaing adalah apa yang Anda dapatkan ketika kapabilitas sebuah model dan tujuan keselamatannya menunjuk ke arah yang berbeda. Mengikuti instruksi adalah sebuah kapabilitas. Ketika permintaan dibungkus sedemikian rupa sehingga menolaknya akan melanggar sebuah instruksi yang sangat kuat dilatih untuk dipatuhi oleh model, model tersebut menyelesaikan konflik itu demi kepentingan instruksi tersebut. Injeksi awalan adalah versi paling minimal: beri tahu model bahwa balasannya harus dimulai dengan "Absolutely! Here's", dan token-token pertama itu sudah menjadi sebuah komitmen yang membuat penolakan menjadi tidak koheren. Penindasan penolakan menyerang celah yang sama dari sisi lain, dengan menambahkan aturan pemformatan yang melarang kalimat yang seharusnya digunakan untuk menuliskan penolakan.

Generalisasi yang tidak selaras adalah apa yang Anda dapatkan ketika pelatihan keselamatan mencakup distribusi input yang sempit yang tidak dicakup oleh kemampuan umum model. Model mempelajari Base64 selama pra-pelatihan dan dapat mengikuti instruksi yang dikodekan dengan cukup baik. Pelatihan keselamatan, yang sebagian besar melihat permintaan berbahasa alami, tidak pernah mengajarkannya untuk mengenali bahwa permintaan yang dikodekan tetap merupakan permintaan. Kegagalan yang sama muncul dengan penghilangan huruf vokal, ROT13, leetspeak, pemecahan payload, dan tugas pengalih perhatian: masing-masing adalah format yang digeneralisasi oleh kemampuan dan tidak digeneralisasi oleh perilaku keselamatan.

Setelah Anda memiliki kedua kategori tersebut, serangan-serangan itu tidak lagi tampak seperti kumpulan trik acak dan mulai tampak seperti dua keluarga dengan akar penyebab yang sama — yang juga menjadi alasan mengapa keduanya dapat dikombinasikan dengan begitu baik. Prompt yang menekan penolakan dan menyembunyikan maksudnya dalam suatu penyandian sedang mengeksploitasi kedua mode kegagalan sekaligus, dan 0.94 adalah gambaran dari hal itu.

Mengapa tidak ada jawaban per model untuk "apakah ini dapat di-jailbreak"

Bentuk kueri yang paling umum di ranah ini adalah nama model yang diikuti dengan kata jailbreak. Itu adalah unit analisis yang salah, dan alasannya adalah tabel di atas. Keberhasilan bergantung pada setidaknya lima hal sekaligus: kemampuan model dasar, pelatihan keselamatan apa yang diterimanya dan pada distribusi mana, format prompt, pengaturan sampling, dan berapa banyak percobaan yang bersedia dikeluarkan penyerang.

Yang terakhir itu layak mendapat kalimatnya sendiri. Laju yang diukur pada satu percobaan per prompt dan laju yang diukur pada "best of 28" bukanlah pengukuran yang sama, dan hasil adaptif makalah tersebut — 1,00 pada kedua model — adalah jenis yang kedua. Siapa pun yang mengutip laju jailbreak tanpa menyebut jenis mana yang dimaksud tidak mengutip apa pun yang dapat digunakan. Pertanyaan defensif yang realistis bukanlah "apakah ini bisa dibobol" melainkan "berapa banyak percobaan yang diperlukan, dan apakah ada sesuatu di stack saya yang menyadari percobaan-percobaan itu".

Ada dua konsekuensi praktis. Model yang menolak kumpulan prompt Anda hari ini bisa berhenti menolak setelah kenaikan versi, perubahan lapisan keamanan, atau perubahan konfigurasi sisi penyajian — hasilnya hanya valid untuk build yang Anda uji, itulah sebabnya pengujian tanpa versi dan tanggal bukanlah hasil. Dan kumpulan prompt yang sama yang dijalankan terhadap dua model memberi tahu Anda model mana yang lebih lunak terhadap stack Anda, bukan model mana yang aman.

Apa yang bukan jailbreak: abliterasi

Kedua hal ini terus-menerus dicampuradukkan karena keduanya berujung pada model yang menghasilkan keluaran yang tidak dilatih untuk dihasilkannya. Keduanya bukan suntingan yang sama, dan perbedaannya adalah perbedaan antara kontrol yang dapat ditambahkan dan properti yang tidak dapat.

• Jailbreak — edit pada lapisan prompt. Bobot tidak berubah. Arah penolakan masih ada di dalam model; permintaannya hanya disusun sedemikian rupa sehingga perilaku lain mengalahkannya. Kembalikan prompt-nya, dan perilaku itu ikut kembali.

• Abliteration — pengeditan lapisan bobot. Arah penolakan diidentifikasi — biasanya sebagai arah dalam ruang aktivasi — dan diproyeksikan keluar dari bobot model, sehingga model tidak lagi menghasilkan penolakan untuk kelas permintaan tersebut sama sekali. Ini adalah perubahan permanen pada artefak, dan itulah sebabnya checkpoint yang diabliterasi berperilaku berbeda dari model dasar yang sama dengan prompt yang cerdik. Mekanisme pengeditan itu diuraikan dalam panduan kami tentang abliteration.

Perbedaan operasional lebih penting daripada terminologinya. Jailbreak adalah peristiwa runtime: ia datang bersama permintaan dan dapat dihitung, dibatasi lajunya, difilter, dan dicatat seperti permintaan lain. Model yang di-abliterasi adalah peristiwa rantai pasok: kontrolnya sudah dihapus sebelum Anda menerimanya, dan sebanyak apa pun pemantauan di lapisan prompt tidak akan mengembalikannya. Jika model ancaman Anda adalah "seseorang akan mencoba membujuk model", Anda berada di kategori pertama. Jika "seseorang akan mengirimi saya model dengan penolakan yang dihapus", Anda berada di kategori kedua, dan satu-satunya kontrol nyata adalah provenance — mengetahui checkpoint mana yang sebenarnya dilayani endpoint.

Jailbreak juga bukan injeksi prompt.

Istilah ketiga yang ikut tercampur adalah injeksi prompt, dan pertanyaan pembedanya adalah siapa penyerangnya. Jailbreak berasal dari pengguna, yang berusaha mendapatkan konten yang dilatih untuk ditahan oleh model. Injeksi prompt berasal dari konten — dokumen yang diambil, halaman web, hasil alat — yang membawa instruksi yang tidak pernah ditulis pengembang, dan ini berlaku apakah pengguna bersifat bermusuhan atau tidak. Model yang sama dapat kebal terhadap salah satunya dan terbuka lebar terhadap yang lain, karena keduanya dikalahkan di tempat yang berbeda: jailbreak pada masukan dan keluaran model, injeksi pada batas kepercayaan antara data dan instruksi.

Apa yang sebenarnya menurunkan tingkat tersebut

Tidak ada satu pun di sini yang merupakan jaminan, dan klaim apa pun yang menyatakan sebaliknya adalah taktik penjualan. Berikut ini adalah rangkaian kontrol yang mengubah angka-angka tersebut, diurutkan berdasarkan seberapa besar hasil yang diperoleh untuk usaha yang dikeluarkan.

• Anggaplah lapisan prompt itu tumbang. Setiap kontrol yang bergantung pada penolakan model hanya berjarak satu penyerang adaptif dari titik nol. Rancanglah seolah-olah permintaan itu pada akhirnya akan lolos, dan tempatkan kontrol di titik tempat kerugian akan terjadi.

• Batasi apa yang dapat dijangkau oleh jailbreak yang berhasil. Radius dampak dari asisten yang di-jailbreak adalah apa pun yang diizinkan oleh alat, kredensial, dan cakupan pengambilannya. Hak istimewa minimum pada alat dan pembatasan cakupan per tenant pada pengambilan mengurangi nilai jailbreak yang berhasil jauh lebih andal daripada filter prompt apa pun.

• Nilai outputnya, bukan prompt-nya. Klasifikasi di sisi output mampu menangkap keluarga serangan yang belum pernah Anda lihat, karena ia melihat apa yang benar-benar dihasilkan, bukan bagaimana permintaannya disusun. Lapisan ini juga satu-satunya yang tetap berfungsi ketika format input tergolong baru — yang, menurut mode kegagalan generalisasi yang tidak selaras, terjadi hampir sepanjang waktu.

• Perlakukan system prompt sebagai nilai konfigurasi, bukan batas keamanan. Itu hanyalah teks dalam jendela konteks yang sama dengan serangan. Itu meningkatkan biaya suatu upaya; itu tidak menghentikannya.

• Buat upaya percobaan itu terlihat. Satu-satunya keunggulan yang dimiliki seorang defender atas penyerang adaptif adalah bahwa serangan biasanya diulang. Pembatasan laju, deteksi pengulangan, dan pencatatan mengubah pencarian 28 percobaan menjadi sebuah peristiwa yang dapat Anda lihat, bukan 28 permintaan yang masing-masing tampak baik-baik saja saat berdiri sendiri.

• Uji ulang setiap kali model berubah. Pin versi plus kumpulan prompt tetap adalah yang mengubah "kami sudah mengujinya sekali" menjadi angka yang bisa Anda bandingkan. Tanpa pin, perbandingannya tidak bermakna.

Cara mengukur target Anda sendiri

Jika tujuannya adalah angka yang dapat Anda tindak lanjuti, tetapkan tiga variabel yang ditetapkan makalah: kumpulan prompt, versi model, dan jumlah percobaan. Gunakan kumpulan prompt yang mencakup kedua mode kegagalan — instruksi yang membuat penolakan menjadi canggung, dan pengodean yang menyembunyikan permintaan — karena kumpulan yang hanya terdiri dari salah satunya akan membuat model yang lemah terhadap mode lainnya tampak lebih baik. Nilai secara konservatif: berbahaya dan sesuai topik, bukan sekadar nada yang menyimpang. Dan laporkan hasilnya sebagai tingkat terhadap jumlah percobaan yang dinyatakan, jangan pernah sebagai ya atau tidak.

Ketika beberapa model kandidat dipertimbangkan, perbandingan hanya berhasil jika kumpulan prompt yang sama dijalankan terhadap masing-masing model, dan di situlah infrastruktur lebih penting daripada metodologi. Menjalankan satu evaluasi pada model-model yang kami rutekan menghilangkan kontrak per vendor dan pekerjaan klien dari kegiatan ini; harga daftar penyedia diteruskan tanpa markup, jadi biaya menjalankannya sebesar yang ditagihkan penyedia dan tidak lebih. Yang diukur evaluasi adalah perilaku model, bukan perilaku kami — perutean mengubah model mana yang menjawab, dan itu tidak membuat model mana pun lebih sering menolak.

Di mana rekaman dilanjutkan

Tingkat keberhasilan yang terukur memberi tahu Anda seberapa sulit lapisan prompt untuk ditumbangkan. Angka itu tidak memberi tahu Anda apa yang terjadi ketika seseorang menumbangkannya di lingkungan produksi, dan pertanyaan kedua itulah yang menentukan apakah angka tersebut penting. Jailbreak yang menghasilkan paragraf kasar adalah masalah moderasi konten. Jailbreak yang menghasilkan tool call adalah insiden, dan perbedaannya sepenuhnya terletak pada sejauh mana sistem membiarkan output itu menjangkau.

Arsip itu adalah catatan lapangan: apa yang sebenarnya dilakukan agen, dengan sumber untuk setiap entri dan putusan apakah ada orang yang dirugikan. Jika dibaca berdampingan dengan pengukuran jailbreak, arsip itu menjawab pertanyaan yang tidak dapat dijawab oleh pengukuran tersebut — apakah batas yang dilewati sebuah prompt adalah batas yang menjadi tumpuan sesuatu di hilir. Jika ya, jailbreak itu adalah temuan keamanan dan kontrolnya semestinya berada di izin perkakas. Jika tidak, jailbreak itu adalah hasil konten, dan langkah yang jujur adalah mengarsipkannya sebagai demikian alih-alih membesar-besarkannya menjadi kerentanan.

Catatan penutup itulah yang didukung oleh bukti. Jailbreaking tidak akan diselesaikan oleh model yang lebih baik, karena mode kegagalannya bersifat struktural: kemampuan mengikuti instruksi adalah satu kapabilitas dan pelatihan keselamatan adalah kapabilitas yang lebih sempit, dan celah di antara keduanya adalah tempat setiap serangan dalam artikel ini berada. Yang bisa diselesaikan adalah konsekuensinya — dengan memastikan bahwa model yang berhenti menolak tetap tidak bisa berbuat banyak.