פריצות Jailbreak במודלי LLM מוסברות: מה פריצת Jailbreak משנה, ולמה זה לא Abliteration

ביולי 2023, שלושה חוקרים הריצו 32 הנחיות מזיקות נגד GPT-4 ו-Claude 1.3 דרך 28 התקפות שונות. הטכניקה הבודדת החזקה ביותר — שלוש משפחות התקפה שנערמו זו על זו — עברה ב-94 אחוזים מהקבוצה נגד GPT-4 וב-81 אחוזים נגד Claude 1.3. מה שסגר את הקבוצה לא היה התקפה טובה יותר אלא בחירה: יריב שהורשה לבחור בכל אחת מ-28 אלה שעבדה הכי טוב עבור כל הנחיה העביר את כל 32 בשני המודלים, מה שהמאמר מדווח עליו כ-1.00 נקי. הקריאה הלא-נוחה היא שפריצת כלא (jailbreak) אינה פגם שנעלם כשהמודל נהיה חכם יותר או מתנהג טוב יותר. זהו מאפיין של ההנחיה, וההנחיה שייכת למי ששולח אותה. מה שקורה אחרי שהסירוב נפסק — קריאת הכלי, קריאת הקובץ, הפלט שנוחת במקום שפועל לפיו — הוא החלק שארכיון תקלות ה-AI נועד לתעד.

כדאי להיות מדויקים לגבי המסגור הזה, מפני שהמונח "ג'יילברייק" משמש לכמה דברים שונים, וההבדלים ביניהם קובעים מה כל אמצעי מיתון יכול בכלל לעשות. המאמר הזה מכסה מה ג'יילברייק משנה, מה המספרים שנמדדו למעשה אומרים, מדוע אין תשובה לכל מודל בנפרד לשאלה "האם ניתן לפרוץ אותו", והיכן הטכניקה מפסיקה להיות שאלה של בטיחות מודל והופכת לשאלה של אבטחת מערכת.

Jailbreak הוא עריכה לפרומפט, לא למודל.

המודל נשאר בדיוק כפי שנשלח. שום דבר לא מאומן מחדש, לא נוגעים במשקלים, ולא מיושם כוונון עדין. התוקף משנה את הבקשה כך שציות הופך להמשך הנכון מקומית, והתנהגות הבטיחות שאומנה במודל מפסידה להוראה מתחרה שגם אותה אומן לפעול לפיה.

המשפט הבודד הזה מוציא מכלל אפשרות קטגוריה רחבה של תיקונים לכאורה. לא ניתן לתקן זאת ברמת המשקלים — אין שום דבר לקוי במשקלים. לא ניתן למנות זאת, משום שמרחב הפרומפטים פתוח. ולא ניתן לבדוק זאת פעם אחת, משום שהטכניקה שנכשלת היום אינה זו שתינסה מחר. מה שכן ניתן לעשות הוא למדוד שיעור, על קבוצת פרומפטים קבועה, מול גרסת מודל קבועה, ואז לעקוב אחרי האופן שבו השיעור הזה משתנה כאשר אחד משלושת אלה משתנה.

מה שהניסוי עם 32 הפרומפטים למעשה מדד

המחקר הוא Jailbroken: כיצד אימון הבטיחות של LLM נכשל? מאת אלכסנדר ויי, ניקה הגהטאלב וג'ייקוב שטיינהרדט, הועלה ל- arXiv ביולי 2023 כמזהה 2307.02483. מערך המבחנים שלו כלל 32 הנחיות מזיקות — מחציתן נלקחו מהערכת GPT-4 שפורסמה, ומחציתן עובדו מעבודות red-teaming שפורסמו בנושא Claude — ומדד התוצאה שלו גס: מקרה נחשב להצלחה כאשר התשובה גם מזיקה וגם עוסקת בנושא הבקשה המקורית. כל דבר שמתמהמה, מתחמק או עונה על שאלה אחרת אינו נחשב.

שני מאפיינים של התוצאות שימושיים יותר מכל שורה בודדת. הראשון הוא עד כמה ההתקפות עוברות באופן לא אחיד בין מודלים. AIM role-play קיבל 0.75 מול GPT-4 ו-0.00 מול Claude 1.3. Few-shot JSON קיבל 0.53 ו-0.00. לעומת זאת, קידוד Base64 היה הסוג ההפוך של אי-אחידות — 0.34 ב-GPT-4 ו-0.38 ב-Claude 1.3 — והמסיחים נחתו ב-0.44 וב-0.47. טכניקה שספק בבירור אימן נגדה מתפרשת כאפס על אותו מודל ואינה אומרת דבר על המודל שלידו.

הדבר השני הוא מה שקורה כאשר משלבים משפחות. הזרקת קידומת יחד עם דיכוי סירוב יחד עם Base64 הניבו 0.56 מול GPT-4 ו-0.66 מול Claude 1.3. הוספת הזרקת סגנון העלתה זאת ל-0.69 ול-0.84. הוספת יצירת תוכן אתר ואילוצי פורמט העלתה זאת ל-0.94 ול-0.81. שילוב בשכבות הוא כל הטריק: כל שכבה היא משהו שהמודל אומן לעשות, והשילוב לא משאיר שום מיקום טוקן שבו סירוב הוא ההמשך הטבעי יותר.

המודלים בטבלה ההיא בני שלוש שנים וכבר אינם מה שמפעילים כיום. המספרים אינם העיקר; הצורה היא. כל מנגנון בטבלה עדיין פעיל בכל מודל מאז, משום שאף אחד מהם מעולם לא היה באג ב-GPT-4 או ב-Claude 1.3 — הם תוצאות של האופן שבו אימון לציות להוראות ואימון בטיחות פועלים זה עם זה.

שתי דרכים שבהן הדרכת בטיחות נכשלת

ההסבר של המאמר נקי באופן יוצא דופן, וזה החלק ששווה לשאת עמך: יש שני מצבי כשל, וכל התקפה בטבלה היא מקרה של אחד מהם.

מטרות מתחרות הן מה שמתקבל כאשר היכולות של מודל ומטרות הבטיחות שלו מצביעות לכיוונים שונים. ציות להוראות הוא יכולת. כאשר הבקשה עטופה כך שסירוב יפר הוראה שהמודל אומן בחוזקה לציית לה, המודל פותר את הקונפליקט לטובת ההוראה. הזרקת קידומת היא הגרסה המינימלית: אמרו למודל שתגובתו חייבת להתחיל ב"Absolutely! Here's", והטוקנים הראשונים הם כבר התחייבות שהופכת את הסירוב לבלתי קוהרנטי. התקפת דיכוי סירוב תוקפת את אותו תפר מהצד השני, על ידי הוספת כללי עיצוב שאוסרים את המשפט שבו סירוב היה צריך להיכתב.

הכללה לא תואמת היא מה שמתקבל כאשר אימון בטיחות מכסה התפלגות קלט צרה שהיכולת הכללית של המודל אינה מכסה. המודל למד Base64 במהלך האימון המקדים ויכול לבצע הוראה מקודדת ללא כל קושי. אימון הבטיחות, שראה בעיקר בקשות בשפה טבעית, מעולם לא לימד אותו לזהות שבקשה מקודדת היא עדיין בקשה. אותו כשל מופיע גם בהסרת תנועות, ב-ROT13, בליטספיק, בפיצול מטען ובמשימות הסחה: כל אחד מהם הוא פורמט שאליו היכולת מכלילה, ואילו התנהגות הבטיחות אינה מכלילה.

ומסתיר את כוונתו בקידוד מנצל את שני מצבי הכשל בו-זמנית, ו-0.94 הוא איך שזה נראה.

למה אין תשובה לכל מודל בנפרד לשאלה "האם ניתן לבצע בו jailbreak"

צורת השאילתה הנפוצה ביותר בתחום הזה היא שם מודל ואחריו המילה jailbreak. זו יחידת הניתוח הלא נכונה, והסיבה היא הטבלה שלמעלה. הצלחה תלויה בלפחות חמישה דברים בו-זמנית: היכולת של מודל הבסיס, איזה אימון בטיחות הוא קיבל ועל איזו התפלגות, פורמט הפרומפט, הגדרות הדגימה, וכמה ניסיונות התוקף מוכן להשקיע.

הנקודה האחרונה ראויה למשפט משלה. שיעור שנמדד בניסיון אחד לכל פרומפט ושיעור שנמדד ב"הטוב מתוך 28" אינם אותה מדידה, והתוצאה האדפטיבית של המאמר — 1.00 בשני המודלים — היא מהסוג השני. כל מי שמצטט שיעור ג'יילברייק בלי לומר לאיזה מהם הוא מתכוון לא ציטט שום דבר שימושי. השאלה ההגנתית הריאלית אינה "האם אפשר לשבור אותו" אלא "כמה ניסיונות זה דורש, והאם משהו בסטאק שלי שם לב לניסיונות".

שתי השלכות מעשיות נובעות מכך. מודל שמתנגד לסט הפרומפטים שלך היום יכול להפסיק להתנגד לאחר עדכון גרסה, שינוי בשכבת הבטיחות או שינוי בתצורת צד ההגשה — התוצאה תקפה רק עבור הבנייה שבדקת, ולכן בדיקה בלי גרסה ותאריך אינה תוצאה. ואותו סט פרומפטים שמורץ מול שני מודלים אומר לך כלפי איזה מהם המערך שלך מקל יותר, לא איזה מהם בטוח.

מה שג'יילברייק אינו: אבליטרציה

שני אלה מוערבבים זה בזה כל העת, מפני ששניהם מסתיימים במודל שמייצר פלט שהוא אומן שלא לייצר. הם אינם אותה עריכה, וההבדל הוא ההבדל בין בקרה שאפשר להוסיף לבין תכונה שאי אפשר.

• ג'יילברייק — עריכה בשכבת הפרומפט. המשקלים ללא שינוי. כיוון הסירוב עדיין נמצא במודל; הבקשה פשוט סודרה כך שהתנהגויות אחרות עולות עליו בדירוג. החזירו את הפרומפט וההתנהגות תחזור יחד איתו.

• אבליטרציה — עריכת שכבת משקלים. כיוון הסירוב מזוהה — בדרך כלל ככיוון במרחב האקטיבציה — ומוקרן החוצה ממשקלי המודל, כך שהמודל כבר לא מפיק סירובים לבקשות מהסוג הזה בכלל. זהו שינוי קבוע בארטיפקט, ולכן צ'קפוינט שעבר אבליטרציה מתנהג אחרת מאותו מודל בסיס עם פרומפט חכם. המכניקה של העריכה הזו מוצגת במדריך שלנו לאבליטרציה.

ההבדל התפעולי חשוב יותר מהטרמינולוגיה. ג'יילברייק הוא אירוע בזמן ריצה: הוא מגיע עם בקשה, וניתן לספור אותו, להגביל את קצבו, לסנן אותו ולתעד אותו כמו כל בקשה אחרת. מודל שעבר אבליטרציה הוא אירוע בשרשרת האספקה: הבקרה כבר הוסרה לפני שהוא מגיע אליך, ואין שום כמות של ניטור בשכבת הפרומפט שמחזירה אותה. אם מודל האיומים שלך הוא "מישהו ינסה לשכנע את המודל", אתה בקטגוריה הראשונה. אם הוא "מישהו ישלח לי מודל שהסירו ממנו את הסירוב", אתה בשנייה, והבקרה האמיתית היחידה היא מקוריות — לדעת איזה צ'קפוינט נקודת הקצה באמת מגישה.

גם ג'יילברייק אינו הזרקת פרומפט

המונח השלישי שמתערבב כאן הוא הזרקת פרומפט, והשאלה המבחינה היא מי התוקף. פריצת סייגים (jailbreak) מגיעה מהמשתמש, שמנסה להשיג תוכן שהמודל אומן למנוע. הזרקת פרומפט מגיעה מתוכן — מסמך שאוחזר, דף אינטרנט, תוצאת כלי — שנושא הוראות שהמפתח מעולם לא כתב, והיא פועלת בין אם המשתמש עוין ובין אם לא. אותו מודל יכול להיות חסין לאחד ופתוח לרווחה לאחר, משום שההגנה נגדם מופעלת במקומות שונים: פריצות סייגים בקלט ובפלט של המודל, והזרקה בגבול האמון בין נתונים להוראות.

מה למעשה מפחית את השיעור

שום דבר כאן אינו הבטחה, וכל טענה אחרת היא מסירת מכירה. להלן מערך הבקרות שמשנה את המספרים, מסודר לפי התמורה שכל בקרה מניבה ביחס למאמץ.

• נניח ששכבת הפרומפט נופלת.כל בקרה שמסתמכת על כך שהמודל יסרב נמצאת במרחק של תוקף אדפטיבי אחד מאפס. יש לתכנן כאילו הבקשה תעבור בסופו של דבר, ולמקם את הבקרה במקום שבו ייגרם הנזק.

• הגבילו למה פריצת jailbreak מוצלחת יכולה להגיע.רדיוס ההשפעה של עוזר שנפרץ הוא כל מה שהכלים, פרטי הכניסה והיקף השליפה שלו מאפשרים. הרשאות מינימליות על כלים ותיחום לפי דייר (tenant) על שליפה מפחיתים את ערכה של פריצת jailbreak מוצלחת באופן מהימן הרבה יותר מכל מסנן פרומפטים.

• שפוט את הפלט, לא את ההנחיה. מסווגים בצד הפלט תופסים משפחות שמעולם לא ראית, כי הם מסתכלים על מה שבאמת הופק ולא על איך שזה התבקש. הם גם השכבה היחידה שעדיין עובדת כאשר פורמט הקלט חדש — מה שלפי מצב הכשל של הכללה לא-מותאמת הוא רוב הזמן.

• התייחס להנחיית המערכת כאל ערך תצורה, ולא כגבול אבטחה. זהו טקסט באותו חלון הקשר שבו נמצאת ההתקפה. הוא מעלה את עלות הניסיון; הוא אינו עוצר אותו.

• הפוך את הניסיונות לגלויים. היתרון היחיד שיש למגן על פני התוקף המסתגל הוא שההתקפה בדרך כלל חוזרת על עצמה. הגבלות קצב, זיהוי חזרות ותיעוד הופכים חיפוש של 28 ניסיונות לאירוע שאפשר לראות, במקום 28 בקשות שכל אחת מהן נראתה תקינה לכשעצמה.

• בצע בדיקה חוזרת בכל שינוי מודל. נעיצת גרסה יחד עם סט פרומפטים קבוע הם מה שהופך את "בדקנו את זה פעם אחת" למספר שאפשר להשוות מולו. בלי הנעיצה, ההשוואה חסרת משמעות.

איך למדוד את היעד שלך בעצמך

אם המטרה היא מספר שאפשר לפעול לפיו, קבעו את שלושת המשתנים שהמאמר קבע: סט הפרומפטים, גרסת המודל ומספר הניסיונות. השתמשו בסט פרומפטים שכולל את שני מצבי הכשל — הוראות שהופכות את הסירוב למביך, וקידודים שמסתירים את הבקשה — מפני שסט שמורכב רק מאחד מהם יחמיא למודל שחלש מול האחר. דרגו בשמרנות: מזיק ורלוונטי לנושא, לא רק בטון לא הולם. ודווחו על התוצאה כשיעור מול מספר ניסיונות מוצהר, ולעולם לא ככן או לא.

כאשר מספר מודלים מועמדים עומדים על הפרק, ההשוואה עובדת רק אם אותה קבוצת פרומפטים מורצת מול כל אחד מהם, וזה המקום היחיד שבו התשתית חשובה יותר מן המתודולוגיה. הרצת הערכה אחת על פני המודלים שאליהם אנו מנתבים מוציאה מן התרגיל את החוזים מול כל ספק ואת העבודה מול הלקוח; מחירי המחירון של הספקים מועברים הלאה ללא תוספת רווח, כך שההרצה עולה בדיוק מה שהספקים גובים, ולא יותר. מה שההערכה מודדת הוא התנהגות המודל, לא שלנו — הניתוב משנה איזה מודל עונה, והוא אינו גורם לאף אחד מהם לסרב יותר.

איפה שהתקליט מתחיל

שיעור הצלחה מדוד אומר לך כמה קשה להפיל את שכבת הפרומפט. הוא לא אומר לך מה קרה כשמישהו הפיל אותה בפרודקשן, והשאלה השנייה היא זו שקובעת אם לשיעור בכלל יש משמעות. ג'יילברייק שמייצר פסקה גסה הוא בעיית מודרציית תוכן. ג'יילברייק שמייצר קריאת כלי הוא תקרית, וההבדל כולו טמון במה שהמערכת אפשרה לפלט להגיע אליו.

הארכיון הזה הוא תיעוד השדה: מה סוכנים עשו בפועל, עם מקור לכל רשומה והכרעה בשאלה אם מישהו נפגע. בקריאה מול מדידת ג׳יילברייק, הוא עונה על השאלה שהמדידה אינה יכולה לענות עליה — אם הגבול שפרומפט חצה הוא גבול שדבר מה בהמשך התהליך תלוי בו. אם כן, הג׳יילברייק הוא ממצא אבטחתי והבקרה שייכת להרשאות הכלים. אם לא, הג׳יילברייק הוא תוצאת תוכן, והמהלך ההוגן הוא לתעד אותו ככזה ולא לנפח אותו לפגיעות.

הערת הסיום היא זו שהראיות תומכות בה. פריצת מודלים (jailbreaking) לא תיפתר באמצעות מודל טוב יותר, משום שאופני הכשל הם מבניים: ציות להוראות הוא יכולת, ואימון בטיחות הוא יכולת צרה יותר, והפער ביניהם הוא המקום שבו שוכנת כל התקפה במאמר זה. מה שכן ניתן לפתור הוא התוצאה — בכך שנבטיח שמודל שמפסיק לסרב עדיין לא יוכל לעשות יותר מדי.