Red Teaming ב-AI מוסבר: מה צוות אדום בודק, ומה הוא משאיר מאחור

רוב פרויקטי red teaming של AI נשפטים לפי הארטיפקט הלא נכון. שבוע של עבודה מניב מצגת שקופיות, המצגת אומרת שאפשר לשכנע את העוזר לכתוב אימייל פישינג, ואף אחד לא יכול לומר בדיעבד אם ההתנהגות הייתה ניתנת לשחזור, עד כמה היא הייתה חמורה, או איזו בקרה הייתה עוצרת אותה. לדיסציפלינה יש תוצר אמיתי, והוא אינו מצגת: מדובר בקבוצת ממצאים ששורדים הרצה חוזרת, שכל אחד מהם קשור לגבול שנחצה ולראיה שחצתה אותו. זו גם הצורה של התיעוד שthe AI incident archive שומר — 400 רשומות המכסות מדצמבר 2024 עד אוקטובר 2026, שנאספו מ-743 מקורות נפרדים, והכרעה לגבי כל אחת מהן בשאלה אם מישהו נפגע בפועל.

הבלבול מובן, משום ש"red teaming" משמש לשתי משימות שחולקות אוצר מילים וכמעט שום דבר אחר. זהו מדריך לשתיהן, לראיות שכל אחת מהן אמורה להפיק, ולארבעת המקומות שבהם red teaming של AI אכן נבדל מגרסת הרשת שרוב צוותי האבטחה כבר יודעים להפעיל.

שאלת המסגרת: למי שייכת הבדיקה

לפני ההיקף, עולה השאלה מי מריץ את התרגיל ונגד מה. Microsoft מפרסמת את אחת העמדות הציבוריות המקיפות יותר בנושא, וכדאי לקרוא אותה כמפה ולא כדף מוצר. מרכז ה-AI Red Team שלה מפריד בין המושג של רד-טימינג של בינה מלאכותית לבין האיך-לעשות, ואז מסדר את הפרקטיקה בסדר שהוא בעצמו טיעון: סקירה כללית, אחר כך מדריך לבניית צוות רד-טים ל-LLM, ואחר כך חומרי עזר — רף באגים למיון תקיפות על מערכות למידת מכונה, טקסונומיה לכשלים בלמידת מכונה, מודל אחריות משותפת, והנחיות למידול איומים למפתחים.

קראו את הרצף, והמתודולוגיה נובעת ממנו. טקסונומיה קובעת מה נחשב לכישלון. רף באגים קובע אילו מהכישלונות האלה שווים תיקון. מודל אחריות משותפת קובע מי אחראי לכך ברגע שהוא מתגלה. מידול איומים קובע היכן לחפש הלאה. בלי ארבעת אלה, צוות Red Team מייצר אנקדוטות עם עמודת חומרה שהוברגה עליהן, ועמודת החומרה היא מה שהבודק הרגיש באותו אחר צהריים.

מסגרת האוטומציה הפתוחה של Microsoft, PyRIT, נמצאת על אותו מדף, והמיקום הזה הוא החלק השימושי. ערכת תזמור אינה מתודולוגיה; היא מה שמכוונים אליו כמטרה ברגע שהטקסונומיה ורף הבאגים קיימים. צוותים שמתחילים עם המסגרת נוטים לסיים עם קורפוס גדול של פרומפטים ובלי דרך לדרג את התוצאות.

שני צוותים אדומים, שתי שאלות שונות

ההבחנה השימושית ביותר בתחום הזה היא זו שכמעט אף אחד לא כותב: צוות רד-טים שבודק מודל וצוות רד-טים שבודק מערכת עונים על שאלות שונות, עם יחידות בדיקה שונות, פלטים שונים ובעלים שונים. ערבוב ביניהם הוא הדרך שבה פריצת ג'יילברייק מדווחת כממצא אבטחה, ושבה באג אמיתי של הסלמת הרשאות מוגש כתלונת איכות מודל.

הערכת בטיחות ברמת המודל היא בעיית מדידה. אתם שואלים אם מודל יפיק סוג מסוים של תוכן, והדרך הכנה לענות על כך היא מדגם גדול מספיק כדי לומר משהו על שיעור. היחידה הנבדקת היא המודל שמאחורי API דק, השיטה היא פרומפטינג יריב — פריצות סייגים, התקפות פרסונה, לחץ רב-תורי — והתוצר הוא תמלול בתוספת הערכת נזק. כאשר המשקלים משתנים או שכבת הבטיחות של הספק משתנה, התוצאה כולה מתיישנת. לכן סוג זה של בדיקה מבוצע בדרך כלל על ידי בונה המודל או על ידי מעריך עצמאי, ולכן הממצאים שלו רק לעיתים רחוקות מתאימים לתיקון ספציפי באפליקציה שלכם.

אמולציית יריב ברמת המערכת היא בעיית הנדסה. אתם שואלים אם תוקף יכול לגרום לדבר הפרוס לפעול — לקרוא קובץ שהוא לא אמור לקרוא, להפעיל כלי שהוא לא אמור להפעיל, להוציא כסף שהוא לא אמור להוציא. יחידת הבדיקה היא הסוכן, כאשר הכלים, האחזור והאישורים שלו מחוברים אליו. השיטות הן המוכרות, מכוונות מחדש: הזרקה דרך תוכן שנאחזר ולא דרך התור של המשתמש, ניצול לרעה של כלים, שרשראות הרשאות שנבנות מהרשאות סבירות כל אחת בנפרד, נתיבי נתונים שדולפים מעבר לגבול דייר. הפלט הוא ממצא עם שחזור, גבול שנחצה, ובעלים שיכול לשנות את התצורה מחר.

שני אלה מייצרים ארטיפקטים בלתי־תואמים, ואי־ההתאמה הזו היא אבחנתית ולא מעצבנת. תוצאה ברמת המודל אינה ניתנת ל"תיקון" על ידי הצוות שלכם אלא רק באמצעות החלפת מודלים. תוצאה ברמת המערכת אינה ניתנת לתיקון על ידי הספק כלל. אם דוח אינו מציין איזה משני אלה הוא, אינכם יכולים לשייך אף אחד מפריטיו.

למה הופך משטח התקיפה ברגע שלמודל יש כלים

המשטח שרוב הצוותים עדיין בודקים הוא הפרומפט. הוא גם הפחות מעניין, מפני שהוא זה שספק המודל השקיע את המאמץ הרב ביותר בחיזוקו, וזה שעליו יש לתוקף את מידת ההשפעה המועטה ביותר. המשטחים שבאמת משתלמים הם אלה שהאפליקציה הוסיפה: הכלים שהסוכן יכול לקרוא להם, אינדקס האחזור שהוא קורא, הזיכרון שהוא נושא בין סבבים, וערוץ הפלט עצמו.

כלים הם המקום שבו מודל שפה הופך לשחקן, והשאלה המעניינת היא אף פעם לא "האם הוא יכול לקרוא לכלי" אלא "מהי הרשאת המינימום שיכלה להיות לכלי הזה". כלי לחיפוש פניות שמקבל שאילתת טקסט חופשי בדרך כלל ניתן לשכנע לקבל מזהה של לקוח אחר. אחזור הוא ערוץ תוכן אל תוך ההקשר של המודל, כלומר כל מי שיכול לכתוב לקורפוס — כונן משותף, מאקרו תמיכה, דף אינטרנט שאליו מגיע המאחזר — כותב אל הפרומפט. זיכרון הופך תור בודד לקביעות: הוראה שנשתלה בתור השני עדיין נמצאת שם בתור הארבעים. פלט הוא המקום שבו הטקסט של המודל נוחת במקום שמפרש אותו, ורינדור, Markdown, תצוגות מקדימות של קישורים וצינורות עיבוד סמוכי shell — כולם מפרשים טקסט.

התקשרות שבודקת רק את הפרומפט תדווח על תוצאה נקייה ותצדק לגבי הדבר הלא נכון.

למה תמלול הוא לא ממצא

ממצא צריך שלוש תכונות שאין לצילום מסך של חלון צ'אט. הראשונה היא יכולת שחזור: להריץ שוב ממצב נקי וזה קורה שוב. מודלים אינם דטרמיניסטיים, לכן יכולת שחזור היא שיעור ולא ערך בוליאני — "תשע מתוך עשר פעמים" הוא ממצא, "זה קרה פעם אחת" הוא שמועה. השנייה היא חציית גבול: לנקוב בדבר שלא היה אמור לקרות במונחים של היישום עצמו, לא במונחים של המודל. לא "המודל היה גס רוח", אלא "הסוכן קרא מסמך השייך לדייר B". השלישית היא חומרה שמקורה בהשפעה ולא באינטואיציה של הבודק, וזה תפקידו של רף הבאגים.

כל השאר — התמלול, הפרומפט, ההנמקה של המודל — הוא ראיות התומכות בשלושת אלה. זה אינו הממצא עצמו, ולכן קורפוס של אלפיים פרומפטים לפריצת jailbreak שווה פחות מחמישה ממצאי מערכת בני שחזור עם בקרות בעלות שם מצורפות.

ארבעה היבטים שבהם רד טימינג של בינה מלאכותית שונה מרד טימינג של רשתות

צוותים שמגיעים מתחום אבטחת הרשת או אבטחת היישומים מביאים איתם אינסטינקטים טובים וארבע הנחות שגויות.

• אין היקף אבטחה להחזיק. להתקשרות ברשת יש רשימת יעדים; להתקשרות עם סוכן יש חלון הקשר שנבנה בזמן הבקשה ממקורות שייתכן שלא מיפית. יש לבטא את ההיקף כמקורות נתונים והרשאות כלים, ולא כשמות מארחים.

• היעד אינו דטרמיניסטי. אותו קלט יכול להצליח ביום שלישי ולהיכשל ביום רביעי. זה שובר את תקן הראיות של "שעתוק נקי אחד" ומאלץ אותך לדווח על שיעורים.

• ניצול החולשה הוא השפה, ולשפה אין תיקון. אפשר לתקן בדיקת הרשאה חסרה. אי אפשר לתקן את "ניתן לשכנע את המודל". המיתון לחולשה ברמת השפה הוא בקרה במקום אחר — מסנן, מגבלת היקף, גבול הרשאה — ולכן ממצאים צריכים לציין את הבקרה, לא רק את ההתנהגות.

• הספק נמצא בתוך התהליך. היעד שלך משתנה כאשר מישהו אחר משחרר גרסה. תוצאה ברמת המודל תקפה רק עבור הבנייה שבדקת, ואם לא תיעדת את הגרסה ואת התאריך, אין לך תוצאה.

איך להגדיר את היקף ההתקשרות הראשונה

פרויקטים שמתנהלים רע כמעט תמיד מוגדרים כ"לבדוק את ה-AI". היקף ששורד מפגש עם לוח זמנים נראה יותר כך: סוכן אחד, בסביבת סטייג'ינג, עם נתונים בתצורת ייצור והרשאות בתצורת ייצור; רשימה של חמשת הגבולות החשובים (בידוד דיירים, גישה לאישורי גישה, הוצאות, יציאת נתונים, היקף כלים); כללי מעורבות שמפרטים מה מחוץ לתחום; תנאי עצירה שקובעים מי רשאי לעצור את הריצה; ופורמט ראיות מוגדר שסוכם לפני הניסיון הראשון, כך שהדוח יורכב מארטיפקטים ולא משוחזר מהזיכרון.

הרשאה ראויה למשפט משל עצמה, משום שזה הפריט היחיד שצוותים מדלגים עליו כשהמטרה היא המוצר שלהם והכלים הם של מישהו אחר. בדיקת מודל שאינכם מפעילים, על תשתית שאינה בבעלותכם, עם פרומפטים שנועדו לעקוף שכבת בטיחות, היא פעילות שונה מבדיקת הפריסה שלכם — והיקף העבודה הכתוב הוא מה שמפריד בין השניים. שער האימות שדרג הסייבר שלנו פועל לפיו קיים מאותה סיבה: עבודת אבטחה מורשית ברמת המודל זקוקה לגורם מזוהה ואחראי משני הצדדים.

מה מוסיף תיעוד האירוע

הרצת צוות אדום אומרת לך מה היעד שלך עושה. היא לא יכולה לומר לך מה קורה בשטח, והשטח הוא המקום שבו הטיעון בעד בקרה באמת נוצר. זהו הפער שיומן אירועים ממלא — והמשמעת שהוא כופה היא החלק המועיל: רשומה בלי לפחות מקור אחד אינה קיימת, ורשומה בלי הכרעת נזק אינה אירוע.

קִראו את שני הארטיפקטים יחד והלולאה נסגרת. צוות אדום מפיק ממצא ניתן לשחזור ומציין את הבקרה שהייתה חוסמת אותו. התיעוד אומר לך אם מישהו בשטח כבר נתקל בגבול הזה, מה היה הנזק, ואם הבקרה החזיקה במקום אחר. ממצא בלי תקדים בשטח הוא השערה שכדאי לתקן; תקרית בשטח בלי ממצא ניתן לשחזור היא באג שעדיין אי אפשר לסגור. הצוותים שעושים את זה נכון מפסיקים להתייחס ל"הרצנו רד־טים על המודל" כאל תוצר מסירה ומתחילים להתייחס לזה כאל קלט אחד ביומן רישום משלהם.

מה שמשאיר אותנו עם הערת הסיום הכנה. Red teaming של AI לא מייצר ערובה לאבטחה, וכל פרויקט שנמכר ככזה מוכר את הדבר הלא נכון. הוא מייצר קבוצה של גבולות שכעת ידוע לכם שהם נחצו, עם ראיות שאפשר להריץ מחדש, מסודרים לפי מה שקורה כשהם נחצים. זה מספיק כדי לקבל החלטות — והרבה יותר מאשר מצגת.