הסבר על Blue Teaming ב-AI: שלוש השכבות שבהן בקרה יכולה באמת להתקיים

שאלו צוות אבטחה היכן נמצאים מעקות הבטיחות של ה-AI שלו, והתשובה בדרך כלל תציין מסמך מדיניות, הנחיית מערכת או תכונה של ספק. אף אחד מאלה אינו בקרה. בקרה היא משהו שמחליט, ברגע הפעולה, אם הפעולה תתבצע — ולסוכן AI יש רק שלושה מקומות שיכולים להחליט: המודל, השער שלפניו והסביבה שסביבו. כל מה שצוות כחול יכול להבטיח בכנות מגיע מהמקום השני והשלישי מביניהם. זו שאלת השכבה, והיא קודמת לכל החלטה אחרת של צוות כחול, כולל מה לתעד ולמי לפנות. זו גם הסיבה לכך שהראיות מהשטח חשובות: ארכיון התקריות של AI מכיל 400 תקלות סוכנים מ-2024-12 עד 2026-10-17, ורובן אינן סיפורים על מודל שמתנהג רע. הן סיפורים על פריסה בלי שכבה שיכלה לומר לא.

עבודת צוות כחול במובן של בינה מלאכותית היא העבודה של הטמעת השכבות האלה, כוונון מה שהן מבחינות בו, והחזקת תשובה מתורגלת ליום שבו אחת מהן מופעלת. היא לא זוהרת, היא לא מפיקה ציון, והיא החצי היחיד בצמד צוות אדום/צוות כחול שמשנה את מספר הסיכון.

מה שצוות כחול יורש, ומה שהוא לא יורש

פעילות מסורתית של צוות כחול נשענת על מערכת הנחות שפריסות AI שוברות בשקט. ההנחה הייתה שלוגים שלמים, משום שהרשת ראתה כל מנה. ההנחה הייתה שנכסים ניתנים למנייה, משום שמישהו היה חייב להקצות אותם. ההנחה הייתה שההתנהגות דטרמיניסטית, משום שתוכנית עושה את אותו הדבר בהינתן אותו קלט. אף אחת מהשלוש לא שורדת מפגש עם סוכן.

מה שצוות כחול יורש במקום זאת הוא מערכת שבה ההחלטות בעלות ההשלכות הרבות ביותר מתרחשות בתוך בקשה ששכבת הרשת מתייחסת אליה כתעבורת HTTPS רגילה אל שם מארח אחד. הפרומפט, ההקשר שאוחזר, קריאות הכלים, ההשלמה — כל זה נמצא בתוך גוף בקשה, ואם אין מי שלוכד ומנתח את גוף הבקשה הזה, הפריסה למעשה אינה מנוטרת, לא משנה כמה טוב ההיקף. לכן המשימה הראשונה של הצוות הכחול אינה זיהוי; היא הקמת חיישן. בלי נראות ברמת הבקשה וברמת הכלים אין על מה לזהות, וכל בקרה במורד הזרם היא קישוטית.

מי יכול למעשה לאכוף את הבקרה

ברגע שיש חיישן, השאלה הופכת להיות היכן כל בקרה רשאית לשבת. הדרך המועילה לשרטט זאת היא לפי בעלות ולא לפי טכנולוגיה, משום שבעלות היא הקובעת אם בקרה תשרוד את המהדורה הבאה.

שכבת המודל שייכת למי שאימן את המודל. אינך מגדיר אותה, אינך יכול לראות לתוכה, וההתנהגות שלה משתנה כשהספק משחרר גרסה חדשה — שעשויה להיות בכל יום שלישי. מה שאתה יכול לעשות הוא לנעול גרסה ולהתייחס לשינוי גרסה כאל שינוי במצב הסיכון שלך שמחייב בדיקה חוזרת. מה שאינך יכול לעשות הוא לטעון שיש כאן בקרה. "המודל מסרב לבקשות מזיקות" היא תכונה שאתה נשען עליה, לא מנגנון שאתה מפעיל.

שכבת השער היא המקום שבו כל פרומפט והשלמה עוברים דרך רכיב שבבעלותכם. כאן נמצאות מגבלות התקציב והקצב, כאן נאכפים רשימות ההיתר והרשאות הכלים, כאן תיעוד הבקשות והתגובות שלם מעצם המבנה, וכאן אפשר לשכתב, לחסום או לנתב מחדש בקשה לפני שמחייבים על טוקן כלשהו. בקרות השער הן גם היחידות שנשארות מחוברות כשמחליפים מודלים, וזה חשוב יותר ממה שזה נשמע: צוותים שמניחים את הבקרות שלהם בפרומפטים מאבדים אותן לחלוטין ביום שבו הם עוברים.

שכבת הסביבה היא זו שכולה שלך: פרטי גישה וההיקפים שלהם, יציאת רשת, גישה לקבצים, מגבלות ארגז חול על זמן קיר ועל הוצאות. זה גם המקום שבו ריצה שנפרצה עושה את נזקה. סוכן ששוכנע לפעול בזדון מסוכן בדיוק במידה שבה הסביבה איפשרה לפעולה הזו להגיע — והסביבה היא המקום היחיד שבו "הרשאה מינימלית" היא שינוי תצורה ולא בעיית מחקר.

המבחן המעשי לכל בקרת AI מוצעת הוא שאלה אחת: איזו מבין שלוש השכבות האלה אוכפת אותה? אם התשובה היא שכבת המודל, הבקרה היא תקווה. אם התשובה היא "הנחיית המערכת", זו הצעה בתוך שכבת המודל, והיא גרועה מתקווה כי היא מגיעה עם תיעוד שטוען אחרת.

זיהוי: מה שסוכן באמת פולט

זיהוי עבור סוכנים פועל על מערך אותות שונה מהזיהוי עבור אנשים. אין חריגת התחברות שעליה אפשר להתאים. מה שיש במקום זאת הוא זרם בקשות עם מבנה עשיר באופן יוצא דופן, וארבע משפחות של אותות שראוי להתריע עליהם.

• נפח וצורה של קריאות לכלים. סוכן שלפתע קורא לכלי לקריאת קבצים ארבעים פעמים במשימה אחת, או שרצף הכלים שלו משתנה משלושה שלבים לשלושים, ראוי לבחינה — לא משום שהוא זדוני, אלא משום שהתפלגות השתנתה.

• ייחוס מקור התוכן בגבול.איזה טקסט בהנחיה הגיע מהמשתמש, איזה מאחזור, איזה מתוצאת כלי, ואיזה מהזיכרון. רוב זיהוי הזרקת הנחיות מצטמצם ל"טקסט הוראות הופיע בערוץ שאמור לשאת רק נתונים", ואי אפשר לחשב זאת אלא אם השער מתייג ייחוס מקור בכניסה.

• גבולות יציאה והיקף.בקשות ליעדים מחוץ לרשימת ההיתרים, קריאות של נתיבים מחוץ להיקף, ניסיונות להשתמש באישורים מחוץ לשירות המיועד להם. אלו אותות בעלי דיוק גבוה והם זולים, כי הסביבה כבר יודעת מה הותר.

• הוצאות וזמן השהיה כמדד עקיף. גם לולאה משתוללת וגם פריצה נראות כמו עקומת עלות שמשנה את שיפועה. התראות תקציב הן זיהוי לא זוהר במיוחד במערך, אך מהמהירות ביותר להחזיר את ההשקעה בהן.

מה שנעדר במכוון מהרשימה הזאת הוא מסווג שמתבקש לשפוט אם השלמה הייתה מזיקה. זהו רעיון הזיהוי שצוותים פונים אליו ראשונים והזה שמזדקן הכי רע: הוא סוטה עם המודל, יש לו שיעור חיוביים שגויים שמאמן את האנליסטים שלך להתעלם ממנו, והוא לא נותן לך שום דבר לשים במדריך תפעול.

הכלה: שלושת הכפתורים שעוצרים ריצה גרועה

ההכלה של סוכן פשוטה יותר ממה שהיא נראית, מפני ששלושה כפתורים מכסים כמעט הכול. תקציב מגביל את מה שהרצה יכולה להוציא, מה שמגביל גם את הנזק הכספי וגם את רדיוס ההשפעה של לולאה. היקף מגביל את מה שהרצה יכולה לגעת בו — הכלים המאופשרים לאותה משימה, הנתיבים, הדיירים. ארגז חול מגביל כמה זמן היא יכולה לרוץ ומה היא יכולה להגיע אליו בזמן ריצה. שלושתם הגדרות שער או הגדרות סביבה, שזו דרך אחרת לומר שאפשר לאכוף אותן.

עקרון העיצוב שמשנה הוא היקף לפי משימה ולא היקף לפי סוכן. סוכן עם מערך הרשאות קבוע הוא סוכן שההרשאות שלו יצטברו עד שמישהו יבקר אותן; סוכן שמקבל אישור גישה בהיקף משימה למשך המשימה יש לו גבול שפג התוקף שלו מאליו. השני דורש יותר עבודה לבנייה והרבה יותר זול להגנה עליו.

זה גם המקום שבו שער מצדיק את שמו. בקרות שיושבות לפני כל קריאה למודל — קריאות כלים ו-MCP שנבדקות לפני שהן פועלות, מדיניות תוכן ומיסוך נתונים אישיים שמוחלים לפני שהבקשה מחויבת — הן אותן בקרות בין אם המודל שמאחוריהן הוא זה שהשתמשת בו ברבעון שעבר ובין אם זה שיצא בשבוע שעבר. הרציפות הזו היא המוצר עצמו: לא מסנן טוב יותר, אלא מקום למסנן לחיות בו, כזה שלא זז כשהמודל זז.

התאוששות: הפעלה חוזרת, תיקון, בדיקה חוזרת

להתאוששות מתקריות AI יש יתרון אחד על פני התאוששות מתקריות רשת: הריצה כולה בדרך כלל מתועדת. פרומפט, הקשר, קריאות לכלים, השלמות, זמנים — אם השער תיעד אותם, ניתן לשחזר את התקרית, וזו נקודת פתיחה חזקה יותר מזו שרוב החקירות הפורנזיות מקבלות.

שיחזור ממלא שלושה תפקידים ברצף. הוא מבסס מה קרה בפועל, ולא מה שהתמלול מרמז שקרה לאחר שכמה אנשים סיכמו אותו. הוא מזהה את הבקרה שהייתה אמורה לפעול, וזה ההבדל בין תיקון סימפטום לתיקון גבול. והוא מייצר את מקרה הרגרסיה: קלט מוקלט שחייב כעת להיחסם, שמורץ מול התצורה החדשה כדי להוכיח שהוא אכן נחסם.

שלב הטלאי הוא המקום שבו הצוותים הכחולים לרוב מכוונים לא נכון. אם הממצא היה התנהגות של המודל, כל אמצעי ההקלה הזמינים נמצאים מחוץ למודל — צמצום היקף, מסנן בשער, הרשאה שהוסרה מהסביבה. אם הממצא היה התנהגות של מערכת, התיקון נמצא בקונפיגורציה ובדיקת הרגרסיה זולה. בכל מקרה, בדיקה חוזרת אינה אופציונלית, מפני שגם התיקון וגם גרסת המודל משתנים, ובקרה שאומתה מול הבילד של החודש שעבר היא טענה על החודש שעבר.

מתרגלים את היום שבו זה יורה

תסריט הפעלה שמעולם לא נקרא תחת לחץ הוא מסמך, לא יכולת. החזרה שמשתלמת היא צרה וספציפית: קחו תקרית סוכן אחת סבירה, עברו עליה מקצה לקצה, ותעמדו בזמן כל שלב. מי מבחין? כמה זמן עד שאדם מסתכל על שורת הלוג הנכונה? מי יכול לעצור את ההרצה — אדם אחד בשם, או ועדה? מי יכול לשלול את אישור הגישה, וכמה זמן לוקח לשלילה להתפשט? מי מחליט אם ליידע מישהו מחוץ לחברה?

שתיים מהשאלות האלה מכשילות צוותים באופן עקבי. "מי יכול לעצור את הריצה" נכשלת כשעצירה דורשת מישהו שישן, ולכן התשובה צריכה להיות מנגנון ולא אדם — תקרת תקציב או מתג עצירה שמהנדס תורן יכול להפעיל לבד. "כמה זמן לוקחת שלילת הרשאות" נכשלת משום שפרטי גישה נשמרים לעתים קרובות במטמון ברכיבים שלא היו בתרשים.

קריאת הארכיון היא הצורה הזולה ביותר של חזרה שעומדת לרשותך, משום שהיא מאפשרת לך לרשת את מבנה התקרית של אחרים במקום להמציא משלך. קח קומץ רשומות שדומות לפריסה שלך, ועבור כל אחת מהן שאל את שלוש השאלות שלמעלה. הרשומות שבהן אינך יכול לענות עליהן הן הפערים בספר ההרצה שלך, ואיתרת אותם לפני התקרית ולא אחריה.

האסימטריה שכדאי לומר בפשטות

רד טימינג ובלו טימינג אינם פעילויות סימטריות, ואין לתקצב אותן כאילו היו. ריצת רד טים מוגבלת בלוח זמנים ומפיקה אוסף ממצאים שמאבדים מתוקפם ככל שהיעד משתנה. הבקרות של בלו טים מתמשכות, מצטברות, והן הדבר היחיד שבאמת עומד בין קלט רע לתוצאה רעה. מעורבות אחת יכולה למצוא גבול; רק האחרת יכולה להחזיק בו.

מה שהופך את אמת המידה הכנה לצוות כחול ללא זוהר וניתנת לבדיקה. עבור כל בקרה שאתה מצהיר עליה, אתה אמור להיות מסוגל לציין את השכבה שאוכפת אותה, את שורת הלוג שמוכיחה שהיא הופעלה, את ההתראה שמיידעת אותך כשהיא לא הופעלה, ואת האדם שיכול לכבות את הריצה. ארבעה משפטים. אם אחד מהם חסר, הבקרה היא מסמך מדיניות, ומסמכי מדיניות לא קוראים גופי בקשות.