מהו מודל סייבר? הקטגוריה, ומה היא בעצם משנה

שלושה מוצרים מכונים "מודל סייבר" בכל שבוע ואין להם כמעט דבר במשותף. אחד הוא מודל כללי עם קורפוסי אבטחה בתערובת האימון שלו. אחד הוא מודל רגיל עטוף בלופ שמעניק לו ארגז חול, פאזר וניסיונות חוזרים. אחד הוא אותו מודל כמו של כולם, מאחורי טופס אימות. רק הראשון מביניהם הוא מודל שונה. השניים האחרים הם החלטות מוצר — טובות, במקרים מסוימים — והם משווקים באותו ביטוי, ולכן הקטגוריה מתקשה בהשוואה. טבלת בנצ'מרק שלא אומרת איזה משלושת אלה היא מדדה לא ניתנת להשוואה לכזו שכן אומרת, ורוב הטבלאות לא מציינות. זהו מדריך להבחנה, למספר הקטן של מודלים שבאמת נמצאים בקטגוריה הראשונה, ולמה שצוות אבטחה צריך לעשות עם התשובה. זוהי גם תצוגת הקטגוריה שעומדת מאחורי 400 תקריות סוכנים המתועדות בארכיון תקריות ה-AI, שבו השאלה "האם המודל היה הבעיה או הפריסה" עולה כל הזמן.

שלושת הדברים שהביטוי מכסה

התחל מההבדל שמשנה מבחינה תפעולית: מה השתנה כשהספק בנה את הדבר.

מאומן לאבטחה פירושו שהמשקולות השתנו. קורפוסים של אבטחה נכנסו לתערובת האימון, מודל הבסיס הוא לעתים קרובות מודל כללי שכבר היה חזק, והמודל המתקבל שונה באופן מדיד במשימות שבהן ידע באבטחה הוא צוואר הבקבוק — קריאת קריסה, הסקה לגבי פריסת זיכרון, זיהוי דפוס פגיע ב-diff גדול. מודלים בקבוצה זו מדווחים בדרך כלל מול מדדים ייעודיים לאבטחה כגון CyberGym או CyberSecEval, והם יכולים להיות בעלי משקלים פתוחים או זמינים רק דרך API.

עטוף ברתמה פירושו שהלולאה השתנתה והמודל לא. הספק הוסיף ארגז חול, כלים, לוגיקת ניסיונות חוזרים, מתכנן, אולי פאזר, ובנה מערכת שמתפקדת היטב במשימות אבטחה משום שהמערכת מהונדסת היטב. זהו מוצר לגיטימי ולעיתים קרובות לא מוערך מספיק. זו גם הקטגוריה שבה הציון הופך לדו-משמעי, משום שהמספר שייך לרתמה לא פחות מאשר למודל — והרתמה אינה משהו שאפשר להחליף באופן עצמאי.

מוגבל בגישה פירושו שהדלת השתנתה. ייתכן שהמודל זהה למודל ציבורי; מה ששונה הוא שעליכם להיות עסק מאומת, העוסק בעבודה מורשית, בתנאים המגבילים את השימוש. זהו מוצר מדיניות, ומוצר שניתן להגן עליו, אך לא נובעת ממנו טענת יכולת. מודל שמסוכן בידיים הלא נכונות ובטוח בידיים הנכונות לא נעשה מסוגל יותר; הוא נעשה נשלט יותר.

ההשלכה המעשית: כאשר אתם קוראים שמודל כלשהו הוא "מודל סייבר", השאלה הבאה היא איזה מבין השלושה, משום שהתשובה קובעת אם אתם קונים יכולת, הנדסה או הרשאה — ולכל אלה יש מחירים שונים ואופני כשל שונים.

למה הקטגוריה קיימת בכלל

עבודת אבטחה רגישה במיוחד לשני מאפיינים שמודלים כלליים מציגים באופן לא עקבי: הסקה בהקשר ארוך על קוד שלא נכתב כדי להיקרא, והנכונות לתאר תקיפה בפירוט מספיק כדי להיות שימושית. הראשון הוא שאלה של יכולת, והוא הסיבה לכך שמודלים בקבוצה זו נוטים לפרסם חלונות הקשר בגודל של מאות אלפים או מיליוני טוקנים. השני הוא שאלת בטיחות, והוא הסיבה לכך שהקטגוריה שזורה בבקרת גישה.

מודל שמנמק היטב לגבי בסיס קוד אך מסרב לכתוב הוכחת היתכנות עובדת חסר תועלת למיון, כי הוכחת ההיתכנות היא הראיה. מודל שכותב הוכחות היתכנות בחופשיות מועיל למגן ומועיל באותה מידה למי שאינו מגן. מודלים מכווננים לסייבר הם, למעשה, ניסיון לפתור את המתח הזה באמצעות צמצום מי רשאי לשאול במקום צמצום מה ניתן להשיב עליו — וזהו תכנון קוהרנטי וקשה לאכיפה בשכבת המודל, שכן האכיפה היא תהליך אימות ולא שינוי משקלים.

היכן שהיכולת למעשה נטענת

היתרונות הנטענים של מודלים מכווננים לסייבר הם ספציפיים וניתנים לבדיקה, וזה מרענן בתחום שבדרך כלל מתווכח באמצעות שמות תואר. אלה החוזרים על עצמם הם קליטה בהקשר ארוך של מאגר קוד שלם או של עקבות ביקורת במעבר אחד, פלט מובנה לשימוש בצינור עיבוד, וקריאה לכלים או לפונקציות יציבה מספיק כדי להשתלב בתהליך עבודה אוטומטי. אלו טענות הנדסיות לא פחות מאשר טענות מודל, וניתן לבחון אותן מול הקורפוס שלכם בתוך אחר צהריים.

צד ההערכה פיתח מוסדות משל עצמו. Wiz Research מפעילה את Cyber Model Arena, שמעריכה סוכני AI המורכבים ממודל בסיס בתוספת רתמה סטנדרטית במשימות סייבר מהעולם האמיתי, ומדווחת על איכות המודל מול יעילות — שיעור הצלחה מוצג כנגד עלות, זמן או מספר צעדים לפתרון על פני k ניסיונות בלתי תלויים. כדאי לאמץ את המסגור הזה בשלמותו, כי הוא לוכד את מה ששיעור הצלחה גולמי מסתיר: שני סוכנים יכולים להשיג אותו שיעור הצלחה בעלות שונה מאוד לפתרון, והיקר לעתים קרובות הוא זה שהוציא את התקציב שלו על ניסיונות חוזרים.

שימו לב למה שהמבנה הזה מרמז. זהו בנצ'מרק של סוכנים, לא של מודלים — מודל בסיס בתוספת הארנס — וזו בדיוק העמימות שיש לקטגוריה. הזירה כן ישרה בעניין כשהיא נוקבת בשם ההארנס בהגדרה. רוב פוסטי ההשקה לא.

שער הגישה, ומדוע הוא הגבול האמיתי של הקטגוריה

{{1}}אם בוחנים כיצד מודלים מכווננים לסייבר נמסרים בפועל{{/1}}, {{2}}שער האימות הוא מכריע יותר מכל מספר בנצ'מרק{{/2}}, {{3}}מכיוון שהוא קובע מי יכול להריץ את ההערכה בכלל{{/3}}. {{4}}הדפוס עקבי{{/4}}: {{5}}שלב אימות עסקי{{/5}}, {{6}}תנאים שמגבילים את השימוש לעבודת אבטחה מורשית{{/6}}, ו{{7}}מדיניות שימוש מקובל שלפיה הגישה נרשמת ביומן{{/7}}.

בתבנית הזו יש שני פרטי עיצוב שכדאי לאמץ, גם אם לעולם לא תרכשו מודל סייבר. הראשון הוא אימות עסקי במקום הצהרה עצמית, מכיוון שתיבת סימון אינה מנגנון אחריות. השני הוא הצבה משותפת של השער עם בקרות זמן הריצה — אותו שער שמחזיק את המודל מחזיק גם את חומת האש, את מעקות הבטיחות ואת הרישום ביומן, כך שההרשאה והאכיפה נמצאות במקום אחד. שער אימות שיושב במערכת שונה מזו של התעבורה הוא שער שאי אפשר לבצע עליו ביקורת.

שכבת הסייבר שלנו עצמה פועלת לפי אותה צורה: מודלים לעבודה התקפית, בקרות שער לעבודה הגנתית, ואימות לפני שניהם. זו גם התשובה הכנה לשאלה "האם אני יכול פשוט לפנות למודל הזה" — בשכבה ההתקפית, התשובה היא שגישה היא החלטה שמישהו מקבל לגביך, לא שדה בבקשת API.

אילו מודלי סייבר קיימים, ואיך להבדיל ביניהם

האוכלוסייה קטנה מספיק כדי להחזיק אותה בראש, והיא מתחלקת לפי שלוש הקטגוריות שלעיל ולא לפי ספק.

• מודלים שעברו כיוונון סייבר אמיתי. אומנו על נתונים עתירי אבטחה, בדרך כלל מדווחים ב-CyberGym או CyberSecEval, עם הבדל מדיד במשימות קריאת קריסות וכתיבת תיקונים. חלקם במשקלים פתוחים, מה שמאפשר הערכה מקומית; חלקם זמינים רק דרך API ובכפוף לאימות.

• גנרליסטים עם התנהגות אבטחה חזקה. מודלי חזית שבמקרה טובים בעבודה בלי שאומנו לכך. לעתים קרובות הבחירה הנכונה עבור מגנים, מפני שאותו מודל עושה גם את שאר העבודה.

• מוצרי סוכן. מודל בתוספת לולאה ייעודית לאבטחה — ארגז חול, פאזר, מתכנן — הנמכרים כמערכת. שפטו אותם לפי עלות לכל פתרון ולפי מה שהלולאה עושה כשהיא נכשלת, ולא לפי בנצ'מרק של מודל.

• גרסאות עם גישה מוגבלת של האמור לעיל. אותם מודלים, גישה מוגבלת. השער משנה מי רשאי להשתמש בהם, לא מה הם יכולים לעשות.

ההשוואה שבאמת חשובה לצוות אבטחה היא לעיתים רחוקות מודל מול מודל. היא האם העבודה שאתם צריכים שתיעשה היא תלוית-ידע או תלוית-לולאה. קריאת דוח ביקורת והסקה לגבי שרשרת ניצול הן תלויות-ידע ומעדיפות מודל מכוונן. הרצת פאזר במשך שש שעות ומיון הקריסות היא תלוית-לולאה ומעדיפה הנדסה טובה. רוב התוכניות האמיתיות זקוקות לשתיהן, ולכן שאלת הרכש המועילה היא "לאיזו משתי העבודות הללו אני קונה" ולא "איזה מודל משיג ציון גבוה יותר".

מה לשאול לפני שמאמצים אחד

חמש שאלות מבדילות בין החלטה על קטגוריה לבין החלטה שיווקית.

• מה השתנה — משקלים, לופ או גישה? הספק אמור להיות מסוגל לענות במשפט אחד. אם התשובה היא "הלופ", הערך את המוצר כמוצר.

• איזה בנצ'מרק, מי הריץ אותו, ובאיזה הרנס? מספר של CyberGym בלי ההרנס הוא מספר על תצורה שאי אפשר לשחזר.

• מהי העלות לכל פתרון, ולא שיעור המעבר? המסגור של Wiz הוא הנכון; שני סוכנים עם אותו שיעור הצלחה אינם אותה רכישה.

• מה עושה השער כשאני נכשל בו? כל פריסה שתלויה בגישה מאומתת צריכה לומר לך מה קורה במקרה של שלילי כוזב, כי המהנדסים שלך עצמם יהיו השליליים הכוזבים.

• מה הוא לא יכול לעשות? הווריאנטים שנועדו להגנה בלבד מתעדים את מגבלותיהם, והתיעוד הזה הוא תכונה — מודל שאינו ניתן להסבה להתקפה הוא אובייקט סיכון שונה ממודל שניתן.

הקטגוריה אמיתית, הפערים ביכולות אמיתיים, ורוב הבלבול נובע משלושה מוצרים שונים שחולקים שם. ברגע שמפרידים בין המשקולות ללולאה ולדלת, טבלאות ההשוואה מפסיקות להיות סותרות ומתחילות לעסוק בדברים שונים — וזה התנאי היחיד שבו צוות אבטחה יכול לקבל החלטה בעזרתן.