בנצ'מרק CyberGym מוסבר: מה ציון ה-E2E באמת מודד

ציון CyberGym המופץ ביותר — המספר בפוסט ההשקה, זה שמשווים בינו לבין מודלים — הוא שיעור הצלחה במשימות על פני 131 משימות מסוננות, כאשר הצלחה פירושה שסוכן הפיק קלט הוכחת-היתכנות שקורס בנייה לא-מעודכנת של C/C++, כתב טלאי שעוצר את הקריסה הזו, ולא שבר את בדיקות המפתחים של הפרויקט. בקומפילציה של BenchLM, MiMo-V2.6-Flash מוביל עם 95.1% ו-MiMo-V2.6-Pro עם 94.0%, כאשר DeepSeek-V4.1-Flash מפגר בכמה נקודות, בשנות ה-80 הגבוהות. כמעט אף אחד שמצטט את הטבלה הזו לא מזכיר שלושה דברים שקובעים אם המספרים ברי-השוואה: הבנצ'מרק קיים ביותר מיישום אחד, רוב השורות הן דיווחים עצמיים של הספקים ולא הרצות עצמאיות, והשלב המעניין ביותר נרשם אך אינו נספר. זהו אותו סטנדרט ייחוס שארכיון התקריות של ה-AI מיישם על הרשומות של עצמו — טענה בלי מקור אינה תוצאה — וקורפוס CyberGym נכשל בו לעתים קרובות יותר משהמוניטין שלו מרמז.

זהו מדריך למה שהבנצ'מרק דורש מסוכן לבצע, כיצד נבנה מערך המשימות, היכן המימושים שונים זה מזה, ומה מגן צריך ולא צריך להסיק מציון גבוה.

המשימה: למצוא, לשחזר, לתקן — בלי לשבור שום דבר

CyberGym מגיע ממרכז ברקלי לאינטליגנציה אחראית ומבוזרת, והנחת היסוד שלו היא צרה במכוון. כל משימה מתמקדת בפגיעות בטיחות זיכרון בפרויקט קוד פתוח ב־C/C++ בשימוש נרחב. על הסוכן לאתר את הבאג, לכתוב קלט הוכחת היתכנות שמפעיל קריסת סניטייזר, ואז לתקן את הקוד כך שהקריסה לא תשחזר עוד — בעוד שהבדיקות של הפרויקט עצמו ממשיכות לעבור. הרצף הזה הוא כל העניין. בנצ'מרק ששאל רק "מצא את הבאג" היה מתגמל זיהוי דפוסים; דרישה לקלט קריסה עובד ותיקון שאינו שובר מאלצת את הסוכן לסגור את המעגל מחשד לפגם מוכח לתיקון.

RDI מארח את הבנצ'מרק בתוך מצפה רחב יותר שעוקב אחר יכולת הסייבר של AI לאורך שלבי תקיפה והגנה, וכדאי לשים לב למסגור: CyberGym הוא מכשיר אחד על ספסל, לצד ExploitGym והגרסה מקצה לקצה. קריאה שלו כלוח דירוג עצמאי מאבדת את ההקשר הזה, וזו אחת הסיבות שהמספרים מתקשים לנדוד.

ארבעה שלבים, שלושה מהם מזכים בנקודות

כלל הניקוד הוא החלק הפחות מדווח בבנצ'מרק, משום ששם ציון שנשמע סביר יכול לסטות ממה שקרה בפועל.

שלב 1 הוא השחזור: האם קלט הוכחת ההיתכנות של הסוכן מקריס את ה-build הלא מתוקן. שלב 2 הוא התיקון: האם השינוי שהוגש עוצר את אותה קריסה ספציפית. שלב 3 הוא רגרסיה: האם בדיקות הפונקציונליות שנכתבו על ידי המפתח עדיין עוברות. שלושת אלה מפיקים את הציון.

שלב 4 שואל אם התיקון מטפל בפגיעות אמת־המידע (ground-truth) בפועל, והוא נרשם כאבחון ולא נספר. אסימטריה זו ראויה לרגע של התייחסות, כי זה ההבדל בין "הסוכן יכול לגרום לקריסה להיעלם" לבין "הסוכן יכול לתקן את הבאג". שתי הטענות מועילות; הן אינן אותה טענה. סוכן שמדכא קריסה על ידי תפיסת האות, הרחבת בדיקת גבולות מעבר לגלישה, או השבתת נתיב הקוד לחלוטין יקבל ניקוד בשלבים 1 עד 3 וייכשל בשלב 4. אם דוח כותב מספר בודד בלי לומר אם שלב 4 נבדק, אי אפשר לדעת איזו משתי הדברים נמדדה — והאבחון קיים בדיוק כדי שתוכל לשאול.

כיצד נבחרו 131 המשימות — ואיך זה משפיע על הציון

מערך הנתונים המקורי גדול יותר מקבוצת הניקוד, והסינון הוא הגורם המשפיע ביותר על יכולת ההשוואה. מערך הנתונים של RDI מכיל 920 פגיעויות ב-139 פרויקטי קוד פתוח, שנאספו מ-OSS-Fuzz של Google. הווריאנט מקצה לקצה המשמש כלי מעקב של צד שלישי מצמצם זאת ל-131 משימות, עם משימה אחת לכל פרויקט, שנבחרו לפי רמת קושי, תוך החרגת משימות עם דליפות אורקל או אילוצי תאימות של ארגז חול.

שלוש השלכות נובעות ישירות. ראשית, משימה אחת לכל פרויקט פירושה שהציון נשלט על ידי רוחב ולא עומק: סוכן שהוא ממוצע לאורך פרויקטים רבים יגבר על אחד שמצוין בשלושה, וזו בחירת עיצוב מוצדקת ומדידה שונה מ"כמה פגיעויות הסוכן הזה יכול לתקן". שנית, החרגת דליפות אורקל מסירה משימות שבהן ניתן לגלות את התשובה מהסביבה ולא להסיק אותה, כך שהקבוצה הנותרת קשה יותר באופן מסוים — היא מסירה קיצורי דרך ולא משימות קלות. שלישית, תקציב של 90 דקות לכל משימה בתוך ארגז חול שנבנה מתמונת OSS-Fuzz של הפרויקט הוא חלק מהגדרת ההצלחה, לא פרט, משום שחלק גדול מעבודת פגיעות אמיתית מוגבל בדיוק על ידי סוג כזה של אילוץ, וסוכנים שתלויים בחקירה בלתי מוגבלת ייכשלו כאן בעודם מצליחים במקומות אחרים.

כל השוואה שמתעלמת מכלל בחירת המשימה משווה בין שני מבחנים שונים שבמקרה חולקים שם.

שני מימושים, ולמה הם לא חייבים להסכים

כאן טמון עיקר הבלבול. CyberGym-E2E קיים כבנצ'מארק RDI וכמימוש שמופעל על ידי מעריך צד שלישי, ואין ערובה לכך ששניהם יפיקו את אותו מספר עבור אותו מודל. התיעוד של המעריך עצמו אומר זאת בפשטות: המימוש שלו משתמש בקבוצה מסוננת של 131 משימות, אחת לכל פרויקט, שנבחרו לפי קושי, והוא מריץ כל משימה בארגז חול מבודד שנבנה מה�イメージ OSS-Fuzz של הפרויקט באמצעות רתימת סוכן משלו עם תקציב של 90 דקות לכל משימה.

המשפט הזה מכיל את שני המשתנים שקובעים את הציון. הרתמה היא הלולאה שהסוכן פועל בתוכה — כיצד הוא קולט את פלט הכלים, כמה צעדים הוא יכול לבצע, וכיצד הוא מתאושש מניסיון כושל. רתמה חזקה יותר עם מודל חלש יותר יכולה לגבור על ההיפך, והרתמה אינה חלק ממשקולות המודל. התקציב מקיים אינטראקציה עם שניהם. לכן נתון של CyberGym נכתב כראוי כ"המודל הזה, ברתמה הזו, במימוש הזה", ונתון שמצוטט בלי המימוש הוא מספר בלי מכנה.

יש אפקט מסדר שני שראוי לציין אותו: מכיוון שה-harness אכן עושה עבודה אמיתית, שיפור בציון CyberGym בין שתי גרסאות של מודל עשוי להיות בחלקו שיפור ב-harness, וספק שמדווח על תוצאות ה-harness של עצמו מדווח למעשה על יכולת מערכת ולא על יכולת מודל. שניהם לגיטימיים; לערבב ביניהם — לא.

קריאת טבלת המעקב ביושר

הטבלה שרוב האנשים נתקלים בה היא לקט משני, והיא מסמנת את מקורותיה — וזה החלק השימושי, אם קוראים את הסימון. מתוך 29 השורות, 7 מגיעות מבעל הבנצ'מרק או מהרצה עצמאית, 21 הן דיווחים עצמיים של ספקים, ואחת היא דוח משני. הלקט מצהיר במפורש שהוא מציג את הטבלה לעיון ואינו מדרג לפיה, ומייעץ לקרוא אותה בזהירות משום שרוב השורות הן דיווחים עצמיים. הערת הרוויה שלה היא השורה השימושית ביותר בעמוד: שלושת המובילים פרוסים על פני כ-70 נקודות בעוד שעשרת המובילים נמצאים בטווח של כ-10, כך שהטבלה עדיין מבדילה בין מודלים — אבל לא בראש הטווח, שבו הסדר דק.

דיווח עצמי של ספק הוא ראיה ניתנת להצגה. הוא אינו מדידה בלתי־תלויה, וההבדל הזה חשוב בבנצ'מרק הזה יותר מאשר ברוב המקרים, מפני שמשתנה ה-harness מעניק לספק מרחב תמרון ניכר לכוונן את המספר שהוא מדווח. כאשר דיווח עצמי והרצה בלתי־תלויה חלוקים, ההרצה הבלתי־תלויה גוברת. כאשר קיים רק דיווח עצמי, הקריאה הישרה היא "לא מאומת, סביר, ללא קו בסיס בר־השוואה".

אותה זהירות חלה גם בכיוון ההפוך ביחס למלכודת שהבנצ׳מרק טומן לקוראים: מודל שאין לו שורה ב-CyberGym לא קיבל ציון אפס. הוא לא נמדד במערך ההרצה הזה, וזו אמירה שונה. התייחסות להיעדר כאל כישלון היא הדרך שבה טבלה מפסיקה להיות מדידה והופכת ללוח דירוג.

מה משמעותו של ציון גבוה עבור מגן — ומה הוא אינו אומר

השאלה שבאמת עומדת בפני צוות אבטחה אינה "איזה מודל נמצא בראש הטבלה" אלא "מה עושה סוכן שמקבל ציון טוב בזה לסיכון שלי". הבנצ'מרק עונה על שאלה צרה יותר מזו שנשאלת, וכדאי לתת שם לפער.

זה אכן אומר שהסוכן יכול, בתוך 90 דקות ובתוך בנייה ידועה, לאתר באג בטיחות זיכרון בקוד קוד-פתוח אמיתי, להפיק קלט קריסה מתפקד, ולכתוב שינוי שעוצר את הקריסה בלי לשבור בדיקות. זו יכולת אמיתית, היא רלוונטית ישירות לעבודת מיון ותיקון, וזה מסוג המשימות שבהן סוכן מוכשר מקצר משמעותית את התור של האנליסט.

זה לא אומר שהסוכן מבין את בסיס הקוד שלך, את מודל האיומים שלך, או את הפריסה שלך. המשימות נלקחות מיעדי OSS-Fuzz ציבוריים עם פגיעות אמת-יסוד ידועה וחבילת בדיקות שאומרת לסוכן אם הוא סיים. לקוד ייצור אין אורקל כזה. זה גם לא אומר שהסוכן ימצא את הבאג ולא באג כלשהו: שלב 4 קיים כי אלה מתפצלים, ושלב 4 לא נספר.

וזה לא עובר לצד ההתקפי, ששם אותה יכולת נתפסת אחרת. סוכן שמסוגל לאתר ולשחזר פגם בבטיחות זיכרון יכול לעשות זאת בקוד שלא ניתנה לו הרשאה לבדוק, וזו הסיבה שיכולת בסדר גודל כזה היא בדיוק מה שמניע בקרת גישה ברמת המודל ולא כתב ויתור בהנחיית מערכת.

מה לשאול לפני שסומכים על מספר של CyberGym

חמש שאלות, שאפשר להשיב עליהן מדוח כתוב היטב ובדרך כלל לא ניתן להשיב עליהן מפוסט השקה.

• איזה מימוש? הבנצ'מרק של RDI, או וריאנט מסונן של מעריך צד שלישי. אם הדוח לא מציין, המספר אינו ניתן להשוואה לשום דבר.

• של מי ההרצה? הערכה עצמאית או דיווח עצמי של הספק. טבלת האוסף מסמנת זאת בכל שורה; רוב חומרי השיווק לא.

• איזו רתמה, ואיזה תקציב? אם הרתמה היא של הספק ואינה מתוארת, התייחס לתוצאה כאל טענה ברמת המערכת לגבי תצורת מוצר ספציפית.

• האם שלב 4 התייעץ? שיעור מדווח שלצידו האבחון מספר לך אם התיקונים תיקנו את הבאג או רק השתיקו את הקריסה.

• איזו קבוצת משימות? 131 משימות, אחת לכל פרויקט, שנבחרו לפי קושי הן הקבוצה הנפוצה; סינון אחר הוא מבחן אחר.

Cybergym הוא בנצ'מרק בנוי היטב למשימה קשה ואמיתית, והבנייה שלו מעניינת יותר מלוח התוצאות שלו. השלבים מספרים לך מה סוכן היה צריך לעשות; הסינון מספר לך של מה הציון הוא ציון; ההרנס מספר לך למי מגיע הקרדיט. מספר שמגיע עם שלושת אלה מצורפים הוא באמת שימושי. מספר שמגיע לבדו הוא הודעה לעיתונות עם סימן אחוזים.