Kimi K3.1 Pro קיצץ את יכולת הסייב של עצמו ב-9.5 נקודות. שתי המעבדות האחרות בחרו אחרת.

Moonshot עשתה ב-24 באוקטובר משהו שמעבדות בדרך כלל לא עושות: היא שחררה דגם חלש יותר מזה שיכלה לשחרר, ופרסמה את העלות המדויקת. ב-xdev-bench-hard ב-pass@3, נקודת ביקורת שאומנה בלי אמצעי החברה לצמצום סיכוני סייבר משיגה 90.5%. Kimi K3.1 Pro, הדגם שאפשר לפנות אליו, משיג 81.0%. הפער של 9.5 נקודות הוא המחיר של הסרת נתונים הקשורים לסייבר מאימון הביניים ומלמידת חיזוק, וזו ההצהרה הבהירה ביותר שאחת משלוש מעבדות החזית הציגה השנה באשר למה שהיא מוכנה להקריב תמורת יכולת.

לכל מעבדה מרכזית יש כיום מדיניות סייבר. הן נבדלות במנגנון ולא בכוונה, והמנגנון קובע מה באמת מקבלים כשקוראים ל-API. Moonshot מחסירה את היכולת מהמשקולות. Anthropic מפנה את הבקשה למודל אחר. OpenAI מגבילה גישה באמצעות דירוג סיכון. עבור צוות אבטחה — או כל מי שעבודתו באה במגע עם כלי תקיפה — שלוש הגישות מפיקות שלושה סוגים שונים של הפתעות.

מה Moonshot הסירה, ומה היא השאירה

חומר ההשקה ספציפי באופן יוצא דופן. נתונים הקשורים לסייבר הוסרו הן משלב האימון האמצעי והן משלב למידת החיזוק, בעוד שמשימות קידוד כלליות נשמרו. העיקרון המוצהר של החברה הוא שלא לשחרר משקלים פתוחים שירחיבו את החזית המוחלטת של יכולת הסייבר, והיא מתארת את היכולת ההתקפית של המודל שסופק כ"באופן מכוון, נמוכה ממה שהצינור שלנו מסוגל להפיק" ומאחורי מה שמודלים קנייניים בחזית הציעו בפומבי כבר לפחות שלושה חודשים.

שני פרטים במדיניות הזו חשובים יותר מהמספר הכותרתי.

הראשון הוא שהצמצום יחסי לפייפליין של Moonshot עצמה, ולא לשוק. מודל שמוגבל ל-81.0% עדיין מקבל ציון גבוה מ-33.3% של Kimi K3 בפער ניכר, ומעל 57.1% של GLM-5.3 באותו מבחן. התקרה מורידה מודל חזית, לא מוציאה אותו מהקטגוריה.

הנקודה השנייה היא ש-Moonshot מצהירה כי "תעלה בהדרגה" את יכולת הסייבר הזמינה במשקלים פתוחים. זהו לוח זמנים, לא קו קבוע: הערכות שמניחות את תקרת היום עשויות שלא להחזיק בגרסה הבאה, ועותק המתארח בעצמו יורש את התקרה שהייתה קיימת במועד שחרורו.

מה שהבנצ'מרק למעשה דורש

התיעוד של Moonshot מתאר את ההערכה בפירוט מספיק כדי לשפוט אותה. xdev-bench-hard נבנה מפרצות שנחשפו לאחרונה בתוכנה הכוללת את ליבת Linux, ‏Node.js, ‏JavaScriptCore, ‏Exim ו-VirGL, עם מיטיגציות מופעלות. כל משימה מספקת את קוד המקור הפגיע, רמז קצר לבאג והקובץ הבינארי המהודר; על הסוכן לפתח ניצול, להשיג הרצת קוד שרירותית בסנדבוקס נפרד, ולאחזר מחרוזת סודית כדי שניתן יהיה לאמת את התוצאה אוטומטית. הניקוד הוא pass@3 על תת-קבוצה אקראית, ללא פסקי זמן קשיחים וללא מגבלות טוקנים בפלט.

זהו מבחן תובעני וצר: הוא בודק אם מודל מסוגל להפוך קובץ בינארי שידוע כפגיע לאקספלויט עובד, ולא אם הוא מסוגל לכתוב סורק או למיין התראה. לכן הפער של 9.5 נקודות בין נקודת הביקורת ללא מיטיגציה לבין המודל שהופץ הוא מדידה אמיתית של הבדל יכולת אמיתי — ותזכורת לכך שהמספר אומר מעט על העבודה ההגנתית שרוב הצוותיםactually עושים עם המודל.

החלופה של Anthropic: לשמור על היכולת, לשנות את התשובה

הגישה של Anthropic ל-Claude Opus 5.5 היא ניתוב בצד השרת. התיעוד שלה אומר שרוב המשימות הקשורות לסייבר עשויות להיות מנותבות מחדש ל-Claude Opus 4.8, ועבודה בביולוגיה ובפיתוח מודלי חזית עשויה לעבור ל-Claude Opus 5. הקורא לא מקבל שגיאה; התגובה פשוט מגיעה ממודל אחר. השכבה בעלת היכולת הגבוהה ביותר, Claude Mythos 5.1, זמינה רק לארגונים שאומתו באמצעות תוכניות כגון Cyber Verification Program.

הפשרה היא ההיפך מזו של Moonshot. יכולת החזית קיימת ומוגשת — ללקוחות מאומתים, תחת מזהה מודל אחר — בעוד שקוראים לא מאומתים מקבלים בשקט תשובה של מודל ישן יותר. עבור צוות אבטחה בתוך ארגון מאומת, זו האפשרות החזקה ביותר מבין השלוש. עבור כל מי שנמצא מחוץ לארגון כזה, זהו מודל שמשיב בשקט משהו אחר בדיוק במשימות שבהן הם רצו ביותר את יכולת החזית.

הגישה של OpenAI: להחליט לפני ההשקה

GPT-6 Astra היה המודל הראשון של OpenAI שדורג כ"קריטי" במסגרת ה-Preparedness Framework של החברה, משום שהוא מסוגל לאתר באופן עצמאי פרצות אבטחה חדשות. ההשקה בוצעה בשלבים — תחילה שותפים בגישה מוקדמת, לאחר מכן מסלולי מנויים, ולבסוף ה-API — והיכולות בעלות הסיכון הגבוה ביותר מוגבלות לפי דירוג ולא באמצעות סינון פרומפטים. הגישה נקבעת ברמת החשבון, לפני שנשלחת בקשה כלשהי.

זה נקי יותר מניתוב מחדש שקט ואיטי יותר מכל אחת מהחלופות. זה גם אומר שהתשובה לשאלה "האם אני יכול להשתמש במודל הזה בעבודת האבטחה שלי" ניתנת לידיעה מראש, וזה שווה משהו לקונה שצריך לכתוב מסמך רכש.

מה שלוש האסטרטגיות עושות להערכה

אם תערוך בנצ'מרק למודלים במשימות אבטחה, המנגנונים מעוותים את המדידה באופן שונה, והעיוותים אינם מקזזים זה את זה.

• התקרה של Moonshot נמצאת בתוך המשקולות. הרצת בנצ'מרק על ה-API והרצת בנצ'מרק על עותק באחסון עצמי אמורות להסכים, ושתיהן מודדות מודל שגרוע בכוונה בקטגוריה. המספר כן ובר-שחזור.

• הניתוב של Anthropic נמצא בתוך מחסנית ההגשה (serving stack). אותה בקשה יכולה להניב איכות שונה בהתאם לשאלה אם היא מפעילה safeguard, ונתוני הבנצ'מרק המפורסמים של הספק עשויים שלא לשקף את הניתוב שהחשבון שלכם מקבל. הסיקור שלנו עצמו של טבלת הבנצ'מרק של Opus 5.5 סימן את אותה בעיה מן הכיוון ההפוך: הנתון העצמאי של Artificial Analysis עבור Terminal-Bench עמד על 59.6% לעומת 66.4% של Anthropic, בקונפיגורציה שכוללת ניתוב safeguard בצד השרת.

• חסימת הגישה של OpenAI נמצאת מחוץ למודל. ברגע שיש לך גישה, המודל מתנהג כפי שנמדד בבנצ'מרק; אם אין לך גישה, אינך יכול להריץ את ההשוואה כלל.

מה שצוות אבטחה צריך להפיק מזה

שלוש מסקנות מעשיות, לפי סדר הוודאות.

ראשית, "יכולת סייבר" אינה עוד תכונה שאפשר לקרוא מכרטיס מודל. היא פונקציה של המשקלים שאתה מקבל, הניתוב שהחשבון שלך מפעיל ותוכנית האימות שאתה שייך אליה. כל הערכה שלא מפרטת את שלושת אלה מודדת משהו אחר.

שנית, אם העבודה שלך הגנתית — מיון, ניסוח טלאים, הנדסת זיהוי — מגבלת היכולת עולה פחות ממה שזה נשמע. 9.5 הנקודות מרוכזות בהתנהגות עוינת וסמוכה לניצול; היכולות הכלליות של המודל בקידוד ובשימוש בכלים, שזה מה שעבודה הגנתית צריכה בעיקר, הן מה שריצת הפוסט-אימון הושקעה בשיפורו. Moonshot מדווחת ש-Kimi Code Bench 3.0 long-horizon עלה מ-55.95% ל-61.2% לאורך אותה מהדורה.

שלישית, התקרות זזות. Moonshot הצהירה שתעלה את התקרה שלה; תוכניות האימות של Anthropic מתרחבות; הדירוגים של OpenAI משתנים בין מודלים. מדיניות שהנחתה החלטת פריסה באוקטובר עשויה להיות שגויה עד ינואר, וזה טיעון לקרוא מחדש את תיעוד הגישה בכל שדרוג מודל במקום להתייחס אליו כשער חד-פעמי.

ניתן לקרוא ל-Kimi K3.1 Pro דרך OrcaRouter במחיר של $2.00 למיליון טוקני קלט ו-$10.00 למיליון טוקני פלט, עם אותו מצב סופי כמו בכל מקום אחר: התקרה נמצאת במשקולות, לא במה שספק מסוים עושה עם הבקשה שלך. אם עומס העבודה שלך תלוי בידיעה איזה מודל למעשה ענה, זו תכונה. אם הוא תלוי בתקרת היכולת ההתקפית של המודל המוביל, שום API בשוק לא ייתן לך אותה בלי תוכנית אימות.