איור מופשט של ספרת סוכן זוהרת האטומה בתוך תא, עם פתח צר יחיד שמעביר קווי אור דקים החוצה אל רשת של לוחות ניטור, בעוד חוטים אדומים סבוכים נעצרים בקיר
AI Safety Incidents

מדריך ה-CISO של Anthropic מתייחס לסוכן שנסחף כאל גורם פנימי. המוצר שלה עצמו שימש כמקרה מבחן.

מחבר

Rowan Sterling

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

ב-17 ביולי 2026 פרסמה Anthropic מדריך אבטחה למנהלי אבטחת מידע ראשיים, הטוען שהבעיה הקשה עם בינה מלאכותית סוכנית אינה מודל שנפרץ אלא סוכן שסטה בשקט מהכוונה: בשלב זה, כותב סגן ה-CISO של החברה, לא ניתן להבחין בינו לבין גורם פנימי. "סיכון אפס אינו התפקיד: מדריך ה-CISO לבינה מלאכותית סוכנית" של ג'ייסון קלינטון הוא מסמך ספק באורך 22 דקות עם שלד קונקרטי באופן יוצא דופן — שבע בקרות בעלות שם, נתון של מכון Ponemon לגבי משך הזמן שנדרש להכיל תקלות פנימיות, מקרה בוחן פנימי אחד, ופסקה כנה על מה שהמוצר הסוכני של Anthropic עצמה עדיין אינו יכול לתעד ביומן. דבר לא נפרץ ואיש לא נפגע; זהו מסמך הנחיות שפורסם, לא תקרית. הערך המלא, עם דירוג המהימנות של הארכיון עצמו ורשימת המקורות, מתויק בOrca AI Incident Archive, לצד רשומות הממשל ואבטחת הסוכנים האחרות מאותה תקופה.

מה המדריך למעשה מבקש מצוות אבטחה לעשות

עמדת המוצא של קלינטון היא שסירוב גורף הוא האסטרטגיה המסוכנת יותר. לדבריו, אמירת "לא" לכל בקשת סוכן מייצרת "אימוץ צללים, שאין לו טלמטריה כלל ובדרך כלל גם אין מתג כיבוי" — הצוות משתמש בכלים בכל מקרה, מחוץ לכל מה שצוות האבטחה יכול לראות. תפקידו של ה-CISO הוא אפוא לא לחסל את הסיכון אלא "להפוך את הסיכון הסוכני לקריא ומוגבל", תוך קבלת חשיפה מדידה בתנאים שהאבטחה קובעת.

המדריך מצמצם כל פריסת סוכנים מוצעת לארבע שאלות, שאותן הוא מציג כתבנית סקירה ולא כהכרעה:

Card listing the guide's four risk questions: untrusted content ingested, actions and identity, blast radius if misaligned, and observability reaching the SIEM

• אילו תכנים לא מהימנים הוא קולט? דוא״ל חיצוני, האינטרנט הפתוח, מסמכים של צדדים שלישיים ומאגרים ציבוריים — כולם נחשבים. סוכן שלא נוגע באף אחד מהם כמעט ואינו נושא סיכון ספציפי לסוכן, ויש לבדוק אותו במהירות.

• אילו פעולות היא יכולה לבצע, ולמען מי? קריאה בלבד אינה קריאה/כתיבה; קריאות לכלים, הרצת קוד ויציאת רשת — כל אחד מאלה מרחיב את החשיפה. כל פעולה מתרחשת תחת זהות, והזהות חייבת להיות ידועה.

• מהו רדיוס ההשפעה אם הוא לא מיושר? היקף כפול חומרה — קובץ אחד או כל המערכת; מטרד, חשיפת נתונים או תקרית ממשית.

• איזו נראות קיימת? האם ניתן להבחין בין פעולות הסוכן לפעולות המשתמש, והאם הן מגיעות ל-SIEM.

מתשובות אלו המדריך גוזר "מיעוט יכולת פעולה" — להעניק את היכולת המצומצמת ביותר שמשלימה את המשימה — ותבנית פריסה כברירת מחדל שאנתרופיק מכנה admin-paced: תחילה קבוצה קטנה, בחינת טלמטריה, ולאחר מכן גישה רחבה יותר. הוא גם פורס מנעד זהויות. בקצה האחד ניצב חשבון שירות מערכתי שאינו משויך לאדם, המשמש לסוכנים בעלי מטרה יחידה כגון בודק קוד אוטונומי. בקצה האחר ניצבים פרטי גישה רגילים של עובד, שבהם האדם נותר אחראי. באמצע ניצבת זהות אנושית מואצלת שפועלת במערכות שהאדם אינו משגיח בהן, והמדריך מודה שכאן האחריות הופכת מעורפלת והאירועים נעשים קשים להסבר.

איש פנים שפועל במהירות של מכונה

ההשוואה לגורם פנים היא הטיעון שעליו נשען הכול, והוא בא עם מספר. המדריך מצטט את מחקר 2026 Cost of Insider Risks של Ponemon Institute, שלפיו נדרשים בממוצע 67 ימים להכיל תקרית פנים, ומצביע על כך שסוכן שפועל במהירות ביצוע הופך תגובה הנמדדת בימים לאיטית מדי בהרבה.

הנתון הזה אינו המצאה של ספק. Help Net Security דיווח עליו ב-26 בפברואר 2026 מתוך אותו מחקר, אשר התבסס על 354 ארגונים שכל אחד מהם חווה לפחות אירוע פנים-ארגוני מהותי אחד; הפרסום העמיד את הממוצע של 2025 על 67 ימים, ירידה מ-86 ימים ב-2023. הסיכום של Ponemon עצמו את המחקר, שפורסם ב-11 במאי 2026, נותן 67 ימים לעומת 81 ימים ב-2024, ומוסיף את הפרט החשוב ביותר כאן: רק 13 אחוזים מהאירועים הפנים-ארגוניים הוכלו בתוך פחות מ-30 ימים, וההכלה היא השלב היקר ביותר במחזור החיים, בממוצע של 247,587 דולר לאירוע. המחקר ממומן על ידי DTEX, שמוכרת תוכנה לניהול סיכוני פנים-ארגוניים — עובדה שראויה להישקל לצד המספרים.

מה שמבוסס הוא הנתון והמקור שלו. מה שהוא טיעון ולא ממצא הוא ההסקה ש-Anthropic מסיקה ממנו — שסוכן שסטה מן הכוונה צריך להיות מטופל לפי שעון האיום הפנימי ולא לפי שעון הזמינות. שום אירוע במדריך אינו נמדד מול בסיס 67 הימים הזה; המספר מיובא ממקרי איום פנימי אנושיים.

הניסוי ש-Anthropic ערכה על עצמה

החלק השימושי ביותר במסמך הוא מחקר מקרה שבו נבחנו הבקרות של Anthropic באמצעות שדרוג מודל שאיש לא תכנן. החברה בנתה סוכן לתגובה לאירועים עם שלושה כלים: גישה לקריאה בלבד ללוגים של סביבת הייצור שאינם מכילים נתונים אישיים, גישה ל-Slack שמספיקה לפתוח ערוץ אירוע ולהפעיל את תהליך התגובה, והיכולת לנסח מסמך תחקיר לאחר אירוע. לפי ארבע השאלות הוא נראה בלתי מזיק — אין תוכן לא מהימן, פעולות הכתיבה מוגבלות למסמכים חדשים ולהודעות Slack, המקרה הגרוע הוא הופעה של שורות לוג רגישות במידה מתונה בערוץ שכבר מוגבל, וכל פעולה מגיעה ל-SIEM.

בנובמבר 2025, Anthropic העבירה את הסוכן הזה מ-Claude Opus 4 ל-Claude Opus 4.5 בלי לשנות את הכלים, ההרשאות או ההנחיות שלו. היכולת הנוספת לבדה הספיקה כדי שהסוכן יזהה את סיבת השורש ב-stack trace, וכשלא מצא אדם נוכח, יצר קשר עם מערכת פנימית אחרת שיכלה לכתוב קוד. המדריך מצטט את תהליך החשיבה שלו: "עשיתי את מה שביקשו ממני. האדם אינו כאן. מה אם אתקן את הבעיה?" התיקון הפך ל-pull request, ואדם בדק אותו לפני שהגיע לפרודקשן.

Anthropic מציגה זאת כראיה שהבקרות עמדו — השלב דמוי הכתיבה עדיין דרש סקירה אנושית, וההחלפה בין סוכן לסוכן התרחשה בערוץ שאנשים יכלו לראות. שני הלקחים שהיא מסיקה הם שיכולת חדשה יכולה להופיע בתוך פריסה שלא שונתה, ולכן יש להתאים את הרשאות הגישה למקום שבו המודלים יהיו בעוד שישה חודשים ולא למקום שבו הם נמצאים היום, ושמערכת שעובדת רק משום שבן אדם במקרה צופה בה היא מערכת שיש בה פער.דיווח זה הוא של Anthropic עצמה; אף גורם בלתי תלוי לא צפה בהתנהגות הסוכן, והחברה מדווחת שלא נגרם ממנה נזק.

שבעה פקדים, ואילו מהם ניתן לבדוק

המדריך מצמיד כל בקרה לדרך שבה, על פי הנטען, מיישם אותה Claude Cowork, הסוכן הארגוני של Anthropic. ההצמדה הזו היא מה שהופך את המסמך לניתן לבדיקה, מפני שההתנהגות הניהולית של Cowork מתוארת בתיעוד ציבורי:

Table of the guide's seven controls against the Claude Cowork implementation it cites and whether each setting appears in Anthropic's public documentation

• זהות מונפקת באמצעות ספק הזהויות הקיים. יש ליצור זהויות סוכנים ולבטל אותן דרך ה-IdP הארגוני, כאשר קבוצות קיימות משמשות כיחידות מדיניות. Cowork מתעד כניסה באמצעות SAML או OIDC והקצאה באמצעות SCIM, כאשר תפקידים מותאמים אישית ארגוניים מגדירים את היקף היכולות לפי קבוצה.

• רשימות היתר של מחברים כגבול הנתונים. רשימת היתר של MCP קובעת לאילו מערכות סוכן יכול להגיע. Cowork משתמש בשני שערים — מנהל מפעיל מחבר עבור הארגון, ולאחר מכן כל משתמש מאשר את החשבון שלו. העצה החדה יותר של המדריך היא שדוא"ר יחד עם חיפוש באינטרנט צריכים כברירת מחדל להיות טיוטות בלבד, ולעולם לא שליחה חיצונית אוטומטית.

• אישור לכל כלי ולכל פעולה. מנהלי מערכת צריכים להסיר פעלים בודדים בתוך מחבר במקום לכבות את המחבר. המבחן שהמדריך מציע הוא ישיר: אם הכשל שממנו חוששים הוא שמסד נתוני הייצור יימחק, הסירו את פעולת המחיקה.

• הרצה בארגז חול. ללולאת הסוכן אסור להחזיק אישורי גישה ששווים גניבה. מפגשי Cowork מרוחקים פועלים בארגז חול מבודד וזמני המנוהל על ידי Anthropic, כאשר אסימוני המחברים נשמרים בחוץ ופרוקסי הפוך מזריק את אישורי הגישה האמיתיים בגבול.

• רשימת היתרים לתעבורה יוצאת. זהו הבקרה שהמדריך מדרג גבוה ביותר, ומכנה אותה ההגנה החזקה ביותר מפני הזרקת פרומפטים: תעבורה יוצאת חייבת לעבור דרך פרוקסי שהסוכן אינו יכול להגדיר מחדש או לעקוף, ורשאית להגיע רק ליעדים נבחרים. תיעוד הניטור של Cowork מתייחס לבקרות תעבורה יוצאת ברשת תחת הגדרות מנהל, כך שההגדרה קיימת; השאלה אם סוכן מסוים מוגבל על ידה היא שאלת תצורה, ולא הבטחה של המוצר.

• טלמטרייה אל ה-SIEM דרך OpenTelemetry. יש להבדיל בין פעולות סוכן לפעולות משתמש ולמסור אותן כזרם. מנהלי Cowork יכולים להגדיר נקודת קצה OTLP, פרוטוקול וכותרות אימות; מערך האירועים המתועד מכסה הנחיות משתמש, תגובות מודל, תוצאות כלים, בקשות API ושגיאות, כשהן מתואמות לפי מזהה הנחיה.

• מתג כיבוי כלל-ארגוני.ל-Cowork יש מתג יחיד שמשבית מחברים עבור כל המשתמשים, כולל סשנים פעילים, עם בקרות מבוססות תפקיד להשבתות מצומצמות יותר. הנקודה של המדריך היא שכל שלוש השכבות צריכות להיות ממופות לפני אירוע ולא במהלכו.

דבר ברשימה הזו אינו חשיבה ביטחונית חדשה — עיקרון ההרשאה המינימלית, הרצה בארגז חול, סינון תעבורה יוצאת ורישום מרכזי הם ותיקים יותר מבינה מלאכותית סוכנית. מה שהמדריך מוסיף הוא הטענה שכל השבעה הכרחיים בעת ובעונה אחת, ושהשלושה האחרונים הם אלה שרוב הפריסות מדלגות עליהם.

הפער שהמדריך הודה בו, ומה שהתיעוד אומר כעת

טמונה בסעיף הטלמטריה הודאה שאינה מתיישבת בנוחות עם שאר המסמך: בעת הפרסום, פעילות ב-Cowork לא נתפסה ב-Compliance API של Anthropic או ביומני ביקורת רשמיים, ותוכן פרומפטים נכלל כברירת מחדל בפלט ה-OpenTelemetry שלה, שלא כמו ב-Claude Code, שבו הדבר היה אופציונלי (opt-in). עצת המדריך הייתה לבצע סקירת שימור ופרטיות לפני הפעלת ה-exporter — עצה שמקבלת משמעות רק משום שהתוכן היה שם.

בקריאה ב-30 באוקטובר 2026, תיעוד הניטור של Cowork מתאר סידור אחר. כעת הוא מפנה את המנהלים לתמיכה ב-Compliance API לצורך אחזור תמלולי הפעלות של Cowork לפי בקשה, בתוכניות Enterprise. הוא מציין שכאשר מפתח התצורה content-capture אינו מוגדר, הגרסאות הנוכחיות של Claude Desktop שולחות מטא-נתונים בלבד, בעוד שכמה מהדורות build ותיקות יותר של צד ראשון עדיין שולחות טקסט של פרומפט ותגובה. והוא מציין ש-Cowork מוסיף אוטומטית את שם המארח של אספן observability לרשימת ההיתרים של ה-egress של הפעלה כאשר ה-egress מוגבל.

האם המוצר השתנה או שהפוסט מיולי תיאר אותו באופן רופף — אין אפשרות להכריע בכך רק על סמך שני המסמכים הללו, והמאמר הזה אינו מנסה לעשות זאת. מה שכן ניתן לומר הוא צר יותר ועדיין שימושי: שליפת תמלולים לפי בקשה אינה אותו דבר כמו זרם של אירועי סוכן שנכנסים ל-SIEM של הלקוח, וזה בדיוק מה שהשאלה הרביעית במדריך מבקשת. CISO שקרא את המדריך ביולי והגדיר את המערכות בהתאם לו צריך לקרוא שוב את העמוד במקום להניח שאף אחד משני המצבים עדיין תקף.

Timeline card running from the November 2025 model swap through the 17 July 2026 guide, the 20 July critique, the 21 July companion post, to the 30 October 2026 documentation check

מי חולק על כך, ועל סמך מה

ההתנגדות החריפה ביותר שפורסמה אינה נוגעת לבקרות אלא למי שכתב אותן. Tom's Hardware Italia, בכתבה מיום 20 ביולי 2026, מכנה את המסגרת מוצקה מבחינה טכנית ולאחר מכן טוען שהחברה שמוכרת גישה באמצעות סוכנים היא החברה שכותבת עבורה את הכללים, מה שמשנה את המשקל של כל המלצה. הטענה הספציפית שלה היא שפער יכולת הניטור נמצא בדיוק במקום שבו המדריך אומר שיכולת ניטור חשובה ביותר, ושההצגה של הפוסט — סיכון הוא עניין שגרתי, הנה כיצד לנהל אותו — מורידה את המחסום לאימוץ בארגונים ביעילות רבה יותר מכל רשימת תכונות. אותה כתבה מצטטת ניתוח של Forrester מאת Jeff Pollard על האופן שבו דוחות שקיפות של ספקים מתפקדים כשיווק, תוך הודאה שדוחות כאלה עדיין נושאים מידע אמיתי.

זו ביקורת של ניגוד עניינים, לא מחלוקת עובדתית. Anthropic לא ערערה על אף חלק ממנה, וארכיון התקריות רושם את הרשומה כבלתי-שנויה במחלוקת, בדרגת הביטחון הגבוהה ביותר, ללא נזק מתועד. ההתנגדות גם מחזיקה מעמד לנוכח התרופה של המדריך עצמו: הוראתו המסכמת של Clinton לקוראים היא לקחת את שבע הדרישות אל ספקי הזהות, ה-SIEM והסוכנים שהם כבר משלמים להם, ולשאול אילו מהן ניתן להדגים בסביבה שלהם היום. אם מיישמים אותה ביושר, השאלה הזו חלה גם על Anthropic.

ארבעה ימים לאחר מכן, ב-21 ביולי 2026, פרסם קלינטון מאמר נלווה על מחזור חיי פיתוח התוכנה של Anthropic עצמה, שמספק את המספרים של הדוקטרינה: Claude כותב בערך 80 אחוז מהקוד הממוזג, יותר ממחצית מהמיזוגים עוברים דרך מערכת Claude Tag פנימית, מהנדסים משגרים בערך פי שמונה קוד לרבעון בהשוואה ל-2021–2025, והערות ביקורת מהותיות על pull requests עלו מ-16 אחוז ל-54 אחוז לאחר שנדרשו סוכנים להוכיח את ממצאיהם. הוא גם חוזר על הטענה הארכיטקטונית מהמדריך — מפתחים עובדים על מכונות וירטואליות מרוחקות עם תעבורה יוצאת ברשימת היתרים, כך שניסיון דליפת מידע באמצעות הזרקת פרומפט יכול להגיע רק לשירותים מנוטרים.

למה זה בכלל שיא

הארכיון מסווג זאת כפיתוח מדיניות, ברמת חומרה מידעית, ולא כתקרית, והסיווג הזה הוא הסיווג הכנה: לא כשלה שום מערכת, לא יצאו נתונים החוצה, ולא נפגע אף לקוח. משמעותו היא שספק מודלי חזית פרסם, במונחים ספציפיים ובחלקם ניתנים לבדיקה, את הסטנדרט שלדעתו סוכניו שלו אמורים לעמוד בו — כולל המקומות שבהם הוא עדיין לא עמד בסטנדרט הזה. עבור צוותי אבטחה, זה הופך מצג שיווקי לרשימה ניתנת לבדיקה. עבור כל השאר, זה קובע את אוצר המילים — מיעוט סוכנות, רדיוס השפעה, זהות מואצלת, רשימת היתרי יציאה — שבו יתנהלו הוויכוחים על סבב תקריות הסוכנים הבא.