AI Safety Incidents

Lilli של McKinsey יצאה לציבור ב-9 במרץ. הרשומה אינה נושאת עמה נזק.

מחבר

Gideon Frost

תאריך פרסום

Nov 4, 2026

מודלים אחרונים · 20צפו בכל המודלים →

בנצ'מרקים: Artificial Analysis · מתעדכן יומית

חזרה לכל הפוסטים

ב-9 במרץ 2026, סטארט-אפ האבטחה CodeWall פרסם את תיאורו של האופן שבו סוכן אוטונומי שהחברה בנתה השיג גישה מלאה לקריאה ולכתיבה למסד הנתונים הייצורי שמאחורי Lilli, העוזרת הארגונית מבוססת ה-AI של McKinsey & Company, בכשעתיים ובלי אף אישור גישה. החדירה עצמה התרחשה ב-28 בפברואר; מה שהערך הזה בארכיון אירועי ה-AI מתעד הוא היום שבו היא הפכה לגלויה לציבור. לפי CodeWall, מסד הנתונים שאליו הגיע הכיל 46.5 מיליון הודעות צ'אט בטקסט גלוי, 728,000 קבצים, 57,000 חשבונות משתמשים ו-95 פרומפטי מערכת שקובעים כיצד Lilli עונה — והפרומפטים הללו ישבו באותו מסד נתונים שאליו הסוכן יכול היה לכתוב. האנשים בנתונים היו עובדי McKinsey עצמה: החברה אומרת ש-72 אחוז מעובדיה, למעלה מ-40,000 איש, משתמשים ב-Lilli, שמטפלת ביותר מ-500,000 פרומפטים בחודש. הרשומה המלאה, עם דירוגי החומרה והמהימנות שלה והרשומות השכנות שהיא נמצאת ביניהן, נמצאת בOrca AI Incident Archive.

הפתיחה הזו היא דחיסה של שני סוגים שונים מאוד של טענות, ורשומת הארכיון מקפידה על ההבדל ביניהם. היא מדרגת את הרשומה כתקרית, רמת ודאות A, לא במחלוקת, חומרה גבוהה, אזור ארה״ב, סוג INFRA — תשתית, לא כשל מודל. היא גם מתעדת שלא נרשם נזק ממשי. השדה האחרון הוא זה שכדאי לקרוא פעמיים, משום שהוא אינו אומר שהחשיפה הייתה בלתי מזיקה. הוא אומר שלא בוסס נזק ברשומה, והכתבה שלהלן מפרידה בין מה ששני צדדים מסכימים עליו לבין מה שמסתמך על תיאורה של חברה אחת את מחקרה שלה.

מדוע הגילוי הוא אירוע מתוארך בפני עצמו

סיכום הארכיון של רשומה זו מפנה חזרה ל-28 בפברואר 2026, היום שבו הסוכן של CodeWall מצא את הפגם, והארכיון מחזיק את התאריך המוקדם הזה כרשומה נפרדת. הפיצול אינו ביורוקרטי. לפני 9 במרץ, הגורמים היחידים שידעו מה קרה בתוך Lilli היו McKinsey והחוקר שסיפר לה. אחרי 9 במרץ, צורת הכשל, תגובת החברה והטענה בדבר מה שהיה במסד הנתונים היו כולם ברשומה הציבורית, שם חוקרי אבטחה אחרים יכלו להתווכח איתם.

Lilli הוא לא פרויקט צדדי. The Register תיארך את השקתו ליולי 2023, עם צ'אט, ניתוח מסמכים ושליפה מכלל המחקר הפנימי של החברה. המאמר של CodeWall, שמתעד גם מהיכן מגיע השם — האישה המקצועית הראשונה שהחברה שכרה, ב-1945 — מתאר יותר מ-100,000 מסמכים פנימיים העומדים מאחוריו. The Register, שדיווח על החשיפה באותו יום, הציב את האימוץ בקרב 72 אחוזים מהעובדים ואת הנפח על יותר מ-500,000 פרומפטים בחודש — נתונים ש-McKinsey פרסמה בעצמה בחקר מקרה פומבי של הפלטפורמה.

איך הסוכן נכנס

התיאור של CodeWall מתחיל בתיעוד, לא בניצול. הסוכן שלו מצא את תיעוד ה-API של Lilli חשוף לציבור ומתועד במלואו: יותר מ-200 נקודות קצה בסך הכול, רובן דורשות אימות, ו-22 שלא. אחד מאותן נקודות קצה לא מאומתות כתב שאילתות חיפוש של משתמשים אל תוך מסד הנתונים. הערכים עברו פרמטריזציה כראוי, אך מפתחות ה-JSON — שמות השדות — הודבקו ישירות אל תוך SQL.

הסוכן הבחין בכך משום שהודעות שגיאה של מסד הנתונים החזירו את מפתחות ה-JSON הללו מילה במילה. CodeWall אומרת שסורק ה-ZAP של OWASP לא סימן את הבעיה, ושהסוכן לאחר מכן הר�יץ חמישה-עשר סבבים עיוורים, כאשר כל הודעת שגיאה לימדה אותו מעט יותר על צורת השאילתה, עד שרשומות ייצור חיות החלו לחזור. משם הוא שילב את ההזרקה עם פגם בהרשאה ברמת האובייקט כדי לקרוא היסטוריות חיפוש של עובדים בודדים. החברה מתארת את כל הריצה כאוטונומית לחלוטין, מבחירת היעד ועד לדוח, ללא פרטי התחברות וללא אדם בתהליך. מייסדה ומנכ"לה, Paul Price, אמר ל-The Register שהתהליך היה "אוטונומי לחלוטין מחקר היעד, ניתוחו, תקיפתו ודיווח."

מה ש-CodeWall אומר שהיה בפנים

כל נתון בסעיף זה מגיע מכתב העדכון של CodeWall מ-9 במרץ. לא פורסמו מטענים, ולכן לא ניתן לשחזר או לספור באופן עצמאי אף אחד מהם — מגבלה שהסעיף הבא עוסק בה.

• 46.5 מיליון הודעות צ'אט, המאוחסנות בטקסט גלוי, המכסות עבודת אסטרטגיה, התקשרויות עם לקוחות, נתונים פיננסיים ומיזוגים ורכישות.

• 728,000 קבצים, מתוכם המסמך מפרט 192,000 קובצי PDF, 93,000 גיליונות אלקטרוניים של Excel, 93,000 מצגות PowerPoint ו-58,000 מסמכי Word — 436,000 בסך הכול, מה שמשאיר את 292,000 הנותרים ללא סיווג באותו משפט.

• 57,000 חשבונות משתמשים, 384,000 עוזרי AI ו-94,000 סביבות עבודה, אשר CodeWall מתארת כמבנה הארגוני המלא של האופן שבו החברה משתמשת ב-AI באופן פנימי.

• 95 הנחיות מערכת ותצורות מודל ב־12 סוגי מודלים, שמראות כיצד הונחה העוזר, אילו מנגנוני הגנה היו קיימים ואילו מודלים עמדו בבסיסו.

• 3.68 מיליון מקטעי מסמכים של יצירה משופרת באמצעות שליפה, עם נתיבי אחסון ב-S3 ומטא-נתוני קבצים פנימיים — מאגר הידע שמזין את העוזר.

• 1.1 מיליון קבצים ו-217,000 הודעות סוכנים עוברים דרך ממשקי API חיצוניים של בינה מלאכותית, כולל יותר מ-266,000 מאגרי וקטורים בפלטפורמה של OpenAI.

Data card titled 'Figures only one party can vouch for'. The left column lists seven counts from CodeWall's writeup: 46.5 million chat messages in plaintext; 728,000 files, of which 436,000 are itemised as PDF, Excel, PowerPoint and Word, leaving 292,000 unclassified; 57,000 user accounts; 95 system prompts across 12 model types, stored as rows in the same database; 3.68 million retrieval-augmented generation chunks with S3 paths; 384,000 AI assistants and 94,000 workspaces; and 1.1 million files plus 217,000 agent messages through external AI APIs, including 266,000-plus vector stores. A right-hand panel headed 'Single source' says every figure comes from one company's account of its own research published on 9 March 2026, and that no payloads were published so no third party can recount any of it. Under 'Not disputed' it records that McKinsey's own position is narrower. Under 'The distinction' it notes that reachable is not the same as taken.

הממצא ש-CodeWall מתייחס אליו כאל הכותרת הראשית אינו ההזרקה אלא המקום שבו ההזרקה נחתה. ה-system prompts של Lilli היו שורות באותו מסד נתונים שהסוכן יכול היה לכתוב אליו, כלומר תוקף עם אותה גישה היה יכול לשכתב את ההוראות של העוזר באמצעות הצהרת UPDATE אחת עטופה בקריאת HTTP אחת — בלי פריסה, בלי שינוי קוד, בלי קובץ בדיסק להשוות אליו. CodeWall אומרת שהבדיקה שלה עצמה הייתה אימות בלבד: היא קראה, היא לא כתבה, והיא אומרת שאף שירות ייצור לא נפגע.

מה שאמרה מקינזי באותו יום

דובר McKinsey אמר ל-The Register ב-9 במרץ שהחברה תיקנה את כל הבעיות שזוהו על ידי CodeWall בתוך שעות מרגע שנודע לה עליהן. "החקירה שלנו, שנתמכה על ידי חברת פורנזיקה מובילה של צד שלישי, לא זיהתה ראיות לכך שחוקר זה או כל צד שלישי בלתי מורשה אחר ניגשו לנתוני לקוחות או למידע חסוי של לקוחות," אמר הדובר, והוסיף ש"מערכות הסייבר של McKinsey איתנות."

Silicon UK דיווח על אותה עמדה ב-13 במרץ, בדיווח של Matthew Broersma: McKinsey מסרה כי "נודע לה לאחרונה על פגיעות הקשורה לכלי ה-AI הפנימי שלנו, Lilli, על ידי חוקר אבטחה", כי היא "אישרה במהירות את הפגיעות ותיקנה את הבעיה בתוך שעות", וכי לא התקבלה גישה לנתוני לקוחות או למידע חסוי של לקוחות. הדיווח הזה גם מציין כי Price הוא העובד היחיד של CodeWall, פרט שכדאי להזכיר משום שהוא פועל בשני הכיוונים — מיזם מחקר של אדם אחד מצא בתוך שעתיים את מה שסורקי החברה עצמה לא מצאו, וגם מיזם של אדם אחד מוכר את הכלי שמצא אותה.

שני תיאורים של התיקון, בהפרש של יום

ציר הזמן של החשיפה של CodeWall עצמו נראה כך: הסוכן מזהה את הזרקת ה-SQL ומתחיל למנות את מסד הנתונים של הייצור ב-28 בפברואר; השרשרת המלאה מאושרת באותו יום עם 27 ממצאים מתועדים; אימייל לחשיפה אחראית נשלח לצוות האבטחה של McKinsey ב-1 במרץ עם סיכום השפעה ברמה גבוהה; מנהל אבטחת המידע הראשי של החברה מאשר קבלה ומבקש ראיות מפורטות ב-2 במרץ; וב-2 במרץ כל נקודות הקצה ללא אימות מתוקנות ומאומתות, סביבת הפיתוח מושבתת ותיעוד ה-API הציבורי נחסם. חשיפה ציבורית מתבצעת לאחר מכן ב-9 במרץ.

הגרסה של McKinsey היא שהתיקון הגיע בתוך שעות מרגע שמסרו לה על כך. לוח הזמנים של CodeWall ממקם את התיקון ביום שאחרי הודעת החשיפה שלה בדוא״ל. שתי הגרסאות מתועדות. אף אחד מהצדדים לא יישב ביניהן, והמאמר הזה לא מנסה לעשות זאת: ההבדל הוא בין תיקון באותו יום לתיקון ביום שלמחרת, והרצף החשוב — הודעה, ואז תיקון, ואז פרסום — אינו שנוי במחלוקת.

Timeline card titled 'Nine days to publication, and the week after'. A continuous vertical rail carries five entries. 28 February 2026: the agent identifies the SQL injection and begins enumerating the production database, with the full chain confirmed and 27 findings documented the same day. 1 March 2026: responsible-disclosure email to McKinsey's security team. 2 March 2026: the CISO acknowledges and requests evidence, and all unauthenticated endpoints are patched and verified, the development environment taken offline and the public API documentation blocked. 9 March 2026, in green: CodeWall publishes, and The Register reports the same day with McKinsey's response. 10 to 13 March: Promptfoo publishes its analysis, and Silicon UK carries McKinsey's statement. A footer note contrasts the two accounts of the fix: CodeWall's timeline puts the patch on 2 March, the day after its email, while McKinsey says it fixed every issue within hours of learning about it.

מבוסס, ממקור יחיד, והפער ביניהם

נקבע והוסכם על ידי שני הצדדים: הייתה חולשה בגישה ללא אימות במשטח ה-API הציבורי של Lilli; היא נמצאה על ידי חוקר אבטחה חיצוני ולא על ידי גורם פנימי; McKinsey אישרה זאת והטמיעה תיקון; נקודות הקצה ללא אימות נסגרו, סביבת הפיתוח הושבתה, ותיעוד ה-API הציבורי נחסם.

ממקור יחיד, מ-CodeWall: כל מספר שצוין לעיל, ציר הזמן של השעתיים, חמש-עשרה האיטרציות העיוורות, 27 הממצאים המתועדים, והטענה שאפשר היה לכתוב את הפרומפטים דרך אותה הזרקה. שום דבר מזה לא הופרך. גם שום דבר מזה לא אומת באופן בלתי תלוי, מפני שהפיילודים שהיו מאפשרים למישהו לבדוק לא פורסמו, ופרייס סירב למסור ל-The Register את הפרומפטים המדויקים שבהם השתמש הצוות שלו.

Promptfoo, חברת אבטחת ה-AI, פרסמה ב-10 במרץ הערכה שקובעת את הגבול במדויק: הרשומה הציבורית "אינה מוכיחה באופן עצמאי כל ספירת שורות שדווחה או כל שלב בניצול", אף שהיא תומכת בצורת האירוע. זוהי הקריאה הנכונה של החומר הזמין. סוג הבאג ניתן לשחזור; ההיקף הוא עדות.

Two-column comparison card titled 'What two parties agree on, and what one asserts'. The left panel, headed 'Agreed by both parties' and noted as corroborated by McKinsey's statements to The Register on 9 March and Silicon UK on 13 March, lists an unauthenticated weakness in Lilli's public API surface; discovery by an outside security researcher, not an insider; McKinsey confirming and patching the vulnerability; unauthenticated endpoints closed, the development environment taken offline and the public API documentation blocked; and the system prompts sitting in the same database the agent could reach. The right panel, headed 'CodeWall only' and noted as unreproducible because no payloads were published, lists every count, the two-hour run to read-write access with zero credentials, the fifteen blind iterations, the 27 findings documented on 28 February, and the claim that the prompts were writable rather than merely readable. A strip beneath both columns records that McKinsey's forensic review found no evidence client data was accessed and that CodeWall says its testing was verification-only, and that neither statement covers what a less restrained attacker would have done with the same access.

הנזק שהרשומה אינה נושאת

כאן הדירוג של הארכיון עושה עבודה אמיתית. נתיב בן שעתיים לגישה לקריאה ולכתיבה בתוך מסד הנתונים בייצור של עוזר כלל-חברתי נשמע כמו רשומת נזק, והארכיון אינו רושם כזו. התחום נשען על שלושה דברים: הצהרתה של McKinsey כי חקירה פורנזית של צד שלישי לא מצאה ראיות לכך שנעשתה גישה לנתוני לקוחות; הצהרתה של CodeWall כי הבדיקות שלה היו לאימות בלבד ולא שיבשו דבר; והיעדרו של ממצא סותר בסיקור שנבדק עבור מאמר זה.

הוא אינו נשען על ביקורת טכנית בלתי תלויה, על קביעה של רשות רגולטורית או על הודעת פרצה. לא הוקצה מזהה CVE באף אחד מהסיקורים שנבדקו — Lilli היא תוכנה פנימית ולא מוצר מבוזר, ואף פרסום ייעוץ אינו נוקב באחד — ולא נראה שרשות פיקוח כלשהי פתחה בבדיקה. לא צצו ראיות פומביות, בסיקור שנבדק עבור מאמר זה, לכך שהנתונים שימשו, נמכרו או נחשפו באופן נוסף. לכך מתכוונים כאן ב״לא תועד נזק ממשי״: הצהרת ראיות בדבר תיעוד, ולא ממצא שהחשיפה הייתה בטוחה.

הפער חשוב משום שהסיכון המעניין היה צופה פני עתיד. גישת קריאה חושפת את מה שהיה שם. גישת כתיבה לשכבת הפרומפט חושפת את מה שהעוזר היה אומר בהמשך — עצה מורעלת, הסרת גדרות הגנה, חומר חסוי שנכלל בתשובה שאיש ייעוץ לאחר מכן מדביק למסמך של לקוח. CodeWall תיארה את ההשלכות הללו כמה שעומדות לרשות כל מי שיש לו אותה גישה. איש לא הראה שהן מומשו. שתי הקביעות יכולות להיות נכונות בעת ובעונה אחת: היכולת הייתה ממשית, והנזק לא התממש על פי הראיות שמישהו פרסם.

מדוע זה מתויק כתשתית ולא ככשל מודל

הארכיון מתייג את הרשומה הזו כ-INFRA, והתיעוד הטכני תומך בתיוג. דבר בחשבון של CodeWall לא הצריך לרמות את המודל. לא היה ג'יילברייק, לא הזרקת פרומפט מתוך מסמך, ולא קלט עוין שהעוזר התבקש לבלוע. נקודת הכניסה הייתה תיעוד חשוף, בדיקת אימות חסרה ובנייה לא בטוחה של SQL; המודל היה פשוט הדבר היקר ביותר מאחורי הדלת.

הניתוח של Promptfoo מ-10 במרץ עושה את אותה הבחנה מהצד ההגנתי: לפי הרשומות הפומביות, Lilli "נראית כמו אירוע אבטחת יישומים שהגיע למערכת AI, ולא כמו פריצת מודל", והרבה ממה שמכונה אבטחת AI הוא עדיין אבטחת תוכנה, אבטחת נתונים וממשל תצורה. החלק הייחודי ל-AI היה היקף הנזק האפשרי, לא ההפרה עצמה — מכיוון שפרומפטים, כללי ניתוב והגדרות אחזור היו נתוני יישום הניתנים לשינוי, גישה לכתיבה למסד נתונים הפכה ליכולת לשנות את התנהגות העוזר בלי לגעת בקוד.

מה השתנה לאחר מכן

השינויים הקונקרטיים הם אלה ששני הצדדים מתארים: נקודות הקצה ללא אימות נסגרו ואומתו, סביבת הפיתוח הוצאה מכלל פעילות, ותיעוד ה-API הציבורי נחסם. McKinsey מסרה כי היא מצאה את הפגיעות, אימתה אותה ותיקנה אותה, ועמדתה הפומבית היא שלא התבצעה גישה לנתוני לקוחות.

מה שלא השתנה הוא החשיפה הרחבה יותר שתיאר האירוע הזה. הכתיבה של CodeWall מסתיימת בטענה שפרומפטים נשמרים במסדי נתונים, מועברים דרך APIs ונשמרים במטמון בקובצי קונפיגורציה, ושלרוב אין להם בקרות גישה, היסטוריית גרסאות או ניטור שלמות — וזו טענה על תעשייה, לא ממצא על McKinsey, ויש לקרוא אותה כטיעון של חברה שמוכרת בדיקות אוטומטיות רציפות. החברה נמצאת בתצוגה מוקדמת ומחפשת שותפי עיצוב; החשיפה משמשת גם כהדגמה.

מה שהרשומה מותירה הוא צר יותר ושימושי יותר מן הטענה. עוזר כלל-ארגוני, מסד נתונים בייצור, שעתיים, בלי הרשאות, ושורת נזק שנקראת כשקר כי שני הצדדים שיש להם גישה לעובדות אומרים שניהם שהנתונים לא נוצלו. המניינים שייכים לאחד מאותם צדדים. הפגיעות שייכת לשניהם.

Lilli של McKinsey יצאה לציבור ב-9 במרץ. הרשומה אינה נושאת עמה נזק.

מדוע הגילוי הוא אירוע מתוארך בפני עצמו

איך הסוכן נכנס

מה ש-CodeWall אומר שהיה בפנים

מה שאמרה מקינזי באותו יום

שני תיאורים של התיקון, בהפרש של יום

מבוסס, ממקור יחיד, והפער ביניהם

הנזק שהרשומה אינה נושאת

מדוע זה מתויק כתשתית ולא ככשל מודל

מה השתנה לאחר מכן

מוצר

משאבים

שותפים

לספקים

הצטרפו לקהילה שלנו

מהבלוג

ספקי מודלים