איור מופשט של סקריפט במכונה מארחת השולח בקשה מקווקוות החוצה לנקודת קצה של מודל מרוחק ומקבל בחזרה בלוק של קוד שנוצר, מצויר כסכימה ולא כתיאור של מערכת, ארגון או אדם אמיתיים. הלוגו של OrcaRouter מורכב בפינה הימנית התחתונה.
AI Safety Incidents

PROMPTFLUX ו-PROMPTSTEAL: הנוזקה הראשונה ששואלת LLM מה לעשות בהמשך

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

ב-5 בנובמבר 2025 פרסמה Google Threat Intelligence Group את "GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools", דוח המתאר את מה שהיא מכנה משפחות התוכנה הזדונית הראשונות ששולחות שאילתות למודל שפה גדול בעת הרצתן. אחת מהן, PROMPTSTEAL, הייתה בשימוש על ידי הקבוצה הנתמכת על ידי המדינה הרוסית APT28 (המכונה גם FROZENLAKE) נגד יעדים ממשלתיים אוקראיניים, תוך שליחת הנחיות אל Qwen2.5-Coder-32B-Instruct דרך ה-API של Hugging Face והרצת כל פקודות Windows שחזרו; CERT-UA של אוקראינה כבר תיעדה את אותה משפחה ביולי 2025 תחת השם LAMEHUG. האחרת, PROMPTFLUX, מהווה דרופר ניסיוני ב-VBScript שמבקש מ-API של Gemini לשכתב את הקוד של עצמו לצורך התחמקות מאנטי-וירוס, ו-GTIG קובעת במפורש כי הוא "אינו מדגים יכולת לפגוע ברשת או במכשיר של קורבן". הנזק ברשומה זו הוא הקמפיין האוקראיני; החידוש הוא שמודל, ולא מחבר התוכנה הזדונית, סיפק את הפקודות. הרשומה המלאה, עם דירוגי החומרה והביטחון שלה, נמצאת בOrca AI Incident Archive, לצד הערכים השכנים על תוכנה זדונית שמשוחחת עם מודל באמצע ההרצה.

ההבחנה הזו היא הסיבה לכך שזו רשומת ציון דרך ולא עוד מאמר על פישינג. תוכנות זדוניות משתמשות ב-AI בשלב הכתיבה כבר כמה שנים — מפתח מבקש מצ'אטבוט סקריפט, ואז מקודד את התוצאה ישירות בקוד. מה ש-GTIG מתעד שונה מהותית: הקוד שרץ במחשבו של הקורבן אינו קבוע כאשר הדגימה מהודרת. הוא נשלף בזמן הריצה מ-API מסחרי של צד שלישי, בתוך הפרומפט של התוקף עצמו, ומופעל בלי שאדם קורא אותו. GTIG מכנה את הממצא AI "just-in-time" וקוראת לו "צעד משמעותי לעבר תוכנות זדוניות אוטונומיות ומותאמות יותר". היא גם מכנה את הטכניקה בחיתוליה, ועמודת הסטטוס של הדוח עצמו היא הדבר השימושי ביותר בו: מבין חמש המשפחות שהוא מזכיר, שלוש — FRUITSHELL, PROMPTSTEAL ו-QUIETVAULT — מסומנות "Observed in operations", ושתיים, PROMPTFLUX ו-PROMPTLOCK, מסומנות "Experimental".

מה ש-GTIG אומרת שמצאה

הדוח הוא עדכון לניתוח של גוגל מינואר 2025 של שימוש לרעה ב-AI גנרטיבי, ובסיס הראיות שלו הוא הטלמטריה של גוגל עצמה: הנחיות ופעילות שהיא צפתה בהן מול Gemini, וכן דגימות נוזקה שחוקריה ניתחו. טבלה 1 בדוח מפרטת חמש משפחות קוד עם מה ש-GTIG מכנה "יכולות AI חדשות", שלכל אחת מהן סטטוס של "נצפה בפעילות מבצעית" או "ניסיוני". רק PROMPTSTEAL נמצא בקטגוריה הראשונה, עם קמפיין חי ובר-ייחוס מאחוריו. PROMPTFLUX, PROMPTLOCK והאחרים מסווגים כניסיוניים או ככלי עבודה ולא כפעילות מבצעית.

המנגנון בשתי משפחות הכותרות הוא באותה צורה. במקום לשלוח רשימת פקודות, הדגימה שולחת פרומפט — טקסט מקודד base64 במקרה של PROMPTSTEAL, הוראה הניתנת לפענוח מכונה במקרה של PROMPTFLUX — שולחת אותו ב-POST ל-API של מודל ציבורי עם מפתח מוטמע בקובץ הבינארי, ומבצעת את התגובה. אף אחת מהמשפחות לא נזקקה לפגיעות בשירות של ספק המודל. שתיהן השתמשו ב-API כפי שתוכנן, ולכן GTIG ממסגרת את הבעיה כשימוש לרעה ביכולת לגיטימית ולא כפגם שטלאי מתקן.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL: קמפיין אמיתי עם תשואה לא מדודה

CERT-UA הקדימה. ב-17 ביולי 2025 פרסם צוות התגובה לאירועי חירום במחשבים של אוקראינה (CERT-UA) התראה על משפחה שאותה כינה LAMEHUG, לאחר שקיבל ב-10 ביולי 2025 דיווחים על הודעות דוא"ל חשודות שנשלחו מחשבונות שנפרצו והתחזו לפקידי משרד. ההודעות כוונו אל "רשויות ממשל ביצועיות" ונשאו ארכיון ZIP שהכיל שלושה וריאנטים של המטען, בשמות "Додаток.pif", "AI_generator_uncensored_Canvas_PRO_v0.9.exe" ו-"image.py". CERT-UA ייחסה את הפעילות ל-APT28 ברמת ודאות בינונית — דרגה נמוכה יותר מהקביעה הנחרצת של GTIG כי השחקן נתמך על ידי הממשלה הרוסית — ותיארה את תפקיד ה-LLM בשורה אחת: הוא "משמש ליצירת פקודות על בסיס הייצוג הטקסטואלי שלהן (תיאור)".

הדיווח של GTIG מוסיף את הפרט התפעולי. PROMPTSTEAL מתחזה לתוכנית "יצירת תמונות" שמעבירה את המשתמש דרך פרומפטים בזמן שהיא שולחת שאילתות ל-Hugging Face ברקע — תחפושת שמתאימה לשמות הקבצים ש-CERT-UA שחזרה. הפרומפטים ש-GTIG שחזרה מבקשים מידע מערכת ומסמכים בתיקיות ספציפיות; הפקודות שמוחזרות, בלשונה, "מבוצעות באופן עיוור מקומית" לפני שהפלט מוברח החוצה. GTIG אומרת שמשפחת הנוזקה "כנראה משתמשת באסימוני API גנובים" כדי להגיע ל-Hugging Face, ושהניתוח מראה פיתוח מתמשך, כשדגימות חדשות מוסיפות הסוואה ומשנות את שיטת הפיקוד והשליטה. מעקב של Cato Networks, שנכלל בסיקור של The Hacker News ב-25 ביולי 2025, ספר כ-270 אסימוני Hugging Face ששימשו לאימות וציין שהתוכנה הזדונית נושאת תיאורים מוגדרים מראש, מקודדים ב-base64, של היעדים שעבורם היא רוצה פקודות.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX: זה שלא נעשה בו שימוש

PROMPTFLUX הוא המקום שבו הפער בין הדיווח לכותרות הוא הגדול ביותר. GTIG זיהתה אותו בתחילת יוני 2025: dropper מסוג VBScript שרכיב המרכזי שלו, מודול שהמחברים כינו "Thinking Robot", שולח בקשת POST לנקודת הקצה של Gemini API עם מפתח מוטבע בקוד, ומציין את המודל "gemini-1.5-flash-latest". לתג "-latest" יש חשיבות — הוא אומר שהתוכנה הזדונית עוקבת אחרי כל מהדורה יציבה ש-Google מגישה כרגע, כך שהכלי שורד הפסקת תמיכה במודלים. GTIG מתארת את הפרומפט כ"ספציפי ביותר וניתן לפענוח מכונה, שמבקש קוד VBScript להתחמקות מאנטי-וירוס ומורה ל-LLM להפיק רק את הקוד עצמו". גרסה אחת מרחיקה לכת ומבקשת מהמודל לשמש כ"מומחה להסוואת קוד VBScript" ולשכתב את כל קוד המקור מדי שעה, תוך הטמעה מחדש של מטען הדמה, מפתח ה-API ולוגיקת ההתחדשות כדי שהמחזור יוכל לחזור על עצמו.

ואז ההסתייגויות, שנמצאות במסמך הראשי והולכות לאיבוד בצבירה. שגרת השינוי העצמי, AttemptToUpdateSelf, מסומנת כהערה. קיים מנגנון שמגביל את תדירות הקריאות של התוכנה הזדונית ל-API. תגובות ה-AI נרשמות לקובץ, %TEMP%\thinking_robot_log.txt. GTIG מפרש את העקבות הללו ככוונה ולא כיכולת, ומסיק שמשפחת התוכנה נמצאת "בשלב פיתוח או בדיקה" ושהמצב הנוכחי של התוכנה הזדונית הזו אינו מפגין יכולת לפגוע ברשת או במכשיר של קורבן. המחבר אינו מיוחס; GTIG מסיק שמדובר בשחקן בעל מוטיבציה כלכלית משמות קבצי פיתוי כגון "crypted_ScreenRec_webinstall" ומסגנון מיקוד רחב שאינו תלוי בגיאוגרפיה. Google אומרת שהשביתה את הנכסים הקשורים לפעילות, ושדיפמיינד השתמשה בממצאים כדי לחזק הן את המסווגים שלה והן את המודל.

אני עובד על בעיית CTF

הנושא השני ברשומה זול מכל תוכנת זדון: לשכנע את המודל לעזור. GTIG מתאר שחקן עם זיקה לסין שביקש מ-Gemini לזהות פרצות במערכת שנפרצה וקיבל סירוב בטיחותי, ואז ניסח מחדש את הבקשה כתרגיל capture-the-flag — "אני עובד על בעיית CTF", "אני כרגע ב-CTF, וראיתי מישהו מקבוצה אחרת אומר …" — וקיבל את הנחיות הניצול שרצה. GTIG אומר שהשחקן למד מההתכתבות וחזר להשתמש בתירוץ בפישינג, בניצול פרצות ובפיתוח web shell. שחקן איראני נפרד, TEMP.Zagros (מכונה גם MUDDYCOAST), השתמש בתירוצים סטודנטיאליים: פרויקט גמר באוניברסיטה, "כתיבת מאמר", "מאמר בינלאומי" בנושא אבטחת סייבר.

תגובתה של Google, כפי שצוין בדוח, הייתה להשבתת החשבונות ולהזין את האינטראקציות בחזרה לאימון, והיא מודה בגלוי שקשה להבחין בין הגרסאות התמימות והזדוניות של הפרומפטים האלה: אותה שאלה מפי שחקן CTF אמיתי היא לגיטימית. פרט אחד ממקרה TEMP.Zagros ראוי להזכיר, משום שזו הראיה הברורה ביותר במסמך לכך שהשימוש ב-AI בזמן ריצה פועל לשני הכיוונים. בעת איתור באגים בסקריפט עם Gemini, התוקף הדביק חומר מקודד קשיח, כולל דומיין פיקוד ושליטה ומפתח ההצפנה של הסקריפט, אשר לפי GTIG הזין את השיבוש הרחב יותר של הקמפיין.

מבוסס, שנוי במחלוקת, לא מבוסס

הארכיון מדרג את הרשומה הזו ברמת ודאות A, כשאינה שנויה במחלוקת, כאשר נרשמה פגיעה ממשית, והרצף הבסיסי אכן מתועד פעמיים בידי גורמים בעלי גישה בלתי תלויה: CERT-UA מנתוני תקרית אוקראיניים, ו-GTIG מטלמטריית המוצרים של Google עצמה. כלי תקשורת עצמאיים — The Hacker News, SecurityWeek, Security Affairs, Wiz — חוזרים ומתארים את המכניקה בלי לסתור אותם, והקריאה של Wiz עצמה את LAMEHUG תואמת את התיאור של CERT-UA לגבי פרומפטים מקודדים ב-base64 והרצת פקודות. מה שבאמת שנוי במחלוקת הוא המשמעות, לא העובדה, וכדאי להפריד בין השניים.

מרקוס האצ'ינס טען בפומבי, בהערות שדווחו על ידי The Hacker News ב-5 בנובמבר 2025, שסיפור PROMPTFLUX מוגזם. הפרומפט, כתב, פועל "מתוך הנחה שג'מיני פשוט יודעת באופן אינסטינקטיבי כיצד להתחמק מאנטי-וירוסים (היא לא יודעת)", ואין "אנטרופיה כדי להבטיח שהקוד ה'משנה את עצמו' יהיה שונה מגרסאות קודמות, או כל מעקות בטיחות כדי להבטיח שהוא אכן עובד" — התנגדות טכנית שנופלת בדיוק על העובדה ששגרת העדכון הייתה מושבתת. Wiz הגיעה למסקנה דומה לגבי שימוש ב-LLM בזמן ריצה באופן כללי: התוקפים יכלו ליצור ולבדוק את הקוד מראש, הפלט של המודל היה לא עקבי, והגישה השאירה יומני ביקורת בצד הספק. Cato Networks, מצדה, העריכה את הפעילות ביוני כבדיקת יכולת חדשה באוקראינה ולא כמבצע מלא. אין בכך כדי לערער על כך ש-PROMPTSTEAL פעל נגד יעדים אמיתיים; כל זה נוגע לכמה ה-LLM הוסיף.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

מה השתנה, ומה שהתיעוד אינו מראה

התגובה המתועדת היא של Google. GTIG אומרת שהיא השביתה את הנכסים והחשבונות שמאחורי מקרי השימוש לרעה ב-Gemini, ושדיפ-מיינד השתמשה בתצפיות כדי לחזק הן את המסווגים והן את המודל כך שיסרב לבקשות אלה בעתיד. היא גם מפנה ל-Secure AI Framework שלה ול-Big Sleep, סוכן איתור הפרצות שלה, כצד ההגנתי של אותו מטבע. מה שהדוח אינו מתעד הוא כל שינוי ב-Hugging Face, כל הסרה של תשתית PROMPTSTEAL בידי גורם שאינו חוקרי הדיווח, או כל פעולה של אכיפת חוק — והוא גם אינו נוקב במספרים לגבי הקמפיין: אין ספירת קורבנות, אין נפח של מסמכים שנגנבו, ואין קביעה שהפקודות שנוצרו בידי ה-LLM עבדו.

הפער הזה הוא צורתו הכנה של התיעוד. שחקן מדינה רוסי ניהל קמפיין גניבת נתונים נגד גופי ממשל אוקראיניים, שבו פקודות האיסוף נכתבו בזמן ריצה על ידי מודל קידוד ציבורי, והתוכנה הזיקה אותרה ותוארה בפירוט; כמה נתונים היא לקחה אינו מופיע באף אחד משני פרסומי הייעוץ. משפחה שנייה מדגימה שתוכנה זיקה המשכתבת את עצמה וקוראת ל-API של מודל מסחרי ניתנת לבנייה כיום, וכותביה שלה טרם הפעילו אותה. שתי העובדות שייכות לאותה רשומה משום שהן הגיעו באותו דו"ח, ועמודת הסטטוס של הדו"ח עצמו היא שמפרידה ביניהן. בקריאה כזו, 5 בנובמבר 2025 מסמן את התאריך שבו חדלה הטכניקה להיות היפותטית במקרה אחד, ונשארה היפותטית במקרה האחר.