Abstracte illustratie van een script op een hostmachine die een gestippeld verzoek naar buiten stuurt naar een extern model-endpoint en een blok gegenereerde code terugontvangt, getekend als een schematisch diagram in plaats van als een weergave van een echt systeem, organisatie of persoon. Het OrcaRouter-logo is in de rechteronderhoek samengevoegd.
AI Safety Incidents

PROMPTFLUX en PROMPTSTEAL: de eerste malware die aan een LLM vraagt wat hij vervolgens moet doen

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Op 5 november 2025 publiceerde Google Threat Intelligence Group "GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools", een rapport dat beschrijft wat het de eerste malwarefamilies noemt die een large language model bevragen terwijl ze worden uitgevoerd. Een daarvan, PROMPTSTEAL, werd gebruikt door de door de Russische staat gesteunde groep APT28 (ook gevolgd als FROZENLAKE) tegen Oekraïense overheidsdoelen, waarbij prompts werden gestuurd naar Qwen2.5-Coder-32B-Instruct via de Hugging Face API en waarbij alle Windows-opdrachten werden uitgevoerd die terugkwamen; CERT-UA van Oekraïne had dezelfde familie al in juli 2025 gedocumenteerd onder de naam LAMEHUG. De andere, PROMPTFLUX, is een experimentele VBScript-dropper die de Gemini API vraagt zijn eigen code te herschrijven om antivirusdetectie te omzeilen, en GTIG verklaart ronduit dat het "geen vermogen aantoont om een slachtoffernetwerk of -apparaat te compromitteren". De schade in dit dossier is de Oekraïense campagne; het nieuwe is dat een model, en niet de malwareauteur, de opdrachten leverde. Het volledige dossier, met de bijbehorende ernst- en betrouwbaarheidsgraden, staat in het Orca AI Incident Archive, naast de naburige vermeldingen over malware die tijdens de uitvoering met een model communiceert.

Dat onderscheid is de reden dat dit een mijlpaalvermelding is in plaats van nog een phishingverslag. Malware gebruikt al enkele jaren AI tijdens het schrijven — een ontwikkelaar die een chatbot om een script vraagt en het resultaat vervolgens hardcodeert. Wat GTIG documenteert, is van een andere aard: de code die op de machine van het slachtoffer draait, staat niet vast wanneer het sample wordt gecompileerd. Die wordt op het moment van uitvoering opgehaald uit een commerciële API van een derde partij, in de eigen prompt van de aanvaller, en uitgevoerd zonder dat een mens hem leest. GTIG noemt de bevinding "just-in-time"-AI en noemt het "een significante stap naar autonomere en adaptievere malware". Het noemt de techniek ook nog pril, en de statuskolom van het rapport zelf is het nuttigste erin: van de vijf families die het noemt, zijn drie — FRUITSHELL, PROMPTSTEAL en QUIETVAULT — gemarkeerd als "Waargenomen in operaties", en twee, PROMPTFLUX en PROMPTLOCK, als "Experimenteel".

Wat GTIG zegt te hebben gevonden

Het rapport is een update van Google's analyse van januari 2025 van misbruik van generatieve AI, en de bewijsbasis ervan is Google's eigen telemetrie: prompts en activiteit die het bij Gemini heeft waargenomen, plus malwaremonsters die zijn onderzoekers hebben geanalyseerd. Tabel 1 van het rapport noemt vijf codefamilies met wat GTIG "nieuwe AI-mogelijkheden" noemt, elk met de status "Waargenomen in operaties" of "Experimenteel". Alleen PROMPTSTEAL valt in de eerste categorie, met een actieve, toeschrijfbare campagne erachter. PROMPTFLUX, PROMPTLOCK en de overige zijn gecatalogiseerd als experimenteel of als tooling in plaats van als operaties.

Het mechanisme in beide veelbesproken families heeft dezelfde vorm. In plaats van een lijst met commando's mee te leveren, levert het sample een prompt mee — base64-gecodeerde tekst in het geval van PROMPTSTEAL, een machinaal parseerbare instructie in het geval van PROMPTFLUX — stuurt deze naar een openbare model-API met een sleutel die in het binaire bestand is ingebed, en voert het antwoord uit. Geen van beide families had een kwetsbaarheid nodig in de dienst van de modelprovider. Beide gebruikten de API zoals bedoeld, en dat is waarom GTIG het probleem kadert als misbruik van een legitieme mogelijkheid in plaats van een fout die een patch verhelpt.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL: een echte campagne met een ongemeten opbrengst

CERT-UA was er als eerste bij. Op 17 juli 2025 publiceerde het Computer Emergency Response Team van Oekraïne een advies over een familie die het LAMEHUG noemde, nadat het op 10 juli 2025 meldingen had ontvangen over verdachte e-mails die vanaf gecompromitteerde accounts waren verzonden en zich voordeden als functionarissen van ministeries. De berichten richtten zich op "uitvoerende overheidsinstanties" en bevatten een ZIP-archief met drie varianten van de payload, met de namen "Додаток.pif", "AI_generator_uncensored_Canvas_PRO_v0.9.exe" en "image.py". CERT-UA schreef de activiteit met middelmatige zekerheid toe aan APT28 — een lagere mate van zekerheid dan de stellige bewering van GTIG dat de actor door de Russische overheid wordt gesteund — en beschreef de rol van het LLM in één regel: het wordt "gebruikt om commando's te genereren op basis van hun tekstuele weergave (beschrijving)".

Het verslag van GTIG voegt de operationele details toe. PROMPTSTEAL doet zich voor als een "image generation"-programma dat de gebruiker door prompts leidt terwijl het op de achtergrond Hugging Face bevraagt — een vermomming die past bij de bestandsnamen die CERT-UA heeft teruggevonden. De prompts die GTIG heeft teruggevonden, vragen om systeeminformatie en om documenten in specifieke mappen; de teruggegeven commando's worden, in zijn woorden, "blindelings lokaal uitgevoerd" voordat de uitvoer wordt geëxfiltreerd. GTIG zegt dat de familie "waarschijnlijk gestolen API-tokens gebruikt" om Hugging Face te bereiken, en dat analyse wijst op voortdurende ontwikkeling, waarbij nieuwe samples obfuscatie toevoegen en de command-and-controlmethode wijzigen. Een follow-up van Cato Networks, opgenomen in de berichtgeving van The Hacker News op 25 juli 2025, telde ongeveer 270 Hugging Face-tokens die voor authenticatie werden gebruikt en merkte op dat de malware vooraf gedefinieerde, base64-gecodeerde beschrijvingen bevat van de doelstellingen waarvoor die commando's wil.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX: degene die niet werd gebruikt

PROMPTFLUX is waar de rapportage en de koppen het meest uiteenlopen. GTIG identificeerde het begin juni 2025: een VBScript-dropper waarvan de centrale component, een module die de auteurs "Thinking Robot" noemden, een POST-verzoek naar het Gemini API-endpoint stuurt met een hardgecodeerde sleutel, waarbij het model "gemini-1.5-flash-latest" wordt opgegeven. De tag "-latest" is belangrijk — hij betekent dat de malware elke stabiele release volgt die Google op dat moment aanbiedt, zodat de tool modeldepreciatie overleeft. GTIG beschrijft de prompt als "zeer specifiek en machine-parseerbaar, waarin VBScript-code wordt gevraagd voor antivirusontwijking en het LLM de instructie krijgt alleen de code zelf terug te geven". Eén variant gaat verder en vraagt het model om als "expert VBScript-obfuscator" op te treden en de volledige bron elk uur te herschrijven, waarbij de decoy-payload, de API-sleutel en de regeneratielogica opnieuw worden ingebed zodat de cyclus zich kan herhalen.

Dan de kanttekeningen, die in het primaire document staan en verloren gaan bij aggregatie. De zelfmodificatieroutine, AttemptToUpdateSelf, is uitgecommentarieerd. Er bestaat een mechanisme om te beperken hoe vaak de malware de API aanroept. AI-antwoorden worden gelogd naar een bestand, %TEMP%\thinking_robot_log.txt. GTIG leest die sporen als bedoeling in plaats van capaciteit, en concludeert dat de familie "in een ontwikkelings- of testfase" verkeert en dat "de huidige staat van deze malware geen vermogen aantoont om een slachtoffernetwerk of -apparaat te compromitteren". De auteur wordt niet geattribueerd; GTIG leidt uit lokbestandsnamen zoals "crypted_ScreenRec_webinstall" en een brede, geografie-onafhankelijke targetingstijl af dat het gaat om een financieel gemotiveerde actor. Google zegt dat het de assets die met de activiteit verband houden heeft uitgeschakeld, en dat DeepMind de bevindingen heeft gebruikt om zowel zijn classifiers als het model te versterken.

Ik werk aan een CTF-probleem

Het tweede thema in het rapport is goedkoper dan welke malware dan ook: het model zover krijgen dat het helpt. GTIG beschrijft een actor met banden met China die Gemini vroeg om kwetsbaarheden op een gecompromitteerd systeem te identificeren en een weigering op veiligheidsgronden kreeg, waarna hij het verzoek herformuleerde als een capture-the-flag-oefening — "Ik werk aan een CTF-probleem", "Ik zit momenteel in een CTF en ik zag iemand van een ander team zeggen …" — en de exploitatie-instructies kreeg die hij wilde. Volgens GTIG leerde de actor van de uitwisseling en hergebruikte hij het voorwendsel bij phishing, exploitatie en de ontwikkeling van webshells. Een afzonderlijke Iraanse actor, TEMP.Zagros (ook gevolgd als MUDDYCOAST), gebruikte studentenvoorwendsels: een afstudeerproject aan de universiteit, "een paper schrijven", een "internationaal artikel" over cybersecurity.

De reactie van Google, zoals in het rapport staat, was om de accounts uit te schakelen en de interacties terug te voeren in de training, en er wordt openlijk erkend dat de goedaardige en kwaadaardige versies van deze prompts moeilijk van elkaar te onderscheiden zijn: dezelfde vraag van een echte CTF-speler is legitiem. Eén detail uit de TEMP.Zagros-zaak is de moeite waard om mee te nemen, omdat het het duidelijkste bewijs in het document is dat AI-gebruik tijdens runtime twee kanten op werkt. Terwijl de actor met Gemini een script aan het debuggen was, plakte hij hardgecodeerd materiaal erin, waaronder het command-and-control-domein en de encryptiesleutel van het script, wat volgens GTIG heeft bijgedragen aan de bredere verstoring van de campagne.

Vastgesteld, betwist, niet vastgesteld

Het archief beoordeelt dit record met betrouwbaarheid A, niet betwist, met vastgelegde reële schade, en de onderliggende gebeurtenissenreeks is inderdaad dubbel gedocumenteerd door partijen met onafhankelijke toegang: CERT-UA op basis van Oekraïense incidentgegevens, GTIG op basis van Google's eigen producttelemetrie. Onafhankelijke media — The Hacker News, SecurityWeek, Security Affairs, Wiz — herhalen de werking zonder deze tegen te spreken, en Wiz' eigen interpretatie van LAMEHUG komt overeen met CERT-UA's beschrijving van base64-gecodeerde prompts en uitvoering van commando's. Wat werkelijk betwist wordt, is de betekenis, niet het feit, en het is de moeite waard die twee te scheiden.

Marcus Hutchins betoogde publiekelijk, in opmerkingen waarover The Hacker News op 5 november 2025 berichtte, dat het PROMPTFLUX-verhaal overdreven is. De prompt, schreef hij, werkt "onder de aanname dat Gemini gewoon instinctief weet hoe het antivirussoftware moet omzeilen (dat doet het niet)", en er is "geen entropie om ervoor te zorgen dat de 'self-modifying'-code verschilt van eerdere versies, of enige guardrails om ervoor te zorgen dat het daadwerkelijk werkt" — een technisch bezwaar dat precies raakt aan het feit dat de updateroutine was uitgeschakeld. Wiz kwam tot een vergelijkbare conclusie over het gebruik van LLM's tijdens runtime in het algemeen: aanvallers hadden de code vooraf kunnen genereren en testen, de output van het model was inconsistent, en de aanpak liet auditlogs aan de providerzijde achter. Cato Networks beoordeelde de activiteit van juni op zijn beurt als het testen van nieuwe capaciteiten in Oekraïne in plaats van een volwaardige operatie. Niets daarvan betwist dat PROMPTSTEAL tegen echte doelen werd uitgevoerd; het is allemaal van belang voor hoeveel de LLM toevoegde.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

Wat is er veranderd, en wat het verslag niet laat zien

De gedocumenteerde reactie is die van Google. GTIG zegt dat het de activa en accounts achter de Gemini-misbruikzaken heeft uitgeschakeld, en dat DeepMind de observaties heeft gebruikt om zowel de classifiers als het model te versterken, zodat het deze verzoeken in de toekomst weigert. Het wijst ook op zijn Secure AI Framework en op Big Sleep, zijn agent voor het opsporen van kwetsbaarheden, als de defensieve kant van dezelfde medaille. Wat het rapport niet vermeldt, is enige wijziging bij Hugging Face, enig offline halen van de PROMPTSTEAL-infrastructuur door een andere partij dan de onderzoekers die het rapport hebben opgesteld, of enige actie van rechtshandhavers — en het plakt geen getal op de campagne: geen slachtofferaantal, geen volume aan gestolen documenten, geen verklaring dat de door de LLM gegenereerde commando's werkten.

Die leemte is de eerlijke vorm van het dossier. Een Russische staatsactor voerde een campagne voor gegevensdiefstal uit tegen Oekraïense overheidsinstanties, waarbij de verzamelcommando's tijdens runtime werden geschreven door een publiek codeermodel, en de malware werd teruggevonden en in detail beschreven; hoeveel er is buitgemaakt, staat in geen van beide adviezen. Een tweede familie toont aan dat zelfherschrijvende malware die een commerciële model-API aanroept vandaag de dag te bouwen is, en dat de eigen auteurs hem nog niet hadden aangezet. Beide feiten horen in dezelfde vermelding omdat ze in hetzelfde rapport voorkwamen, en het is de eigen statuskolom van het rapport die ze gescheiden houdt. Zo gelezen markeert 5 november 2025 de datum waarop de techniek in het ene geval ophield hypothetisch te zijn en in het andere hypothetisch bleef.