Abstrakt illustration av ett skript på en värddator som skickar en prickad förfrågan utåt till en slutpunkt för en fjärrmodell och tar emot ett block genererad kod tillbaka, ritad som ett schema snarare än som en avbildning av något verkligt system, organisation eller person. OrcaRouter-logotypen är sammansatt i nedre högra hörnet.
AI Safety Incidents

PROMPTFLUX och PROMPTSTEAL: den första skadliga programvaran som frågar en LLM vad den ska göra härnäst

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Den 5 november 2025 publicerade Google Threat Intelligence Group "GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools", en rapport som beskriver vad den kallar de första skadliga programfamiljerna som ställer frågor till en stor språkmodell medan de körs. En av dem, PROMPTSTEAL, användes av den ryska statsstödda gruppen APT28 (även spårad som FROZENLAKE) mot ukrainska regeringsmål, och skickade promptar till Qwen2.5-Coder-32B-Instruct via Hugging Face API och körde alla Windows-kommandon som kom tillbaka; Ukrainas CERT-UA hade redan dokumenterat samma familj i juli 2025 under namnet LAMEHUG. Den andra, PROMPTFLUX, är en experimentell VBScript-dropper som ber Gemini API att skriva om sin egen kod för att undvika antivirus, och GTIG förklarar uttryckligen att den "inte visar någon förmåga att kompromettera ett offrets nätverk eller enhet". Skadan i denna post är den ukrainska kampanjen; det nya är att en modell, snarare än skadeprogrammets författare, tillhandahöll kommandona. Hela posten, med sina allvarlighets- och förtroendegrader, finns i Orca AI Incident Archive, tillsammans med de närliggande posterna om skadliga program som kommunicerar med en modell under körning.

Den distinktionen är anledningen till att detta är en milstolpe snarare än ännu en rapport om nätfiske. Skadliga program har använt AI vid skapandet i flera år – en utvecklare som ber en chatbot om ett skript och sedan hårdkodar resultatet. Det som GTIG dokumenterar är av ett annat slag: koden som körs på offrets maskin är inte fast när provet kompileras. Den hämtas vid körning från ett kommersiellt API från tredje part, i angriparens egen prompt, och körs utan att en människa läser den. GTIG betecknar fyndet som "just-in-time"-AI och kallar det "ett betydande steg mot mer autonoma och anpassningsbara skadliga program". Det kallar också tekniken framväxande, och rapportens egen statuskolumn är det mest användbara i den: av de fem familjer den nämner är tre – FRUITSHELL, PROMPTSTEAL och QUIETVAULT – markerade "Observerad i operationer", och två, PROMPTFLUX och PROMPTLOCK, är markerade "Experimentell".

Vad GTIG säger sig ha hittat

Rapporten är en uppdatering av Googles analys från januari 2025 av missbruk av generativ AI, och dess evidensbas är Googles egen telemetri: promptar och aktivitet som observerats mot Gemini, plus malwareprover som dess forskare har analyserat. Tabell 1 i rapporten listar fem kodfamiljer med vad GTIG kallar "nya AI-förmågor", var och en med statusen antingen "Observerad i operationer" eller "Experimentell". Endast PROMPTSTEAL finns i den första kategorin med en aktiv, attribuerbar kampanj bakom sig. PROMPTFLUX, PROMPTLOCK och de övriga katalogiseras som experimentella eller som verktyg snarare än som operationer.

Mekanismen i båda de uppmärksammade familjerna har samma form. I stället för att leverera en lista med kommandon levererar exemplet en prompt – base64-kodad text i PROMPTSTEALs fall, en maskinläsbar instruktion i PROMPTFLUXs – skickar den till ett publikt modell-API med en nyckel inbäddad i binären och kör svaret. Ingen av familjerna behövde en sårbarhet i modellleverantörens tjänst. Båda använde API:t som det var designat, vilket är anledningen till att GTIG beskriver problemet som missbruk av en legitim funktion snarare än en brist som en patch åtgärdar.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL: en verklig kampanj med en ouppmätt avkastning

CERT-UA hann först. Den 17 juli 2025 publicerade Ukrainas Computer Emergency Response Team en rådgivning om en familj som de namngav LAMEHUG, efter att ha fått rapporter den 10 juli 2025 om misstänkta e-postmeddelanden som skickats från komprometterade konton och som utgett sig för att komma från tjänstemän vid ministerier. Meddelandena riktade sig till "verkställande statliga myndigheter" och innehöll ett ZIP-arkiv med tre varianter av nyttolasten, med namnen "Додаток.pif", "AI_generator_uncensored_Canvas_PRO_v0.9.exe" och "image.py". CERT-UA tillskrev aktiviteten APT28 med medelhög tillförlitlighet – en lägre grad än GTIG:s kategoriska påstående att aktören är statsunderstödd av Ryssland – och beskrev LLM:ens roll i en rad: den "används för att generera kommandon baserat på deras textuella representation (beskrivning)".

GTIG:s redogörelse tillför operativa detaljer. PROMPTSTEAL utger sig för att vara ett "bildgenereringsprogram" som guidar användaren genom prompter samtidigt som det frågar Hugging Face i bakgrunden – en förklädnad som passar de filnamn CERT-UA återvann. De prompter som GTIG återvann begär systeminformation och dokument i specifika mappar; de returnerade kommandona "körs blint lokalt" innan utdata exfiltreras, enligt GTIG. GTIG uppger att familjen "sannolikt använder stulna API-token" för att nå Hugging Face, och att analysen visar på fortsatt utveckling, där nya prover lägger till obfuskering och ändrar kommando- och kontrollmetoden. En uppföljning av Cato Networks, som införlivades i The Hacker News rapportering den 25 juli 2025, räknade ungefär 270 Hugging Face-token som användes för autentisering och noterade att den skadliga programvaran innehåller fördefinierade, base64-kodade beskrivningar av de mål den vill ha kommandon för.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX: den som inte användes

PROMPTFLUX är där rapporteringen och rubrikerna går isär mest. GTIG identifierade det i början av juni 2025: en VBScript-dropper vars centrala komponent, en modul som författarna kallade "Thinking Robot", skickar en POST-förfrågan till Gemini API-slutpunkten med en hårdkodad nyckel och anger modellen "gemini-1.5-flash-latest". Taggen "-latest" spelar roll – det innebär att skadeprogrammet följer vilken stabil version Google för närvarande tillhandahåller, så att verktyget överlever modellavveckling. GTIG beskriver prompten som "mycket specifik och maskinparsbar, som begär VBScript-kod för att kringgå antivirus och instruerar LLM att endast skriva ut själva koden". En variant går längre och ber modellen agera som en "expert på VBScript-obfuskering" och skriva om hela källkoden varje timme, och bädda in lockbetesnyttolasten, API-nyckeln och regenereringslogiken på nytt så att cykeln kan upprepas.

Sedan kommer förbehållen, som finns i primärdokumentet och går förlorade i aggregeringen. Självmodifieringsrutinen AttemptToUpdateSelf är utkommenterad. Det finns en mekanism för att begränsa hur ofta skadlig programvara anropar API:et. AI-svar loggas till en fil, %TEMP%\thinking_robot_log.txt. GTIG tolkar dessa spår som avsikt snarare än förmåga och drar slutsatsen att familjen befinner sig "i en utvecklings- eller testfas" och att "det nuvarande tillståndet för denna skadliga programvara inte visar någon förmåga att kompromettera ett offers nätverk eller enhet". Upphovspersonen är inte identifierad; GTIG drar slutsatsen att det rör sig om en ekonomiskt motiverad aktör utifrån lockande filnamn som "crypted_ScreenRec_webinstall" och en bred, geografiskt oberoende målinriktning. Google säger att de inaktiverade tillgångarna kopplade till aktiviteten, och att DeepMind använde resultaten för att stärka både sina klassificerare och modellen.

Jag arbetar med ett CTF-problem

Rapportens andra tema är billigare än all skadlig kod: att övertala modellen att hjälpa till. GTIG beskriver en aktör med koppling till Kina som bad Gemini identifiera sårbarheter på ett komprometterat system och fick ett säkerhetsavslag, och som sedan omformulerade begäran som en capture-the-flag-övning – "Jag arbetar med ett CTF-problem", "Jag är för närvarande i en CTF och såg någon från ett annat team säga …" – och fick den exploateringsvägledning den ville ha. GTIG säger att aktören lärde sig av utbytet och återanvände förevändningen i phishing, exploatering och utveckling av web shells. En separat iransk aktör, TEMP.Zagros (även spårad som MUDDYCOAST), använde studentförevändningar: ett examensarbete på universitetet, "skriver en uppsats", en "internationell artikel" om cybersäkerhet.

Googles svar, såsom det anges i rapporten, var att inaktivera kontona och föra tillbaka interaktionerna till träningen, och man är uppriktig om att de godartade och skadliga versionerna av dessa promptar är svåra att skilja åt: samma fråga från en faktisk CTF-spelare är legitim. En detalj från TEMP.Zagros-fallet är värd att ta med, eftersom det är det tydligaste beviset i dokumentet på att AI-användning under körning kan slå åt båda hållen. När aktören felsökte ett skript med Gemini klistrade den in hårdkodat material, bland annat sin command-and-control-domän och skriptets krypteringsnyckel, vilket enligt GTIG bidrog till den bredare störningen av kampanjen.

Fastställd, omtvistad, inte fastställd

Arkivet bedömer denna post med tillförlitlighetsgrad A, inte omtvistad, med dokumenterad verklig skada, och den underliggande sekvensen är verkligen dokumenterad två gånger av parter med oberoende tillgång: CERT-UA från ukrainska incidentdata, GTIG från Googles egen produktelemetri. Oberoende medier – The Hacker News, SecurityWeek, Security Affairs, Wiz – återger mekanismerna utan att motsäga dem, och Wizs egen tolkning av LAMEHUG stämmer överens med CERT-UA:s beskrivning av base64-kodade prompter och kommandokörning. Det som verkligen är omtvistat är betydelsen, inte faktumet, och det är värt att skilja de två åt.

Marcus Hutchins hävdade offentligt, i kommentarer som rapporterades av The Hacker News den 5 november 2025, att historien om PROMPTFLUX är överdriven. Prompten, skrev han, fungerar "under antagandet att Gemini bara instinktivt vet hur man undviker antivirusprogram (det gör det inte)", och det finns "ingen entropi för att säkerställa att den 'självmodifierande' koden skiljer sig från tidigare versioner, eller några skyddsräcken för att säkerställa att den faktiskt fungerar" – en teknisk invändning som träffar rakt på det faktum att uppdateringsrutinen var inaktiverad. Wiz drog en liknande slutsats om LLM-användning vid körning i allmänhet: angripare kunde ha genererat och testat koden i förväg, modellens utdata var inkonsekvent och tillvägagångssättet lämnade granskningsloggar på leverantörssidan. Cato Networks bedömde i sin tur aktiviteten i juni som testning av ny kapacitet i Ukraina snarare än en fullskalig operation. Inget av detta bestrider att PROMPTSTEAL kördes mot verkliga mål; allt detta påverkar hur mycket LLM tillförde.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

Vad som förändrades, och vad protokollet inte visar

Det dokumenterade svaret är Googles. GTIG säger att man inaktiverade de tillgångar och konton som låg bakom fallen av missbruk av Gemini, och att DeepMind använde observationerna för att stärka både klassificerarna och modellen så att den avvisar dessa förfrågningar i framtiden. Man pekar också på sitt Secure AI Framework och på Big Sleep, sin sårbarhetssökande agent, som den defensiva sidan av samma mynt. Det rapporten inte redovisar är någon förändring hos Hugging Face, någon nedtagning av PROMPTSTEAL-infrastrukturen av någon annan part än de forskare som rapporterade, eller någon brottsbekämpande åtgärd — och den anger ingen siffra för kampanjen: inget antal offer, ingen volym stulna dokument, inget påstående att de LLM-genererade kommandona fungerade.

Det gapet är dokumentationens ärliga form. En rysk statlig aktör bedrev en datastöldskampanj mot ukrainska statliga organ där insamlingskommandona skrevs under körning av en allmänt tillgänglig kodmodell, och skadeprogrammet återfanns och beskrevs i detalj; hur mycket det fick med sig finns inte i någon av de båda rådgivningarna. En andra familj visar att självomskrivande skadeprogram som anropar ett kommersiellt modell-API går att bygga i dag, och att dess egna upphovsmän ännu inte hade aktiverat det. Båda fakta hör hemma i samma post eftersom de kom i samma rapport, och det är rapportens egen statuskolumn som håller dem åtskilda. Läst på det sättet markerar den 5 november 2025 det datum då tekniken upphörde att vara hypotetisk i det ena fallet och förblev hypotetisk i det andra.