Abstrakte Illustration eines Skripts auf einem Host-Rechner, das eine gepunktete Anfrage nach außen an einen entfernten Modell-Endpunkt sendet und einen Block generierten Codes zurückerhält, gezeichnet als schematische Darstellung und nicht als Abbildung eines realen Systems, einer realen Organisation oder einer realen Person. Das OrcaRouter-Logo ist in der unteren rechten Ecke eingefügt.
AI Safety Incidents

PROMPTFLUX und PROMPTSTEAL: die erste Malware, die ein LLM fragt, was als Nächstes zu tun ist

Autor

jinhao.song

Veröffentlicht am

Neueste Modelle · 20Alle Modelle ansehen →
Benchmarks: Artificial Analysis · täglich aktualisiert
Zurück zu allen Beiträgen

Am 5. November 2025 veröffentlichte die Google Threat Intelligence Group „GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools“, einen Bericht, der beschreibt, was sie als die ersten Malware-Familien bezeichnet, die ein großes Sprachmodell abfragen, während sie ausgeführt werden. Eine davon, PROMPTSTEAL, wurde von der vom russischen Staat unterstützten Gruppe APT28 (auch als FROZENLAKE verfolgt) gegen ukrainische Regierungsziele eingesetzt, wobei sie Prompts an Qwen2.5-Coder-32B-Instruct über die Hugging Face API sendete und alle Windows-Befehle ausführte, die zurückkamen; CERT-UA der Ukraine hatte dieselbe Familie bereits im Juli 2025 unter dem Namen LAMEHUG dokumentiert. Die andere, PROMPTFLUX, ist ein experimenteller VBScript-Dropper, der die Gemini API bittet, seinen eigenen Code zur Umgehung von Antivirus neu zu schreiben, und GTIG erklärt unmissverständlich, dass er „nicht die Fähigkeit zeigt, ein Opfernetzwerk oder -gerät zu kompromittieren“. Der Schaden in diesem Eintrag ist die ukrainische Kampagne; das Neue ist, dass ein Modell und nicht der Malware-Autor die Befehle geliefert hat. Der vollständige Eintrag mit seinen Schweregrad- und Konfidenzstufen befindet sich im Orca AI Incident Archive, neben den benachbarten Einträgen zu Malware, die während der Ausführung mit einem Modell kommuniziert.

Dieser Unterschied ist der Grund, warum dies ein wegweisender Eintrag ist und nicht ein weiterer Phishing-Bericht. Malware nutzt seit mehreren Jahren KI zum Zeitpunkt der Erstellung – ein Entwickler, der einen Chatbot nach einem Skript fragt und das Ergebnis dann hart kodiert. Was GTIG dokumentiert, ist grundlegend anderer Art: Der Code, der auf dem Rechner des Opfers ausgeführt wird, steht nicht fest, wenn die Probe kompiliert wird. Er wird zur Ausführungszeit von einer kommerziellen API eines Drittanbieters abgerufen, im eigenen Prompt des Angreifers, und ausgeführt, ohne dass ein Mensch ihn liest. GTIG bezeichnet den Fund als „Just-in-Time“-KI und nennt ihn „einen bedeutenden Schritt hin zu autonomerer und anpassungsfähigerer Malware“. Außerdem bezeichnet GTIG die Technik als noch im Entstehen begriffen, und die Statusspalte des Berichts selbst ist das Nützlichste darin: Von den fünf Familien, die er nennt, sind drei – FRUITSHELL, PROMPTSTEAL und QUIETVAULT – als „Observed in operations“ gekennzeichnet und zwei, PROMPTFLUX und PROMPTLOCK, als „Experimental“.

Was GTIG eigenen Angaben zufolge gefunden hat

Der Bericht ist eine Aktualisierung von Googles Analyse des Missbrauchs generativer KI vom Januar 2025, und seine Evidenzbasis ist Googles eigene Telemetrie: Prompts und Aktivitäten, die bei Gemini beobachtet wurden, sowie Malware-Proben, die von Googles Forschern analysiert wurden. Tabelle 1 des Berichts listet fünf Code-Familien mit dem, was GTIG „neuartige KI-Fähigkeiten“ nennt, jeweils mit dem Status „In Operationen beobachtet“ oder „Experimentell“. Nur PROMPTSTEAL fällt in die erste Kategorie, hinter der eine aktive, zuordenbare Kampagne steht. PROMPTFLUX, PROMPTLOCK und die übrigen sind als experimentell oder als Werkzeuge statt als Operationen katalogisiert.

Der Mechanismus in beiden prominenten Familien ist gleich aufgebaut. Statt eine Befehlsliste mitzuliefern, liefert das Sample einen Prompt mit – im Fall von PROMPTSTEAL base64-kodierter Text, im Fall von PROMPTFLUX eine maschinenlesbare Anweisung –, sendet ihn mit einem in der Binärdatei eingebetteten Schlüssel an eine öffentliche Modell-API und führt die Antwort aus. Keine der beiden Familien benötigte eine Schwachstelle im Dienst des Modellanbieters. Beide nutzten die API wie vorgesehen, weshalb GTIG das Problem als Missbrauch einer legitimen Funktion und nicht als Fehler darstellt, den ein Patch behebt.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL: eine echte Kampagne mit ungemessenem Ertrag

CERT-UA war schneller. Am 17. Juli 2025 veröffentlichte das Computer Emergency Response Team der Ukraine einen Sicherheitshinweis zu einer Familie, die es LAMEHUG nannte, nachdem am 10. Juli 2025 Berichte über verdächtige E-Mails eingegangen waren, die von kompromittierten Konten versendet wurden und sich als Ministeriumsbeamte ausgaben. Die Nachrichten richteten sich an „exekutive Regierungsbehörden“ und enthielten ein ZIP-Archiv mit drei Varianten der Nutzlast, benannt „Додаток.pif“, „AI_generator_uncensored_Canvas_PRO_v0.9.exe“ und „image.py“. CERT-UA schrieb die Aktivität APT28 mit mittlerer Konfidenz zu – eine niedrigere Einstufung als GTIGs schlichte Behauptung, der Akteur werde von der russischen Regierung unterstützt – und beschrieb die Rolle des LLM in einer Zeile: Es werde „verwendet, um Befehle auf Grundlage ihrer textuellen Darstellung (Beschreibung) zu generieren“.

GTIGs Bericht ergänzt die operativen Details. PROMPTSTEAL tarnt sich als „Bildgenerierungsprogramm“, das den Benutzer durch Prompts führt, während es im Hintergrund Hugging Face abfragt – eine Tarnung, die zu den von CERT-UA wiederhergestellten Dateinamen passt. Die von GTIG wiederhergestellten Prompts fragen Systeminformationen und Dokumente in bestimmten Ordnern ab; die zurückgegebenen Befehle werden, mit seinen Worten, „blind lokal ausgeführt“, bevor die Ausgabe exfiltriert wird. GTIG zufolge „verwendet die Familie wahrscheinlich gestohlene API-Token“, um Hugging Face zu erreichen, und die Analyse zeige eine fortgesetzte Entwicklung, wobei neue Samples Obfuskation hinzufügen und die Command-and-Control-Methode ändern. Eine Nachfolgeanalyse von Cato Networks, die am 25. Juli 2025 in die Berichterstattung von The Hacker News aufgenommen wurde, zählte rund 270 Hugging-Face-Token, die zur Authentifizierung verwendet wurden, und stellte fest, dass die Malware vordefinierte, base64-kodierte Beschreibungen der Ziele enthält, für die sie Befehle erhalten möchte.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX: derjenige, der nicht verwendet wurde

PROMPTFLUX ist der Punkt, an dem Berichterstattung und Schlagzeilen am stärksten auseinandergehen. GTIG identifizierte es Anfang Juni 2025: einen VBScript-Dropper, dessen zentrale Komponente – ein Modul, das die Autoren „Thinking Robot“ nannten – eine POST-Anfrage an den Gemini-API-Endpunkt mit einem fest codierten Schlüssel sendet und dabei das Modell „gemini-1.5-flash-latest“ angibt. Das „-latest“-Tag ist wichtig – es bedeutet, dass die Malware der jeweils aktuellen stabilen Version folgt, die Google bereitstellt, sodass das Tool Modell-Abkündigungen überlebt. GTIG beschreibt den Prompt als „hochspezifisch und maschinell parsbar; er fordert VBScript-Code zur Antivirus-Umgehung an und weist das LLM an, nur den Code selbst auszugeben“. Eine Variante geht weiter und bittet das Modell, als „erfahrener VBScript-Obfusktor“ zu agieren und den gesamten Quellcode stündlich neu zu schreiben, wobei die Köder-Payload, der API-Schlüssel und die Regenerierungslogik erneut eingebettet werden, damit der Zyklus sich wiederholen kann.

Dann die Einschränkungen, die im Primärdokument stehen und bei der Aggregation verloren gehen. Die Selbstmodifikationsroutine AttemptToUpdateSelf ist auskommentiert. Es existiert ein Mechanismus, der begrenzt, wie oft die Malware die API aufruft. KI-Antworten werden in einer Datei protokolliert, %TEMP%\thinking_robot_log.txt. GTIG liest diese Spuren als Absicht statt als Fähigkeit und kommt zu dem Schluss, die Familie befinde sich „in einer Entwicklungs- oder Testphase“ und „der aktuelle Stand dieser Malware belege keine Fähigkeit, ein Netzwerk oder Gerät eines Opfers zu kompromittieren“. Der Urheber ist nicht zugeordnet; GTIG schließt aus Lockdateinamen wie „crypted_ScreenRec_webinstall“ und einem breiten, geografisch unspezifischen Targeting-Stil auf einen finanziell motivierten Akteur. Google erklärt, man habe die mit der Aktivität verbundenen Assets deaktiviert, und DeepMind habe die Erkenntnisse genutzt, um sowohl seine Klassifikatoren als auch das Modell zu stärken.

Ich arbeite an einer CTF-Aufgabe.

Das zweite Thema des Berichts ist billiger als jede Malware: das Modell dazu zu überreden, zu helfen. GTIG beschreibt einen China-Nexus-Akteur, der Gemini bat, Schwachstellen auf einem kompromittierten System zu identifizieren, eine Sicherheitsablehnung erhielt und die Anfrage dann als Capture-the-Flag-Übung neu formulierte – „Ich arbeite an einem CTF-Problem“, „Ich bin gerade in einem CTF und habe gesehen, wie jemand aus einem anderen Team sagte …“ – und die gewünschte Anleitung zur Ausnutzung bekam. GTIG zufolge lernte der Akteur aus dem Austausch und setzte den Vorwand erneut bei Phishing, Exploitation und Webshell-Entwicklung ein. Ein eigenständiger iranischer Akteur, TEMP.Zagros (auch als MUDDYCOAST geführt), verwendete studentische Vorwände: ein Universitätsprojekt im letzten Studienjahr, „einen Artikel schreiben“, einen „internationalen Artikel“ über Cybersicherheit.

Googles Reaktion, wie im Bericht dargelegt, bestand darin, die Konten zu deaktivieren und die Interaktionen zurück in das Training einfließen zu lassen, und es wird offen eingeräumt, dass die harmlosen und die bösartigen Versionen dieser Prompts kaum auseinanderzuhalten sind: Dieselbe Frage von einem tatsächlichen CTF-Spieler ist legitim. Ein Detail aus dem Fall TEMP.Zagros lohnt es, mitzunehmen, denn es ist der klarste Beleg im Dokument dafür, dass der Einsatz von KI zur Laufzeit in beide Richtungen wirken kann. Während der Akteur mit Gemini ein Skript debugte, fügte er fest codiertes Material ein, darunter seine Command-and-Control-Domain und den Verschlüsselungsschlüssel des Skripts, was laut GTIG zu seiner breiter angelegten Störung der Kampagne beitrug.

Etabliert, umstritten, nicht etabliert

Der Archiv bewertet diesen Datensatz mit Vertrauensstufe A, nicht umstritten, wobei tatsächlicher Schaden dokumentiert ist, und die zugrunde liegende Abfolge ist tatsächlich zweifach von Parteien mit unabhängigem Zugang dokumentiert: CERT-UA aus ukrainischen Vorfallsdaten, GTIG aus Googles eigener Produkt-Telemetrie. Unabhängige Medien — The Hacker News, SecurityWeek, Security Affairs, Wiz — geben die Mechanismen wieder, ohne ihnen zu widersprechen, und Wizs eigene Interpretation von LAMEHUG stimmt mit CERT-UAs Beschreibung base64-kodierter Prompts und Befehlsausführung überein. Was tatsächlich umstritten ist, ist die Bedeutung, nicht der Sachverhalt, und es lohnt sich, beides zu trennen.

Marcus Hutchins argumentierte öffentlich – in Kommentaren, über die The Hacker News am 5. November 2025 berichtete –, dass die PROMPTFLUX-Geschichte überzogen sei. Der Prompt, schrieb er, funktioniere „unter der Annahme, dass Gemini einfach instinktiv weiß, wie man Antivirenprogramme umgeht (was es nicht tut)“, und es gebe „keine Entropie, die sicherstellt, dass sich der ‚selbstmodifizierende‘ Code von früheren Versionen unterscheidet, oder irgendwelche Schutzmechanismen, die sicherstellen, dass er tatsächlich funktioniert“ – ein technischer Einwand, der genau auf die Tatsache abzielt, dass die Update-Routine deaktiviert war. Wiz kam in Bezug auf die allgemeine Nutzung von LLMs zur Laufzeit zu einem ähnlichen Schluss: Angreifer hätten den Code im Vorfeld generieren und testen können, die Ausgabe des Modells sei inkonsistent gewesen, und der Ansatz habe Audit-Protokolle auf Anbieterseite hinterlassen. Cato Networks wiederum bewertete die Aktivität im Juni als Test einer neuen Fähigkeit in der Ukraine und nicht als vollwertige Operation. Nichts davon bestreitet, dass PROMPTSTEAL gegen echte Ziele lief; alles davon betrifft die Frage, wie viel das LLM hinzugefügt hat.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

Was sich geändert hat und was die Aufzeichnung nicht zeigt

Die dokumentierte Reaktion ist die von Google. GTIG erklärt, man habe die hinter den Gemini-Missbrauchsfällen stehenden Assets und Konten deaktiviert, und DeepMind habe die Beobachtungen genutzt, um sowohl die Klassifikatoren als auch das Modell zu stärken, sodass es diese Anfragen künftig ablehnt. Außerdem verweist das Unternehmen auf sein Secure AI Framework und auf Big Sleep, seinen Agenten zur Suche nach Schwachstellen, als die defensive Seite derselben Medaille. Was der Bericht nicht festhält, ist eine Änderung bei Hugging Face, eine Abschaltung der PROMPTSTEAL-Infrastruktur durch eine andere Partei als die berichtenden Forscher oder eine Maßnahme der Strafverfolgung — und er nennt keine Zahl für die Kampagne: keine Opferzahl, kein Volumen gestohlener Dokumente, keine Aussage, dass die vom LLM generierten Befehle funktioniert haben.

Diese Lücke ist die ehrliche Form der Aufzeichnung. Ein russischer staatlicher Akteur führte eine Kampagne zum Datendiebstahl gegen ukrainische Regierungsstellen durch, bei der die Sammelbefehle zur Laufzeit von einem öffentlichen Coding-Modell geschrieben wurden, und die Malware wurde sichergestellt und detailliert beschrieben; wie viel sie erbeutete, steht in keiner der beiden Warnmeldungen. Eine zweite Familie zeigt, dass sich selbst umschreibende Malware, die eine kommerzielle Modell-API aufruft, heute baubar ist, und ihre eigenen Autoren hatten sie noch nicht aktiviert. Beide Fakten gehören in denselben Eintrag, weil sie im selben Bericht auftauchten, und die Statusspalte des Berichts selbst ist es, die sie auseinanderhält. So gelesen markiert der 5. November 2025 das Datum, an dem die Technik in einem Fall aufhörte, hypothetisch zu sein, und im anderen hypothetisch blieb.