Illustrazione astratta di uno script su una macchina host che invia una richiesta punteggiata verso un endpoint di modello remoto e riceve indietro un blocco di codice generato, rappresentata come uno schema anziché come una raffigurazione di un sistema, un'organizzazione o una persona reali. Il logo OrcaRouter è sovrapposto nell'angolo in basso a destra.
AI Safety Incidents

PROMPTFLUX e PROMPTSTEAL: il primo malware che chiede a un LLM cosa fare dopo

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Il 5 novembre 2025, Google Threat Intelligence Group ha pubblicato "GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools", un rapporto che descrive quelle che definisce le prime famiglie di malware a interrogare un modello linguistico di grandi dimensioni mentre sono in esecuzione. Una di esse, PROMPTSTEAL, è stata utilizzata dal gruppo sostenuto dallo Stato russo APT28 (tracciato anche come FROZENLAKE) contro obiettivi del governo ucraino, inviando prompt a Qwen2.5-Coder-32B-Instruct tramite l'API di Hugging Face ed eseguendo qualsiasi comando Windows ricevuto in risposta; il CERT-UA ucraino aveva già documentato la stessa famiglia nel luglio 2025 con il nome LAMEHUG. L'altra, PROMPTFLUX, è un dropper VBScript sperimentale che chiede alla Gemini API di riscrivere il proprio codice per l'elusione dell'antivirus, e GTIG dichiara apertamente che "non dimostra la capacità di compromettere una rete o un dispositivo vittima". Il danno in questo record è la campagna ucraina; la novità è che a fornire i comandi è stato un modello, anziché l'autore del malware. Il record completo, con i suoi livelli di gravità e confidenza, si trova nell'Orca AI Incident Archive, insieme alle voci vicine sul malware che comunica con un modello durante l'esecuzione.

Tale distinzione è il motivo per cui questa è una voce fondamentale e non l'ennesimo resoconto sul phishing. Il malware utilizza l'IA in fase di scrittura da diversi anni: uno sviluppatore che chiede a un chatbot uno script e poi codifica il risultato in modo fisso. Ciò che documenta GTIG è diverso per natura: il codice che viene eseguito sulla macchina della vittima non è fisso quando il campione viene compilato. Viene recuperato in fase di esecuzione da un'API commerciale di terze parti, nel prompt dell'attaccante stesso, ed eseguito senza che un essere umano lo legga. GTIG etichetta la scoperta come IA "just-in-time" e la definisce "un passo significativo verso malware più autonomi e adattivi". Definisce inoltre la tecnica nascente, e la colonna di stato del rapporto stesso è la cosa più utile al suo interno: delle cinque famiglie che nomina, tre — FRUITSHELL, PROMPTSTEAL e QUIETVAULT — sono contrassegnate come "Osservate in operazioni", e due, PROMPTFLUX e PROMPTLOCK, sono contrassegnate come "Sperimentali".

Ciò che GTIG dice di aver trovato

Il rapporto è un aggiornamento all'analisi di Google di gennaio 2025 sull'uso improprio dell'AI generativa, e la sua base probatoria è la telemetria di Google stessa: prompt e attività osservati su Gemini, oltre a campioni di malware analizzati dai suoi ricercatori. La Tabella 1 del rapporto elenca cinque famiglie di codice con quelle che GTIG definisce "nuove capacità di AI", ciascuna con uno stato pari a "Osservato in operazioni" o "Sperimentale". Solo PROMPTSTEAL rientra nella prima categoria, con una campagna attiva e attribuibile alle spalle. PROMPTFLUX, PROMPTLOCK e gli altri sono catalogati come sperimentali o come strumenti plutôt che come operazioni.

Il meccanismo in entrambe le famiglie principali ha la stessa forma. Invece di distribuire un elenco di comandi, il campione distribuisce un prompt — testo codificato in base64 nel caso di PROMPTSTEAL, un'istruzione interpretabile da una macchina in quello di PROMPTFLUX — lo invia a un'API pubblica di modelli con una chiave incorporata nel binario ed esegue la risposta. Nessuna delle due famiglie necessitava di una vulnerabilità nel servizio del fornitore del modello. Entrambe usavano l'API come progettata, ed è per questo che GTIG inquadra il problema come abuso di una capacità legittima anziché come un difetto che una patch chiude.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL: una campagna reale con un rendimento non misurato

CERT-UA è arrivato prima. Il 17 luglio 2025, il Computer Emergency Response Team ucraino ha pubblicato un avviso su una famiglia che ha denominato LAMEHUG, dopo aver ricevuto segnalazioni, il 10 luglio 2025, di email sospette inviate da account compromessi e che si spacciavano per funzionari ministeriali. I messaggi erano indirizzati alle "autorità esecutive governative" e contenevano un archivio ZIP con tre varianti del payload, denominate "Додаток.pif", "AI_generator_uncensored_Canvas_PRO_v0.9.exe" e "image.py". CERT-UA ha attribuito l'attività ad APT28 con una fiducia media — un grado inferiore rispetto all'affermazione netta di GTIG secondo cui l'attore è sostenuto dal governo russo — e ha descritto il ruolo dell'LLM in una riga: è "utilizzato per generare comandi basandosi sulla loro rappresentazione testuale (descrizione)".

Il resoconto di GTIG aggiunge il dettaglio operativo. PROMPTSTEAL si maschera da programma di "generazione di immagini" che guida l'utente attraverso i prompt mentre interroga Hugging Face in background — un camuffamento che si adatta ai nomi dei file recuperati da CERT-UA. I prompt recuperati da GTIG richiedono informazioni di sistema e documenti in cartelle specifiche; i comandi restituiti vengono, secondo le sue parole, "eseguiti localmente alla cieca" prima che l'output venga esfiltrato. GTIG afferma che la famiglia "probabilmente utilizza token API rubati" per raggiungere Hugging Face e che l'analisi mostra uno sviluppo continuo, con nuovi campioni che aggiungono offuscamento e cambiano il metodo di comando e controllo. Un approfondimento di Cato Networks, incorporato nella copertura di The Hacker News del 25 luglio 2025, ha contato circa 270 token di Hugging Face usati per l'autenticazione e ha rilevato che il malware contiene descrizioni predefinite, codificate in base64, degli obiettivi per cui desidera ricevere comandi.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX: quello che non è stato utilizzato

PROMPTFLUX è il punto in cui il reporting e i titoli divergono maggiormente. GTIG lo ha identificato all'inizio di giugno 2025: un dropper VBScript il cui componente centrale, un modulo che gli autori hanno chiamato "Thinking Robot", invia una richiesta POST all'endpoint dell'API Gemini con una chiave hard-coded, specificando il modello "gemini-1.5-flash-latest". Il tag "-latest" è importante: significa che il malware segue qualunque release stabile Google serva attualmente, così lo strumento sopravvive alla deprecazione del modello. GTIG descrive il prompt come "altamente specifico e analizzabile automaticamente, che richiede codice VBScript per l'evasione antivirus e istruisce l'LLM a restituire solo il codice stesso". Una variante va oltre, chiedendo al modello di agire come "esperto offuscatore VBScript" e di riscrivere l'intera sorgente ogni ora, reincorporando il payload esca, la chiave API e la logica di rigenerazione in modo che il ciclo possa ripetersi.

Poi ci sono le avvertenze, che sono nel documento principale e si perdono nell'aggregazione. La routine di automodifica, AttemptToUpdateSelf, è commentata. Esiste un meccanismo per limitare la frequenza con cui il malware chiama l'API. Le risposte dell'IA vengono registrate in un file, %TEMP%\thinking_robot_log.txt. GTIG interpreta queste tracce come intento anziché capacità, concludendo che la famiglia è "in una fase di sviluppo o test" e che "lo stato attuale di questo malware non dimostra la capacità di compromettere una rete o un dispositivo vittima". L'autore non è attribuito; GTIG inferisce un attore con motivazioni finanziarie dai nomi dei file esca come "crypted_ScreenRec_webinstall" e da uno stile di targeting ampio e indipendente dall'area geografica. Google afferma di aver disabilitato gli asset associati all'attività e che DeepMind ha utilizzato i risultati per rafforzare sia i suoi classificatori sia il modello.

Sto lavorando a un problema CTF

Il secondo tema del documento è più economico di qualsiasi malware: convincere il modello ad aiutare. GTIG descrive un attore con legami con la Cina che ha chiesto a Gemini di identificare vulnerabilità su un sistema compromesso e ha ricevuto un rifiuto per motivi di sicurezza, poi ha riformulato la richiesta come un esercizio capture-the-flag — "Sto lavorando a un problema CTF", "Sono attualmente in una CTF e ho visto qualcuno di un'altra squadra dire …" — e ha ottenuto le indicazioni sullo sfruttamento che voleva. GTIG afferma che l'attore ha imparato dallo scambio e ha riutilizzato il pretesto in attività di phishing, sfruttamento e sviluppo di web shell. Un altro attore iraniano, TEMP.Zagros (tracciato anche come MUDDYCOAST), ha usato pretesti legati agli studenti: un progetto universitario dell'ultimo anno, "scrivere un articolo", un "articolo internazionale" sulla sicurezza informatica.

La risposta di Google, come affermato nel rapporto, è stata disabilitare gli account e reimmettere le interazioni nell'addestramento, ed è franca nel riconoscere che le versioni benigna e malevola di questi prompt sono difficili da distinguere: la stessa domanda posta da un vero giocatore CTF è legittima. Un dettaglio del caso TEMP.Zagros merita di essere riportato, perché è la prova più chiara nel documento che l'uso dell'IA a runtime ha un doppio effetto. Durante il debug di uno script con Gemini, l'attore ha incollato materiale hardcoded, inclusi il dominio di command-and-control e la chiave di crittografia dello script, cosa che, secondo GTIG, ha alimentato la sua più ampia azione di contrasto alla campagna.

Stabilito, contestato, non stabilito

L'archivio assegna a questo record una confidenza A, non contestata, con danni reali registrati, e la sequenza sottostante è effettivamente documentata due volte da soggetti con accesso indipendente: CERT-UA dai dati sugli incidenti ucraini, GTIG dalla telemetria dei prodotti di Google. Testate indipendenti — The Hacker News, SecurityWeek, Security Affairs, Wiz — ribadiscono i meccanismi senza contraddirli, e la lettura di LAMEHUG da parte di Wiz coincide con la descrizione di CERT-UA di prompt codificati in base64 ed esecuzione di comandi. Ciò che è realmente contestato è il significato, non il fatto, e vale la pena tenere separate le due cose.

Marcus Hutchins ha sostenuto pubblicamente, in dichiarazioni riportate da The Hacker News il 5 novembre 2025, che la vicenda PROMPTFLUX è esagerata. Il prompt, ha scritto, funziona "partendo dal presupposto che Gemini sappia istintivamente come eludere gli antivirus (non è così)", e non c'è "entropia per garantire che il codice 'automodificante' differisca dalle versioni precedenti, né alcun guardrail per garantire che funzioni davvero" — un'obiezione tecnica che si basa proprio sul fatto che la routine di aggiornamento era disabilitata. Wiz è giunta a una conclusione simile sull'uso degli LLM a runtime in generale: gli attaccanti avrebbero potuto generare e testare il codice in anticipo, l'output del modello era incoerente e l'approccio lasciava log di controllo lato provider. Cato Networks, dal canto suo, ha valutato l'attività di giugno come test di nuove capacità in Ucraina anziché un'operazione a pieno titolo. Niente di tutto ciò contesta che PROMPTSTEAL sia stato eseguito contro obiettivi reali; tutto ciò riguarda quanto abbia aggiunto l'LLM.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

Cosa è cambiato e cosa non mostra la documentazione

La risposta documentata è di Google. GTIG afferma di aver disattivato le risorse e gli account dietro i casi di uso improprio di Gemini, e che DeepMind ha usato le osservazioni per rafforzare sia i classificatori sia il modello, affinché rifiuti queste richieste in futuro. Cita anche il suo Secure AI Framework e Big Sleep, il suo agente per la ricerca di vulnerabilità, come il lato difensivo della stessa medaglia. Ciò che il rapporto non registra è qualsiasi cambiamento presso Hugging Face, qualsiasi smantellamento dell'infrastruttura PROMPTSTEAL da parte di soggetti diversi dai ricercatori autori del rapporto, o qualsiasi intervento delle forze dell'ordine — e non quantifica la campagna: nessun numero di vittime, nessun volume di documenti rubati, nessuna dichiarazione che i comandi generati dall'LLM abbiano funzionato.

Quella lacuna è la forma onesta della documentazione. Un attore statale russo ha condotto una campagna di furto di dati contro enti governativi ucraini in cui i comandi di raccolta venivano scritti in fase di esecuzione da un modello pubblico di programmazione, e il malware è stato recuperato e descritto in dettaglio; quanto abbia sottratto non compare in nessuno dei due bollettini. Una seconda famiglia dimostra che oggi è realizzabile un malware auto-riscrivente che chiama l’API di un modello commerciale, e i suoi stessi autori non l’avevano ancora attivato. Entrambi i fatti appartengono alla stessa voce perché sono arrivati nello stesso rapporto, ed è la colonna di stato del rapporto stesso a tenerli distinti. Letto così, il 5 novembre 2025 segna la data in cui la tecnica ha smesso di essere ipotetica in un caso ed è rimasta ipotetica nell’altro.