Illustration abstraite d’un script sur une machine hôte envoyant une requête en pointillés vers un point de terminaison de modèle distant et recevant en retour un bloc de code généré, dessinée comme un schéma plutôt que comme la représentation d’un système, d’une organisation ou d’une personne réels. Le logo OrcaRouter est intégré dans le coin inférieur droit.
AI Safety Incidents

PROMPTFLUX et PROMPTSTEAL : le premier malware qui demande à un LLM quoi faire ensuite

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

PROMPTSTEAL, a été utilisée par le groupe soutenu par l’État russe APT28 (également suivi sous le nom de FROZENLAKE) contre des cibles gouvernementales ukrainiennes, en envoyant des invites à Qwen2.5-Coder-32B-Instruct via l’API Hugging Face et en exécutant les commandes Windows renvoyées ; le CERT-UA ukrainien avait déjà documenté la même famille en juillet 2025 sous le nom de LAMEHUG. L’autre, PROMPTFLUX, est un dropper VBScript expérimental qui demande à l’API Gemini de réécrire son propre code pour contourner les antivirus, et GTIG affirme sans détour qu’il « ne démontre pas la capacité de compromettre un réseau ou un appareil victime ». Le préjudice recensé dans cette fiche est la campagne ukrainienne ; la nouveauté est qu’un modèle, plutôt que l’auteur du logiciel malveillant, a fourni les commandes. La fiche complète, avec ses niveaux de gravité et de confiance, figure dans l’Orca AI Incident Archive, aux côtés des entrées voisines consacrées aux logiciels malveillants qui dialoguent avec un modèle en cours d’exécution.

Cette distinction est la raison pour laquelle il s’agit d’une entrée marquante plutôt que d’un énième article sur le phishing. Depuis plusieurs années, les malwares utilisent l’IA au moment de la création — un développeur demande un script à un chatbot, puis code le résultat en dur. Ce que documente GTIG est différent par nature : le code qui s’exécute sur la machine de la victime n’est pas figé au moment de la compilation de l’échantillon. Il est récupéré au moment de l’exécution depuis une API commerciale tierce, dans le prompt de l’attaquant lui-même, et exécuté sans qu’un humain ne le lise. GTIG qualifie ce constat d’IA « juste-à-temps » et le présente comme « un pas important vers des malwares plus autonomes et adaptatifs ». Il qualifie également la technique de naissante, et la colonne de statut du rapport lui-même est l’élément le plus utile qu’il contienne : sur les cinq familles qu’il nomme, trois — FRUITSHELL, PROMPTSTEAL et QUIETVAULT — sont marquées « Observées en opérations », et deux, PROMPTFLUX et PROMPTLOCK, sont marquées « Expérimentales ».

Ce que GTIG dit avoir trouvé

Le rapport est une mise à jour de l’analyse de Google de janvier 2025 sur l’utilisation abusive de l’IA générative, et sa base de preuves est la télémétrie propre à Google : les prompts et l’activité qu’il a observés sur Gemini, ainsi que des échantillons de logiciels malveillants analysés par ses chercheurs. Le tableau 1 du rapport répertorie cinq familles de code dotées de ce que GTIG appelle des « capacités d’IA inédites », chacune avec un statut soit « Observé en opérations », soit « Expérimental ». Seul PROMPTSTEAL figure dans la première catégorie, porté par une campagne active et attribuable. PROMPTFLUX, PROMPTLOCK et les autres sont répertoriés comme expérimentaux ou comme outillage plutôt que comme opérations.

Le mécanisme est identique dans les deux familles faisant la une. Au lieu de livrer une liste de commandes, l’échantillon livre un prompt — du texte encodé en base64 dans le cas de PROMPTSTEAL, une instruction analysable par machine dans celui de PROMPTFLUX —, le publie sur une API de modèle publique avec une clé intégrée au binaire, puis exécute la réponse. Aucune des deux familles n’avait besoin d’une vulnérabilité dans le service du fournisseur de modèle. Toutes deux ont utilisé l’API comme prévu, et c’est pourquoi GTIG présente le problème comme un abus d’une capacité légitime plutôt que comme une faille qu’un correctif ferme.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL : une vraie campagne au rendement non mesuré

CERT-UA est arrivé en premier. Le 17 juillet 2025, l'équipe d'intervention d'urgence informatique de l'Ukraine a publié un avis sur une famille qu'elle a nommée LAMEHUG, après avoir reçu le 10 juillet 2025 des signalements de courriels suspects envoyés depuis des comptes compromis et usurpant l'identité de responsables ministériels. Les messages ciblaient des « autorités gouvernementales exécutives » et transportaient une archive ZIP contenant trois variantes de la charge utile, nommées « Додаток.pif », « AI_generator_uncensored_Canvas_PRO_v0.9.exe » et « image.py ». CERT-UA a attribué l'activité à APT28 avec une confiance moyenne — un degré inférieur à l'affirmation catégorique de GTIG selon laquelle l'acteur est soutenu par le gouvernement russe — et a décrit le rôle du LLM en une ligne : il est « utilisé pour générer des commandes à partir de leur représentation textuelle (description) ».

Le compte rendu de GTIG ajoute des détails opérationnels. PROMPTSTEAL se fait passer pour un programme de « génération d’images » qui guide l’utilisateur à travers des invites tout en interrogeant Hugging Face en arrière-plan — un déguisement qui correspond aux noms de fichiers récupérés par CERT-UA. Les invites récupérées par GTIG demandent des informations système et des documents dans des dossiers spécifiques ; les commandes renvoyées sont, selon ses termes, « exécutées aveuglément en local » avant que la sortie ne soit exfiltrée. GTIG indique que cette famille « utilise probablement des jetons API volés » pour atteindre Hugging Face, et que l’analyse montre un développement continu, de nouveaux échantillons ajoutant de l’obfuscation et modifiant la méthode de commande et contrôle. Un suivi de Cato Networks, intégré à la couverture de The Hacker News le 25 juillet 2025, a dénombré environ 270 jetons Hugging Face utilisés pour l’authentification et a noté que le logiciel malveillant contient des descriptions prédéfinies, encodées en base64, des objectifs pour lesquels il souhaite des commandes.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX : celui qui n'a pas été utilisé

PROMPTFLUX est le cas où les rapports et les gros titres divergent le plus. GTIG l’a identifié début juin 2025 : un dropper VBScript dont le composant central, un module que les auteurs ont appelé « Thinking Robot », envoie une requête POST au point de terminaison de l’API Gemini avec une clé codée en dur, en spécifiant le modèle « gemini-1.5-flash-latest ». L’étiquette « -latest » compte : elle signifie que le malware suit la version stable que Google diffuse actuellement, ce qui permet à l’outil de survivre à la dépréciation du modèle. GTIG décrit le prompt comme « très précis et analysable automatiquement, demandant du code VBScript pour contourner les antivirus et ordonnant au LLM de ne produire que le code lui-même ». Une variante va plus loin : elle demande au modèle de jouer le rôle d’un « expert en obfuscation VBScript » et de réécrire l’intégralité du code source toutes les heures, en réintégrant la charge utile leurre, la clé API et la logique de régénération afin que le cycle puisse se répéter.

Viennent ensuite les réserves, qui figurent dans le document principal et se perdent dans l’agrégation. La routine d’auto-modification, AttemptToUpdateSelf, est mise en commentaire. Un mécanisme existe pour limiter la fréquence à laquelle le logiciel malveillant appelle l’API. Les réponses de l’IA sont consignées dans un fichier, %TEMP%\thinking_robot_log.txt. GTIG interprète ces traces comme une intention plutôt qu’une capacité, concluant que la famille « est en phase de développement ou de test » et que « l’état actuel de ce logiciel malveillant ne démontre pas une capacité à compromettre le réseau ou l’appareil d’une victime ». L’auteur n’est pas attribué ; GTIG déduit un acteur à motivation financière à partir de noms de fichiers leurres tels que « crypted_ScreenRec_webinstall » et d’un style de ciblage large, indépendant de la géographie. Google indique avoir désactivé les ressources associées à cette activité et que DeepMind a utilisé les conclusions pour renforcer à la fois ses classificateurs et le modèle.

Je travaille sur un problème de CTF

Le deuxième thème du rapport est moins coûteux que n’importe quel logiciel malveillant : convaincre le modèle d’aider. GTIG décrit un acteur lié à la Chine qui a demandé à Gemini d’identifier des vulnérabilités sur un système compromis et s’est vu opposer un refus de sécurité, puis a reformulé la demande en exercice de capture du drapeau — « je travaille sur un problème de CTF », « je suis actuellement dans un CTF, et j’ai vu quelqu’un d’une autre équipe dire … » — et a obtenu les conseils d’exploitation qu’il voulait. GTIG indique que l’acteur a tiré des enseignements de l’échange et a réutilisé ce prétexte dans le phishing, l’exploitation et le développement de webshells. Un autre acteur iranien, TEMP.Zagros (également suivi sous le nom de MUDDYCOAST), a utilisé des prétextes étudiants : un projet universitaire de dernière année, « rédiger un article », un « article international » sur la cybersécurité.

La réponse de Google, telle qu’énoncée dans le rapport, a été de désactiver les comptes et de réinjecter les interactions dans l’entraînement, et il est reconnu sans détour que les versions bénignes et malveillantes de ces prompts sont difficiles à distinguer : la même question posée par un véritable joueur de CTF est légitime. Un détail du cas TEMP.Zagros mérite d’être retenu, car c’est la preuve la plus claire, dans le document, que l’usage de l’IA à l’exécution est à double tranchant. Pendant le débogage d’un script avec Gemini, l’acteur a collé des éléments codés en dur, notamment son domaine de commande et de contrôle et la clé de chiffrement du script, ce qui, selon GTIG, a alimenté sa perturbation plus large de la campagne.

Établi, contesté, non établi

L'archive attribue à ce dossier une confiance A, non contestée, avec des préjudices réels consignés, et la séquence sous-jacente est bien documentée à deux reprises par des parties disposant d'un accès indépendant : CERT-UA à partir de données d'incident ukrainiennes, GTIG à partir de la télémétrie produit propre à Google. Des médias indépendants — The Hacker News, SecurityWeek, Security Affairs, Wiz — reformulent les mécanismes sans les contredire, et la propre lecture de LAMEHUG par Wiz correspond à la description par CERT-UA d'invites encodées en base64 et d'exécution de commandes. Ce qui est réellement contesté, c'est la portée, non les faits, et il vaut la peine de séparer les deux.

Marcus Hutchins a soutenu publiquement, dans des commentaires rapportés par The Hacker News le 5 novembre 2025, que l’affaire PROMPTFLUX était exagérée. Le prompt, écrivait-il, fonctionne « en partant du principe que Gemini sait instinctivement comment échapper aux antivirus (ce n’est pas le cas) », et il n’y a « aucune entropie pour garantir que le code “automodifiant” diffère des versions précédentes, ni aucun garde-fou pour garantir qu’il fonctionne réellement » — une objection technique qui porte précisément sur le fait que la routine de mise à jour était désactivée. Wiz est parvenu à une conclusion similaire concernant l’utilisation de LLM à l’exécution en général : les attaquants auraient pu générer et tester le code au préalable, la sortie du modèle était incohérente et l’approche laissait des journaux d’audit côté fournisseur. Cato Networks, de son côté, a évalué l’activité de juin comme un test de nouvelle capacité en Ukraine plutôt que comme une opération à part entière. Rien de tout cela ne conteste que PROMPTSTEAL ait été exécuté contre de vraies cibles ; tout cela concerne la mesure dans laquelle le LLM a réellement apporté quelque chose.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

Ce qui a changé, et ce que le dossier ne montre pas

La réponse documentée est celle de Google. GTIG indique avoir désactivé les ressources et les comptes derrière les cas d’utilisation abusive de Gemini, et que DeepMind a utilisé ces observations pour renforcer à la fois les classificateurs et le modèle afin qu’il refuse ces demandes à l’avenir. Elle cite également son Secure AI Framework et Big Sleep, son agent de recherche de vulnérabilités, comme le versant défensif de la même médaille. Ce que le rapport ne consigne pas, c’est un quelconque changement chez Hugging Face, un quelconque retrait de l’infrastructure PROMPTSTEAL par une partie autre que les chercheurs auteurs du rapport, ou une quelconque action des forces de l’ordre — et il ne chiffre pas la campagne : aucun nombre de victimes, aucun volume de documents dérobés, aucune déclaration selon laquelle les commandes générées par le LLM ont fonctionné.

Cet écart est la forme honnête du registre. Un acteur étatique russe a mené une campagne de vol de données contre des organismes gouvernementaux ukrainiens, dans laquelle les commandes de collecte étaient écrites à l’exécution par un modèle de codage public, et le logiciel malveillant a été récupéré et décrit en détail ; la quantité de données dérobées ne figure dans aucun des deux avis. Une seconde famille démontre qu’un logiciel malveillant auto-réécrivant appelant l’API d’un modèle commercial est réalisable aujourd’hui, et que ses propres auteurs ne l’avaient pas encore activé. Ces deux faits appartiennent à la même entrée parce qu’ils proviennent du même rapport, et c’est la colonne de statut propre au rapport qui les distingue. Lu ainsi, le 5 novembre 2025 marque la date à laquelle la technique a cessé d’être hypothétique dans un cas et est restée hypothétique dans l’autre.