Abstrakcyjna ilustracja skryptu na maszynie hosta wysyłającego na zewnątrz żądanie zaznaczone linią kropkowaną do zdalnego punktu końcowego modelu i odbierającego z powrotem blok wygenerowanego kodu, przedstawiona jako schemat, a nie jako odwzorowanie jakiegokolwiek rzeczywistego systemu, organizacji lub osoby. Logo OrcaRouter jest nałożone w prawym dolnym rogu.
AI Safety Incidents

PROMPTFLUX i PROMPTSTEAL: pierwsze złośliwe oprogramowanie, które pyta LLM, co robić dalej

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

5 listopada 2025 r. Google Threat Intelligence Group opublikowała „GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools”, raport opisujący to, co nazywa pierwszymi rodzinami złośliwego oprogramowania, które podczas wykonywania odpytują duży model językowy. Jedna z nich, PROMPTSTEAL, została wykorzystana przez wspieraną przez państwo rosyjskie grupę APT28 (śledzoną również jako FROZENLAKE) przeciwko celom rządu Ukrainy, wysyłając polecenia do Qwen2.5-Coder-32B-Instruct przez API Hugging Face i wykonując dowolne polecenia Windows, które wróciły; CERT-UA Ukrainy już w lipcu 2025 r. udokumentował tę samą rodzinę pod nazwą LAMEHUG. Druga, PROMPTFLUX, to eksperymentalny dropper VBScript, który prosi API Gemini o przepisanie własnego kodu w celu uniknięcia wykrycia przez antywirusy, a GTIG stwierdza wprost, że „nie wykazuje ona zdolności do skompromitowania sieci lub urządzenia ofiary”. Szkodą w tym zapisie jest kampania ukraińska; nowością jest to, że polecenia dostarczył model, a nie autor złośliwego oprogramowania. Pełny zapis, wraz z ocenami dotkliwości i pewności, znajduje się w Orca AI Incident Archive, obok sąsiednich wpisów dotyczących złośliwego oprogramowania, które komunikuje się z modelem w trakcie wykonywania.

Ta różnica jest powodem, dla którego to przełomowy wpis, a nie kolejny artykuł o phishingu. Złośliwe oprogramowanie od kilku lat wykorzystuje AI na etapie tworzenia — deweloper prosi chatbot o skrypt, a następnie wpisuje wynik na sztywno do kodu. To, co dokumentuje GTIG, jest odmienne co do samej natury: kod uruchamiany na maszynie ofiary nie jest ustalony w momencie kompilacji próbki. Jest pobierany w czasie wykonania z komercyjnego API firmy trzeciej, w ramach promptu samego atakującego, i wykonywany bez przeczytania go przez człowieka. GTIG określa to odkrycie mianem AI „just-in-time” i nazywa je „znaczącym krokiem w stronę bardziej autonomicznego i adaptacyjnego złośliwego oprogramowania”. Nazywa też tę technikę wczesną, a najbardziej użytecznym elementem raportu jest jego własna kolumna statusu: spośród pięciu wymienionych rodzin trzy — FRUITSHELL, PROMPTSTEAL i QUIETVAULT — oznaczono jako „Observed in operations”, a dwie, PROMPTFLUX i PROMPTLOCK, jako „Experimental”.

Co GTIG twierdzi, że znalazł

Raport stanowi aktualizację analizy nadużyć generatywnej sztucznej inteligencji przeprowadzonej przez Google w styczniu 2025 r., a jego podstawą dowodową jest własna telemetria Google: prompty i aktywność zaobserwowane w odniesieniu do Gemini oraz próbki złośliwego oprogramowania przeanalizowane przez jego badaczy. Tabela 1 w raporcie wymienia pięć rodzin kodu z tym, co GTIG nazywa „nowymi możliwościami AI”, a każda z nich ma status „Zaobserwowano w operacjach” lub „Eksperymentalne”. Tylko PROMPTSTEAL należy do pierwszej kategorii i ma za sobą aktywną, możliwą do przypisania kampanię. PROMPTFLUX, PROMPTLOCK i pozostałe są skatalogowane jako eksperymentalne lub jako narzędzia, a nie jako operacje.

Mechanizm w obu omawianych rodzinach ma ten sam kształt. Zamiast dostarczać listę poleceń, próbka dostarcza prompt — w przypadku PROMPTSTEAL tekst zakodowany w base64, w przypadku PROMPTFLUX instrukcję możliwą do sparsowania maszynowo — wysyła go do publicznego API modelu z kluczem osadzonym w binarium i wykonuje odpowiedź. Żadna z rodzin nie potrzebowała luki w usłudze dostawcy modelu. Obie wykorzystywały API zgodnie z jego projektem, dlatego GTIG ujmuje ten problem jako nadużycie legalnej funkcji, a nie wadę, którą zamyka się łatką.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL: prawdziwa kampania z niezmierzonym wynikiem

CERT-UA był pierwszy. 17 lipca 2025 r. ukraiński Zespół Reagowania na Incydenty Komputerowe opublikował ostrzeżenie dotyczące rodziny, którą nazwał LAMEHUG, po otrzymaniu 10 lipca 2025 r. zgłoszeń o podejrzanych e-mailach wysyłanych z przejętych kont i podszywających się pod urzędników ministerstw. Wiadomości były skierowane do „naczelnych organów władzy państwowej” i zawierały archiwum ZIP z trzema wariantami ładunku o nazwach „Додаток.pif”, „AI_generator_uncensored_Canvas_PRO_v0.9.exe” oraz „image.py”. CERT-UA przypisał tę aktywność grupie APT28 ze średnim stopniem pewności — niższym niż kategoryczne stwierdzenie GTIG, że podmiot ten jest wspierany przez rząd rosyjski — i opisał rolę LLM w jednym zdaniu: jest ona „wykorzystywana do generowania poleceń na podstawie ich reprezentacji tekstowej (opisu)”.

Relacja GTIG dodaje szczegóły operacyjne. PROMPTSTEAL podszywa się pod program do „generowania obrazów”, który prowadzi użytkownika przez monity, jednocześnie w tle odpytując Hugging Face — kamuflaż pasujący do nazw plików, które odzyskała CERT-UA. Odzyskane przez GTIG monity proszą o informacje o systemie oraz o dokumenty w określonych folderach; zwrócone polecenia są, według jej słów, „bezrefleksyjnie wykonywane lokalnie”, zanim dane wyjściowe zostaną eksfiltrowane. GTIG twierdzi, że rodzina „prawdopodobnie wykorzystuje skradzione tokeny API” do łączenia się z Hugging Face, a analiza wskazuje na dalszy rozwój — nowe próbki dodają obfuskację i zmieniają metodę dowodzenia i kontroli. Późniejsza analiza Cato Networks, włączona do relacji The Hacker News z 25 lipca 2025 r., naliczyła około 270 tokenów Hugging Face użytych do uwierzytelniania i zauważyła, że złośliwe oprogramowanie zawiera zdefiniowane, zakodowane w base64 opisy celów, dla których chce poleceń.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX: ten, którego nie użyto

PROMPTFLUX to przypadek, w którym doniesienia i nagłówki najbardziej się rozchodzą. GTIG zidentyfikowała go na początku czerwca 2025 r.: to dropper VBScript, którego centralny komponent — moduł nazwany przez autorów „Thinking Robot” — wysyła żądanie POST do punktu końcowego Gemini API z zakodowanym na stałe kluczem, określając model „gemini-1.5-flash-latest”. Znacznik „-latest” ma znaczenie — oznacza, że malware podąża za dowolnym stabilnym wydaniem, które Google aktualnie udostępnia, dzięki czemu narzędzie przetrwa wycofanie modelu. GTIG opisuje prompt jako „wysoce specyficzny i możliwy do przetworzenia maszynowo, żądający kodu VBScript do omijania mechanizmów antywirusowych i instruujący LLM, aby zwracał wyłącznie sam kod”. Jeden z wariantów idzie dalej: prosi model o wcielenie się w „eksperckiego obfuskatora VBScript” i przepisywanie całego źródła co godzinę, z ponownym osadzaniem ładunku-wabika, klucza API i logiki regeneracji, aby cykl mógł się powtarzać.

Zastrzeżenia, które znajdują się w dokumencie źródłowym i giną przy agregacji. Procedura samomodyfikacji AttemptToUpdateSelf jest zakomentowana. Istnieje mechanizm ograniczający częstotliwość wywoływania API przez malware. Odpowiedzi AI są zapisywane w pliku %TEMP%\thinking_robot_log.txt. GTIG odczytuje te ślady jako intencję, a nie zdolność, i dochodzi do wniosku, że rodzina jest „w fazie rozwoju lub testowania”, a „obecny stan tego malware nie wykazuje zdolności do kompromitacji sieci lub urządzenia ofiary”. Autor pozostaje niezidentyfikowany; GTIG wnioskuje o aktorze motywowanym finansowo na podstawie nazw plików wabików, takich jak „crypted_ScreenRec_webinstall”, oraz szerokiego, niezależnego od geografii stylu targetowania. Google podaje, że wyłączyło zasoby powiązane z tą aktywnością oraz że DeepMind wykorzystało ustalenia do wzmocnienia zarówno swoich klasyfikatorów, jak i modelu.

Pracuję nad problemem CTF

Drugim motywem w tym zapisie jest coś tańszego niż jakiekolwiek złośliwe oprogramowanie: namówienie modelu, by pomógł. GTIG opisuje aktora powiązanego z Chinami, który poprosił Gemini o wskazanie luk w zabezpieczeniach na przejętym systemie i otrzymał odmowę ze względów bezpieczeństwa, a następnie przeformułował prośbę jako ćwiczenie capture-the-flag — „pracuję nad zadaniem z CTF”, „obecnie biorę udział w CTF i widziałem, jak ktoś z innej drużyny powiedział…” — i uzyskał wskazówki dotyczące eksploatacji, których chciał. GTIG twierdzi, że aktor wyciągnął wnioski z tej wymiany i ponownie użył pretekstu przy phishingu, eksploatacji i tworzeniu web shelli. Odrębny irański aktor, TEMP.Zagros (śledzony również jako MUDDYCOAST), używał studenckich pretekstów: projektu na ostatnim roku studiów, „pisania pracy” i „międzynarodowego artykułu” o cyberbezpieczeństwie.

Odpowiedź Google, jak stwierdzono w raporcie, polegała na wyłączeniu kont i przekazaniu interakcji z powrotem do treningu, a przy tym otwarcie przyznano, że niegroźne i złośliwe wersje tych promptów trudno odróżnić: to samo pytanie od rzeczywistego gracza CTF jest uzasadnione. Jeden szczegół ze sprawy TEMP.Zagros wart jest przytoczenia, ponieważ jest to najwyraźniejszy dowód w dokumencie, że użycie AI w czasie działania działa w obie strony. Podczas debugowania skryptu za pomocą Gemini aktor wkleił zakodowany na stałe materiał, w tym domenę command-and-control i klucz szyfrowania skryptu, co według GTIG przyczyniło się do szerszego zakłócenia kampanii.

Ustalony, sporny, nieustalony

Archiwum ocenia ten rekord na poziomie pewności A, jako niekwestionowany, z odnotowanymi rzeczywistymi szkodami, a leżąca u jego podstaw sekwencja zdarzeń jest istotnie udokumentowana dwukrotnie przez strony o niezależnym dostępie: CERT-UA na podstawie ukraińskich danych o incydentach, GTIG na podstawie własnej telemetrii produktowej Google. Niezależne redakcje — The Hacker News, SecurityWeek, Security Affairs, Wiz — przytaczają tę mechanikę bez zaprzeczania jej, a własna interpretacja LAMEHUG dokonana przez Wiz odpowiada opisowi CERT-UA dotyczącemu poleceń zakodowanych w base64 i wykonywania komend. Naprawdę sporne jest znaczenie, a nie fakty, i warto te dwie kwestie rozdzielić.

Marcus Hutchins publicznie argumentował — w komentarzach relacjonowanych przez The Hacker News 5 listopada 2025 r. — że historia PROMPTFLUX jest wyolbrzymiona. Jak napisał, prompt działa „przy założeniu, że Gemini po prostu instynktownie wie, jak unikać programów antywirusowych (a nie wie)”, a „nie ma entropii, która zapewniałaby, że kod »samomodyfikujący się« różni się od poprzednich wersji, ani żadnych zabezpieczeń, które zapewniałyby, że faktycznie działa” — techniczny zarzut, który sprowadza się dokładnie do faktu, że procedura aktualizacji została wyłączona. Wiz doszedł do podobnego wniosku w odniesieniu do ogólnego wykorzystania LLM w czasie działania: atakujący mogli wcześniej wygenerować i przetestować kod, dane wyjściowe modelu były niespójne, a podejście pozostawiało logi audytowe po stronie dostawcy. Cato Networks ze swojej strony oceniło czerwcową aktywność jako testowanie nowych możliwości na Ukrainie, a nie pełnoprawną operację. Nic z tego nie podważa, że PROMPTSTEAL działał przeciwko rzeczywistym celom; wszystko to ma znaczenie dla tego, jak duży był wkład LLM.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

Co się zmieniło, a czego nie pokazuje zapis

Udokumentowana odpowiedź pochodzi od Google’a. GTIG twierdzi, że wyłączył zasoby i konta stojące za przypadkami niewłaściwego wykorzystania Gemini oraz że DeepMind wykorzystał te obserwacje do wzmocnienia zarówno klasyfikatorów, jak i modelu, tak aby w przyszłości odmawiał tych żądań. Wskazuje również na Secure AI Framework oraz Big Sleep, swojego agenta polującego na luki w zabezpieczeniach, jako na defensywną stronę tej samej monety. Raport nie odnotowuje jednak żadnych zmian w Hugging Face, żadnego usunięcia infrastruktury PROMPTSTEAL przez podmiot inny niż badacze raportujący sprawę ani żadnych działań organów ścigania — nie podaje też liczb dotyczących kampanii: ani liczby ofiar, ani wolumenu skradzionych dokumentów, ani stwierdzenia, że wygenerowane przez LLM polecenia zadziałały.

Ta luka jest uczciwym kształtem zapisu. Rosyjski aktor państwowy prowadził kampanię kradzieży danych wymierzoną w ukraińskie organy rządowe, w której polecenia zbierania danych były zapisywane w czasie działania przez publiczny model kodowania, a złośliwe oprogramowanie odzyskano i szczegółowo opisano; ile danych przejęto, nie ma w żadnym z dwóch biuletynów. Druga rodzina pokazuje, że samomodyfikujące się złośliwe oprogramowanie wywołujące API komercyjnego modelu można dziś zbudować, a jego własni autorzy jeszcze go nie uruchomili. Oba fakty należą do tego samego wpisu, ponieważ pojawiły się w tym samym raporcie, a to właśnie własna kolumna statusu raportu je rozdziela. Czytane w ten sposób, 5 listopada 2025 r. wyznacza datę, w której technika przestała być hipotetyczna w jednym przypadku, a w drugim pozostała hipotetyczna.