Ilustrasi abstrak sebuah skrip di mesin host yang mengirimkan permintaan bergaris titik-titik ke luar menuju endpoint model jarak jauh dan menerima blok kode yang dihasilkan kembali, digambar sebagai skema, bukan sebagai penggambaran sistem, organisasi, atau orang nyata mana pun. Logo OrcaRouter dikompositkan di sudut kanan bawah.
AI Safety Incidents

PROMPTFLUX dan PROMPTSTEAL: malware pertama yang bertanya kepada LLM apa yang harus dilakukan selanjutnya

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Pada 5 November 2025, Google Threat Intelligence Group menerbitkan "GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools", sebuah laporan yang menguraikan apa yang disebutnya sebagai keluarga malware pertama yang melakukan kueri ke model bahasa besar saat sedang dieksekusi. Salah satunya, PROMPTSTEAL, digunakan oleh kelompok yang didukung negara Rusia APT28 (juga dilacak sebagai FROZENLAKE) terhadap sasaran pemerintah Ukraina, dengan mengirimkan prompt ke Qwen2.5-Coder-32B-Instruct melalui API Hugging Face dan menjalankan perintah Windows apa pun yang dikembalikan; CERT-UA Ukraina telah mendokumentasikan keluarga yang sama pada Juli 2025 dengan nama LAMEHUG. Yang lainnya, PROMPTFLUX, adalah dropper VBScript eksperimental yang meminta API Gemini untuk menulis ulang kodenya sendiri demi menghindari antivirus, dan GTIG menyatakan secara tegas bahwa keluarga itu "tidak menunjukkan kemampuan untuk mengompromikan jaringan atau perangkat korban". Kerugian dalam catatan ini adalah kampanye di Ukraina; kebaruannya adalah bahwa model, bukan penulis malware, yang memasok perintahnya. Catatan lengkapnya, beserta tingkat keparahan dan tingkat keyakinannya, berada di Orca AI Incident Archive, bersama entri-entri di sekitarnya tentang malware yang berbicara dengan model di tengah eksekusi.

Perbedaan itulah yang menjadikan ini entri penting, bukan sekadar uraian phishing lainnya. Malware telah menggunakan AI pada waktu pembuatan selama beberapa tahun — pengembang meminta skrip kepada chatbot, lalu meng-hard-code hasilnya. Yang didokumentasikan GTIG berbeda secara jenis: kode yang berjalan di mesin korban tidak tetap saat sampel dikompilasi. Kode itu diambil pada waktu eksekusi dari API komersial pihak ketiga, dalam prompt penyerang sendiri, dan dieksekusi tanpa dibaca manusia. GTIG menyebut temuan ini AI "just-in-time" dan menyebutnya "langkah signifikan menuju malware yang lebih otonom dan adaptif". GTIG juga menyebut teknik ini masih tahap awal, dan kolom status dalam laporan itu sendiri adalah hal paling berguna di dalamnya: dari lima famili yang disebutkan, tiga — FRUITSHELL, PROMPTSTEAL, dan QUIETVAULT — ditandai "Teramati dalam operasi", dan dua, PROMPTFLUX dan PROMPTLOCK, ditandai "Eksperimental".

Apa yang menurut GTIG telah ditemukan

Laporan tersebut merupakan pembaruan atas analisis Google Januari 2025 tentang penyalahgunaan AI generatif, dan basis buktinya adalah telemetri Google sendiri: prompt dan aktivitas yang diamati terhadap Gemini, ditambah sampel malware yang dianalisis para penelitinya. Tabel 1 dalam laporan itu mencantumkan lima keluarga kode dengan apa yang disebut GTIG sebagai "kemampuan AI baru", masing-masing berstatus "Teramati dalam operasi" atau "Eksperimental". Hanya PROMPTSTEAL yang berada di kategori pertama dengan kampanye aktif yang dapat diatribusikan. PROMPTFLUX, PROMPTLOCK, dan lainnya dikatalogkan sebagai eksperimental atau sebagai perangkat, bukan sebagai operasi.

Mekanisme pada kedua keluarga malware yang menjadi sorotan memiliki bentuk yang sama. Alih-alih mengirimkan daftar perintah, sampel tersebut mengirimkan prompt — teks berenkode base64 pada kasus PROMPTSTEAL, instruksi yang dapat diurai mesin pada PROMPTFLUX — mengirimkannya ke API model publik dengan kunci yang tertanam di biner, lalu menjalankan responsnya. Tidak ada dari kedua keluarga itu yang memerlukan kerentanan pada layanan penyedia model. Keduanya menggunakan API sesuai rancangan, itulah sebabnya GTIG membingkai masalah ini sebagai penyalahgunaan kemampuan yang sah, bukan cacat yang dapat ditutup dengan patch.

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL: kampanye nyata dengan hasil yang belum terukur

CERT-UA lebih dulu sampai di sana. Pada 17 Juli 2025, Tim Tanggap Darurat Komputer Ukraina menerbitkan imbauan tentang sebuah keluarga yang mereka beri nama LAMEHUG, setelah menerima laporan pada 10 Juli 2025 tentang email mencurigakan yang dikirim dari akun-akun yang telah disusupi dan menyamar sebagai pejabat kementerian. Pesan-pesan tersebut menyasar “otoritas pemerintah eksekutif” dan membawa arsip ZIP berisi tiga varian payload, yang bernama "Додаток.pif", "AI_generator_uncensored_Canvas_PRO_v0.9.exe" dan "image.py". CERT-UA mengatribusikan aktivitas tersebut kepada APT28 dengan tingkat keyakinan sedang — tingkat yang lebih rendah daripada pernyataan tegas GTIG bahwa aktor tersebut didukung oleh pemerintah Rusia — dan menggambarkan peran LLM dalam satu baris: LLM itu “digunakan untuk menghasilkan perintah berdasarkan representasi tekstualnya (deskripsi)”.

Uraian GTIG menambahkan detail operasional. PROMPTSTEAL menyamar sebagai program "image generation" yang memandu pengguna melalui prompt sambil melakukan kueri ke Hugging Face di latar belakang — penyamaran yang cocok dengan nama file yang ditemukan CERT-UA. Prompt yang ditemukan GTIG meminta informasi sistem dan dokumen di folder tertentu; perintah yang dikembalikan, menurut GTIG, "dijalankan secara lokal tanpa pemeriksaan" sebelum output dieksfiltrasi. GTIG menyatakan keluarga malware ini "kemungkinan menggunakan token API curian" untuk menjangkau Hugging Face, dan bahwa analisis menunjukkan pengembangan berkelanjutan, dengan sampel baru menambahkan obfuscation dan mengubah metode command-and-control. Tindak lanjut oleh Cato Networks, yang dimasukkan ke dalam liputan The Hacker News pada 25 Juli 2025, menghitung sekitar 270 token Hugging Face yang digunakan untuk autentikasi dan mencatat bahwa malware tersebut membawa deskripsi sasaran yang telah ditentukan sebelumnya dan dienkode base64 untuk tujuan yang ingin dibuatkan perintahnya.

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX: yang tidak digunakan

PROMPTFLUX adalah tempat pelaporan dan judul berita paling jauh berbeda. GTIG mengidentifikasinya pada awal Juni 2025: sebuah dropper VBScript yang komponen utamanya, sebuah modul yang oleh penulisnya disebut "Thinking Robot", mengirim permintaan POST ke endpoint Gemini API dengan kunci yang ditulis langsung di kode, menentukan model "gemini-1.5-flash-latest". Tag "-latest" itu penting — artinya malware mengikuti rilis stabil apa pun yang saat ini disediakan Google, sehingga alat tersebut tetap berfungsi meskipun model dihentikan. GTIG mendeskripsikan prompt-nya sebagai "sangat spesifik dan dapat diurai mesin, meminta kode VBScript untuk penghindaran antivirus dan menginstruksikan LLM untuk hanya mengeluarkan kodenya sendiri". Satu varian melangkah lebih jauh, meminta model berperan sebagai "pengabur kode VBScript ahli" dan menulis ulang seluruh sumber setiap jam, menyematkan kembali payload umpan, kunci API, dan logika regenerasi agar siklusnya dapat berulang.

Lalu ada catatan-catatan penting, yang terdapat dalam dokumen utama dan hilang dalam agregasi. Rutinitas modifikasi diri, AttemptToUpdateSelf, dijadikan komentar. Ada mekanisme untuk membatasi seberapa sering malware memanggil API. Respons AI dicatat ke file, %TEMP%\thinking_robot_log.txt. GTIG membaca jejak tersebut sebagai niat, bukan kemampuan, dan menyimpulkan bahwa keluarga malware ini "berada dalam fase pengembangan atau pengujian" dan bahwa "keadaan malware ini saat ini tidak menunjukkan kemampuan untuk mengompromikan jaringan atau perangkat korban". Penulisnya tidak diatribusikan; GTIG menyimpulkan aktor bermotivasi finansial dari nama file umpan seperti "crypted_ScreenRec_webinstall" dan gaya penargetan yang luas serta tidak terikat geografi. Google mengatakan telah menonaktifkan aset yang terkait dengan aktivitas tersebut, dan bahwa DeepMind menggunakan temuan itu untuk memperkuat klasifikator maupun modelnya.

Saya sedang mengerjakan soal CTF

Tema kedua catatan itu lebih murah daripada malware apa pun: membujuk model agar membantu. GTIG mendeskripsikan aktor berafiliasi Tiongkok yang meminta Gemini mengidentifikasi kerentanan pada sistem yang telah dikompromikan dan menerima penolakan keamanan, lalu membingkai ulang permintaan itu sebagai latihan capture-the-flag — "Saya sedang mengerjakan soal CTF", "Saya sedang dalam CTF, dan saya melihat seseorang dari tim lain mengatakan …" — dan mendapatkan panduan eksploitasi yang diinginkannya. GTIG mengatakan aktor tersebut belajar dari percakapan itu dan menggunakan kembali dalih tersebut dalam phishing, eksploitasi, dan pengembangan web shell. Aktor Iran terpisah, TEMP.Zagros (juga dilacak sebagai MUDDYCOAST), menggunakan dalih mahasiswa: proyek universitas tahun terakhir, "menulis makalah", sebuah "artikel internasional" tentang keamanan siber.

Tanggapan Google, sebagaimana dinyatakan dalam laporan, adalah menonaktifkan akun-akun tersebut dan memasukkan kembali interaksi itu ke pelatihan, dan mereka terbuka bahwa versi jinak dan berbahaya dari prompt-prompt ini sulit dibedakan: pertanyaan yang sama dari pemain CTF sungguhan adalah sah. Satu detail dari kasus TEMP.Zagros layak dicatat, karena itu adalah bukti paling jelas dalam dokumen bahwa penggunaan AI saat runtime memiliki dua sisi. Saat men-debug skrip dengan Gemini, aktor menempelkan materi hard-coded termasuk domain command-and-control dan kunci enkripsi skrip, yang menurut GTIG menjadi masukan bagi upaya gangguan kampanye yang lebih luas.

Mapan, diperdebatkan, belum mapan

Arsip memberi catatan ini nilai kepercayaan A, tidak disengketakan, dengan kerugian nyata yang tercatat, dan rangkaian peristiwa yang mendasarinya memang didokumentasikan dua kali oleh pihak-pihak dengan akses independen: CERT-UA dari data insiden Ukraina, GTIG dari telemetri produk Google sendiri. Media independen — The Hacker News, SecurityWeek, Security Affairs, Wiz — mengulang kembali mekanismenya tanpa bertentangan dengannya, dan pembacaan Wiz sendiri atas LAMEHUG cocok dengan deskripsi CERT-UA tentang prompt yang dienkode base64 dan eksekusi perintah. Yang benar-benar diperdebatkan adalah signifikansinya, bukan faktanya, dan ada baiknya memisahkan keduanya.

Marcus Hutchins berargumen secara publik, dalam komentar yang dilaporkan oleh The Hacker News pada 5 November 2025, bahwa kisah PROMPTFLUX dibesar-besarkan. Prompt itu, tulisnya, bekerja "dengan asumsi bahwa Gemini secara naluriah tahu cara menghindari antivirus (tidak demikian)", dan tidak ada "entropi untuk memastikan kode 'yang memodifikasi diri' berbeda dari versi sebelumnya, atau pagar pengaman apa pun untuk memastikan kode itu benar-benar berfungsi" — keberatan teknis yang tepat menyoroti fakta bahwa rutinitas pembaruan dinonaktifkan. Wiz mencapai kesimpulan serupa tentang penggunaan LLM saat runtime secara umum: penyerang bisa saja telah menghasilkan dan menguji kode tersebut sebelumnya, keluaran model tidak konsisten, dan pendekatan itu meninggalkan log audit di sisi penyedia. Cato Networks, pada bagiannya, menilai aktivitas Juni tersebut sebagai pengujian kemampuan baru di Ukraina alih-alih operasi penuh. Tidak ada satu pun dari itu yang membantah bahwa PROMPTSTEAL dijalankan terhadap target nyata; semuanya berkaitan dengan seberapa besar kontribusi yang ditambahkan LLM.

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

Apa yang berubah, dan apa yang tidak ditunjukkan oleh catatan

Respons yang didokumentasikan adalah milik Google. GTIG mengatakan pihaknya telah menonaktifkan aset dan akun di balik kasus-kasus penyalahgunaan Gemini, dan bahwa DeepMind menggunakan observasi tersebut untuk memperkuat baik classifier maupun modelnya sehingga menolak permintaan-permintaan ini di masa mendatang. Laporan itu juga merujuk pada Secure AI Framework dan Big Sleep, agen pemburu kerentanannya, sebagai sisi defensif dari koin yang sama. Yang tidak dicatat laporan tersebut adalah adanya perubahan di Hugging Face, pembongkaran infrastruktur PROMPTSTEAL oleh pihak selain peneliti yang melaporkan, atau tindakan penegakan hukum apa pun — dan laporan itu tidak memberikan angka untuk kampanye tersebut: tidak ada jumlah korban, tidak ada volume dokumen yang dicuri, tidak ada pernyataan bahwa perintah yang dihasilkan LLM berhasil.

Celah itu adalah bentuk jujur dari catatan tersebut. Aktor negara Rusia menjalankan kampanye pencurian data terhadap badan-badan pemerintah Ukraina yang perintah pengumpulannya ditulis saat runtime oleh model pengodean publik, dan malware tersebut berhasil dipulihkan serta dijelaskan secara rinci; berapa banyak yang diambil tidak disebutkan dalam kedua advisory. Keluarga kedua menunjukkan bahwa malware yang menulis ulang dirinya sendiri dan memanggil API model komersial dapat dibuat hari ini, dan para penulisnya sendiri belum mengaktifkannya. Kedua fakta itu masuk dalam entri yang sama karena keduanya muncul dalam laporan yang sama, dan kolom status laporan itu sendirilah yang memisahkan keduanya. Dibaca dengan cara itu, 5 November 2025 menandai tanggal ketika teknik tersebut berhenti bersifat hipotetis dalam satu kasus dan tetap hipotetis dalam kasus lainnya.