一幅抽象示意图:主机上的脚本向外部的远程模型端点发送一条用虚线表示的请求,并接收返回的一大块生成代码;该图是示意图,而不是对任何真实系统、组织或个人的描绘。OrcaRouter 标志合成在右下角。
AI Safety Incidents

PROMPTFLUX 和 PROMPTSTEAL:首个向大语言模型询问下一步该做什么的恶意软件

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

2025年11月5日,Google Threat Intelligence Group 发布了《GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools》,一份报告描述了其所谓首批在执行时查询大语言模型的恶意软件家族。其中之一,PROMPTSTEAL,曾被俄罗斯国家支持的团体 APT28(也被追踪为 FROZENLAKE)用于针对乌克兰政府目标,通过 Hugging Face API 向 Qwen2.5-Coder-32B-Instruct 发送提示词,并运行返回的任何 Windows 命令;乌克兰的 CERT-UA 已于2025年7月以 LAMEHUG 之名记录了同一家族。另一个,PROMPTFLUX,是一个实验性 VBScript 投放器,它要求 Gemini API 重写其自身代码以规避杀毒软件,而 GTIG 明确表示,它“并未表现出能够入侵受害者网络或设备的能力”。该记录中的危害是乌克兰行动;新颖之处在于提供命令的是模型,而不是恶意软件作者。完整记录及其严重性和置信度评级位于 Orca AI Incident Archive 中,与关于在执行过程中与模型通信的恶意软件的相邻条目并列。

这一区分正是为什么这是一条里程碑式条目,而不是又一篇网络钓鱼报告。多年来,恶意软件在编写阶段就已使用 AI——开发者向聊天机器人索要脚本,然后将结果硬编码。GTIG 记录的情况则性质不同:在样本编译时,最终在受害者机器上运行的代码并不是固定的。它是在执行时通过攻击者自己的提示词从第三方商业 API 获取,并在无人阅读的情况下执行。GTIG 将这一发现称为“即时”(just-in-time)AI,并称其为“迈向更自主、更自适应恶意软件的重要一步”。它也称该技术尚处萌芽阶段,而报告自身的状态栏是其中最有用的内容:在其点名的五个家族中,有三个——FRUITSHELL、PROMPTSTEAL 和 QUIETVAULT——被标记为“在行动中观察到”,另外两个 PROMPTFLUX 和 PROMPTLOCK 被标记为“实验性”。

GTIG 称其发现了什么

该报告是对谷歌2025年1月关于生成式AI滥用分析的一次更新,其证据基础是谷歌自身的遥测数据:即其在Gemini上观察到的提示词和活动,以及其研究人员分析的恶意软件样本。报告表1列出了五个代码家族,它们具有GTIG所称的“新型AI能力”,每个家族的状态要么是“在行动中观察到”,要么是“实验性”。只有PROMPTSTEAL属于第一类,其背后有一个活跃且可归因的行动活动。PROMPTFLUX、PROMPTLOCK及其他则被归类为实验性或工具,而非行动。

两个备受关注的家族在机制上形态相同。样本不再投递一组命令,而是投递一个提示词——在 PROMPTSTEAL 的情况下是 base64 编码文本,在 PROMPTFLUX 的情况下是机器可解析的指令——使用嵌入二进制文件中的密钥将其发送到公共模型 API,并执行响应。这两个家族都不需要模型提供商服务中存在漏洞。两者都按设计使用了 API,因此 GTIG 将这一问题描述为对合法能力的滥用,而不是可通过补丁修复的缺陷。

A self-built comparison card headed “Two families, one archive record”, with two columns. Left column, PROMPTSTEAL, also reported as LAMEHUG: Python data miner packaged with PyInstaller; sends prompts to Qwen2.5-Coder-32B-Instruct through the Hugging Face API; asks for one-line Windows commands to collect system information and documents in named folders; executes the output locally and exfiltrates by SFTP or HTTP POST; poses as an image-generation program; used by APT28 against Ukraine; badge reads observed in operations. Right column, PROMPTFLUX: VBScript dropper with a Thinking Robot module; posts to the Gemini API with a hard-coded key and the gemini-1.5-flash-latest model tag; asks for VBScript obfuscation and antivirus-evasion code only; saves the regenerated script to the Windows Startup folder and copies itself to removable drives and mapped network shares; the AttemptToUpdateSelf routine is commented out; actor unattributed; badge reads experimental. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTSTEAL:一场真实的活动,收益尚未衡量

CERT-UA 抢先一步。2025 年 7 月 17 日,乌克兰计算机应急响应小组发布了一份公告,涉及一个其命名为 LAMEHUG 的恶意软件家族;此前,该小组于 2025 年 7 月 10 日收到报告,称有人从遭入侵的账户发送可疑电子邮件并冒充部委官员。这些邮件针对“政府行政机关”,并携带一个 ZIP 压缩包,其中包含该载荷的三个变体,分别名为“Додаток.pif”、“AI_generator_uncensored_Canvas_PRO_v0.9.exe”和“image.py”。CERT-UA 以中等置信度将该活动归因于 APT28——这比 GTIG 直截了当地断言该行为体得到俄罗斯政府支持的评价等级更低——并用一句话描述了 LLM 的作用:它“用于根据文本表示(描述)生成命令”。

GTIG的叙述补充了操作细节。PROMPTSTEAL伪装成一个“图像生成”程序,引导用户完成提示词,同时在后台查询Hugging Face——这一伪装与CERT-UA恢复的文件名相符。GTIG恢复的提示词要求提供系统信息以及特定文件夹中的文档;用其话说,返回的命令会在本地被“盲目执行”,随后输出被外泄。GTIG表示,该家族“很可能使用窃取的API令牌”访问Hugging Face,并称分析显示其仍在持续开发,新样本增加了混淆并改变了命令与控制方法。Cato Networks的一项后续分析被纳入《The Hacker News》2025年7月25日的报道,其中统计了约270个用于身份验证的Hugging Face令牌,并指出该恶意软件带有预定义的、base64编码的描述,说明其希望针对哪些目标获取命令。

A self-built timeline card titled “How the record was built” listing six dated entries: early June 2025, GTIG identifies PROMPTFLUX, an experimental VBScript dropper calling the Gemini API; June 2025, GTIG identifies APT28 using PROMPTSTEAL against Ukraine; 10 July 2025, CERT-UA receives reports of phishing emails impersonating ministry officials; 17 July 2025, CERT-UA publishes its LAMEHUG advisory, linking the activity to APT28 with medium confidence; 25 July 2025, Cato Networks adds token and variant analysis as coverage is updated the same day; 5 November 2025, GTIG publishes the report naming both families and grading PROMPTFLUX as experimental. A footer notes that 5 November 2025 is the report's publication date, not the date of any intrusion. The OrcaRouter logo is composited in the bottom-right corner.

PROMPTFLUX:未被使用的那个

PROMPTFLUX 是报道与新闻标题分歧最明显的地方。GTIG 于 2025 年 6 月上旬识别出它:一个 VBScript 投放器,其核心组件——作者称为“Thinking Robot”的模块——会使用硬编码密钥向 Gemini API 端点发送 POST 请求,并指定 "gemini-1.5-flash-latest" 模型。“-latest”标签很重要——它意味着该恶意软件会跟随 Google 当前提供的任何稳定版本,因此该工具能在模型被弃用后继续存活。GTIG 将该提示描述为“高度具体且可由机器解析,要求提供用于规避反病毒软件的 VBScript 代码,并指示 LLM 仅输出代码本身”。有一个变体更进一步,要求模型充当“专家级 VBScript 混淆器”,每小时重写整个源代码,并重新嵌入诱饵载荷、API 密钥和重新生成逻辑,以便该循环能够重复。

随后是那些限定说明,它们存在于主文档中,却会在汇总时丢失。自我修改例程 AttemptToUpdateSelf 已被注释掉。存在一种机制来限制恶意软件调用 API 的频率。AI 响应会记录到文件 %TEMP%\thinking_robot_log.txt 中。GTIG 将这些痕迹解读为意图而非能力,并得出结论:该家族“处于开发或测试阶段”,且“该恶意软件的当前状态并未表现出能够入侵受害者网络或设备的能力”。作者身份未归因;GTIG 从诸如 "crypted_ScreenRec_webinstall" 之类的诱饵文件名以及广泛且不区分地理位置的定向风格推断,这是一个出于经济动机的行为体。Google 表示已停用与该活动相关的资产,并称 DeepMind 利用这些发现增强了其分类器和模型。

我正在做一道 CTF 题目

该记录中的第二个主题比任何恶意软件都更廉价:说服模型提供帮助。GTIG 描述了一个与中国有关联的行为体,它要求 Gemini 识别一个受攻陷系统上的漏洞,却收到了安全拒绝;随后它把请求重新包装成一次 CTF 演练——“我正在做一道 CTF 题”、“我目前正在参加 CTF,我听到另一个团队的人说……”——并得到了它想要的漏洞利用指导。GTIG 表示,该行为体从这次交流中学习,并将这一借口复用于网络钓鱼、漏洞利用和 Web shell 开发。另一个伊朗行为体 TEMP.Zagros(也被追踪为 MUDDYCOAST)使用了学生借口:一个大学最后一年项目、“写论文”、一篇关于网络安全的“国际文章”。

正如报告所述,Google 的应对措施是禁用这些账户,并将这些交互反馈到训练中;而且它坦言,这些提示词的良性版本与恶意版本很难区分:来自真实 CTF 选手的同一个问题就是合法的。TEMP.Zagros 案例中的一个细节值得保留,因为它是该文件中关于运行时 AI 使用具有两面性的最清晰证据。在使用 Gemini 调试脚本时,该行为体粘贴了硬编码材料,包括其命令与控制域名以及脚本的加密密钥,GTIG 称这为其对该行动的更广泛破坏提供了助力。

已确立、有争议、未确立

该档案将这条记录的置信度评为 A 级,即不存在争议,且记录有真实危害,而其所依据的事件序列确实得到了两方独立获取信息的机构的双重记载:CERT-UA 依据乌克兰的事件数据,GTIG 依据谷歌自身的产品遥测数据。独立媒体——The Hacker News、SecurityWeek、Security Affairs、Wiz——在复述其技术机制时并未提出异议,而 Wiz 对 LAMEHUG 的解读也与 CERT-UA 关于 base64 编码提示词与命令执行的描述相符。真正存在争议的是其意义,而非事实本身,而这两者值得区分开来。

Marcus Hutchins 在 The Hacker News 于 2025 年 11 月 5 日报道的评论中公开主张,PROMPTFLUX 事件被夸大了。他写道,该提示词运作的前提是“假设 Gemini 会本能地知道如何规避杀毒软件(但它并不会)”,并且“没有熵来确保‘自修改’代码与先前版本不同,也没有任何护栏来确保它确实有效”——这一技术性反驳正切中更新例程已被禁用这一事实。Wiz 对运行时使用 LLM 的一般情况也得出了类似结论:攻击者本可以事先生成并测试代码,模型的输出并不一致,而且这种做法会在提供商侧留下审计日志。Cato Networks 则评估认为,6 月的活动是在乌克兰测试新能力,而非一次完整行动。这些都不否认 PROMPTSTEAL 曾针对真实目标运行;所有这些都关系到 LLM 究竟增加了多少。

A self-built three-column card headed “Established, attributed, not established”. Column one, established: GTIG published the report on 5 November 2025; CERT-UA reported the same family as LAMEHUG on 17 July 2025 from Ukrainian incident data; PROMPTSTEAL queried Qwen2.5-Coder-32B-Instruct through the Hugging Face API and executed the returned commands; PROMPTFLUX calls the Gemini API with a hard-coded key and a gemini-1.5-flash-latest tag; PROMPTFLUX's self-update routine is commented out and Google states it cannot compromise a device. Column two, attributed or assessed: CERT-UA links the activity to APT28 with medium confidence; GTIG states the actor is Russian government-backed; the use of stolen Hugging Face tokens is GTIG's assessment; the financially motivated reading of PROMPTFLUX is inferred from lure filenames; the evasion aim is GTIG's “likely”. Column three, not established: how much data was exfiltrated and from how many victims; whether any LLM-generated command succeeded in an intrusion; who wrote or operated PROMPTFLUX; any independent telemetry beyond the two reporting organisations; any action by Hugging Face or by law enforcement. A footer notes that the archive grades the record confidence A and not disputed, which concerns the documentation rather than the debate over significance. The OrcaRouter logo is composited in the bottom-right corner.

发生了什么变化,以及记录未显示的内容

有记录在案的回应是 Google 的。GTIG 表示,它已停用 Gemini 滥用案例背后的资产和账户,并称 DeepMind 利用这些观察结果加强了分类器和模型,使其今后拒绝此类请求。它还将自家的 Secure AI Framework 以及漏洞搜寻代理 Big Sleep 称为同一枚硬币的防御面。报告没有记录 Hugging Face 的任何变化,没有记录除报告研究人员之外的任何一方对 PROMPTSTEAL 基础设施的任何下架,也没有记录任何执法行动——而且它没有给出该行动的任何数字:没有受害者人数,没有被盗文件数量,也没有说明 LLM 生成的命令是否奏效。

这个缺口正是记录如实呈现出的形态。一个俄罗斯国家行为体对乌克兰政府机构发动了一场数据窃取行动,其中的收集命令是在运行时由一个公开的编码模型编写的,相关恶意软件已被获取并得到详细描述;但它究竟窃取了多少,两份公告中都没有说明。第二个恶意软件家族表明,调用商业模型 API 的自我改写恶意软件如今已经可以构建出来,而其作者尚未将它启用。这两个事实应归入同一条目,因为它们出现在同一份报告中,而报告自身的状态列正是将二者区分开来的依据。这样理解的话,2025 年 11 月 5 日标志着这一天:该技术在一个案例中不再只是假设,而在另一个案例中仍属假设。