一幅生成的抽象插画,背景为深海军蓝,带有淡淡的蓝图网格。左侧向下延伸着一列狭窄的淡青色矩形,高度参差不齐,每个矩形之间留有小间隙;旁边一排细长的垂直琥珀色刻度标示出它们的间距。两者都被一堵点状半透明墙围住,这堵墙仅以形状标示,而非文字;在远端,柔和的白光汇聚成一个圆润的对话剪影,模糊不清且没有标注。画面中不出现任何文字、数字、人物、品牌标记或组织标志。OrcaRouter 标志合成在右下角。
AI Safety Incidents

Whisper Leak:加密答案的形态就足以猜出问题

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

2025年11月7日,微软的 Defender 安全研究团队发布了 Whisper Leak,这是一种侧信道攻击,可根据承载回复的数据包大小和时序推断一个人正在向聊天机器人询问什么——这些流量 TLS 已经加密,攻击者从未解密。技术报告提前两天,于11月5日发布到 arXiv,署名 Jonathan Bar Or 和 Geoff McDonald(arXiv:2511.03675)。研究人员称,在28个商业语言模型中,主题分类器在大多数情况下 AUPRC 得分超过98%;在模拟的10,000比1类别不平衡下,28个模型中有17个在论文报告的低召回率水平上达到了100%精确率。记录中没有任何地方报告对真实对话的拦截:该档案将此条目标记为中等严重性,置信度等级为A,围绕它没有争议,也没有记录到真实危害。记录本身——其严重性评级、来源列表和置信度评估——归档于 AI 事件档案库,与同一集合中的其他网络层和隐私条目并列。

为什么密文仍然有形状

微软的说明用密码设计的语言给出了其机制。TLS 将会话建立在对称密码之上,而这两类密码在边界处的行为不同:分组密码(例如采用分组模式的 AES)总是输出分组大小的整数倍,而流密码(例如 ChaCha20 或 AES-GCM)可接受任意数据长度。博客指出,未经压缩时,密文就是明文加上一个常量,因此每个加密数据块的大小仍然反映输入内容的大小。语言模型一次生成一个 token,并在生成时将这些 token 流式传输给客户端,这使一次响应变成一系列网络事件,其长度对应 token 的长度,其间隔对应模型生成它们的速度。只能观察的旁观者——博客提到互联网服务提供商层面的民族国家行为者、本地网络中的某人,或共享同一 Wi-Fi 路由器的某人——会记录该序列,并在不触碰加密的情况下了解到关于答案的一些信息。

论文明确指出,这并不是对 TLS 的破解。该加密算法完全按照其设计目的行事;泄露的是 TLS 从未被设计来隐藏的元数据。作者还将这项工作置于一系列早期发现之中:Weiss 及其同事在 2024 年进行的令牌长度重建、Carlini 和 Nasr 对推测解码的计时攻击、Zhang、Saileshwar 和 Lie 研究的输出令牌数量泄露,以及 Zheng 及其同事的缓存共享计时工作。Whisper Leak 的贡献比其中任何一项都更窄、更实用:不是重建答案,而是判断问题是否属于某个选定类别。

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

实验是如何构建的

目标主题是洗钱的合法性。研究人员针对该主题生成了100个语义相似的问题变体,保留20个用于测试,并用其余80个进行训练,然后将它们与从 Quora Questions Pair 数据集中抽取的11,716个无关问题混合。使用 tcpdump 按模型捕获流量,正样本和负样本以打乱后的顺序收集,并在单词之间插入额外空格,以避免提示缓存模糊结果;生成以温度1.0运行。在得到的序列上训练了三类分类器——LightGBM、双向LSTM,以及一个经过调整、将大小桶和时间桶视为 token 的 DistilBERT 模型——并且每个分类器都分别在仅大小特征、仅时间特征以及两者结合的情况下进行了测试。

性能以精确率-召回率曲线下面积计分,论文为这一选择辩护,理由是现实问题严重不平衡:观察者要监视大量普通流量以寻找极少量感兴趣的对话,应依据精确率而非原始准确率来评判。

这些数字,以及它们属于哪种类型的数字

在28个模型中,有17个达到了98%的AUPRC,其中几个达到或超过99.9%,而在大多数情况下,仅凭数据包大小就足以取得强劲结果。表格顶部是Mistral Large,达到100.0%;微软托管的DeepSeek-R1为99.9%;xAI的Grok 3 Mini Beta为99.9%;OpenAI的GPT-4o mini为98.6%。排在底部的并非免疫,而是差距:微软自家的Phi-3.5-mini-MoE instruct得分为76.9%,Amazon Nova Lite为71.2%,Amazon Nova Pro为77.5%,Gemini 1.5和2.5各变体在81.9%至84.0%之间,Anthropic的Claude 3 Haiku为91.2%。

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

最底部的抵抗力有一个作者给出但并未证明的解释。将多个 token 批处理为一个网络事件,会破坏分类器所依赖的精细结构,而批处理最激进的模型在攻击中表现最差——Gemini 2.5 Pro 约为每个事件 17.7 个 token,Gemini 1.5 Flash 约为 55.3 个。论文称,这些提供商进行批处理很可能是为了服务效率和用户界面刷新率,而不是为了侧信道防御;并且仅靠批处理仍然不够:这些模型在 10,000 比 1 的外推下仍保留相当大的风险。还有一个论文未解释的差距。同一模型从两个地方提供时得分不同——GPT-4o mini 通过 OpenAI 为 98.6%,通过 Microsoft 为 93.4%,GPT-4o 通过 Microsoft 为 90.1%——这表明问题在服务栈而非权重,但论文没有给出原因。

10,000比1这个数字最容易被误读。它是根据测试集性能推算出的结果,投射到一种想象场景:在包含1个目标话题相关对话的10,000段对话流中,它并非对实际流量的测量。按此推算,28个模型中有17个在5%到20%的召回率之间某处达到100%精确率,这意味着当分类器发出标记时它是对的,代价是漏掉了大多数目标。两份主要文件对其能捕获多少的表述不同:arXiv摘要称作者在100%精确率下找回了5–20%的目标对话,而微软博客称5–50%。两者都是外推,且两份文件都如此说明。

提供商更改了什么

披露始于 2025 年 6 月,当时研究人员通知了 28 家语言模型提供商,并应要求提供技术描述和概念验证演示。到论文发表时,已有四家推出了某些措施。OpenAI 在流式响应中添加了一个混淆字段——在每个响应后附加一段随机长度的文本字符串,使词元长度不再与数据包长度对应——Microsoft Azure 也照做了;博客称,微软已验证 Azure 的版本将攻击有效性降低到“我们认为不再构成实际风险的水平”。Mistral 添加了一个名为 p 的参数,具有类似的掩蔽效果。xAI 被认为部署了防护措施,但没有公开说明其改动了什么。论文补充了博客未提及的部分:OpenAI 和 xAI 记录为于 2025 年 8 月修复,Mistral 于 9 月修复,Microsoft 在评估风险为中等后于 10 月修复;而其他提供商拒绝实施修复,还有几家未回应反复的后续联系。论文还指出,所有结果均是在任何供应商修复发布之前收集的,并且发表被推迟到 11 月,以便愿意的供应商有时间部署。

研究人员还在一个既高度脆弱又难以缓解的模型上测试了这些防御措施本身。随机填充将 AUPRC 从 97.5% 降至 92.9%,按每个事件五个令牌进行批处理将其从 98.2% 降至 94.8%,而注入噪声数据包将其从 98.1% 降至 93.3%——降幅为 3.5 至 4.8 个百分点,其中数据包注入的带宽成本是原来的两到三倍。这三种方法都没有消除该信道,这就是为什么部署的修复措施被描述为缓解而非修复。

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

哪些是已确立的,哪些不是

已确立,且任何人都可核查:论文及其数据收集代码是公开的,该机制源自已有文档记录的密码与流式行为,而四家被点名提供商的缓解措施存在于它们各自的 API 中——一个混淆字段,一个名为 p 的参数。对该发现本身的佐证比报道数量所暗示的要薄弱。Hacker News、SecurityWeek、Security Affairs 和 Tech Xplore 都在 2025 年 11 月 8 日至 11 日期间报道了此事,而我完整读过的每一篇报道都只是根据同一篇预印本重新描述同一个微软团队的实验,而非复现该实验;当天来自 SC Media、Cybernews、TechRadar、CSO、iTnews 和 CX Today 的进一步报道也是如此,这些报道我看到了但未完整阅读。我没有找到已发表的、对该攻击的独立复现,这限制的是这些报道所增添的内容,而不是对发现本身的反驳。

尚未证实:有人曾将其用于真实对话。本文所审阅的原始文件和报道中,任何地方都没有受害者、没有组织、没有国家,也没有统计数据;存档记录中同样没有任何已记录的真实危害——这与来源本身的情况一致,而不是来源存在缺口。同样尚未证实:该攻击在真实网络条件下能存活到什么程度,因为所有数字都来自针对单一主题的受控抓取;多轮对话是否会如作者预期那样表现,他们将其标记为未经测试;以及未作出回应的提供商的流量如今表现如何,因为自2025年11月以来发布的内容中,没有任何信息说明他们是否改变了主意。

有一个引用细节值得直截了当地说明。该档案记录自身的来源是日本信息技术振兴机构(Japan Information-technology Promotion Agency)的 AI 安全公告索引;这是一份持续更新的日文摘要,概述公开报道,并附有一项长期有效的免责声明,称其不保证所概述内容的准确性。该公告的 2025 年 12 月刊(我下载并完整阅读过)没有 Whisper Leak 条目;其八个摘要主题分别是 Anthropic 的 GTG-1002 智能体报告、针对智能体的间接提示注入、对 AI 辅助开发的攻击、MCP 漏洞、AI 系统漏洞、AI 可靠性故障、粗心的 AI 使用,以及用于安全的 AI。因此,支撑该记录的实质性文档是 Microsoft 11 月 7 日的博客文章和 arXiv:2511.03675,二者均为撰写本文而完整阅读过;公告中缺失的条目是关于该记录引用情况的事实,而非对该发现的质疑。

读者对此还能做些什么

微软自己的建议很简短,也并未假装能解决问题:在不可信网络上时,避免与聊天机器人讨论高度敏感的话题;使用 VPN 为传输过程增加一层保护;优先选择已实施缓解措施的提供商;并在提供商提供非流式模式时使用该模式,因为流式传输正是问题机制所在。其背后的结构性要点是:这里的暴露风险是提供商服务栈的属性,而不是用户设置的属性——两个运行相同权重的服务,可能因批处理方式以及向流中追加内容的不同,而分别处于上表的两端。

对服务提供商而言,研究人员自己的结论才是令人不安的:他们测试的每一种防御,都是以牺牲部分流式性能或带宽为代价,换取对一个通道的部分削弱;而这个通道之所以存在,是因为响应是逐个 token 生成并交付的。Whisper Leak 并没有像内存安全漏洞那样可打的补丁。它有的是一组服务决策,以及对每项决策能换来多少收益的衡量。