一幅生成的抽象插圖,背景為深藏青色,帶有淡淡的藍圖網格。左側自上而下延伸著一窄列高度不一的淡青色矩形,每個矩形之間以小空隙隔開;其旁有一排細長的垂直琥珀色刻度,標示出它們的間距。兩者都被一道點狀半透明牆面包圍,該牆面僅以形狀標示,並無文字;在遠側,柔和的白光凝聚成單一圓潤的對話輪廓,模糊且未標示。畫面中不出現文字、數字、人物、品牌標誌或組織標誌。OrcaRouter 標誌合成於右下角。
AI Safety Incidents

Whisper Leak:加密答案的形狀就足以猜出問題

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

2025年11月7日,Microsoft 的 Defender Security Research Team 發表了 Whisper Leak,這是一種側通道攻擊,可根據承載回覆的封包大小與時序,推斷使用者正在向聊天機器人詢問什麼——這些流量 TLS 早已加密,而攻擊者從未解密。技術報告早兩天、於11月5日以 Jonathan Bar Or 與 Geoff McDonald 之名登上 arXiv(arXiv:2511.03675)。研究人員報告,在28個商用語言模型中,主題分類器在多數情況下 AUPRC 得分高於98%;而在模擬的10,000比1類別不平衡下,28個中有17個在論文所報告的低召回率水準達到100%精確率。紀錄中沒有任何地方報告對真實對話進行攔截:該檔案庫將此條目歸類為中度嚴重性,信心等級為A,沒有相關爭議,也未記錄到真實危害。該紀錄本身——其嚴重性等級、來源清單與信心評估——歸檔於AI 事件檔案,與同一合集裡的其他網路層與隱私條目並列。

為什麼密文仍然有形狀

Microsoft 的說明文章以密碼設計的術語說明了這個機制。TLS 將工作階段建立在對稱加密之上,而這兩類加密在邊界上的行為不同:區塊加密(例如採用區塊模式的 AES)總是輸出區塊大小的整數倍,而串流加密(例如 ChaCha20 或 AES-GCM)則接受任意資料長度。部落格指出,若沒有壓縮,密文就是明文加上一個常數,因此每個加密區塊的大小仍會反映送入其中的內容大小。語言模型一次產生一個 token,並在產生時將這些 token 串流給用戶端,這使回應變成一連串網路事件,其長度取決於 token 的長度,間隔則取決於模型生成的速度。只能觀察的旁觀者——部落格點名了網際網路服務供應商層級的國家級行為者、本機網路上的人,或共用同一個 Wi-Fi 路由器的人——記錄下該序列,就能在不碰觸加密的情況下得知一些關於答案的資訊。

該論文明確指出,這並非對 TLS 的破解。加密演算法完全做到了它原本被設計來做的事;真正外洩的,是 TLS 從未被設計來隱藏的中繼資料。作者也將這項研究置於一系列既有發現的脈絡之中:Weiss 與同事在 2024 年進行的 token 長度重建、Carlini 與 Nasr 對推測解碼的時序攻擊、Zhang、Saileshwar 與 Lie 所研究的輸出 token 數量洩漏,以及 Zheng 與同事的快取共享時序研究。Whisper Leak 的貢獻比上述任何一項都更狹窄、也更務實:它不在於重建答案,而在於判斷問題是否屬於某個特定類別。

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

實驗是如何建立的

目標主題是金錢洗錢的合法性。研究人員針對此主題產生了 100 個語意相似的提問變體,保留 20 個用於測試,並用其餘 80 個進行訓練,再將它們與取自 Quora Questions Pair 資料集的 11,716 個無關問題混合。研究使用 tcpdump 擷取每個模型的流量,正樣本與負樣本以打亂的順序收集,並在字詞之間插入額外空格,以避免提示快取模糊結果;生成時的溫度設為 1.0。接著,研究人员在產生的序列上訓練了三類分類器家族——LightGBM、雙向 LSTM,以及經調整而將大小分桶與時間分桶視為符記的 DistilBERT 模型——並分別僅用大小特徵、僅用時間特徵,以及同時使用兩者來測試每個分類器。

效能是以精確率-召回率曲線下的面積來評分;論文為這項選擇辯護,理由是現實中的問題高度不平衡:一名觀察者監看大量一般流量,只為找出極少數有趣的對話,對其評判應著眼於精確率,而非原始準確率。

這些數字,以及它們是哪種類型的數字

28 個模型中有 17 個達到 98% AUPRC,其中數個達到或超過 99.9%,而且在多數情況下,光是封包大小就足以獲得強勁結果。表格最上方是 Mistral Large 的 100.0%、Microsoft 託管的 DeepSeek-R1 的 99.9%、xAI 的 Grok 3 Mini Beta 的 99.9%,以及 OpenAI 的 GPT-4o mini 的 98.6%。最下方並非免疫,而是差距:Microsoft 自家的 Phi-3.5-mini-MoE instruct 得分 76.9%、Amazon Nova Lite 71.2%、Amazon Nova Pro 77.5%、Gemini 1.5 與 2.5 各變體介於 81.9% 到 84.0% 之間,以及 Anthropic 的 Claude 3 Haiku 91.2%。

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

最下方的阻力有一項作者提出但未證明的解釋。把多個 token 批次成單一網路事件,會抹平分類器所依賴的細微結構,而批次處理得最激進的模型在攻擊中表現最差——Gemini 2.5 Pro 約為每事件 17.7 個 token,Gemini 1.5 Flash 約為 55.3 個。論文指出,那些供應商很可能是為了服務效率與使用者介面刷新率而進行批次處理,而非為了側通道防禦;而且光是批次處理仍不夠:那些相同模型在 10,000 比 1 的推估下仍存在相當大的風險。還有一個論文未解釋的落差。同一個模型由兩個地方提供服務時得分不同——GPT-4o mini 透過 OpenAI 為 98.6%,透過 Microsoft 為 93.4%;GPT-4o 透過 Microsoft 為 90.1%——這指向服務堆疊而非權重,但論文並未提出原因。

10,000 比 1 這個數字是最容易被誤讀的。它是把測試集表現外推到一個想像中的 10,000 則對話串流——其中只有一則涉及目標主題——並非對實際流量的測量。在此假設下,28 個模型中有 17 個在召回率 5% 到 20% 之間的某處達到 100% 精確率,意思是分類器發出標記時是正確的,但代價是漏掉大多數目標。它能捕捉到多少,兩份主要文件的說法不同:arXiv 摘要說作者在 100% 精確率下找回 5–20% 的目標對話,而 Microsoft 部落格則說 5–50%。兩者都是外推,且兩份文件都這麼說。

供應商改了什麼

揭露始於 2025 年 6 月,當時研究人員通知了 28 家語言模型供應商,並依請求提供技術說明與概念驗證示範。截至發表時,已有四家推出了某種措施。OpenAI 在串流回應中加入了一個混淆欄位——在每個回應後附加一段隨機長度的文字,使 token 長度不再對應封包長度——而 Microsoft Azure 也照做了;部落格指出,Microsoft 已驗證 Azure 的版本可將攻擊有效性「降至我們認為不再構成實際風險的程度」。Mistral 加入了一個名為 p 的參數,具有類似的遮罩效果。xAI 則被歸功於部署了防護措施,但未公開說明其變更內容。論文補充了部落格未提及的部分:OpenAI 與 xAI 被記錄為於 2025 年 8 月修復,Mistral 於 9 月,Microsoft 則在評估風險為中度後於 10 月修復;而其他供應商拒絕實施修復,數家也未回應反覆的後續聯繫。論文還指出,所有結果均是在任何供應商修復推出前收集的,且發表延後至 11 月,以讓有意願的供應商有時間部署。

研究人員也自行測試了這些防禦措施,對象是一個既高度脆弱又難以緩解的模型。隨機填充使 AUPRC 從 97.5% 降至 92.9%,每個事件批次處理五個 token 使其從 98.2% 降至 94.8%,而注入雜訊封包則使其從 98.1% 降至 93.3%——降幅為 3.5 至 4.8 個百分點,且封包注入需付出兩到三倍的頻寬成本。這三種方法都無法移除該通道,這就是為什麼已部署的修正措施被描述為緩解而非修復。

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

哪些是已經確立的,哪些則尚未

已確立,且任何人都可查核:論文及其資料收集程式碼皆公開,該機制可從已有文件記載的加密法與串流行為推導而來,而四家被點名供應商的緩解措施存在於其各自的 API 中——一個混淆欄位,一個名為 p 的參數。這項發現本身的佐證,比報導量所顯示的更為薄弱。Hacker News、SecurityWeek、Security Affairs 與 Tech Xplore 都在 2025 年 11 月 8 日至 11 日報導此事,而我完整讀過的每篇報導,都只是重新描述同一個 Microsoft 團隊根據同一份預印本所做的實驗,而非重現該實驗;當天 SC Media、Cybernews、TechRadar、CSO、iTnews 與 CX Today 的後續報導也是如此,這些我看到了但未完整閱讀。我沒有找到任何已發表的獨立重現此攻擊的成果,這是對這些報導所增添內容的一項限制,而非對其的反駁。

尚未確立:有人曾將此用於真實對話。在本文所審閱的一手文件或報導中,任何地方都沒有受害者、沒有組織、沒有國家,也沒有任何數量統計;而檔案紀錄中亦未記載任何真實危害——這與來源本身一致,而非來源中的缺漏。同樣尚未確立的還有:該攻擊在真實網路條件下的存續能力,因為所有數據皆來自針對單一主題的受控擷取;多輪對話是否如作者預期般運作,而他們自己也標明這點尚未測試;以及那些未予回應的供應商其流量今日的表現,因為自 2025 年 11 月以來並無任何已發布的資訊說明他們是否改變了立場。

有一項引用細節值得直接說明。這份檔案紀錄本身的來源,是日本資訊科技振興機構的 AI 安全公告索引;這是一份持續更新的日文摘要,彙整公開報導,並附有固定免責聲明,表示其不保證所摘要內容的準確性。我下載並完整閱讀了該公告的 2025 年 12 月號,其中沒有 Whisper Leak 條目;它的八個摘要主題分別是 Anthropic 的 GTG-1002 代理報告、針對代理的間接提示注入、對 AI 輔助開發的攻擊、MCP 漏洞、AI 系統漏洞、AI 可靠性失效、粗心的 AI 使用,以及將 AI 用於安全。因此,這份紀錄背後的實質文獻是 Microsoft 於 11 月 7 日发布的部落格文章與 arXiv:2511.03675,兩者都為本文完整閱讀過;而公告中缺少該條目,是關於這份紀錄引用來源的事實,而非對該發現的疑慮。

讀者對此還能做些什麼

微軟自身的建議簡短,並不假裝能解決問題:在不受信任的網路上時,避免與聊天機器人討論高度敏感的話題;使用 VPN 增加傳輸過程中的一層保護;優先選擇已實作緩解措施的供應商;並在供應商提供非串流模式時使用該模式,因為串流正是曝露機制所在。其背後的结构性重點是:此處的曝露風險是供應商服務堆疊的屬性,而非使用者設定的屬性——兩個執行相同模型權重的服務,可能因批次處理方式及附加到串流的內容不同,而分別落在上表的兩端。

對服務供應商而言,研究者自己的結論才是令人不安的那一個:他們測試過的每一種防禦措施,都是以部分的串流效能或頻寬,換取對某個通道的部分削減——而這個通道之所以存在,正是因為回應是一次一個 token 產生並送出的。Whisper Leak 並沒有像記憶體安全漏洞那樣有所謂的修補程式;它有的是一組服務端的取捨決策,以及對每一項決策究竟能換來多少效果的測量。