深い紺色の背景に、かすかな設計図風のグリッドが入った生成された抽象的なイラスト。高さの不揃いな淡いシアンの長方形が、小さな間隔で区切られながら左側を上から下へと並ぶ。その脇には、細い縦向きの琥珀色の目盛りが一列に並び、それらの間隔を示している。両方は、文字ではなく形だけで示された点線状の半透明の壁に囲まれており、その向こう側では柔らかな白い光が、曖昧でラベルのない単一の丸みを帯びた会話のシルエットとして結実する。テキスト、数字、人物、ブランドマーク、組織のロゴは一切現れない。OrcaRouterのロゴが右下隅に合成されている。
AI Safety Incidents

Whisper Leak:暗号化された回答の「形」だけで、質問を推測するのに十分だった

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2025年11月7日、MicrosoftのDefender Security Research TeamはWhisper Leakを公開した。これは、チャットボットへの返答を運ぶパケットのサイズとタイミングから、人がチャットボットに何を尋ねているかを推測するサイドチャネル攻撃であり、対象となるトラフィックはTLSによってすでに暗号化されており、攻撃者が復号することはない。技術報告書は2日前の11月5日にJonathan Bar Or氏とGeoff McDonald氏の名義でarXivに投稿された(arXiv:2511.03675)。研究者らは28の商用言語モデル全体で、ほとんどの場合98%超のAUPRCを記録したトピック分類器を報告しており、シミュレートされた10,000対1のクラス不均衡では、28モデルのうち17が、論文が報告する低い再現率の水準で100%の適合率に達した。実際の会話を傍受した事例は、記録のどこにも報告されていない。このアーカイブは本件を中程度の重大度、信頼度グレードAとして分類しており、それに関する論争も、記録された実際の被害もない。記録自体——その重大度評価、情報源リスト、信頼度評価——はAIインシデントアーカイブに、同じコレクション内の他のネットワーク層およびプライバシー関連の項目とともに収められている。

なぜ暗号文は依然として形を持っているのか

Microsoftの解説は、その仕組みを暗号設計の言葉で説明している。TLSはセッションを共通鍵暗号に基づいて構築し、2つの系統は境界で異なる振る舞いをする。AESのブロックモードのようなブロック暗号は常にブロックサイズの倍数を出力するのに対し、ChaCha20やAES-GCMのようなストリーム暗号は任意のデータ長を受け付ける。ブログによれば、圧縮がなければ暗号文は平文に定数を加えたものになるため、暗号化された各チャンクのサイズは、そこに入力されたもののサイズを依然として反映する。言語モデルは一度に1トークンを生成し、生成されるそばからそのトークンをクライアントへストリーミングする。これにより応答は一連のネットワークイベントになり、その長さはトークンの長さに従い、その間隔はモデルがどれだけ速く生成するかに従う。観察するしかできない者——ブログでは、インターネットサービスプロバイダー層の国家主体、ローカルネットワーク上の誰か、あるいは同じWi-Fiルーターを共有する誰かを挙げている——はその系列を記録し、暗号化に触れることなく、答えについて何かを知る。

論文は、これがTLSの破りではないことを明言している。暗号は設計どおりに動作しており、漏えいするのはTLSが隠すために作られたわけではないメタデータだ。著者らはまた、この研究を過去の一連の知見の中に位置づけている。2024年のWeissらによるトークン長の再構築、CarliniとNasrによる投機的デコーディングへのタイミング攻撃、Zhang、Saileshwar、Lieが研究した出力トークン数の漏えい、Zhengらによるキャッシュ共有のタイミングに関する研究だ。Whisper Leakの貢献はそれらより狭く実用的で、答えを再構築するのではなく、質問が選んだ1つのカテゴリーに属していたかどうかを判定することにある。

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

実験はどのように構築されたか

対象トピックはマネーロンダリングの合法性であった。研究者らはそれに関する意味的に類似した100個の質問バリエーションを生成し、20個をテスト用に取っておき、残り80個で訓練し、それらをQuora Questions Pairデータセットから抽出した11,716個の無関係な質問と混ぜた。トラフィックはモデルごとにtcpdumpで取得され、陽性サンプルと陰性サンプルはシャッフルされた順序で収集され、プロンプトキャッシュによって結果がぼやけるのを避けるために単語間に余分なスペースが挿入された。生成は温度1.0で実行された。得られた系列で3つの分類器ファミリー、すなわちLightGBM、双方向LSTM、およびサイズと時間のバケットをトークンとして扱うように適応させたDistilBERTモデルが訓練され、それぞれがサイズ特徴量のみ、タイミング特徴量のみ、および両方を組み合わせた場合でテストされた。

性能は適合率-再現率曲線の下面積として評価された。この選択について論文は、現実的な問題は著しく不均衡であるという理由で擁護している。すなわち、ごく少数の興味深い会話を求めて大量の通常トラフィックを監視する観測者であれば、生の精度ではなく適合率で評価されるべきだ、というのである。

数字、そしてそれがどの種類の数字なのか

28モデル中17モデルがAUPRC 98%をクリアし、複数は99.9%以上でした。多くの場合、パケットサイズだけで十分に強い結果が得られました。表の最上位はMistral Largeの100.0%、MicrosoftホストのDeepSeek-R1の99.9%、xAIのGrok 3 Mini Betaの99.9%、OpenAIのGPT-4o miniの98.6%です。最下位は免疫ではなく距離の差であり、Microsoft自身のPhi-3.5-mini-MoE instructが76.9%、Amazon Nova Liteが71.2%、Amazon Nova Proが77.5%、Gemini 1.5と2.5の各バリアントが81.9%から84.0%の間、AnthropicのClaude 3 Haikuが91.2%でした。

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

最下部の耐性には、著者らが提示しているものの証明していない説明がある。複数のトークンを1つのネットワークイベントにまとめてバッチ処理すると、分類器が依拠する微細構造が崩れる。そして、最も強くバッチ処理したモデルが攻撃で最悪の結果となった — Gemini 2.5 Pro は1イベントあたり約17.7トークン、Gemini 1.5 Flash は約55.3。論文は、それらのプロバイダーがサイドチャネル防御のためではなく、配信効率とユーザーインターフェースのリフレッシュレートのためにバッチ処理している可能性が高く、バッチ処理だけでは依然として不十分だと述べている。それらの同じモデルは、10,000対1の投影でも相当なリスクを保持していた。論文が説明していないギャップもまた存在する。同じモデルを2つの場所から提供した場合にスコアが異なった — OpenAI経由のGPT-4o miniは98.6%、Microsoft経由は93.4%、Microsoft経由のGPT-4oは90.1% — これは重みではなく配信スタックを示唆するが、論文は原因を提示していない。

10,000対1という数字は、最も誤読されやすい。これは、対象トピックに関する会話を1件含む10,000件の会話からなる想定上のストリームに、テストセットでの性能を外挿したものであり、実トラフィックの測定値ではない。この前提では、28モデル中17モデルが、再現率5%~20%のどこかで適合率100%に達する。つまり、分類器がフラグを立てたときは正しかったが、その代償として対象の大半を取り逃した。どの程度捕捉するかは、2つの主要文書で異なる説明がなされている。arXivの抄録では、著者らは適合率100%で対象会話の5~20%を回収するとしている一方、Microsoftのブログでは5~50%としている。どちらも外挿であり、両文書ともそう述べている。

プロバイダーが変更した内容

情報開示は2025年6月に始まり、研究者らは28社の言語モデル提供事業者に通知し、技術的な説明と、求めに応じた概念実証のデモンストレーションを提供した。論文公開時点で、4社が何らかの対策を提供していた。OpenAIはストリーミング応答に難読化フィールドを追加した。これは各応答にランダムな長さの文字列を付加することで、トークン長がパケット長に対応しなくなるようにするもので、Microsoft Azureも同様の対応をした。ブログによれば、MicrosoftはAzure版が攻撃の有効性を「もはや実用的なリスクとは見なさない水準」まで低下させることを確認した。Mistralは同様のマスキング効果を持つpと呼ばれるパラメータを追加した。xAIは、何を変更したかの公開説明なしに対策を展開したとされている。論文はブログが触れていない部分を補っている。論文には、OpenAIとxAIが2025年8月に、Mistralが9月に、Microsoftがリスクを中程度と評価した後10月に修正したと記録されている。一方、他の提供事業者は修正の実装を拒否し、数社は繰り返しの追跡調査に応じなかった。論文はまた、すべての結果はベンダーの修正が出荷される前に収集されたこと、および意欲のあるベンダーに展開の時間を与えるため公開を11月まで延期したことを注記している。

研究者らは防御策自体も、非常に脆弱で緩和を受け入れにくいモデルでテストした。ランダムパディングはAUPRCを97.5%から92.9%に、イベントごとに5トークンをバッチ処理すると98.2%から94.8%に、ノイズパケット注入は98.1%から93.3%に低下させた——3.5~4.8ポイントの低下で、パケット注入には2~3倍の帯域コストがかかった。3つのいずれもチャネルを除去するものではない。そのため、導入された対策は修復ではなく緩和と表現されている。

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

何が確立されており、何が確立されていないのか

確立されており、誰でも検証できる。論文とそのデータ収集コードは公開されており、仕組みは文書化された暗号およびストリーミングの挙動から導かれ、名前が挙げられた4社のプロバイダーによる緩和策は各社自身のAPIに存在する——難読化フィールドと、pという名前のパラメーターである。この発見そのものの裏付けは、報道の量が示唆するよりも薄い。The Hacker News、SecurityWeek、Security Affairs、Tech Xploreはいずれも2025年11月8日から11日の間に報じ、私が全文読んだ各記事は、同じプレプリントから同じMicrosoftチームの実験を再び描写しているだけで、再現しているわけではない。同日のSC Media、Cybernews、TechRadar、CSO、iTnews、CX Todayによる追加報道も同様で、これらは目にしたが全文は読んでいない。この攻撃について公開された独立再現は見つからなかった。これは報道が付け加えるものの限界であり、報道を矛盾させるものではない。

確認されていないこと:誰かがこれを実際の会話に対して使ったということ。本記事のために検討した一次資料や報道のどこにも、被害者、組織、国、件数は存在せず、アーカイブ記録にも実際の被害は記録されていない——これは資料の空白ではなく、資料と一致している。同様に確認されていないこと:この攻撃が実際のネットワーク条件下でどれだけ持ちこたえるか。すべての数値は単一の話題に関する制御されたキャプチャに由来するため。複数ターンの会話が著者の想定どおりに振る舞うかどうか。著者らは未検証と指摘している。そして、応答しなかったプロバイダーのトラフィックが今日どう振る舞うか。2025年11月以降に公表されたものは何も、彼らが考えを変えたかどうかを示していないため。

引用に関する細部を一つ、率直に述べておく価値がある。このアーカイブ記録自体の情報源は、情報処理推進機構(IPA)のAIセキュリティ速報の索引である。これは公開報道を要約する、継続的に更新される日本語のダイジェストであり、要約した内容の正確性を保証するものではないという常設の免責事項を掲げている。その速報の2025年12月号は、私がダウンロードして全文を読んだが、Whisper Leakの項目を含んでいない。その8つの要約テーマは、AnthropicのGTG-1002エージェント報告、エージェントに対する間接プロンプトインジェクション、AI支援開発への攻撃、MCPの脆弱性、AIシステムの脆弱性、AIの信頼性障害、AIの不注意な利用、そしてセキュリティのためのAIである。したがって、この記録の実質的な根拠文書は、Microsoftの11月7日のブログ投稿とarXiv:2511.03675であり、いずれも本記事執筆のために全文を読んだものである。そして、速報に項目がないことは、この記録の引用に関する事実であって、調査結果への疑義ではない。

読者がそれについてまだできること

Microsoft自身の助言は簡潔で、問題を解決できるふりはしていません。信頼できないネットワーク上ではチャットボットと高度に機密性の高い話題を議論しないこと、通信経路の保護層としてVPNを使うこと、緩和策を実装している提供元を選ぶこと、提供元が対応している場合は非ストリーミングモードを使うことです。ストリーミングこそがその仕組みだからです。その根底にある構造的な点は、ここでの露出はユーザーの設定ではなく提供元のサービングスタックの特性だということです。同じ重みで動作する2つのサービスでも、どのようにバッチ処理し、ストリームに何を付加するかによって、上の表の両端に位置することがあります。

プロバイダーにとって、研究者自身の結論は居心地の悪いものだ。彼らが試したあらゆる防御は、ストリーミング性能または帯域幅の一部を犠牲にして、応答が一度に1トークンずつ生成・配信されるために存在するチャネルの部分的削減を得ている。Whisper Leakには、メモリ安全性のバグにあるような意味でのパッチは存在しない。あるのは一連のサービングに関する判断と、それぞれがどれだけの効果をもたらすかの測定結果だ。