Une illustration abstraite générée sur un fond bleu marine profond avec une grille de plan légère. Une étroite colonne de rectangles bleu cyan pâle de hauteurs inégales descend le long du côté gauche, chacun séparé par un petit espace ; à côté, une rangée de fines graduations verticales ambre en marque l'espacement. Les deux sont enfermés par une paroi translucide en pointillés, désignée uniquement par sa forme, sans texte, et de l'autre côté une douce lueur blanche se résout en une unique silhouette arrondie de conversation, ambiguë et sans étiquette. Aucun texte, chiffre, personne, marque de fabrique ni logo d'organisation n'apparaît. Le logo OrcaRouter est intégré dans le coin inférieur droit.
AI Safety Incidents

Whisper Leak : la forme d’une réponse chiffrée suffisait à deviner la question

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Le 7 novembre 2025, l’équipe Defender Security Research de Microsoft a publié Whisper Leak, une attaque par canal auxiliaire qui déduit ce qu’une personne demande à un chatbot à partir de la taille et du moment d’envoi des paquets transportant la réponse — un trafic que TLS a déjà chiffré et que l’attaquant ne déchiffre jamais. Le rapport technique a été déposé sur arXiv deux jours plus tôt, le 5 novembre, sous les noms de Jonathan Bar Or et Geoff McDonald (arXiv:2511.03675). Sur 28 modèles de langage commerciaux, les chercheurs rapportent des classificateurs de sujets qui, dans la plupart des cas, ont obtenu plus de 98 % d’AUPRC et, dans le cas d’un déséquilibre de classes simulé de 10 000 pour 1, 17 des 28 ont atteint une précision de 100 % aux faibles niveaux de rappel indiqués dans l’article. Aucune interception d’une conversation réelle n’est signalée nulle part dans le dossier : l’archive classe cette entrée comme de gravité moyenne avec une note de confiance A, sans contestation à ce sujet et sans préjudice réel enregistré. Le dossier lui-même — sa note de gravité, sa liste de sources et son évaluation de la confiance — est consigné dans l’archive des incidents d’IA, aux côtés des autres entrées relatives à la couche réseau et à la confidentialité de la même collection.

Pourquoi un texte chiffré a-t-il encore une forme

L'analyse de Microsoft décrit le mécanisme dans le langage de la conception des chiffrements. TLS construit sa session sur des chiffrements symétriques, et les deux familles se comportent différemment à la frontière : un chiffrement par blocs tel qu'AES dans un mode par blocs émet toujours un multiple de la taille du bloc, tandis qu'un chiffrement par flux tel que ChaCha20 ou AES-GCM accepte n'importe quelle longueur de données. Sans compression, indique le blog, le texte chiffré est le texte en clair plus une constante, de sorte que la taille de chaque segment chiffré suit encore la taille de ce qui y a été introduit. Les modèles de langage génèrent un jeton à la fois et diffusent ces jetons au client au fur et à mesure de leur production, ce qui transforme une réponse en une séquence d'événements réseau dont les longueurs suivent celles des jetons et dont l'espacement suit la vitesse à laquelle le modèle les génère. Un observateur qui ne peut que regarder — le blog cite un acteur étatique au niveau du fournisseur d'accès Internet, une personne sur le réseau local ou une personne partageant le même routeur Wi-Fi — enregistre cette séquence et apprend quelque chose sur la réponse sans toucher au chiffrement.

L’article précise explicitement qu’il ne s’agit pas d’une rupture de TLS. Le chiffrement fait exactement ce pour quoi il a été conçu ; ce qui fuit, ce sont des métadonnées que TLS n’a jamais été conçu pour cacher. Les auteurs inscrivent également ce travail dans une série de résultats antérieurs : la reconstruction de la longueur des tokens par Weiss et ses collègues en 2024, les attaques temporelles sur le décodage spéculatif par Carlini et Nasr, la fuite du nombre de tokens de sortie étudiée par Zhang, Saileshwar et Lie, et les travaux sur les attaques temporelles par partage de cache de Zheng et ses collègues. L’apport de Whisper Leak est plus étroit et plus pratique que chacun de ces travaux : non pas reconstruire la réponse, mais déterminer si la question appartenait à une catégorie choisie.

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

Comment l’expérience a été construite

Le sujet cible était la légalité du blanchiment d’argent. Les chercheurs ont généré 100 variantes de questions sémantiquement similaires sur ce sujet, en ont réservé 20 pour les tests et ont entraîné leurs modèles sur les 80 autres, puis les ont mélangées avec 11 716 questions sans rapport tirées du jeu de données Quora Questions Pair. Le trafic a été capturé pour chaque modèle avec tcpdump, les échantillons positifs et négatifs étant collectés dans un ordre aléatoire et des espaces supplémentaires insérés entre les mots afin d’éviter que la mise en cache des invites ne brouille les résultats ; la génération a tourné à une température de 1,0. Trois familles de classificateurs ont été entraînées sur les séquences résultantes — LightGBM, un LSTM bidirectionnel et un modèle DistilBERT adapté pour traiter les compartiments de taille et de temps comme des tokens — et chacune a été testée uniquement avec les caractéristiques de taille, uniquement avec les caractéristiques temporelles, puis avec les deux ensemble.

La performance a été évaluée par l'aire sous la courbe précision-rappel, un choix que l'article justifie en arguant que le problème réaliste est fortement déséquilibré : un observateur qui surveille un grand volume de trafic ordinaire pour un très petit nombre de conversations intéressantes doit être jugé sur la précision, et non sur l'exactitude brute.

Les nombres, et de quel type de nombres il s’agit

Dix-sept des 28 modèles ont franchi le seuil de 98 % d’AUPRC, plusieurs à 99,9 % ou plus, et la taille des paquets à elle seule a suffi à obtenir de solides résultats dans la plupart des cas. En tête du tableau figurent Mistral Large à 100,0 %, DeepSeek-R1 hébergé par Microsoft à 99,9 %, Grok 3 Mini Beta de xAI à 99,9 % et GPT-4o mini d’OpenAI à 98,6 %. Le bas du tableau n’est pas une immunité mais une distance : Phi-3.5-mini-MoE instruct de Microsoft lui-même a obtenu 76,9 %, Amazon Nova Lite 71,2 %, Amazon Nova Pro 77,5 %, les variantes Gemini 1.5 et 2.5 entre 81,9 % et 84,0 %, et Claude 3 Haiku d’Anthropic 91,2 %.

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

La résistance en bas a une explication que les auteurs avancent sans la démontrer. Le regroupement de plusieurs jetons en un seul événement réseau efface la structure fine sur laquelle s’appuie un classifieur, et les modèles qui regroupent le plus agressivement ont le plus mal résisté à l’attaque — Gemini 2.5 Pro à environ 17,7 jetons par événement, Gemini 1.5 Flash à environ 55,3. L’article indique qu’il est probable que ces fournisseurs regroupent les jetons pour l’efficacité de service et les taux de rafraîchissement de l’interface utilisateur plutôt que pour la défense contre les canaux auxiliaires, et que le regroupement seul reste insuffisant : ces mêmes modèles conservaient un risque substantiel dans la projection de 10 000 contre 1. Il y a aussi un écart que l’article n’explique pas. Le même modèle servi depuis deux endroits a obtenu des scores différents — GPT-4o mini via OpenAI à 98,6 % et via Microsoft à 93,4 %, GPT-4o à 90,1 % via Microsoft — ce qui pointe vers la pile de service plutôt que vers les poids, mais l’article n’en donne pas la cause.

Le chiffre de 10 000 contre 1 est celui qui risque le plus d’être mal interprété. Il s’agit d’une projection des performances sur l’ensemble de test vers un flux imaginaire de 10 000 conversations contenant une conversation sur le sujet cible, et non d’une mesure du trafic réel. Selon cette projection, 17 des 28 modèles atteignent une précision de 100 % quelque part entre 5 % et 20 % de rappel, ce qui signifie que lorsque le classificateur signalait un cas, il avait raison, au prix de manquer la plupart des cibles. La part qu’il capture est formulée différemment dans les deux documents principaux : le résumé arXiv indique que les auteurs récupèrent 5 à 20 % des conversations cibles avec une précision de 100 %, tandis que le blog Microsoft indique 5 à 50 %. Les deux sont des extrapolations, et les deux documents le disent.

Ce que les fournisseurs ont changé

La divulgation a commencé en juin 2025, lorsque les chercheurs ont informé 28 fournisseurs de modèles de langage, en fournissant sur demande des descriptions techniques et des démonstrations de preuve de concept. Au moment de la publication, quatre avaient déployé quelque chose. OpenAI a ajouté un champ d’obfuscation aux réponses en flux — une chaîne de texte de longueur aléatoire ajoutée à chaque réponse afin que la longueur des jetons ne corresponde plus à la longueur des paquets — et Microsoft Azure a fait de même ; le blog indique que Microsoft a vérifié que la version d’Azure réduit l’efficacité de l’attaque « à des niveaux que nous considérons comme ne présentant plus de risque pratique ». Mistral a ajouté un paramètre appelé p avec un effet de masquage similaire. xAI est créditée du déploiement de protections sans description publique de ce qu’elle a modifié. L’article ajoute la partie que le blog ne mentionne pas : OpenAI et xAI sont consignés comme ayant corrigé en août 2025, Mistral en septembre et Microsoft en octobre après avoir évalué le risque comme modéré, tandis que d’autres fournisseurs ont refusé de mettre en œuvre des correctifs et que plusieurs n’ont pas répondu aux relances répétées. L’article note également que tous les résultats ont été collectés avant le déploiement de quelque correctif que ce soit par un fournisseur, et que la publication a été reportée à novembre pour laisser aux fournisseurs volontaires le temps de déployer.

Les chercheurs ont également testé les défenses elles-mêmes, sur un modèle à la fois très vulnérable et peu enclin à être atténué. Le remplissage aléatoire a fait passer l’AUPRC de 97,5 % à 92,9 %, le regroupement de cinq jetons par événement l’a fait passer de 98,2 % à 94,8 %, et les paquets de bruit injectés l’ont fait passer de 98,1 % à 93,3 % — soit des réductions de 3,5 à 4,8 points de pourcentage, l’injection de paquets coûtant deux à trois fois la bande passante. Aucune des trois ne supprime le canal, ce qui explique pourquoi les correctifs déployés sont décrits comme des mesures d’atténuation plutôt que de réparation.

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

Ce qui est établi, et ce qui ne l’est pas

Établi, et vérifiable par quiconque : l’article et son code de collecte de données sont publics, le mécanisme découle du comportement documenté du chiffrement et du streaming, et les mesures d’atténuation des quatre fournisseurs nommés existent dans leurs propres API — un champ d’obfuscation, un paramètre nommé p. La corroboration de la découverte elle-même est plus mince que ne le suggère le volume de la couverture médiatique. The Hacker News, SecurityWeek, Security Affairs et Tech Xplore en ont tous fait état entre le 8 et le 11 novembre 2025, et chaque compte rendu que j’ai lu intégralement redécrit l’expérience de la même équipe Microsoft à partir du même préprint au lieu de la reproduire ; il en va de même pour les autres articles publiés ce jour-là par SC Media, Cybernews, TechRadar, CSO, iTnews et CX Today, que j’ai vus mais n’ai pas lus intégralement. Je n’ai trouvé aucune reproduction indépendante publiée de l’attaque, ce qui constitue une limite quant à ce que la couverture apporte, plutôt qu’une contradiction de celle-ci.

Non établi : que quiconque s’en soit servi contre une conversation réelle. Il n’y a aucune victime, aucune organisation, aucun pays et aucun décompte nulle part dans les documents primaires ni dans la couverture examinée pour cet article, et le dossier d’archive ne fait état d’aucun préjudice réel enregistré — ce qui est cohérent avec les sources plutôt qu’une lacune de celles-ci. Tout aussi non établi : dans quelle mesure l’attaque résiste aux conditions réelles du réseau, puisque chaque chiffre provient d’une capture contrôlée sur un seul sujet ; si les conversations à plusieurs tours se comportent comme les auteurs l’attendent, ce qu’ils signalent comme non testé ; et comment se comporte aujourd’hui le trafic des fournisseurs qui ne répondent pas, puisque rien de publié depuis novembre 2025 n’indique s’ils ont changé d’avis.

Un détail de citation mérite d’être énoncé clairement. La source propre de la notice d’archive est l’index des bulletins de sécurité de l’IA de la Japan Information-technology Promotion Agency, un condensé japonais mis à jour en continu qui résume des reportages publics et qui comporte un avertissement permanent indiquant qu’il ne garantit pas l’exactitude de ce qu’il résume. Le numéro de décembre 2025 de ce bulletin, que j’ai téléchargé et lu intégralement, ne contient aucune entrée sur Whisper Leak ; ses huit thèmes de synthèse sont le rapport d’agent GTG-1002 d’Anthropic, l’injection indirecte de prompts contre des agents, les attaques contre le développement assisté par IA, les vulnérabilités MCP, les vulnérabilités des systèmes d’IA, les défaillances de fiabilité de l’IA, l’usage négligent de l’IA et l’IA au service de la sécurité. La documentation substantielle qui sous-tend cette notice est donc le billet de blog de Microsoft du 7 novembre et arXiv:2511.03675, tous deux lus intégralement pour cet article, et l’absence d’entrée dans le bulletin est un fait concernant la citation de la notice plutôt qu’un doute sur le constat.

Ce qu’un lecteur peut encore faire à ce sujet

Les conseils de Microsoft sont eux-mêmes brefs et ne prétendent pas résoudre le problème : éviter de discuter de sujets hautement sensibles avec un chatbot lorsqu’on se trouve sur un réseau non fiable, utiliser un VPN pour une couche de protection en transit, privilégier les fournisseurs ayant mis en place des mesures d’atténuation, et utiliser les modes non-streaming lorsqu’un fournisseur en propose, car le streaming est le mécanisme en cause. Le point structurel sous-jacent est que l’exposition ici est une propriété de la pile de service du fournisseur, et non des réglages de l’utilisateur — deux services exécutant les mêmes poids peuvent se situer aux extrémités opposées du tableau ci-dessus selon la manière dont ils traitent les requêtes par lots et ce qu’ils ajoutent à un flux.

Pour les fournisseurs, la conclusion des chercheurs eux-mêmes est celle qui met mal à l'aise : chaque défense qu'ils ont testée échange une part de performance de streaming ou de bande passante contre une réduction partielle d'un canal qui existe parce que les réponses sont générées et livrées un token à la fois. Whisper Leak n'a pas de correctif au sens où un bogue de sécurité mémoire en a un. Il a un ensemble de décisions de service, et une mesure de ce que chacune d'elles apporte.