Een gegenereerde abstracte illustratie op een diep marineblauw vlak met een vaag blauwdruk-raster. Een smalle kolom lichtcyaan rechthoeken van ongelijke hoogte loopt langs de linkerkant, elk gescheiden door een kleine opening; ernaast markeert een rij dunne verticale amberkleurige streepjes hun onderlinge afstand. Beide worden omgeven door een gestippelde, doorschijnende wand die alleen door vorm is aangeduid, niet met tekst, en aan de overzijde vormt een zachte witte gloed zich tot één afgerond silhouet van een gesprek, ambigu en zonder label. Er verschijnen geen tekst, cijfers, personen, merktekens of organisatielogo's. Het OrcaRouter-logo is in de rechteronderhoek gecompositeerd.
AI Safety Incidents

Whisper Leak: de vorm van een versleuteld antwoord volstond om de vraag te raden

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

Op 7 november 2025 publiceerde Microsofts Defender Security Research Team Whisper Leak, een zijkanalaanval die afleidt wat iemand een chatbot vraagt uit de groottes en timing van de pakketten die het antwoord vervoeren — verkeer dat TLS al heeft versleuteld en dat de aanvaller nooit ontsleutelt. Het technische rapport verscheen twee dagen eerder, op 5 november, op arXiv onder de namen Jonathan Bar Or en Geoff McDonald (arXiv:2511.03675). Over 28 commerciële taalmodellen rapporteren de onderzoekers onderwerpclassificatoren die in de meeste gevallen boven 98% AUPRC scoorden, en bij een gesimuleerde klassenonbalans van 10.000 tegen 1 bereikten 17 van de 28 100% precisie bij de lage recallniveaus die het artikel rapporteert. Nergens in het dossier wordt melding gemaakt van onderschepping van een echt gesprek: het archief classificeert deze vermelding als van middelzware ernst met betrouwbaarheidsgraad A, zonder betwisting daarover en zonder geregistreerde reële schade. Het dossier zelf — de ernstgraad, de bronnenlijst en de betrouwbaarheidsbeoordeling — is opgenomen in het AI-incidentarchief, samen met de andere netwerklaag- en privacyvermeldingen in dezelfde collectie.

Waarom een cijfertekst nog steeds een vorm heeft

Microsofts uiteenzetting legt het mechanisme uit in de taal van het ontwerpen van versleutelingsalgoritmen. TLS bouwt zijn sessie op symmetrische versleutelingsalgoritmen, en de twee families gedragen zich anders op de grens: een blokversleuteling zoals AES in een blokmodus levert altijd een veelvoud van de blokgrootte op, terwijl een stroomversleuteling zoals ChaCha20 of AES-GCM elke willekeurige datalengte accepteert. Zonder compressie, stelt de blog, is de versleutelde tekst gelijk aan de onversleutelde tekst plus een constante, dus de grootte van elk versleuteld stuk volgt nog steeds de grootte van wat erin is gegaan. Taalmodellen genereren één token per keer en streamen die tokens naar de client zodra ze worden geproduceerd, waardoor een antwoord een opeenvolging van netwerkgebeurtenissen wordt waarvan de lengtes de lengtes van de tokens volgen en waarvan de tussenpozen volgen hoe snel het model ze genereert. Een waarnemer die alleen kan meekijken — de blog noemt een actor van een natiestaat op het niveau van de internetprovider, iemand op het lokale netwerk, of iemand die dezelfde Wi-Fi-router deelt — legt die reeks vast en leert iets over het antwoord zonder de versleuteling zelf aan te raken.

Het paper stelt expliciet dat dit geen inbreuk op TLS is. De versleuteling doet precies waarvoor ze is ontworpen; wat uitlekt, zijn metadata die TLS nooit bedoeld was te verbergen. De auteurs plaatsen het werk ook in een reeks eerdere bevindingen: tokenlengte-reconstructie door Weiss en collega's in 2024, timingaanvallen op speculatief decoderen door Carlini en Nasr, het lekken van het aantal outputtokens bestudeerd door Zhang, Saileshwar en Lie, en timingwerk rond cache-deling door Zheng en collega's. De bijdrage van Whisper Leak is beperkter en praktischer dan elk daarvan: niet het antwoord reconstrueren, maar beslissen of de vraag tot één gekozen categorie behoorde.

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

Hoe het experiment is opgebouwd

Het doelonderwerp was de legaliteit van witwassen. De onderzoekers genereerden 100 semantisch vergelijkbare varianten van vragen daarover, hielden 20 achter voor tests en trainden op de overige 80, en mengden die met 11.716 niet-gerelateerde vragen uit de Quora Questions Pair-dataset. Verkeer werd per model vastgelegd met tcpdump, waarbij positieve en negatieve samples in geschudde volgorde werden verzameld en extra spaties tussen woorden werden ingevoegd om te voorkomen dat prompt-caching de resultaten vertroebelde; de generatie liep op temperatuur 1.0. Drie classifier-families werden getraind op de resulterende sequenties — LightGBM, een bidirectionele LSTM en een DistilBERT-model dat was aangepast om grootte- en tijdbuckets als tokens te behandelen — en elk werd getest op alleen groottekenmerken, alleen timingkenmerken en beide samen.

Prestatie werd gescoord als het oppervlak onder de precisie-recallcurve, een keuze die het artikel verdedigt op grond van het feit dat het realistische probleem sterk onevenwichtig is: een waarnemer die veel gewoon verkeer bekijkt voor een zeer klein aantal interessante gesprekken zou op precisie moeten worden beoordeeld, niet op ruwe nauwkeurigheid.

De getallen, en wat voor soort getallen ze zijn

Zeventien van de 28 modellen haalden 98% AUPRC, meerdere op of boven 99,9%, en alleen de pakketgrootte was in de meeste gevallen al voldoende voor sterke resultaten. Bovenaan de tabel staat Mistral Large met 100,0%, door Microsoft gehoste DeepSeek-R1 met 99,9%, xAI's Grok 3 Mini Beta met 99,9%, en OpenAI's GPT-4o mini met 98,6%. Onderaan is het geen immuniteit maar afstand: Microsofts eigen Phi-3.5-mini-MoE instruct scoorde 76,9%, Amazon Nova Lite 71,2%, Amazon Nova Pro 77,5%, de Gemini 1.5- en 2.5-varianten tussen 81,9% en 84,0%, en Anthropic's Claude 3 Haiku 91,2%.

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

De weerstand onderaan heeft een verklaring die de auteurs wel aandragen maar niet bewijzen. Het batchen van meerdere tokens in één netwerkevenement doet de fijnstructuur waarop een classifier zich baseert teniet, en de modellen die het sterkst batchen deden het slechtst in de aanval — Gemini 2.5 Pro met ongeveer 17,7 tokens per evenement, Gemini 1.5 Flash met ongeveer 55,3. Het artikel stelt dat die aanbieders waarschijnlijk batchen voor serveerefficiëntie en verversingssnelheden van de gebruikersinterface, en niet voor verdediging tegen zijkanalen, en dat batchen alleen nog steeds onvoldoende is: diezelfde modellen behielden een aanzienlijk risico bij de 10.000-tegen-1-projectie. Er is ook een hiaat dat het artikel niet verklaart. Hetzelfde model dat vanaf twee locaties werd aangeboden, scoorde verschillend — GPT-4o mini via OpenAI op 98,6% en via Microsoft op 93,4%, GPT-4o op 90,1% via Microsoft — wat wijst op de serveerstack in plaats van de gewichten, maar het artikel noemt geen oorzaak.

Het cijfer van 10.000 tegen 1 is het cijfer dat het meest waarschijnlijk verkeerd wordt geïnterpreteerd. Het is een projectie van de prestatie op de testset naar een denkbeeldige stroom van 10.000 gesprekken waarvan er één over het beoogde onderwerp gaat, niet een meting van liveverkeer. Volgens die projectie bereiken 17 van de 28 modellen 100% precisie ergens tussen 5% en 20% recall, wat betekent dat wanneer de classifier een signaal afgaf, hij gelijk had, ten koste van het missen van de meeste doelgesprekken. Hoeveel het opvangt, wordt in de twee primaire documenten verschillend vermeld: in de arXiv-samenvatting staat dat de auteurs 5–20% van de doelgesprekken terugvinden bij 100% precisie, terwijl de Microsoft-blog 5–50% zegt. Beide zijn extrapolaties, en beide documenten zeggen dat ook.

Wat de providers hebben gewijzigd

De openbaarmaking begon in juni 2025, toen de onderzoekers 28 aanbieders van taalmodellen op de hoogte brachten, met technische beschrijvingen en proof-of-conceptdemonstraties op verzoek. Tegen de tijd van publicatie hadden vier iets uitgebracht. OpenAI voegde een obfuscatieveld toe aan gestreamde antwoorden — een tekstreeks van willekeurige lengte die aan elk antwoord wordt toegevoegd, zodat tokenlengte niet langer overeenkomt met packetlengte — en Microsoft Azure kopieerde dit; de blog stelt dat Microsoft heeft geverifieerd dat de Azure-versie de effectiviteit van aanvallen vermindert "tot niveaus die wij niet langer als een praktisch risico beschouwen". Mistral voegde een parameter genaamd p toe met een vergelijkbaar maskeringseffect. xAI krijgt de eer voor het implementeren van beschermingen zonder een openbare beschrijving van wat het heeft gewijzigd. De paper voegt het deel toe dat de blog niet noemt: voor OpenAI en xAI staat geregistreerd dat zij in augustus 2025 een oplossing hebben uitgebracht, voor Mistral in september en voor Microsoft in oktober, nadat zij het risico als matig hadden beoordeeld, terwijl andere aanbieders weigerden oplossingen te implementeren en verscheidene niet reageerden op herhaalde follow-ups. De paper merkt ook op dat alle resultaten zijn verzameld voordat er een leveranciersfix was uitgebracht, en dat de publicatie werd uitgesteld tot november om bereidwillige leveranciers de tijd te geven om te implementeren.

De onderzoekers testten de verdedigingen ook zelf, op een model dat zowel zeer kwetsbaar was als zich moeilijk liet mitigeren. Willekeurige opvulling verlaagde AUPRC van 97,5% naar 92,9%, het batchen van vijf tokens per gebeurtenis verlaagde het van 98,2% naar 94,8%, en geïnjecteerde ruispakketten verlaagden het van 98,1% naar 93,3% — reducties van 3,5 tot 4,8 procentpunten, waarbij pakketinjectie twee tot drie keer de bandbreedte kost. Geen van de drie verwijdert het kanaal, en daarom worden de ingezette oplossingen beschreven als mitigatie in plaats van reparatie.

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

Wat is vastgesteld, en wat niet

Vastgesteld en door iedereen controleerbaar: de paper en de code voor gegevensverzameling zijn openbaar, het mechanisme volgt uit gedocumenteerd cipher- en streaminggedrag, en de mitigaties van de vier genoemde providers bestaan in hun eigen API's — een obfuscatieveld, een parameter met de naam p. De onderbouwing van de bevinding zelf is dunner dan de hoeveelheid berichtgeving doet vermoeden. The Hacker News, SecurityWeek, Security Affairs en Tech Xplore berichtten er allemaal over tussen 8 en 11 november 2025, en elk verslag dat ik volledig las, beschrijft opnieuw het experiment van hetzelfde Microsoft-team uit dezelfde preprint in plaats van het te reproduceren; hetzelfde geldt voor de verdere berichtgeving die dag van SC Media, Cybernews, TechRadar, CSO, iTnews en CX Today, die ik zag maar niet volledig las. Ik vond geen gepubliceerde onafhankelijke reproductie van de aanval, wat een beperking is op wat de berichtgeving toevoegt, niet een tegenspraak ervan.

Niet vastgesteld: dat iemand dit tegen een echt gesprek heeft gebruikt. Er is nergens in de primaire documenten of in de voor dit artikel beoordeelde verslaggeving een slachtoffer, een organisatie, een land of een aantal te vinden, en het archiefrecord bevat geen geregistreerde echte schade — in overeenstemming met de bronnen in plaats van een hiaat daarin. Evenmin vastgesteld: hoe goed de aanval bestand is tegen echte netwerkomstandigheden, aangezien elk cijfer afkomstig is uit een gecontroleerde vastlegging over één onderwerp; of gesprekken met meerdere beurten zich gedragen zoals de auteurs verwachten, wat zij als ongetest bestempelen; en hoe het verkeer van de niet-reagerende providers zich vandaag gedraagt, aangezien niets dat sinds november 2025 is gepubliceerd zegt of zij van gedachten zijn veranderd.

Eén detail over de bronvermelding is het vermelden waard. De eigen bron van het archiefrecord is de AI-beveiligingsbulletinindex van het Japan Information-technology Promotion Agency, een voortdurend bijgewerkte Japanse samenvatting die openbare berichtgeving samenvat en die een permanent voorbehoud bevat dat zij niet garant staat voor de juistheid van wat zij samenvat. De uitgave van december 2025 van dat bulletin, die ik heb gedownload en volledig heb gelezen, bevat geen vermelding van Whisper Leak; de acht samenvattingsthema's zijn het GTG-1002-agentrapport van Anthropic, indirecte promptinjectie tegen agents, aanvallen op AI-ondersteunde ontwikkeling, MCP-kwetsbaarheden, kwetsbaarheden in AI-systemen, betrouwbaarheidsfouten van AI, zorgeloos AI-gebruik en AI voor beveiliging. De inhoudelijke documentatie achter dit record is daarom de blogpost van Microsoft van 7 november en arXiv:2511.03675, beide volledig gelezen voor dit artikel, en de ontbrekende vermelding in het bulletin is een feit over de bronvermelding van het record, niet een twijfel aan de bevinding.

Wat een lezer er nog aan kan doen

Microsofts eigen advies is kort en doet niet alsof het het probleem oplost: vermijd het bespreken van zeer gevoelige onderwerpen met een chatbot op een onbetrouwbaar netwerk, gebruik een VPN als beschermingslaag tijdens transport, geef de voorkeur aan aanbieders die mitigerende maatregelen hebben geïmplementeerd, en gebruik niet-streamingmodi waar een aanbieder die biedt, aangezien streaming het mechanisme is. Het onderliggende structurele punt is dat blootstelling hier een eigenschap is van de servingstack van de aanbieder, niet van de instellingen van de gebruiker — twee diensten die dezelfde modelgewichten draaien, kunnen aan tegenovergestelde uiteinden van de bovenstaande tabel staan, afhankelijk van hoe ze batchen en wat ze aan een stream toevoegen.

Voor providers is de eigen conclusie van de onderzoekers de ongemakkelijke: elke verdediging die ze testten, ruilt wat streamingprestaties of bandbreedte in voor een gedeeltelijke vermindering van een kanaal dat bestaat doordat antwoorden één token tegelijk worden gegenereerd en afgeleverd. Whisper Leak heeft geen patch zoals een memory-safetybug die heeft. Het heeft een reeks beslissingen over het serveren, en een meting van hoeveel elk daarvan oplevert.