En genererad abstrakt illustration på en djupt marinblå yta med ett svagt ritningsrutnät. En smal kolumn av blekt cyanfärgade rektanglar med ojämna höjder löper ned längs vänster sida, var och en åtskild av ett litet mellanrum; bredvid den markerar en rad tunna vertikala bärnstensfärgade streck deras avstånd. Båda omges av en prickad genomskinlig vägg som endast är formmärkt, inte textmärkt, och på den bortre sidan övergår ett mjukt vitt sken i en enda rundad silhuett av ett samtal, tvetydig och omärkt. Ingen text, inga siffror, personer, varumärken eller organisationslogotyper förekommer. OrcaRouter-logotypen är sammanfogad i det nedre högra hörnet.
AI Safety Incidents

Whisper Leak: formen på ett krypterat svar räckte för att gissa frågan

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Den 7 november 2025 publicerade Microsofts Defender Security Research Team Whisper Leak, en sidokanalsattack som sluter sig till vad en person frågar en chattbot utifrån storleken och timingen hos de paket som bär svaret – trafik som TLS redan har krypterat och som angriparen aldrig dekrypterar. Den tekniska rapporten publicerades på arXiv två dagar tidigare, den 5 november, under namnen Jonathan Bar Or och Geoff McDonald (arXiv:2511.03675). För 28 kommersiella språkmodeller rapporterar forskarna ämnesklassificerare som i de flesta fall uppnådde över 98 % AUPRC, och vid en simulerad klassobalans på 10 000 mot 1 nådde 17 av de 28 100 % precision vid de låga recall-nivåer som rapporten anger. Ingen avlyssning av en verklig konversation rapporteras någonstans i posten: arkivet klassar denna post som medelhög allvarlighetsgrad med konfidensbetyget A, utan någon tvist kring den och utan dokumenterad verklig skada. Själva posten – dess allvarlighetsgrad, källförteckning och konfidensbedömning – arkiveras i AI-incidentarkivet, tillsammans med de andra posterna om nätverkslager och integritet i samma samling.

Varför en chiffertext fortfarande har en form

Microsofts redogörelse beskriver mekanismen i chifferdesignens terminologi. TLS bygger sin session på symmetriska chiffer, och de två familjerna beter sig olika vid gränsen: ett blockchiffer som AES i blockläge avger alltid en multipel av blockstorleken, medan ett strömchiffer som ChaCha20 eller AES-GCM accepterar vilken datalängd som helst. Utan komprimering, säger bloggen, är chiffertexten klartexten plus en konstant, så storleken på varje krypterad del följer fortfarande storleken på det som matades in i den. Språkmodeller genererar en token i taget och strömmar dessa tokens till klienten allteftersom de produceras, vilket förvandlar ett svar till en sekvens av nätverkshändelser vars längder följer tokens längder och vars tidsavstånd följer hur snabbt modellen genererar dem. En observatör som bara kan titta – bloggen nämner en statsaktör på internetleverantörsnivå, någon i det lokala nätverket eller någon som delar samma Wi-Fi-router – registrerar den sekvensen och får veta något om svaret utan att röra krypteringen.

Artikeln är tydlig med att detta inte är ett brott mot TLS. Chiffret gör exakt det som det konstruerades för att göra; det som läcker är metadata som TLS aldrig byggdes för att dölja. Författarna placerar också arbetet i en rad tidigare resultat: rekonstruktion av tokenlängder av Weiss och kollegor 2024, tidsattacker mot spekulativ avkodning av Carlini och Nasr, läckage av antalet output-token som studerats av Zhang, Saileshwar och Lie, och tidsstudier kring cachemdelning av Zheng och kollegor. Whisper Leaks bidrag är snävare och mer praktiskt än något av dessa: inte att rekonstruera svaret, utan att avgöra om frågan tillhörde en vald kategori.

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

Hur experimentet byggdes

Måltemat var lagligheten av penningtvätt. Forskarna genererade 100 semantiskt liknande varianter av frågor om detta, höll 20 undan för testning och tränade på de övriga 80, och blandade dem med 11 716 orelaterade frågor hämtade från Quora Questions Pair-datasetet. Trafiken fångades per modell med tcpdump, där positiva och negativa sampel samlades in i slumpmässig ordning och extra mellanslag infogades mellan ord för att undvika att prompt-cachning suddade resultaten; genereringen kördes vid temperatur 1,0. Tre klassificerarfamiljer tränades på de resulterande sekvenserna — LightGBM, en dubbelriktad LSTM och en DistilBERT-modell anpassad för att behandla storleks- och tidsbuckets som token — och var och en testades på enbart storlekssärdrag, enbart tidssärdrag och båda tillsammans.

Prestandan mättes som arean under precision-recall-kurvan, ett val som artikeln försvarar med motiveringen att det realistiska problemet är starkt obalanserat: en observatör som bevakar en stor mängd vanlig trafik i jakt på ett mycket litet antal intressanta konversationer bör bedömas utifrån precision, inte utifrån rå noggrannhet.

Siffrorna, och vilken typ av siffror de är

Sjutton av de 28 modellerna klarade 98 % AUPRC, flera på eller över 99,9 %, och enbart paketstorlek räckte för starka resultat i de flesta fall. I toppen av tabellen finns Mistral Large på 100,0 %, Microsoft-hostade DeepSeek-R1 på 99,9 %, xAI:s Grok 3 Mini Beta på 99,9 % och OpenAI:s GPT-4o mini på 98,6 %. I botten handlar det inte om immunitet utan om avstånd: Microsofts egen Phi-3.5-mini-MoE instruct fick 76,9 %, Amazon Nova Lite 71,2 %, Amazon Nova Pro 77,5 %, Gemini 1.5- och 2.5-varianterna mellan 81,9 % och 84,0 %, och Anthropic:s Claude 3 Haiku 91,2 %.

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

Motståndet längst ner har en förklaring som författarna erbjuder men inte bevisar. Att batcha flera token till en enda nätverkshändelse kollapsar den finstruktur som en klassificerare använder, och de modeller som batchade mest klarade sig sämst i attacken – Gemini 2.5 Pro vid ungefär 17,7 token per händelse, Gemini 1.5 Flash vid ungefär 55,3. Artikeln säger att det sannolikt är så att dessa leverantörer batchar för serveringseffektivitet och uppdateringsfrekvenser för användargränssnittet snarare än för sidokanalsförsvar, och att enbart batchning fortfarande är otillräckligt: samma modeller behöll en betydande risk vid projektionen 10 000 mot 1. Det finns också en lucka som artikeln inte förklarar. Samma modell som serverades från två platser fick olika poäng – GPT-4o mini via OpenAI på 98,6 % och via Microsoft på 93,4 %, GPT-4o på 90,1 % via Microsoft – vilket pekar mot serveringsstacken snarare än vikterna, men artikeln anger ingen orsak.

Siffran 10 000 mot 1 är den som mest sannolikt misstolkas. Den är en framskrivning från prestanda på testmängden till en tänkt ström av 10 000 konversationer där en handlar om målämnet, inte en mätning av verklig trafik. Enligt den når 17 av de 28 modellerna 100 % precision någonstans mellan 5 % och 20 % recall, vilket innebär att när klassificeraren flaggade hade den rätt, men missade de flesta målen. Hur mycket den fångar upp anges olika i de två primära dokumenten: arXiv-sammandraget säger att författarna återvinner 5–20 % av målkonversationerna med 100 % precision, medan Microsoft-bloggen säger 5–50 %. Båda är extrapoleringar, och båda dokumenten säger det.

Vad leverantörerna ändrade

Avslöjandet inleddes i juni 2025, då forskarna underrättade 28 språkmodellsleverantörer, med tekniska beskrivningar och proof-of-concept-demonstrationer på begäran. Vid publiceringen hade fyra levererat något. OpenAI lade till ett obfuskeringsfält i strömmade svar – en textsträng av slumpmässig längd som läggs till varje svar så att tokenlängden inte längre motsvarar paketlängden – och Microsoft Azure speglade det; bloggen anger att Microsoft verifierade att Azures version minskar attackens effektivitet "till nivåer som vi inte längre anser utgör en praktisk risk". Mistral lade till en parameter som kallas p med en liknande maskeringseffekt. xAI tillskrivs att ha infört skydd utan en offentlig beskrivning av vad det ändrade. Artikeln tillägger den del som bloggen inte tar upp: OpenAI och xAI registreras som åtgärdande i augusti 2025, Mistral i september och Microsoft i oktober efter att ha bedömt risken som måttlig, medan andra leverantörer avböjde att implementera åtgärder och flera svarade inte på upprepade uppföljningar. Artikeln noterar också att alla resultat samlades in innan någon leverantörsåtgärd hade levererats, och att publiceringen sköts upp till november för att ge villiga leverantörer tid att införa åtgärderna.

Forskarna testade också försvarsmekanismerna i sig, på en modell som både var mycket sårbar och motvillig att låta sig mildras. Slumpmässig utfyllnad sänkte AUPRC från 97,5 % till 92,9 %, batchning av fem token per händelse sänkte den från 98,2 % till 94,8 %, och injicerade bruspaket sänkte den från 98,1 % till 93,3 % — minskningar på 3,5 till 4,8 procentenheter, där paketinjicering kostade två till tre gånger bandbredden. Ingen av de tre tar bort kanalen, vilket är anledningen till att de implementerade åtgärderna beskrivs som mildring snarare än reparation.

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

Vad som är fastställt, och vad som inte är det

Fastställt och kontrollerbart av vem som helst: artikeln och dess kod för datainsamling är offentliga, mekanismen följer av dokumenterat chiffer- och streamingbeteende, och de fyra namngivna leverantörernas motåtgärder finns i deras egna API:er – ett obfuskeringfält, en parameter som heter p. Bekräftelsen av själva fyndet är tunnare än vad omfattningen av bevakningen antyder. The Hacker News, SecurityWeek, Security Affairs och Tech Xplore rapporterade alla om det mellan 8 och 11 november 2025, och varje redogörelse som jag läste i sin helhet beskriver på nytt samma Microsoft-teams experiment utifrån samma preprint i stället för att reproducera det; detsamma gäller den ytterligare bevakningen samma dag från SC Media, Cybernews, TechRadar, CSO, iTnews och CX Today, som jag såg men inte läste i sin helhet. Jag hittade ingen publicerad oberoende reproduktion av attacken, vilket är en begränsning i vad bevakningen tillför snarare än en motsägelse av den.

Inte fastställt: att någon har använt detta mot en verklig konversation. Det finns inget offer, ingen organisation, inget land och ingen siffra någonstans i primärdokumenten eller i den rapportering som granskats för den här artikeln, och arkivposten innehåller ingen dokumenterad verklig skada – vilket stämmer med källorna snarare än utgör en lucka i dem. Lika lite är det fastställt: hur väl attacken klarar verkliga nätverksförhållanden, eftersom varje siffra kommer från en kontrollerad inspelning om ett ämne; om konversationer med flera turer beter sig som författarna förväntar sig, vilket de påpekar är otestat; och hur trafiken från de leverantörer som inte svarat beter sig i dag, eftersom inget som publicerats sedan november 2025 säger om de har ändrat sig.

En detalj i citeringen förtjänar att sägas rakt ut. Arkivpostens egen källa är Japan Information-technology Promotion Agency:s index för AI-säkerhetsbulletin, en kontinuerligt uppdaterad japansk sammanställning som sammanfattar offentlig rapportering och som har en stående friskrivning om att den inte garanterar riktigheten i det den sammanfattar. Bulletinens decembernummer 2025, som jag laddade ner och läste i sin helhet, innehåller ingen post om Whisper Leak; dess åtta sammanfattningsteman är Anthropics GTG-1002-agentrapport, indirekt promptinjektion mot agenter, attacker mot AI-assisterad utveckling, MCP-sårbarheter, sårbarheter i AI-system, tillförlitlighetsbrister i AI, oaktsam AI-användning och AI för säkerhet. Den egentliga dokumentationen bakom denna post är därför Microsofts blogginlägg från 7 november och arXiv:2511.03675, båda lästa i sin helhet för den här artikeln, och den saknade bulletinposten är en uppgift om arkivpostens citering snarare än ett tvivel om fyndet.

Vad en läsare fortfarande kan göra åt det

Microsofts eget råd är kortfattat och låtsas inte lösa problemet: undvik att diskutera mycket känsliga ämnen med en chattbot när du är på ett opålitligt nätverk, använd ett VPN för ett skyddslager under transporten, föredra leverantörer som har infört motåtgärder och använd icke-strömmande lägen där en leverantör erbjuder det, eftersom strömning är mekanismen. Den strukturella poängen bakom detta är att exponeringen här är en egenskap hos leverantörens serveringsstack, inte hos användarens inställningar – två tjänster som kör samma vikter kan hamna i motsatta ändar av tabellen ovan beroende på hur de batchar och vad de lägger till i en ström.

För leverantörer är forskarnas egen slutsats den obekväma: varje försvar de testade byter bort viss streamingprestanda eller bandbredd mot en partiell minskning i en kanal som finns eftersom svar genereras och levereras en token i taget. Whisper Leak har ingen patch på det sätt som ett minnessäkerhetsfel har en. Den har en uppsättning beslut om servering och en mätning av hur mycket var och en av dem ger.