짙은 네이비 바탕에 희미한 청사진 격자가 있는 생성된 추상 일러스트레이션. 높이가 고르지 않은 옅은 청록색 직사각형들이 왼쪽 측면을 따라 좁은 세로 열로 이어지며, 각각은 작은 간격으로 분리되어 있다. 그 옆에는 가는 세로 호박색 눈금 한 줄이 그 간격을 표시한다. 둘 다 텍스트가 아니라 형태로만 표시된 점선 반투명 벽으로 둘러싸여 있으며, 반대편에서는 부드러운 흰색 빛이 모호하고 라벨이 없는 하나의 둥근 대화 실루엣으로 나타난다. 텍스트, 숫자, 사람, 브랜드 표시 또는 조직 로고는 나타나지 않는다. OrcaRouter 로고가 오른쪽 아래 모서리에 합성되어 있다.
AI Safety Incidents

Whisper Leak: 암호화된 답변의 형태만으로 질문을 추측하기에 충분했다

작성자

jinhao.song

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

2025년 11월 7일 Microsoft의 Defender Security Research Team은 Whisper Leak을 공개했다. 이는 응답을 운반하는 패킷의 크기와 타이밍으로부터 사람이 챗봇에게 무엇을 묻고 있는지 추론하는 부채널 공격으로, TLS가 이미 암호화했으며 공격자가 결코 복호화하지 않는 트래픽을 이용한다. 기술 보고서는 이틀 전인 11월 5일 Jonathan Bar Or와 Geoff McDonald의 이름으로 arXiv에 올라갔다(arXiv:2511.03675). 28개 상용 언어 모델 전반에서 연구진은 대부분의 경우 AUPRC 98%를 넘는 점수를 기록한 주제 분류기를 보고하며, 시뮬레이션된 10,000:1 클래스 불균형에서 28개 중 17개가 논문이 보고한 낮은 재현율 수준에서 100% 정밀도에 도달했다. 기록 어디에도 실제 대화의 가로채기는 보고되지 않는다. 아카이브는 이 항목을 중간 심각도, A 신뢰도 등급으로 기록하며, 이에 대한 이견도 없고 기록된 실제 피해도 없다. 기록 자체—심각도 등급, 출처 목록 및 신뢰도 평가—는 AI 사고 아카이브에 같은 컬렉션의 다른 네트워크 계층 및 프라이버시 항목들과 함께 보관되어 있다.

암호문이 여전히 형태를 갖는 이유

마이크로소프트의 글은 이 메커니즘을 암호 설계의 언어로 설명한다. TLS는 세션을 대칭 암호에 구축하며, 두 계열은 경계에서 다르게 동작한다. 블록 모드의 AES 같은 블록 암호는 항상 블록 크기의 배수를 출력하는 반면, ChaCha20이나 AES-GCM 같은 스트림 암호는 어떤 데이터 길이든 받아들인다. 블로그에 따르면 압축이 없으면 암호문은 평문에 상수를 더한 것과 같으므로, 각 암호화된 청크의 크기는 여전히 그 안에 들어간 것의 크기를 따라간다. 언어 모델은 한 번에 하나의 토큰을 생성하고 생성되는 대로 그 토큰을 클라이언트로 스트리밍하며, 이로 인해 응답은 길이는 토큰 길이를 따르고 간격은 모델이 토큰을 생성하는 속도를 따르는 일련의 네트워크 이벤트가 된다. 오직 관찰만 할 수 있는 사람 — 블로그는 인터넷 서비스 제공자 계층의 국가 행위자, 로컬 네트워크상의 누군가, 또는 같은 Wi-Fi 라우터를 공유하는 누군가를 언급한다 — 은 그 시퀀스를 기록하고 암호화를 건드리지 않고도 답변에 대해 무언가를 알아낸다.

논문은 이것이 TLS의 균열이 아니라는 점을 분명히 한다. 암호는 설계된 대로 정확히 작동한다. 유출되는 것은 TLS가 애초에 숨기도록 만들어진 적 없는 메타데이터다. 저자들은 이 연구를 이전 발견들의 계보에 놓는다. 2024년 Weiss와 동료들의 토큰 길이 재구성, Carlini와 Nasr의 추측 디코딩에 대한 타이밍 공격, Zhang, Saileshwar, Lie가 연구한 출력 토큰 수 누출, Zheng과 동료들의 캐시 공유 타이밍 연구가 그것이다. Whisper Leak의 기여는 그 어느 것보다 더 좁고 더 실용적이다. 답을 재구성하는 것이 아니라, 질문이 선택된 한 범주에 속했는지 판단하는 것이다.

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

실험이 어떻게 구축되었는지

목표 주제는 자금세탁의 적법성이었다. 연구자들은 이에 관한 의미적으로 유사한 질문 변형 100개를 생성했고, 그중 20개는 테스트용으로 남겨두고 나머지 80개로 훈련했으며, Quora Questions Pair 데이터셋에서 가져온 11,716개의 무관한 질문과 섞었다. 트래픽은 tcpdump로 모델별로 캡처했고, 긍정 및 부정 샘플은 섞인 순서로 수집했으며 단어 사이에 추가 공백을 삽입해 프롬프트 캐싱이 결과를 흐리게 하는 것을 피했다. 생성은 temperature 1.0에서 실행되었다. 세 가지 분류기 계열이 생성된 시퀀스에 대해 훈련되었다 — LightGBM, 양방향 LSTM, 그리고 크기 및 시간 버킷을 토큰으로 처리하도록 적응된 DistilBERT 모델 — 각각은 크기 특징만, 타이밍 특징만, 그리고 둘 다 함께 사용해 테스트되었다.

성능은 {{1}}정밀도-재현율 곡선 아래 면적{{/1}}으로 채점되었으며, {{2}}이는 현실적인 문제가 심하게 불균형하다는 근거에서 논문이 옹호하는 선택이다{{/2}}: {{3}}아주 적은 수의 흥미로운 대화를 위해 많은 일반 트래픽을 지켜보는 관찰자는 원시 정확도가 아니라 정밀도를 기준으로 평가되어야 한다{{/3}}.

숫자들, 그리고 그 숫자들이 어떤 종류의 숫자인지

28개 모델 중 17개가 98% AUPRC를 넘었고, 여러 개는 99.9% 이상이었으며, 대부분의 경우 패킷 크기만으로도 강력한 결과를 얻기에 충분했다. 표의 최상단은 Mistral Large가 100.0%, Microsoft가 호스팅한 DeepSeek-R1이 99.9%, xAI의 Grok 3 Mini Beta가 99.9%, OpenAI의 GPT-4o mini가 98.6%이다. 하위권은 면제가 아니라 격차다: Microsoft 자체의 Phi-3.5-mini-MoE instruct는 76.9%, Amazon Nova Lite는 71.2%, Amazon Nova Pro는 77.5%, Gemini 1.5 및 2.5 변형은 81.9%에서 84.0% 사이, Anthropic의 Claude 3 Haiku는 91.2%를 기록했다.

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

맨 아래의 저항에는 저자들이 제시하지만 입증하지는 않는 설명이 있다. 여러 토큰을 하나의 네트워크 이벤트로 배치 처리하면 분류기가 의존하는 미세 구조가 무너지며, 가장 강하게 배치 처리한 모델들이 공격에서 가장 나쁜 성적을 냈다 — Gemini 2.5 Pro는 이벤트당 약 17.7토큰, Gemini 1.5 Flash는 약 55.3토큰이었다. 논문은 해당 제공자들이 부채널 방어가 아니라 서빙 효율과 사용자 인터페이스 갱신률을 위해 배치 처리할 가능성이 높다고 말하며, 배치 처리만으로는 여전히 불충분하다고 한다: 바로 그 모델들이 10,000대 1 투영에서 상당한 위험을 유지했다. 논문이 설명하지 않는 격차도 있다. 같은 모델이 두 곳에서 서빙될 때 다르게 점수화됐다 — GPT-4o mini는 OpenAI를 통해 98.6%, Microsoft를 통해 93.4%, GPT-4o는 Microsoft를 통해 90.1% — 이는 가중치가 아니라 서빙 스택을 가리키지만, 논문은 원인을 제시하지 않는다.

10,000대 1이라는 수치는 가장 잘못 읽힐 가능성이 큰 수치다. 이는 대상 주제에 관한 대화 하나를 포함하는 10,000개의 대화로 이루어진 상상 속 스트림에 테스트 세트 성능을 투영한 것이지, 실제 트래픽을 측정한 것이 아니다. 이 가정 아래에서 28개 모델 중 17개는 재현율 5%에서 20% 사이 어디쯤에서 정밀도 100%에 도달하는데, 이는 분류기가 플래그를 올렸을 때 그것이 맞았다는 뜻이며, 그 대가로 대부분의 대상을 놓친다는 의미다. 얼마나 많이 잡아내는지는 두 주요 문서에서 다르게 기술된다. arXiv 초록은 저자들이 100% 정밀도로 대상 대화의 5–20%를 회수한다고 말하는 반면, Microsoft 블로그는 5–50%라고 말한다. 둘 다 외삽이며, 두 문서 모두 그렇게 밝히고 있다.

공급자가 변경한 사항

공개는 2025년 6월에 시작되었으며, 연구자들은 28개 언어 모델 제공업체에 통보하고 요청 시 기술 설명과 개념 증명 시연을 제공했다. 논문 발표 시점까지 네 곳이 무언가를 출시했다. OpenAI는 스트리밍 응답에 난독화 필드를 추가했다 — 각 응답에 임의 길이의 텍스트 문자열을 덧붙여 토큰 길이가 더 이상 패킷 길이에 대응하지 않도록 하는 방식 — 그리고 Microsoft Azure도 이를 그대로 따랐다. 블로그에 따르면 Microsoft는 Azure 버전이 공격 효과를 "더 이상 실질적 위험으로 보지 않는 수준"으로 줄인다고 검증했다. Mistral은 유사한 마스킹 효과를 지닌 p라는 매개변수를 추가했다. xAI는 무엇을 변경했는지에 대한 공개 설명 없이 보호 조치를 배포한 것으로 인정받는다. 논문은 블로그가 다루지 않은 부분을 덧붙인다. OpenAI와 xAI는 2025년 8월, Mistral은 9월, Microsoft는 위험을 중간 정도로 평가한 후 10월에 수정한 것으로 기록되어 있으며, 다른 제공업체들은 수정 사항 구현을 거부했고 여러 곳은 반복된 후속 연락에 응답하지 않았다. 논문은 또한 모든 결과가 어떤 업체의 수정 사항이 출시되기 전에 수집되었으며, 발표는 의향이 있는 업체들이 배포할 시간을 주기 위해 11월로 미뤄졌다고 밝힌다.

연구진은 또한 방어 기법 자체를, 매우 취약하면서도 완화에 소극적인 모델을 대상으로 테스트했다. 무작위 패딩은 AUPRC를 97.5%에서 92.9%로 낮췄고, 이벤트당 토큰 5개를 묶는 방식은 98.2%에서 94.8%로, 노이즈 패킷 주입은 98.1%에서 93.3%로 낮췄다 — 3.5~4.8퍼센트포인트 감소이며, 패킷 주입은 대역폭이 두세 배 더 들었다. 세 가지 중 어느 것도 채널을 제거하지 못하며, 이것이 배포된 수정 조치가 복구가 아니라 완화로 설명되는 이유다.

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

무엇이 확립되었으며, 무엇이 그렇지 않은가

확립되었으며 누구나 확인할 수 있다: 논문과 데이터 수집 코드는 공개되어 있고, 메커니즘은 문서화된 암호 및 스트리밍 동작에서 나오며, 이름이 언급된 네 제공업체의 완화책은 각자의 API에 존재한다 — 난독화 필드와 p라는 이름의 매개변수다. 발견 자체에 대한 뒷받침은 보도량이 시사하는 것보다 빈약하다. The Hacker News, SecurityWeek, Security Affairs, Tech Xplore는 모두 2025년 11월 8일부터 11일 사이에 이를 보도했고, 내가 전문을 읽은 각 기사는 같은 프리프린트에 실린 동일한 Microsoft 팀의 실험을 재현하기보다는 다시 설명할 뿐이었다. 그날 SC Media, Cybernews, TechRadar, CSO, iTnews, CX Today의 추가 보도도 마찬가지였는데, 나는 그것들을 보았지만 전문을 읽지는 않았다. 나는 그 공격에 대한 공개된 독립 재현을 찾지 못했는데, 이는 보도가 더해 주는 내용의 한계이지 보도 내용에 대한 반박은 아니다.

확립되지 않음: 누구든 실제 대화에서 이것을 사용했다는 점. 이 기사를 위해 검토된 1차 문서나 보도 어디에도 피해자, 조직, 국가, 건수는 없으며, 아카이브 기록에도 기록된 실제 피해가 없다 — 이는 출처에 공백이 있다기보다 출처와 일치하는 것이다. 마찬가지로 확립되지 않음: 모든 수치가 한 주제에 대한 통제된 캡처에서 나온 것이므로 이 공격이 실제 네트워크 조건에서 얼마나 잘 견디는지; 저자들이 미검증이라고 표시한 다중 턴 대화가 저자들의 예상대로 작동하는지; 그리고 응답하지 않은 제공자들의 트래픽이 오늘날 어떻게 작동하는지, 2025년 11월 이후 발표된 어떤 것도 그들이 입장을 바꿨는지 말하지 않기 때문이다.

인용에 관한 한 가지 세부 사항은 분명히 짚고 넘어갈 가치가 있습니다. 이 아카이브 기록 자체가 제시하는 출처는 일본 정보기술진흥기구(Japan Information-technology Promotion Agency)의 AI 보안 게시판 인덱스로, 공개 보도를 요약하는 지속적으로 갱신되는 일본어 다이제스트이며, 요약 대상의 정확성을 보증하지 않는다는 상시 면책 문구를 달고 있습니다. 제가 내려받아 전문을 읽어 본 그 게시판의 2025년 12월호에는 Whisper Leak 항목이 없습니다. 이 호의 여덟 가지 요약 주제는 Anthropic의 GTG-1002 에이전트 보고서, 에이전트에 대한 간접 프롬프트 인젝션, AI 지원 개발에 대한 공격, MCP 취약점, AI 시스템 취약점, AI 신뢰성 실패, 부주의한 AI 사용, 보안을 위한 AI입니다. 따라서 이 기록을 뒷받침하는 실질적 문서는 Microsoft의 11월 7일 블로그 게시물과 arXiv:2511.03675이며, 둘 다 이 기사를 위해 전문을 읽었습니다. 그리고 게시판에 해당 항목이 없다는 점은 이 기록의 인용에 관한 사실일 뿐, 발견 내용에 대한 의문은 아닙니다.

독자가 이에 대해 여전히 할 수 있는 일

마이크로소프트 자체의 권고는 간단하며 문제를 해결하는 척하지 않는다. 신뢰할 수 없는 네트워크에 있는 동안에는 챗봇과 매우 민감한 주제를 논하지 말고, 전송 중 보호 계층을 위해 VPN을 사용하며, 완화 조치를 구현한 제공업체를 선호하고, 제공업체가 제공하는 경우 비스트리밍 모드를 사용하라는 것이다. 스트리밍이 바로 그 메커니즘이기 때문이다. 그 밑에 깔린 구조적 요점은 여기서의 노출이 사용자의 설정이 아니라 제공업체의 서빙 스택의 속성이라는 점이다. 동일한 가중치를 실행하는 두 서비스라도 배치 방식과 스트림에 덧붙이는 내용에 따라 위 표의 양 극단에 위치할 수 있다.

서비스 제공자들에게 연구진 자신의 결론은 불편한 쪽이다. 그들이 테스트한 모든 방어책은 응답이 한 번에 한 토큰씩 생성되고 전달되기 때문에 존재하는 채널에서 부분적인 감소를 얻는 대가로 스트리밍 성능이나 대역폭 일부를 희생한다. Whisper Leak에는 메모리 안전성 버그에 있는 그런 의미의 패치가 없다. 그것이 가진 것은 일련의 서빙 결정과, 각 결정이 얼마만큼의 효과를 거두는지에 대한 측정이다.