Ilustrasi abstrak yang dihasilkan pada bidang biru navy gelap dengan kisi cetak biru samar. Kolom sempit berisi persegi panjang sian pucat dengan ketinggian tidak rata membentang di sisi kiri, masing-masing dipisahkan oleh celah kecil; di sampingnya, sederet garis vertikal tipis berwarna ambar menandai jaraknya. Keduanya dikelilingi oleh dinding tembus pandang bertitik yang diberi label hanya dalam bentuk, bukan dalam teks, dan di sisi jauhnya, cahaya putih lembut menyatu menjadi satu siluet percakapan yang membulat, ambigu, dan tanpa label. Tidak ada teks, angka, orang, tanda merek, atau logo organisasi yang muncul. Logo OrcaRouter dikompositkan di sudut kanan bawah.
AI Safety Incidents

Whisper Leak: bentuk jawaban terenkripsi sudah cukup untuk menebak pertanyaannya

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Pada 7 November 2025, Tim Riset Keamanan Defender Microsoft menerbitkan Whisper Leak, serangan saluran samping yang menyimpulkan apa yang ditanyakan seseorang kepada chatbot dari ukuran dan waktu paket yang membawa balasan — lalu lintas yang sudah dienkripsi TLS dan tidak pernah didekripsi oleh penyerang. Laporan teknisnya dikirim ke arXiv dua hari lebih awal, pada 5 November, atas nama Jonathan Bar Or dan Geoff McDonald (arXiv:2511.03675). Di antara 28 model bahasa komersial, para peneliti melaporkan pengklasifikasi topik yang dalam sebagian besar kasus memperoleh skor di atas 98% AUPRC, dan pada ketidakseimbangan kelas simulasi 10.000-ke-1, 17 dari 28 mencapai presisi 100% pada tingkat recall rendah yang dilaporkan makalah tersebut. Tidak ada intersepsi percakapan nyata yang dilaporkan di mana pun dalam catatan: arsip mengarsipkan entri ini sebagai keparahan sedang dengan tingkat keyakinan A, tanpa sengketa seputar itu, dan tanpa kerugian nyata yang tercatat. Catatan itu sendiri — tingkat keparahannya, daftar sumber, dan penilaian keyakinannya — diarsipkan di arsip insiden AI, bersama entri lapisan jaringan dan privasi lainnya dalam koleksi yang sama.

Mengapa ciphertext tetap memiliki bentuk

Tulisan Microsoft menjelaskan mekanismenya dalam bahasa desain cipher. TLS membangun sesinya di atas cipher simetris, dan kedua keluarga itu berperilaku berbeda di batasnya: block cipher seperti AES dalam mode blok selalu menghasilkan kelipatan ukuran blok, sedangkan stream cipher seperti ChaCha20 atau AES-GCM menerima panjang data apa pun. Tanpa kompresi, menurut blog tersebut, ciphertext adalah plaintext ditambah konstanta, sehingga ukuran setiap potongan terenkripsi tetap mencerminkan ukuran data yang masuk ke dalamnya. Model bahasa menghasilkan satu token pada satu waktu dan mengalirkan token-token itu ke klien saat dihasilkan, yang mengubah respons menjadi rangkaian peristiwa jaringan yang panjangnya mengikuti panjang token dan jaraknya mengikuti seberapa cepat model menghasilkannya. Pengamat yang hanya bisa menonton — blog itu menyebut aktor negara bangsa di lapisan penyedia layanan internet, seseorang di jaringan lokal, atau seseorang yang berbagi router Wi-Fi yang sama — merekam rangkaian itu dan mempelajari sesuatu tentang jawaban tanpa menyentuh enkripsinya.

Makalah itu menegaskan secara eksplisit bahwa ini bukan pelanggaran terhadap TLS. Cipher itu melakukan tepat apa yang menjadi tujuan perancangannya; yang bocor adalah metadata yang memang tidak pernah dirancang untuk disembunyikan oleh TLS. Para penulis juga menempatkan penelitian ini dalam rangkaian temuan sebelumnya: rekonstruksi panjang token oleh Weiss dan rekan-rekan pada 2024, serangan timing terhadap speculative decoding oleh Carlini dan Nasr, kebocoran jumlah token keluaran yang diteliti oleh Zhang, Saileshwar, dan Lie, serta karya tentang timing berbagi cache oleh Zheng dan rekan-rekan. Kontribusi Whisper Leak lebih sempit dan lebih praktis daripada semua itu: bukan merekonstruksi jawaban, melainkan memutuskan apakah pertanyaan itu termasuk dalam satu kategori tertentu yang dipilih.

An HTML card titled 'What the observer sees, and what it infers', subtitled 'Nothing here requires breaking the encryption.' Two columns. Left, what is visible on the wire: a sequence of packet sizes in bytes and a sequence of inter-arrival times in milliseconds, drawn as a bar strip and a tick row, with a note that TLS stream ciphers preserve plaintext length and that streaming sends each token as it is generated. Right, what a trained classifier returns after processing those two sequences: a single probability that the conversation belongs to a target topic, with a threshold applied. A footer cites Microsoft Security Blog, 7 November 2025, and arXiv:2511.03675, 5 November 2025.

Bagaimana eksperimen itu dibangun

Topik target adalah legalitas pencucian uang. Para peneliti menghasilkan 100 varian pertanyaan yang serupa secara semantik tentang topik itu, menyisihkan 20 untuk pengujian dan melatih pada 80 lainnya, lalu mencampurnya dengan 11.716 pertanyaan tidak terkait yang diambil dari dataset Quora Questions Pair. Trafik ditangkap per model dengan tcpdump, dengan sampel positif dan negatif dikumpulkan dalam urutan acak dan spasi tambahan disisipkan di antara kata-kata untuk menghindari caching prompt mengaburkan hasil; generasi dijalankan pada temperature 1.0. Tiga keluarga pengklasifikasi dilatih pada urutan yang dihasilkan — LightGBM, LSTM bidirectional, dan model DistilBERT yang diadaptasi untuk memperlakukan bucket ukuran dan waktu sebagai token — dan masing-masing diuji hanya dengan fitur ukuran, hanya dengan fitur waktu, dan keduanya sekaligus.

Kinerja dinilai sebagai area di bawah kurva presisi-recall, sebuah pilihan yang dipertahankan makalah dengan alasan bahwa masalah realistisnya sangat tidak seimbang: seorang pengamat yang memantau banyak trafik biasa demi sejumlah sangat kecil percakapan menarik harus dinilai berdasarkan presisi, bukan akurasi mentah.

Angka-angkanya, dan jenis angka apa itu

Tujuh belas dari 28 model melampaui 98% AUPRC, beberapa di antaranya mencapai atau melebihi 99,9%, dan ukuran paket saja sudah cukup untuk menghasilkan hasil yang kuat pada sebagian besar kasus. Peringkat teratas adalah Mistral Large dengan 100.0%, DeepSeek-R1 yang dihosting Microsoft dengan 99.9%, Grok 3 Mini Beta milik xAI dengan 99.9%, dan GPT-4o mini milik OpenAI dengan 98.6%. Posisi terbawah bukanlah soal kekebalan, melainkan jarak: Phi-3.5-mini-MoE instruct milik Microsoft sendiri mencetak 76.9%, Amazon Nova Lite 71.2%, Amazon Nova Pro 77.5%, varian Gemini 1.5 dan 2.5 antara 81.9% dan 84.0%, serta Claude 3 Haiku milik Anthropic 91.2%.

An HTML card titled 'Best AUPRC per model, from Table 1', subtitled 'Median of five trials, best of three classifier architectures and three feature sets. Higher means the topic was easier to pick out of encrypted traffic.' A ranked bar list of ten models: Mistral Large 100.0%, Microsoft-hosted DeepSeek-R1 99.9%, Grok 3 Mini Beta 99.9%, GPT-4o mini 98.6%, GPT-4.1 mini 98.0%, Claude 3 Haiku 91.2%, Microsoft-hosted GPT-4o 90.1%, Gemini 2.5 Pro 84.0%, Nova Pro 77.5%, Phi-3.5-mini-MoE instruct 76.9%. A note reads: the authors attribute the Gemini and Nova results in part to token batching, which those providers do for serving efficiency, not as a defence; Gemini 2.5 Pro averaged about 17.7 tokens per network event and Gemini 1.5 Flash about 55.3. A footer cites arXiv:2511.03675, Table 1 and Table 2.

Ketahanan di bagian bawah memiliki penjelasan yang ditawarkan penulis tetapi tidak mereka buktikan. Mengelompokkan beberapa token menjadi satu peristiwa jaringan meruntuhkan struktur halus yang menjadi masukan bagi pengklasifikasi, dan model yang paling banyak melakukan batching paling buruk dalam serangan — Gemini 2.5 Pro sekitar 17,7 token per peristiwa, Gemini 1.5 Flash sekitar 55,3. Makalah tersebut menyatakan bahwa kemungkinan besar penyedia tersebut melakukan batching untuk efisiensi penyajian dan laju penyegaran antarmuka pengguna, bukan untuk pertahanan saluran samping, dan bahwa batching saja masih tidak memadai: model-model yang sama tetap memiliki risiko substansial pada proyeksi 10.000-ke-1. Ada juga celah yang tidak dijelaskan makalah. Model yang sama yang disajikan dari dua tempat memperoleh skor berbeda — GPT-4o mini melalui OpenAI sebesar 98,6% dan melalui Microsoft sebesar 93,4%, GPT-4o sebesar 90,1% melalui Microsoft — yang mengarah pada stack penyajian bukan pada bobot, tetapi makalah tidak menawarkan penyebabnya.

Angka 10.000-ke-1 adalah angka yang paling mungkin salah dibaca. Ini adalah proyeksi dari kinerja set uji ke aliran imajiner berisi 10.000 percakapan yang memuat satu percakapan tentang topik target, bukan pengukuran lalu lintas langsung. Berdasarkan angka itu, 17 dari 28 model mencapai presisi 100% di suatu titik antara recall 5% dan 20%, yang berarti bahwa ketika pengklasifikasi memberi tanda, tanda itu benar, dengan konsekuensi melewatkan sebagian besar target. Seberapa banyak yang ditangkap dinyatakan secara berbeda dalam dua dokumen utama: abstrak arXiv mengatakan para penulis memulihkan 5–20% percakapan target pada presisi 100%, sedangkan blog Microsoft mengatakan 5–50%. Keduanya adalah ekstrapolasi, dan kedua dokumen menyatakannya.

Apa yang diubah oleh penyedia

Pengungkapan dimulai pada Juni 2025, ketika para peneliti memberi tahu 28 penyedia model bahasa, dengan deskripsi teknis dan demonstrasi proof-of-concept berdasarkan permintaan. Pada saat publikasi, empat telah merilis sesuatu. OpenAI menambahkan bidang obfuscation ke respons streaming — string teks dengan panjang acak yang ditambahkan ke setiap respons sehingga panjang token tidak lagi memetakan ke panjang paket — dan Microsoft Azure menirunya; blog tersebut menyatakan bahwa Microsoft memverifikasi versi Azure mengurangi efektivitas serangan "ke tingkat yang kami anggap bukan lagi risiko praktis". Mistral menambahkan parameter bernama p dengan efek penyamaran serupa. xAI dikreditkan karena menerapkan perlindungan tanpa deskripsi publik tentang apa yang diubahnya. Makalah itu menambahkan bagian yang tidak disebut blog: OpenAI dan xAI tercatat memperbaiki pada Agustus 2025, Mistral pada September, dan Microsoft pada Oktober setelah menilai risiko sebagai sedang, sementara penyedia lain menolak menerapkan perbaikan dan beberapa tidak menanggapi tindak lanjut berulang. Makalah itu juga mencatat bahwa semua hasil dikumpulkan sebelum perbaikan vendor mana pun dirilis, dan publikasi ditunda hingga November untuk memberi waktu kepada vendor yang bersedia melakukan penerapan.

Para peneliti juga menguji pertahanan itu sendiri, pada model yang sangat rentan dan enggan dimitigasi. Padding acak menurunkan AUPRC dari 97,5% menjadi 92,9%, pengelompokan lima token per peristiwa menurunkannya dari 98,2% menjadi 94,8%, dan paket noise yang disuntikkan menurunkannya dari 98,1% menjadi 93,3% — penurunan sebesar 3,5 hingga 4,8 poin persentase, dengan injeksi paket membutuhkan dua hingga tiga kali bandwidth. Tidak satu pun dari ketiganya menghilangkan kanal tersebut, itulah sebabnya perbaikan yang diterapkan digambarkan sebagai mitigasi, bukan reparasi.

An HTML timeline card titled 'Disclosure to publication, in six dates', subtitled 'The attack was reported to vendors five months before anyone outside them could read about it.' Six entries: June 2025, responsible disclosure begins with 28 language model providers; August 2025, OpenAI and xAI deploy fixes, OpenAI by appending a random-length obfuscation string to each streamed response; September 2025, Mistral adds a parameter named p; October 2025, Microsoft assesses the risk as moderate and fixes Azure-hosted models; 5 November 2025, arXiv:2511.03675 published; 7 November 2025, Microsoft Security Blog post published, the date the archive records for the incident. A footer cites arXiv:2511.03675 section 8 and the Microsoft Security Blog of 7 November 2025.

Apa yang sudah mapan, dan apa yang belum

Terkonfirmasi, dan dapat diperiksa oleh siapa saja: makalah dan kode pengumpulan datanya bersifat publik, mekanismenya mengikuti perilaku cipher dan streaming yang terdokumentasi, dan mitigasi dari empat penyedia yang disebutkan ada di API mereka sendiri — sebuah bidang obfuscation, sebuah parameter bernama p. Koroborasi atas temuan itu sendiri lebih tipis daripada yang disiratkan oleh besarnya liputan. The Hacker News, SecurityWeek, Security Affairs, dan Tech Xplore semuanya melaporkannya antara 8 dan 11 November 2025, dan setiap laporan yang saya baca secara lengkap kembali mendeskripsikan eksperimen tim Microsoft yang sama dari preprint yang sama alih-alih mereproduksinya; hal yang sama berlaku untuk liputan lebih lanjut pada hari itu dari SC Media, Cybernews, TechRadar, CSO, iTnews, dan CX Today, yang saya lihat tetapi tidak saya baca secara lengkap. Saya tidak menemukan reproduksi independen yang dipublikasikan atas serangan tersebut, yang merupakan batasan atas apa yang ditambahkan oleh liputan itu, bukan kontradiksi terhadapnya.

Tidak terbukti: bahwa siapa pun telah menggunakan ini terhadap percakapan nyata. Tidak ada korban, organisasi, negara, maupun jumlah di mana pun dalam dokumen utama atau liputan yang ditinjau untuk artikel ini, dan catatan arsip tidak memuat bahaya nyata yang tercatat — konsisten dengan sumbernya, bukan celah di dalamnya. Sama-sama belum dapat dipastikan: seberapa baik serangan itu bertahan dalam kondisi jaringan nyata, karena setiap angka berasal dari perekaman terkendali pada satu topik; apakah percakapan multi-giliran berperilaku seperti yang diharapkan para penulis, yang mereka tandai sebagai belum diuji; dan bagaimana lalu lintas penyedia yang tidak merespons berperilaku saat ini, karena tidak ada yang diterbitkan sejak November 2025 yang menyatakan apakah mereka berubah pikiran.

Satu detail kutipan perlu dinyatakan secara gamblang. Sumber catatan arsip itu sendiri adalah indeks buletin keamanan AI dari Japan Information-technology Promotion Agency, sebuah ringkasan berbahasa Jepang yang diperbarui secara terus-menerus yang merangkum pemberitaan publik dan menyertakan penyangkalan tetap yang menyatakan bahwa pihaknya tidak menjamin keakuratan hal yang dirangkumnya. Edisi Desember 2025 buletin tersebut, yang saya unduh dan baca secara keseluruhan, tidak memuat entri Whisper Leak; delapan tema ringkasannya adalah laporan agen GTG-1002 milik Anthropic, injeksi prompt tidak langsung terhadap agen, serangan terhadap pengembangan berbantuan AI, kerentanan MCP, kerentanan sistem AI, kegagalan keandalan AI, penggunaan AI yang kurang hati-hati, dan AI untuk keamanan. Oleh karena itu, dokumentasi substantif di balik catatan ini adalah pos blog Microsoft tanggal 7 November dan arXiv:2511.03675, yang keduanya dibaca secara keseluruhan untuk artikel ini, dan tidak adanya entri buletin tersebut merupakan fakta tentang kutipan catatan ini, bukan keraguan tentang temuannya.

Apa yang masih bisa dilakukan seorang pembaca tentang hal itu

Saran Microsoft sendiri singkat dan tidak berpura-pura memperbaiki masalahnya: hindari membahas topik yang sangat sensitif dengan chatbot saat berada di jaringan yang tidak tepercaya, gunakan VPN sebagai lapisan perlindungan saat transit, pilih penyedia yang telah menerapkan mitigasi, dan gunakan mode non-streaming jika penyedia menawarkannya, karena streaming adalah mekanismenya. Poin struktural di baliknya adalah bahwa paparan di sini merupakan sifat dari stack penyajian penyedia, bukan dari pengaturan pengguna — dua layanan yang menjalankan bobot yang sama dapat berada di ujung yang berlawanan dari tabel di atas tergantung pada cara mereka melakukan batching dan apa yang mereka tambahkan ke stream.

Bagi para penyedia, kesimpulan para peneliti sendiri adalah kesimpulan yang tidak nyaman: setiap pertahanan yang mereka uji menukar sebagian kinerja streaming atau bandwidth dengan pengurangan sebagian pada saluran yang ada karena respons dihasilkan dan dikirimkan satu token demi satu token. Whisper Leak tidak memiliki tambalan dalam pengertian yang dimiliki bug keamanan memori. Ia memiliki serangkaian keputusan penyajian, dan pengukuran seberapa besar manfaat yang diberikan masing-masing keputusan itu.