Demo Django 133-Agen Mistral Large 4: Ia Mereproduksi Bug yang Sudah Diperbaiki Django

{{1}}Mistral Large 4{{/1}}, {{2}}model open-weight berparameter 1,05 triliun{{/2}} yang dijuluki {{3}}Le Chonk{{/3}} oleh Mistral AI, dipresentasikan pada 4 November 2026 sebagai peneliti keamanan end-to-end. Sebuah unggahan dari akun X resmi Mistral menanyakan apakah model tersebut dapat "{{4}}menemukan kerentanan kritis, membuktikannya, dan memperbaikinya,{{/4}}" lalu menjawabnya dengan 133 agen, basis kode Django, dan rekaman selang waktu 90×. Unggahan itu tidak menyebut CVE apa pun. Tidak menerbitkan patch. Tidak memberikan waktu eksekusi, jumlah token, jumlah positif palsu, dan tidak ada tautan ke tulisan teknis.

Waktu itu mempersempit kemungkinan. Tim keamanan Django telah merilis perbaikan untuk enam CVE pada hari sebelumnya, 3 November 2026, dalam 6.1.3, 6.0.10, dan 5.2.19 (satu masalah tidak mencantumkan patch 5.2). Jika kumpulan itu adalah target — dan itu satu-satunya kumpulan CVE Django di berita minggu itu — demo tersebut tidak mungkin menemukan cacat yang tidak diketahui, karena keenamnya sudah publik dan ditambal sebelum video diposting. Itu juga bukan kerentanan kritis. Satu memiliki peringkat sedang; lima lainnya diberi peringkat rendah.

Itu tidak membuat demo tersebut tidak berguna. Itu menjadikannya demonstrasi alur kerja, bukan klaim penemuan, dan perbedaan itu penting bagi siapa pun yang memutuskan apakah model open-weight dapat mengambil tempat dalam antrean triase tim keamanan.

Apa yang sebenarnya ditunjukkan Mistral

Postingannya singkat: “Bisakah Mistral Large 4 menemukan kerentanan kritis, membuktikannya, dan memperbaikinya? Kami mengujinya pada CVE Django terbaru. 133 agen memetakan kode, berburu cacat, menguji skenario serangan, dan mengonfirmasi bug tersebut. Lalu Le Chonk menambalnya. Triage, repro, patch. Ditampilkan pada kecepatan 90x.” Saat penulisan ini, postingan tersebut memiliki 540 suka, 94 repost, 107 balasan, dan sekitar 21.000 tayangan — sebuah postingan produk yang pantas, bukan sebuah pengungkapan.

Catatan rilis Mistral sendiri menjelaskan alur kerja yang sama secara lebih rinci. Pengumuman open-weight mencantumkan agen "Cyber Vulnerability Triage" yang membaca laporan kerentanan yang masuk, mereproduksi cacat dalam sandbox terisolasi, menulis dan melakukan iterasi pada patch, serta melanjutkan "sampai eksploit canary tidak lagi berfungsi." Itu adalah fitur terdokumentasi dari model tersebut, yang ditulis sebelum video. Uji coba 133 agen itu adalah demonstrasi publiknya.

Angka 90× adalah kecepatan pemutaran, bukan hasil. Tanpa durasi video sumber atau waktu nyata proses tersebut, angka itu tidak dapat dikonversi menjadi durasi. Time-lapse 90× dari proses berdurasi dua jam dan time-lapse 90× dari proses berdurasi dua hari akan terlihat identik pada linimasa.

Batch Django, dan mengapa "critical" tidak tepat

Advisory Django tanggal 3 November luar biasa spesifik, yang membuatnya berguna sebagai kontrol. Dokumen itu mencantumkan enam masalah, masing-masing dengan CVE, pelapor, kumpulan cabang terdampak, dan commit perbaikan. Tingkat keparahannya tidak mendekati kritis:

• CVE-2026-111362 — sedang. Anggota crs pada geometri GeoJSON dapat membuat GDAL mengirim permintaan jaringan atau membaca file lokal selama validasi, penyimpanan, atau kueri: jalur SSRF dan pembacaan file lokal.

• CVE-2026-108147 — rendah. Unggahan multipart yang dienkode Base64 dibuffer sebelum handler unggahan dijalankan, sehingga melewati FILE_UPLOAD_MAX_MEMORY_SIZE dan memungkinkan terkurasnya memori.

• CVE-2026-111211 — rendah. Karakter kontrol dalam nilai formulir geometri yang tidak valid dicatat tanpa escaping, sehingga memungkinkan injeksi atau pemalsuan log.

• CVE-2026-113593 — rendah. Nilai header Vary yang hilang dan kosong menghasilkan kunci cache yang sama, sehingga berisiko mengekspos respons cache privat.

• CVE-2026-113733 — rendah. Pengguna admin dengan akses hanya-lihat dapat melihat hash kata sandi lengkap untuk model pengguna kustom tertentu.

• CVE-2026-114582 — rendah. Input string SpatialReference dapat memicu pengambilan URL atau pembacaan file oleh GDAL; perlindungan penuh memerlukan GDAL 3.9 atau versi lebih baru.

Keenamnya diperbaiki pada hari yang sama. Itulah proses normal Django: advisory, patch, dan catatan CVE terbit bersamaan. Sebuah model yang "mengonfirmasi bug" sehari kemudian sedang mengonfirmasi bug yang perbaikannya sudah ada di repositori, dan langkah reproduksinya ada di laporan publik. Mereproduksi bug yang dilaporkan adalah tugas pertama antrean triage, jadi ini pekerjaan nyata — tetapi tidak sama dengan menemukannya.

Mistral tidak menyebutkan CVE tersebut, sehingga klaim itu tidak dapat diperiksa terhadap advisory tertentu. Jika targetnya berada di luar kumpulan November, tulisan itu tidak memberikan cara untuk mengidentifikasinya, memberi tanggal, atau membandingkan patch yang dihasilkan dengan perbaikan upstream. Patch itu sendiri tidak dipublikasikan.

133 agen adalah angka orkestrasi

Jumlah agen adalah pilihan desain, bukan skor. Sebuah pipeline dapat menggunakan 133 agen karena ia menyebar satu agen per file, satu per hipotesis, atau satu per jalur serangan; pekerjaan yang sama dapat dilakukan dengan lima agen dan lebih banyak putaran. Yang berubah seiring jumlahnya adalah biaya, latensi, dan jumlah upaya independen — bukan kemampuan model per token.

Metrik yang akan membuat angka itu bermakna justru yang hilang: berapa banyak calon kelemahan yang diajukan, berapa banyak yang merupakan positif palsu, berapa banyak agen yang diperlukan per bug yang terkonfirmasi, dan berapa biaya token untuk menjalankannya. Sistem yang mengajukan 200 kandidat untuk mengonfirmasi satu bug nyata adalah produk yang berbeda dari sistem yang mengajukan tiga dan mengonfirmasi satu, dan keduanya dapat secara jujur digambarkan sebagai "133 agen."

Deskripsi yang diterbitkan Mistral menunjukkan loop sempit yang dapat diverifikasi, bukan penemuan terbuka: reproduksi di sandbox, iterasi pada patch, berhenti saat eksploit canary gagal. Loop itu persis seperti yang ditunjukkan demo Django. Itu loop yang baik. Itu juga loop yang dijalankan triager manusia dengan debugger dan rangkaian pengujian.

Angka keamanan yang memang dipublikasikan Mistral

Postingan open-weight Mistral menempatkan Mistral Large 4 pada 51% di Artificial Analysis Cyber Index, dalam bagan yang dibuat vendor yang menempatkan MiMo-V2.6-Pro pada 56% dan DeepSeek-V4.1-Flash 1017 pada 57%, dengan Kimi K3 pada 41% dan GLM-5.3 pada 36%. Indeks tersebut menguji apakah suatu model dapat menemukan kerentanan dalam basis kode, mereproduksi dan memvalidasinya, serta menambalnya — tiga kata kerja yang sama seperti dalam demo.

Postingan yang sama melaporkan tingkat penolakan rata-rata 96,6% terhadap permintaan siber berbahaya, yang menurut Mistral merupakan angka tertinggi yang mereka ukur di antara model terbuka, dan ketahanan terhadap serangan 97,1% pada tolok ukur keamanan agen B3, naik dari 93,3% saat pratinjau. Halaman pratinjau Oktober juga mencantumkan skor 82% pada uji reproduksi dan penambalan kerentanan milik Mistral sendiri serta 93% dari 40 tantangan Cybench; postingan model berbobot terbuka tidak mengulangi kedua angka tersebut.

Semua ini dilaporkan oleh vendor. Tidak satu pun telah direproduksi secara independen, dan grafik Cyber Index adalah rendering Mistral atas indeks pihak ketiga, bukan tangkapan papan peringkat. Itu tidak membuat angkanya salah. Itu membuatnya menjadi klaim, dan video demo adalah klaim lain dalam rangkaian yang sama.

Ada ketegangan nyata dalam positioning-nya. Model yang disetel untuk menolak 96,6% permintaan siber berbahaya juga dipasarkan berdasarkan kemampuannya mereproduksi eksploit dan menulis patch. Jawaban Mistral adalah varian khusus untuk pengujian penetrasi dan red-teaming, yang dibatasi di balik penyaringan dan batasan kontraktual pada sistem yang dimiliki atau diotorisasi. Checkpoint berbobot terbuka adalah model umum, dengan guardrail yang dapat disesuaikan oleh host — itulah sebabnya pertanyaan penggunaan ganda mengikuti bobotnya, bukan API-nya.

Apa yang akan mengubah demo menjadi bukti

Klaim end-to-end yang kredibel membutuhkan enam hal. Tidak ada satu pun yang eksotis; semuanya tidak ada dalam postingan tersebut.

• CVE yang disebutkan namanya, atau bug tanpa laporan publik — sehingga pembaca dapat membedakan penemuan dari reproduksi.

• Commit yang rentan dan commit yang telah ditambal, sehingga diff dapat ditinjau.

• Reproduksi sebelum-dan-sesudah dalam lingkungan yang sama, termasuk eksploit yang gagal dan yang berhasil.

• Jumlah positif palsu: berapa banyak kandidat yang diajukan oleh para agen sebelum ada satu yang bertahan.

• Waktu nyata dan biaya token untuk keseluruhan proses, bukan pengali pemutaran.

• Pengulangan independen oleh seseorang yang bukan Mistral.

Terbitkan itu dan argumennya berubah. Sampai saat itu, deskripsi yang jujur adalah "Mistral mendemonstrasikan agen triase-nya pada bug Django publik," yang merupakan demo produk yang berguna dan klaim yang jauh lebih kecil daripada kalimat pertama postingan itu.

Menjalankan pola tersebut pada basis kode Anda sendiri

Bobot terbuka adalah bagian yang penting bagi tim keamanan. Mistral merilis checkpoint tersebut pada 29 Oktober 2026 di bawah Mistral Ecosystem Open-Weight License, lisensi MIT yang dimodifikasi yang mengizinkan penggunaan, modifikasi, fine-tuning, dan komersialisasi, tetapi mewajibkan lisensi terpisah bagi siapa pun yang menjalankan bisnis model-as-a-service. Checkpoint ini memiliki 1,05 triliun parameter dengan 49 miliar parameter aktif per token, konteks 1 juta token, dan varian NVFP4 untuk GPU Blackwell. Melakukan self-hosting atasnya adalah pembelian kluster, bukan unduhan laptop, tetapi ini menjaga kode sumber dan temuan tetap di dalam perimeter Anda — alasan tim keamanan akan memilihnya daripada API.

Alur kerja ini lebih portabel daripada modelnya: petakan kode, hasilkan kandidat cacat, simulasikan serangan, reproduksi di sandbox, tambal, lalu verifikasi bahwa eksploit tidak lagi berfungsi. Langkah lemah dalam setiap implementasi adalah pemverifikasi. Model yang sama yang menulis tambalan adalah penilai yang buruk untuk tambalan itu; model kedua dari keluarga berbeda, yang diberi diff dan hasil reproduksinya, menangkap sebagian signifikan dari tambalan buruk yang akan dibela oleh model pertama.

Di sinilah routing membantu. Mistral Large 4 tidak ada dalam katalog OrcaRouter — model itu disajikan melalui API milik Mistral sendiri dan dapat diunduh untuk self-hosting — tetapi OrcaRouter menempatkan 200+ model lain di belakang satu kunci yang kompatibel dengan OpenAI dengan markup 0% atas harga daftar penyedia, failover otomatis, dan DSL routing yang dapat menyusun verifier pendapat kedua ke dalam panggilan yang sama. Pipeline triase tidak memerlukan satu model yang unggul dalam segala hal; yang dibutuhkannya adalah penulis patch dan peninjau patch yang berbeda, dan satu kunci adalah cara yang lebih murah untuk mencapainya daripada dua kontrak vendor.

Klaim yang perlu diperhatikan

Mistral memiliki komponen-komponen untuk sebuah produk keamanan yang kredibel: bobot terbuka, alur triase yang terdokumentasi, metrik penolakan yang kuat, dan tolok ukur yang mengukur kata kerja yang tepat. Yang belum dimilikinya, secara publik, adalah kasus di mana model menemukan sesuatu yang belum diperbaiki. Demo berikutnya harus menyebutkan bug tersebut, menerbitkan diff, dan membiarkan orang lain menjalankannya. Sampai saat itu, video 133 agen tersebut adalah demonstrasi orkestrasi, bukan bukti penemuan — dan kata "kritis" melakukan lebih banyak pekerjaan daripada yang didukung oleh batch Django tersebut.