Bobotnya Sudah Dirilis dan Muat di Delapan Blackwell: Di Balik Rilis NVFP4 Hari-Nol Mistral Large 4

Setiap panduan self-hosting yang diterbitkan dalam sepekan terakhir menyampaikan tiga hal yang sama tentang Mistral Large 4: berkas lisensi mengembalikan 404, tidak ada checkpoint terkuantisasi, dan konfigurasi apa pun yang Anda tulis hanyalah proyeksi yang dipinjam dari model sebelumnya. Pada pagi 29 Oktober 2026, ketiganya salah. Lisensi ada di repositori — 2.632 byte — dan keluarga checkpoint-nya nyata: mistralai/Mistral-Large-4-1T-A52B dengan 54 shard FP8 dan 1.060,6 GB, plus versi NVFP4 dengan 32 shard dan 610,1 GB. Catatan day-zero NVIDIA, yang dalam satu tarikan napas mengucapkan selamat kepada tim Mistral AI dan menyebut dukungan NVFP4 di Hugging Face, adalah versi terpendek dari kisah ini. Versi yang berguna adalah yang lebih panjang: apa yang sebenarnya diasumsikan oleh resep yang dipublikasikan, apa yang terjadi pada harga saat tak ada yang memperhatikan, dan saran self-hosting Selasa mana yang kini justru menyesatkan. Jika Anda ingin membandingkan apa yang bisa dirutekan hari ini alih-alih apa yang bisa diunduh, katalog model OrcaRouter mencantumkan setiap model yang kami layani, jendela konteksnya, dan harga per token, dengan failover yang dikonfigurasi per rute.

Mulailah dengan tanggal-tanggalnya, karena itulah bagian yang paling sering salah dalam pemberitaan, baik ke satu arah maupun ke arah lainnya. Mistral Large 4 diumumkan pada 6 Oktober 2026 sebagai pratinjau API — model mixture-of-experts dengan 1,05 triliun parameter dan 49 miliar parameter aktif per token, atau 52 miliar jika lapisan embedding dan output ikut dihitung, ditambah encoder visi berparameter 1,6 miliar serta jendela konteks 1 juta token, dengan harga $1,36 per juta token input dan $4,18 per juta token output. Bobot terbuka dijanjikan tersedia sebelum akhir Oktober. Bobot tersebut akhirnya hadir pada 14.51 UTC tanggal 29 Oktober, sekitar dua hari setelah tanggal 27 Oktober yang sebelumnya dianggap pasti oleh laporan pers. Selisih ini penting karena banyak tulisan mengenai model ini dibuat di dalam rentang waktu tersebut.

Apa yang sebenarnya ada di Hub pagi ini?

Metadata repositori lebih informatif daripada teks pengumuman, jadi berikut ini disajikan secara langsung:

• Titik pemeriksaan utama — mistralai/Mistral-Large-4-1T-A52B, 54 pecahan safetensors, 1.060,6 GB di disk, ditandai fp8, repositori dibuat 30 September 2026, bobot terakhir ditulis 29 Oktober pukul 14:51 UTC, tidak dibatasi.

• Saudara terkuantisasi — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 shard, 610,1 GB, repo dibuat 15 Oktober 2026 dan diperbarui hari ini pukul 14.11 UTC — empat puluh menit sebelum repositori induk selesai.

• Lisensi — Mistral Ecosystem Open-Weight License, yang Mistral sebut sebagai lisensi MIT yang dimodifikasi, tanpa ambang pendapatan yang dikaitkan.

• Arsitektur, dari params.json — 128 expert dengan empat expert yang dirutekan per token ditambah satu expert bersama, 72 lapisan, ukuran tersembunyi 6.144, menara visi 30 lapisan yang menerima gambar hingga 1.540 piksel, dan berbagi KV di sebagian besar lapisan.

• Angka-angka yang tidak selaras — kartu model NVFP4 mencantumkan 39 bahasa; pengumumannya mengklaim 160+. Kartu tersebut menghitung 49 miliar parameter aktif per token; dokumentasi API dan tabel milik vendor menyebut 52 miliar, angka yang sama dengan menambahkan lapisan embedding dan output. Postingan Mistral mengkreditkan 3.800 GPU Grace Blackwell untuk pelatihan; beberapa media membulatkannya menjadi 4.000. Tidak ada yang fatal, dan setiap ketidaksesuaian memberi tahu Anda dokumen mana yang ditulis oleh tim mana.

Angka 610 GB adalah rilisnya.

Model dengan 1,05 triliun parameter tidak diunduh dengan cara yang bisa dijelaskan secara santai oleh siapa pun. Checkpoint FP8 berukuran 1.060,6 GB — jauh di atas satu terabyte bobot sebelum satu token KV cache, aktivasi, atau fragmentasi sekalipun ada. Pada node Blackwell delapan GPU, ukuran itu muat dengan sisa sekitar 400 GB. Pada delapan H200, ukuran itu muat dengan hampir tanpa sisa. Checkpoint NVFP4 memangkasnya menjadi 610,1 GB, dan penghematan itu bukan sekadar kosmetik: ini adalah perbedaan antara node yang seluruhnya berisi bobot dan node yang masih memiliki ruang untuk konteks 1 juta token yang diiklankan model.

Skema kuantisasi tersebut juga lebih spesifik daripada "4-bit". Menurut kartu tersebut, bobot mixture-of-experts adalah NVFP4 sementara lapisan linear tetap FP8, dan resep vLLM meminta cache KV FP8 pada lapisan MLA. Itu adalah stack serving presisi campuran, bukan downcast menyeluruh, dan secara khusus ditargetkan untuk Blackwell — B200, B300, GB200, dan GB300 adalah bagian yang disebutkan.

Satu konsekuensi perlu ditekankan bagi siapa pun yang berencana melakukan pembelian: resep resmi masih meminta delapan GPU. vLLM dipublikasikan dengan tensor parallelism 8; SGLang dengan tp-size 4. Kuantisasi di sini bukan terutama cara untuk mengurangi jumlah node. Ini adalah cara untuk menyisakan memori yang cukup bagi node agar benar-benar dapat melayani konteks panjang, dan parameter penyajian yang dipublikasikan adalah buktinya.

Resep, flag demi flag

Yang membuat rilis ini berbeda dari sebagian besar rilis bobot terbuka adalah bahwa vendor menyertakan instruksi penyajian, bukan menyerahkannya kepada komunitas. Jalur vLLM, sebagaimana dipublikasikan:

• Gambar — vllm/vllm-openai:mistral-large-4

• Paralelisme — --tensor-parallel-size 8

• Cache — --kv-cache-dtype fp8_ds_mla, dengan --gpu-memory-utilization 0.85

• Parser — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Spekulasi opsional — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

Jalur SGLang berbeda dalam beberapa hal yang layak dibaca dua kali:

• Image — lmsysorg/sglang:mistral-large-4, dengan --tp-size 4 dan --mem-fraction-static 0.85

• Spekulasi — --speculative-algorithm DSPARK, aktif secara default dalam perintah yang dirilis

• Batas layanan — --max-running-requests 64, dengan parser penalaran dan parser alat yang keduanya diatur ke auto

Tiga hal yang flag beri tahu kepada Anda yang tidak disampaikan pengumuman

Pertama, DSpark bukan model terpisah. File konfigurasi mendeskripsikan tiga lapisan prediksi multi-token dengan kepala draf rekuren kecil — peringkat Markov 512 — yang tertanam di dalam checkpoint itu sendiri. Decoding spekulatif biasanya berarti menjalankan model kedua yang lebih kecil di samping model besar dan membayar biaya memorinya. Di sini kepala draf sudah berada di dalam 610 GB, sehingga flag spekulatif hanyalah string konfigurasi singkat, bukan deployment kedua.

Yang kedua adalah bahwa tumpukan atensi merupakan kisah kompresi. Konfigurasi ini membawa pengindeks sparse dengan top-k 2.048 pada 32 head, rank LoRA KV 512, dan berbagi KV di sebagian besar dari 72 lapisan — tata letak yang telah menjadi standar dalam model-model garis keturunan DeepSeek. Konteks 1M dapat dicapai karena memori atensi dibagi secara agresif dan cache KV adalah FP8, bukan karena model memiliki cache sebesar terabyte untuk dibelanjakan.

Yang ketiga adalah aritmetika. Blok YaRN yang dipublikasikan memperluas jendela RoPE asli 512 token dengan faktor 2.048, yang jika dikalikan menghasilkan tepat 1.048.576 — panjang konteks yang diiklankan. Apa pun bentuk jadwal pelatihannya, konfigurasi yang Anda unduh mencapai 1 juta token melalui ekstrapolasi, dan itu perlu diketahui sebelum Anda mengarahkan dokumen 900.000 token ke model itu dan mengasumsikan model telah melihat bentuk tersebut sebelumnya.

Buku harga berubah saat panduan-panduan sedang ditulis

Dokumentasi Mistral mencantumkan tarif saat ini sebesar $0,70 per juta token masukan, $0,07 per juta masukan cache, dan $2,10 per juta keluaran. Pengumuman pada 6 Oktober menyebutkan tarif daftar sebesar $1,36 dan $4,18, dengan diskon pratinjau sekitar setengah dari itu. Baca kedua dokumen itu bersama-sama, dan rilis open-weight tidak sekadar mengirimkan berkas — rilis itu menurunkan harga daftar permanen ke sekitar tingkat yang selama ini diberlakukan oleh pratinjau. Bagi siapa pun yang menyusun anggaran berdasarkan pengumuman Oktober, kartu tarif baru itu kira-kira setengah dari angka yang mereka catat.

Gambaran independennya tidak sebaik penurunan harga. Artificial Analysis, pada Intelligence Index saat ini — seri v5 yang dibangun ulang pada 27 Oktober — memberi Mistral Large 4 skor 26, mencatat $2.06 untuk menyelesaikan satu tugas Index, dan mengukur 161,3 token keluaran per detik dengan 1,42 detik ke token pertama. Kecepatannya memang bagus: 161 token per detik lebih dari dua kali median untuk kumpulan pembanding. Biaya per tugasnya tidak: pada $2.06, biaya itu berada di kuartil terbawah kelasnya, karena model yang bernalar panjang menghabiskan uang pada token, bukan pada tarif daftar harga.

Angka Mistral sendiri, dan angka yang tidak dipublikasikannya

Setiap tolok ukur dalam postingan rilis Mistral adalah milik Mistral, dan itu perlu dinyatakan sebelum mengutip salah satunya. Terminal-Bench 4.0 diklaim sebesar 41%, tiga belas poin di atas preview dan, menurut postingan tersebut, merupakan keunggulan open-weight; FrontierCode 2.0 sebesar 19.7%; AA Coding Agent Index sebesar 48%, yang digambarkan sebagai secara efektif imbang dengan GLM-5.3; BrowseComp sebesar 84.5% berbanding 75% untuk checkpoint tersupervisi preview; FinWorkBench sebesar 73.3%, di belakang 77.3% milik Kimi K3; dan rata-rata tingkat penolakan 96.6% atas permintaan siber berbahaya, yakni angka yang benar-benar menjadi pusat penyusunan rilis ini. Sebagian di antaranya berasal dari harness pihak ketiga — FrontierCode milik Cognition, Coding Agent Index milik Artificial Analysis, preferensi manusia milik Surge Code — tetapi Mistral yang menjalankannya dan Mistral yang melaporkannya. Tidak satu pun telah direproduksi secara publik pada saat penulisan.

Angka yang hilang adalah angka yang paling dibutuhkan oleh pengguna self-hosting: kualitas NVFP4 dibandingkan checkpoint FP8 pada evaluasi yang sama. Kartu tersebut menyajikan kuantisasi sebagai menawarkan pengurangan memori "dengan performa serupa", yang merupakan klaim, bukan pengukuran. Sampai seseorang menerbitkan uji setara, posisi jujur adalah bahwa checkpoint 610 GB adalah yang dapat Anda muat dan checkpoint 1,060.6 GB adalah yang memiliki jejak dokumentasi.

Bandingkan tabel vendor dengan tolok ukur yang sama yang dijalankan oleh Artificial Analysis, dan gambaran pun berubah. Baris AA saat ini untuk Mistral Large 4 — API yang dihosting, upaya penalaran tinggi — menempatkan Terminal-Bench 4.0 pada 25%, enam belas poin di bawah 41% dalam postingan rilis, dan FrontierCode 2.0 pada 15% dibandingkan 19,7% yang dikutip Mistral. Keduanya adalah harness yang dikutip Mistral sendiri. Penjelasan yang mungkin adalah konfigurasi: angka rilis mungkin berasal dari pengaturan penalaran tertentu atau irisan evaluasi tertentu, dan AA mengukur apa yang dikembalikan API publik. Penjelasan yang tidak dapat diterima adalah yang paling banyak dipilih oleh liputan — mencetak kedua angka seolah-olah keduanya mengukur hal yang sama.

Klausul lisensi yang menentukan siapa yang dapat menyajikannya

Lisensi ini cukup singkat untuk dibaca dalam sekali duduk, dan klausul yang penting adalah klausul tentang model-as-a-service. Menjalankan layanan hosted di atas bobot model memerlukan lisensi komersial terpisah dari Mistral. Namun definisi model-as-a-service mengecualikan produk end-user yang tertanam dan, secara terpisah, "sekadar meneruskan permintaan ke model yang di-host oleh pihak lain". Pengecualian itu lebih sempit daripada yang terlihat pada awalnya: itu tidak memungkinkan Anda menyiapkan inferensi sendiri dan menjualnya kembali, dan itu memungkinkan gateway meneruskan permintaan ke inferensi yang di-host Mistral tanpa menjadi pemegang lisensi. Apakah pembacaan itu berlaku dalam sengketa adalah pertanyaan bagi pengacara Mistral, bukan blog ini.

Yang mengantar kita ke bagian yang janggal. OrcaRouter tidak mencantumkan Mistral Large 4 — katalog 214 model kami tidak memuat endpoint Mistral sama sekali — jadi tidak ada apa pun dalam rilis ini yang bisa dirutekan di sini hari ini, dan siapa pun yang mengklaim sebaliknya sedang menjual omong kosong kepada Anda. Yang sebenarnya disediakan katalog adalah separuh lain dari peluncuran semacam ini: DSL perutean yang dapat menahan beban kerja pada satu model dan memindahkannya tanpa perubahan kode, failover otomatis saat endpoint mengalami penurunan kinerja, dan harga pass-through dengan markup 0%, sehingga perubahan tarif dari vendor itu sendiri tiba di sisi kami pada hari yang sama ketika tiba di sisi mereka. Tim yang menarik 610 GB dan menyiapkan server vLLM mereka sendiri hampir selalu mempertahankan rute hosted di belakangnya selama minggu-minggu pertama, dan itulah bagian yang benar-benar dapat kami operasikan.

Siapa yang harus memulai unduhan malam ini?

Jika Anda sudah menjalankan delapan Blackwell GPU, atau Anda memiliki aturan residensi data yang tidak dipenuhi oleh endpoint yang dihosting mana pun, kalkulasinya berubah pagi ini dan berubah menguntungkan Anda: bobotnya tersedia, lisensinya tersedia, dan vendor memberi Anda perintah serving yang telah diuji, bukan sekadar saran. Tarik checkpoint NVFP4 lebih dulu — 610.1 GB adalah malam yang bisa ditoleransi, dan image vLLM sudah dipin. Jalankan evaluasi Anda sendiri terhadap API yang dihosting sebelum Anda mengikat jalur produksi ke sana, karena klaim kuantisasi belum diukur dan benchmark vendor adalah milik vendor.

Jika Anda tidak menjalankan kelas perangkat keras seperti itu, belum ada apa pun di rilis ini yang ditujukan untuk Anda. Model 1T dengan 49 miliar parameter aktif per token bukanlah unduhan untuk laptop atau eksperimen satu kartu, dan checkpoint FP8-nya berukuran satu terabyte. Kabar yang seharusnya sampai kepada Anda adalah soal harga, bukan daftar berkas: API yang dihosting kini mulai dari $0.70 dan $2.10, yang kira-kira setengah dari yang Anda perkirakan berdasarkan pengumuman Oktober, dan itu adalah perubahan yang bisa Anda manfaatkan tanpa memiliki satu GPU pun.

Pertanyaan yang masih terbuka itulah yang menarik. Model satu triliun parameter yang muat dalam 610 GB adalah bukti bahwa NVFP4 dapat memampatkan mixture-of-experts berskala frontier tanpa mengubah bentuknya. Apakah ia memampatkannya tanpa mengubah jawabannya akan ditentukan oleh dua pekan uji independen berikutnya, dan belum ada yang menerbitkannya — termasuk pihak-pihak yang merilisnya.