Self-Hosting Mistral Large 4: Berapa Biaya Sebenarnya 1,06 TB untuk Anda

Bobotnya sudah dirilis, tanpa pembatasan akses, dan lisensinya mengizinkan penggunaan komersial. Tiga fakta yang membuat self-hosting Mistral Large 4 terlihat seperti keputusan nyata, bukan fantasi. Lalu Anda membaca daftar file: 54 shard safetensors, 1.060,6 GB dalam bf16, bahkan sebelum satu token KV cache pun. Angka itu — bukan judul utama triliunan parameter — adalah dasar untuk merencanakan penyimpanan dan GPU Anda, dan itulah alasan sebagian besar tim akan membaca halaman ini lalu tetap menggunakan API.

Dua titik pemeriksaan, dan apa yang dituntut oleh masing-masing

• bf16 — 54 shard, 1.060,6 GB, dua di antaranya 16,9 GB dan 4,2 GB dengan 52 shard lainnya antara 19,7 dan 20,0 GB. Itu tidak muat secara berguna pada delapan akselerator 141 GB setelah status KV dicadangkan, jadi rencanakan lebih banyak perangkat keras atau jalur terkuantisasi.

• NVFP4 — repositori terpisah, 32 shard, 610,1 GB, diposisikan oleh Mistral untuk perangkat keras Blackwell dengan dukungan NVFP4 native. Panduan Mistral sendiri: empat GPU B200 atau B300. Klaim bahwa ia mempertahankan "performa yang sama" adalah klaim vendor, bukan hasil pengukuran.

• Resep serving — konfigurasi vLLM pada kartu model meminta tensor parallelism 8 dengan dtype KV-cache FP8. Itu adalah konfigurasi yang harus dijadikan acuan benchmark, bukan janji throughput.

• Konteks — 1 juta token dikonfigurasi, 524.288 terukur pada konfigurasi yang diuji. Konteks panjang melipatgandakan tekanan KV-cache, yang pada vision encoder 1,6 miliar parameter ditambah MoE 1,05 triliun parameter menjadi pembeda antara muat dan tidak.

Titik impas yang tidak dijalankan siapa pun

Ambil harga promosi sebagai patokan yang harus dikalahkan oleh hosting: $0,68 per juta token input dan $2,09 per juta token output. Empat B200 dengan tarif cloud yang realistis — sebut saja $8 hingga $12 per GPU-jam — berarti $32 hingga $48 per jam, atau sekitar $23.000 hingga $35.000 per bulan sebelum penyimpanan, jaringan, rekayasa, dan waktu untuk menyetel stack penyajian.

Untuk mencapai titik impas pada biaya bulanan tersebut dibandingkan $2.09 per juta token keluaran, Anda perlu menghasilkan lebih dari sebelas miliar token keluaran per bulan, setiap bulan, dengan utilisasi penuh. Itu adalah volume yang hampir tidak dimiliki tim mana pun di luar hyperscaler, dan ini mengabaikan dua minggu kerja rekayasa untuk deployment pertama.

Dengan kata lain: pada 100 juta token output per bulan — angka produksi yang besar tetapi nyata — biaya API sekitar $209 dengan harga promo atau $418 pada harga daftar, dibandingkan tagihan hosting yang mencapai puluhan ribu. Self-hosting bukanlah diskon pada skala itu. Itu adalah pembelian sesuatu yang lain.

Apa sesuatu yang lain itu

Empat hal, dan itu satu-satunya alasan jujur untuk mengunduh 1.06 TB.

Residensi data. Bobot tidak pernah meninggalkan perimeter Anda. Bagi beban kerja yang teregulasi, itu bukan preferensi, melainkan persyaratan, dan tidak ada harga API yang mampu menandinginya.

Kepastian lisensi. Lisensi Open-Weight Ekosistem Mistral mengizinkan penggunaan komersial, modifikasi, pelatihan lebih lanjut, dan karya turunan, dengan satu syarat: mengoperasikan model-as-a-service — memberikan pihak ketiga kendali bermakna atas input, parameter, atau data pelatihan — memerlukan perjanjian komersial terpisah. Fitur tertanam, penggunaan internal, dan sekadar meneruskan dikecualikan. Memiliki artefak berarti ketentuan yang Anda setujui adalah ketentuan yang berlaku.

Hak untuk melakukan fine-tuning. Turunan yang Anda latih adalah milik Anda, dan tidak ada API yang di-hosting yang dapat menawarkannya dengan harga berapa pun.

Determinisme. Checkpoint yang Anda validasi adalah checkpoint yang Anda jalankan. Model yang di-hosting dapat diarahkan ulang ke versi baru dengan nama yang sama; file di disk Anda tidak bisa.

Yang tidak dimiliki oleh keempat opsi itu: biaya per token yang lebih murah. Perhitungan di atas menyingkirkan kemungkinan itu bagi tim mana pun di bawah skala hyperscale, dan rencana yang dibangun berdasarkan harapan penghematan tidak akan bertahan hingga tagihan pertamanya.

Klausul lisensi yang harus dibaca dua kali oleh seorang penyedia hosting

Jika alasan Anda melakukan self-hosting adalah untuk melayani model kepada pelanggan, klausa 2 adalah paragraf yang menentukan bentuk hukum Anda. Komputasi untuk produk Anda sendiri tidak masalah; platform yang memberikan model kepada pelanggan dan kontrol berarti atas input, parameter, atau pelatihan tidak ada di bawah lisensi ini tanpa perjanjian terpisah. Pengecualian untuk "semata-mata meneruskan permintaan ke model yang dihosting oleh pihak lain" bersifat sempit dan berarti apa adanya: meneruskan ke endpoint milik orang lain bukanlah hosting.

Perbedaan itu adalah satu-satunya hal di halaman ini yang tidak dapat dijawab oleh kartu tarif, dan itu layak untuk menghabiskan waktu satu jam bersama pengacara sebelum membeli GPU.

Siapa yang sebaiknya mengunduhnya

Unduh jika regulator, kontrak pelanggan, atau kebijakan klasifikasi data sudah memberi tahu Anda jawabannya. Unduh jika Anda berniat melakukan fine-tuning dan merilis produk turunan, karena itu adalah kemampuan yang tidak dijual API. Unduh jika Anda memiliki kapasitas Blackwell yang sudah dibayar dan menganggur — jalur NVFP4 pada empat B200s adalah satu-satunya konfigurasi yang angka-angkanya mendekati titik impas.

Tetap gunakan API jika pertanyaannya adalah harga. Pada $0.68 dan $2.09 saat promosi, atau $1.36 dan $4.18 pada harga daftar, memanggil model ini adalah salah satu cara termurah di pasar untuk mendapatkan jawaban multimodal dengan satu triliun parameter — asalkan Anda memperlakukan promosi sebagai jendela waktu, bukan sebagai tarif tetap. Mistral Large 4 tidak ada di katalog OrcaRouter, jadi jalur itu melalui API milik Mistral sendiri dan host pihak ketiga; bentuk umum yang kami tawarkan adalah satu endpoint yang kompatibel dengan OpenAI untuk 224 model pada harga daftar penyedia tanpa markup, di mana perubahan harga vendor berlaku pada hari diumumkan, bukan pada pembaruan berikutnya.