Jendela Konteks Mistral Large 4: Klaim 1M, Terukur 524K, dan Mengapa Selisihnya Ditagihkan

Kartu model Mistral menyebutkan satu hal dan pengukuran independen menyebutkan hal lain, dan selisihnya bukan sekadar kosmetik. Kartu tersebut mencantumkan jendela konteks 1 juta token. Artificial Analysis, yang mengevaluasi konfigurasi yang benar-benar dapat dijalankannya, mengukur 524.288 token. Setiap token input yang Anda kirim dihitung, jadi pertanyaan "berapa banyak konteks yang saya miliki" juga merupakan pertanyaan "berapa banyak yang boleh saya belanjakan dalam satu permintaan."

Perbedaan antara kedua angka tersebut adalah 2×, yang pada model yang mengenakan biaya $1.36 per juta token masukan bukanlah kesalahan pembulatan.

Apa arti angka-angka itu, dan dari mana masing-masing berasal

• 1,048,576 token — nilai dalam file konfigurasi yang dikirim Mistral bersama bobotnya. Ini adalah batas atas yang ditulis oleh vendor, dan kartu model mengulanginya sebagai "1M".

• 524,288 token — apa yang diukur Artificial Analysis pada konfigurasi yang diujinya. Setengah dari plafon.

• Berapa biayanya — dengan $1,36 per juta, mengisi 524K menghabiskan sekitar $0,71 per permintaan; mengisi penuh 1M akan menghabiskan $1,43. Keduanya adalah sisi masukan dari satu panggilan, sebelum keluaran apa pun.

Angka dari vendor bukanlah kebohongan dan angka hasil pengukuran bukanlah bug. Jendela konteks adalah kapabilitas arsitektur; apa yang benar-benar dapat diterima oleh konfigurasi serving tertentu — dengan anggaran KV-cache, paralelisme tensor, dan ukuran batch-nya — lebih kecil, dan selisih antara keduanya adalah hal normal di industri ini. Hanya saja jarang dinyatakan pada baris yang sama dengan harga.

Mengapa ini lebih penting daripada di tempat lain

Tiga alasan khusus untuk model ini.

Ini adalah MoE dengan satu triliun parameter. 1,05 triliun parameter dengan 52 miliar yang aktif per token, ditambah encoder visi berukuran 1,6 miliar parameter. Cache KV untuk konteks panjang pada model kelas tersebut merupakan kendala yang mengikat dalam penyajian, bukan maksud dari berkas konfigurasi. Angka yang terukur adalah angka perencanaan yang jujur.

Harganya dihitung per token, bukan per permintaan. Permintaan dengan konteks panjang pada kartu ini adalah pos biaya yang skalanya linear dengan apa yang Anda kirim. Anda tidak membeli "jendela 1M"; Anda membeli token, dan jendela itu hanya menentukan berapa banyak token yang bisa tiba dalam satu panggilan.

Bobot dikirim bersama konfigurasi. Saat Anda mengunduh 1.060,6 GB bf16 dan membaca code>config.json/code>, Anda akan melihat 1.048.576 dan akan tergoda untuk merencanakan berdasarkan angka itu. Resep vLLM meminta paralelisme tensor 8 dengan cache KV FP8, yang justru merupakan jenis konfigurasi ketika jendela yang disajikan dan jendela yang dikonfigurasi tidak lagi sesuai.

Cara mengukur plafon Anda sendiri dalam satu sore

Kirim permintaan yang melebihi apa yang Anda anggap sebagai batas dan baca error — dalam banyak kasus, penyedia mengembalikan pesan jumlah token alih-alih memotong secara diam-diam. Itu memberi Anda batas maksimum yang dilayani pada host yang benar-benar Anda gunakan, yang merupakan satu-satunya angka yang harus ada dalam anggaran Anda.

Kemudian kirim permintaan pada 80% dari batas atas itu dan perhatikan latensinya. Model dengan satu triliun parameter yang membaca konteks panjang memiliki waktu token pertama yang bertambah seiring panjang prompt; angka 524K adalah jendela, bukan janji tentang kecepatan.

Terakhir, bandingkan plafon yang dihasilkan dengan panjang input persentil ke-95 Anda, bukan rata-rata. Rata-rata tidak pernah mengikat; ekor itulah tempat pipeline chunking yang tidak Anda anggarkan muncul.

Seperti apa tampilan jendela kompetisi

• DeepSeek V4 Pro — konteks 1M, output 384K, $0,66 masuk dan $1,98 keluar di luar jam sibuk.

• Grok 4.7 — konteks 500K, output 450K, $2,00 dan $6,00 flat.

• Qwen3-Max — konteks 262K, output 65K, $0.36 dan $1.43.

• Mistral Large 4 — 1M diklaim, 524K terukur, $1,36 dan $4,18 pada harga daftar.

Dibandingkan dengan lanskap itu, jendela terukur Mistral berada di antara klaim 262K dan 1M — lebih dekat ke tengah daripada ke puncak. Jika konteks adalah alasan Anda melihatnya, angka terukur itulah yang seharusnya masuk ke tabel perbandingan, dan nilainya hanya setengah dari angka utama.

Mistral Large 4 tidak ada dalam katalog OrcaRouter, jadi ini bukan rute yang bisa kami tawarkan; model ini dapat dipanggil melalui API Mistral sendiri dan host pihak ketiga. Yang secara umum kami tawarkan adalah satu endpoint yang kompatibel dengan OpenAI untuk 224 model dengan harga daftar penyedia tanpa markup — di mana jendela vendor, apa pun bentuknya, adalah yang menjadi dasar penagihan Anda.