Contextvenster van Mistral Large 4: 1M geclaimd, 524K gemeten, en waarom het verschil wordt gefactureerd

De modelkaart van Mistral zegt het ene en een onafhankelijke meting zegt het andere, en het verschil is niet cosmetisch. De kaart vermeldt een contextvenster van 1M tokens. Artificial Analysis, dat de configuratie evalueert die het daadwerkelijk kan uitvoeren, mat 524.288 tokens. Elk token aan invoer dat je verstuurt, wordt geteld, dus de vraag "hoeveel context heb ik" is ook de vraag "hoeveel mag ik in één verzoek uitgeven."

Het verschil tussen die twee getallen is 2×, wat bij een model dat $1,36 per miljoen invoertokens rekent geen afrondingsfout is.

Wat de cijfers zijn, en waar elk cijfer vandaan komt

• 1.048.576 tokens — de waarde in het configuratiebestand dat Mistral met de gewichten meelevert. Het is een bovengrens die door de leverancier is vastgelegd, en de modelkaart herhaalt die als "1M".

• 524.288 tokens — wat Artificial Analysis heeft gemeten op de configuratie die het testte. De helft van het maximum.

• Wat dat kost — bij $1,36 per miljoen kost het vullen van 524K ongeveer $0,71 per verzoek; het vullen van de volledige 1M zou $1,43 kosten. Beide vormen de invoerzijde van één enkele oproep, vóór enige uitvoer.

Het opgegeven cijfer van de leverancier is geen leugen en het gemeten cijfer is geen bug. Een contextvenster is een eigenschap van de architectuur; wat een bepaalde serveerconfiguratie daadwerkelijk aankan — met zijn KV-cachebudget, zijn tensorparallelisme, zijn batchgrootte — is kleiner, en het verschil tussen beide is in de hele branche normaal. Het wordt alleen zelden op dezelfde regel als de prijs vermeld.

Waarom dit hier belangrijker is dan elders.

Drie redenen die specifiek zijn voor dit model.

Het is een MoE met een biljoen parameters. 1,05 biljoen parameters met 52 miljard actief per token, plus een vision-encoder van 1,6 miljard parameters. De KV-cache voor een lange context bij dat soort model is de beperkende factor voor serving, niet de intentie van het configuratiebestand. Het gemeten aantal is het eerlijke planningsgetal.

Het wordt per token geprijsd, niet per verzoek. Een long-context-aanvraag op deze kaart is een kostenpost die lineair meeschaalt met wat je verstuurt. Je koopt geen "1M-venster"; je koopt tokens, en het venster bepaalt alleen hoeveel er in één aanroep kunnen aankomen.

De gewichten worden meegeleverd met de config. Wanneer je 1.060,6 GB aan bf16 downloadt en code>config.json/code> leest, dan zie je de 1.048.576 en je wordt verleid om daarop te plannen. Het vLLM-recept vraagt tensor-parallelisme van 8 met FP8-KV-cache, precies het soort configuratie waarbij het geserveerde venster en het geconfigureerde venster ophouden overeen te komen.

Hoe je je eigen plafond in een middag meet

Verstuur een verzoek dat groter is dan wat je denkt dat de limiet is, en lees de foutmelding — providers retourneren in de meeste gevallen een bericht met de tokentelling in plaats van stilzwijgend af te kappen. Dat geeft je het daadwerkelijk geserveerde plafond op de host die je gebruikt, en dat is het enige getal dat je budget moet bevatten.

Stuur dan een verzoek op 80% van dat plafond en let op de latentie. Een model met een biljoen parameters dat een lange context leest, heeft een tijd tot het eerste token die toeneemt met de promptlengte; het 524K-getal is een venster, geen belofte over snelheid.

Vergelijk ten slotte het resulterende plafond met je 95e-percentiel invoerlengte in plaats van met het gemiddelde. Het gemiddelde is nooit de beperkende factor; de staart is waar de chunking-pijplijn opduikt waarvoor je niet had begroot.

Hoe de etalages van de concurrentie eruitzien

• DeepSeek V4 Pro — 1M context, 384K output, $0,66 in en $1,98 out buiten piekuren.

• Grok 4.7 — 500K context, 450K output, vaste tarieven van $2,00 en $6,00.

• Qwen3-Max —262K context, 65K uitvoer, $0,36 en $1,43.

• Mistral Large 4 — 1M geclaimd, 524K gemeten, $1,36 en $4,18 op lijstprijs.

Tegen dat veld afgezet, ligt Mistrals gemeten venster tussen de claims van 262K en 1M in — dichter bij het midden dan bij de top. Als context de reden is dat je ernaar kijkt, is het gemeten getal het getal dat in de vergelijkingstabel thuishoort, en het is de helft van het kopcijfer.

Mistral Large 4 staat niet in de catalogus van OrcaRouter, dus dat is geen route die we kunnen aanbieden; het is aanroepbaar via Mistrals eigen API en hosts van derden. Wat we in het algemeen wel aanbieden, is één OpenAI-compatibel endpoint voor 224 modellen tegen de lijstprijs van de provider, zonder opslag — waarbij het venster van de leverancier, wat dat ook blijkt te zijn, het venster is waartegen je gefactureerd wordt.