Mistral Large 4:s kontextfönster: 1M påstått, 524K uppmätt – och varför skillnaden faktureras

Mistrals modellkort säger en sak och en oberoende mätning säger en annan, och skillnaden är inte kosmetisk. Kortet anger ett kontextfönster på 1M token. Artificial Analysis, som utvärderar den konfiguration den faktiskt kan köra, uppmätte 524 288 token. Varje indatatoken du skickar mäts, så frågan "hur mycket kontext har jag" är också frågan "hur mycket får jag spendera i en förfrågan".

Skillnaden mellan de två siffrorna är 2×, vilket för en modell som tar 1,36 dollar per miljon indatatoken inte är ett avrundningsfel.

Vad siffrorna är, och var var och en kommer ifrån

• 1 048 576 tokens — värdet i konfigurationsfilen som Mistral levererar tillsammans med vikterna. Det är ett tak fastställt av leverantören, och modellkortet upprepar det som "1M".

• 524 288 tokens — vad Artificial Analysis mätte på den konfiguration som testades. Hälften av taket.

• Vad det kostar – vid $1,36 per miljon kostar det cirka $0,71 per anrop att fylla 524K; att fylla hela 1M skulle kosta $1,43. Båda är inputsidan av ett enda anrop, före eventuell utdata.

Leverantörens siffra är inte en lögn och den uppmätta är inte en bugg. Ett kontextfönster är en kapacitet i arkitekturen; vad en given serveringskonfiguration faktiskt accepterar – med sin KV-cache-budget, sin tensorparallelism, sin batchstorlek – är mindre, och gapet mellan de två är normalt i branschen. Det anges bara sällan på samma rad som priset.

Varför detta har större betydelse än det har någon annanstans

Tre skäl som är specifika för den här modellen.

Det är en MoE med en biljon parametrar. 1,05 biljoner parametrar med 52 miljarder aktiva per token, plus en visionskodare med 1,6 miljarder parametrar. KV-cachen för ett långt kontext på den typen av modell är den avgörande begränsningen för servering, inte konfigurationsfilens avsikt. Det uppmätta talet är det ärliga planeringstalet.

Det prissätts per token, inte per begäran. En långkontextbegäran på detta kort är en radpost som skalas linjärt med det du skickar. Du köper inte "ett 1M-fönster"; du köper tokens, och fönstret avgör bara hur många som kan komma in i ett anrop.

Vikterna levereras tillsammans med konfigurationen. När du laddar ner 1 060,6 GB bf16 och läser code>config.json/code> ser du 1 048 576 och du frestas att planera utifrån det. vLLM-receptet begär tensorparallellism på 8 med FP8-KV-cache, vilket är precis den typ av konfiguration där det betjänade fönstret och det konfigurerade fönstret inte längre stämmer överens.

Så mäter du ditt eget tak på en eftermiddag

Skicka en begäran som överskrider det du tror är gränsen och läs felet — leverantörer returnerar i de flesta fall ett meddelande om antalet tokens i stället för att tyst trunkera. Det ger dig det tak som servern tillämpar på den värd du faktiskt använder, vilket är det enda talet din budget bör innehålla.

Skicka sedan en begäran vid 80 % av det taket och observera svarstiden. En modell med en biljon parametrar som läser en lång kontext har en tid till första token som växer med promptens längd; siffran 524K är ett fönster, inte ett löfte om hastighet.

Slutligen: jämför det resulterande taket med indatalängden vid din 95:e percentil i stället för med genomsnittet. Genomsnittet sätter aldrig gränsen; det är i svansen som chunkningspipelinen du inte budgeterade för dyker upp.

Hur konkurrenternas fönster ser ut

• DeepSeek V4 Pro — 1M kontext, 384K utdata, $0,66 in och $1,98 ut vid lågtrafik.

• Grok 4.7 — 500K kontext, 450K utdata, $2.00 och $6.00 fast.

• Qwen3-Max — 262K kontext, 65K utdata, $0,36 och $1,43.

• Mistral Large 4 — 1M angivet, 524K uppmätt, $1,36 och $4,18 enligt listpris.

Jämfört med det fältet ligger Mistrals uppmätta fönster mellan påståendena om 262K och 1M – närmare mitten än toppen. Om kontexten är anledningen till att du tittar på det, är det uppmätta talet det som hör hemma i jämförelsetabellen, och det kostar hälften av rubrikvärdet.

Mistral Large 4 finns inte i OrcaRouters katalog, så det är ingen route vi kan erbjuda; den kan anropas via Mistrals eget API och tredjepartsvärdar. Det vi generellt erbjuder är en OpenAI-kompatibel endpoint över 224 modeller till leverantörens listpris utan påslag – där leverantörens fönster, vad det än visar sig vara, är det du faktureras mot.