Okno kontekstowe Mistral Large 4: deklarowane 1M, zmierzone 524K — i dlaczego różnica jest rozliczana

Karta modelu Mistral mówi jedno, a niezależny pomiar mówi co innego — i ta różnica nie jest kosmetyczna. Karta podaje okno kontekstu wynoszące 1 mln tokenów. Artificial Analysis, które ocenia konfigurację, jaką faktycznie może uruchomić, zmierzyło 524 288 tokenów. Każdy wysyłany przez Ciebie token danych wejściowych podlega rozliczeniu, więc pytanie „ile mam kontekstu” jest zarazem pytaniem „ile wolno mi wydać w ramach jednego żądania”.

Różnica między tymi dwiema liczbami wynosi 2×, co w przypadku modelu pobierającego $1.36 za milion tokenów wejściowych nie jest błędem zaokrąglenia.

Czym są te liczby i skąd każda z nich pochodzi

• 1 048 576 tokenów — wartość w pliku konfiguracyjnym, który Mistral dostarcza razem z wagami. To pułap zapisany przez dostawcę, a karta modelu powtarza ją jako „1M”.

• 524 288 tokenów — co Artificial Analysis zmierzyło na testowanej konfiguracji. Połowa pułapu.

• Ile to kosztuje — przy $1,36 za milion wypełnienie 524K kosztuje około $0,71 za żądanie; wypełnienie pełnego 1M kosztowałoby $1,43. Oba dotyczą strony wejściowej pojedynczego wywołania, przed jakimkolwiek wyjściem.

Liczba podawana przez dostawcę nie jest kłamstwem, a zmierzona wartość nie jest błędem. Okno kontekstu to cecha architektury; to, co faktycznie zaakceptuje dana konfiguracja serwingu — z uwzględnieniem budżetu pamięci KV, jej równoległości tensorowej, rozmiaru partii — jest mniejsze, a różnica między tymi dwiema wartościami jest w tej branży normalna. Tyle tylko, że rzadko podaje się ją w tym samym wierszu co cenę.

Dlaczego ma to większe znaczenie niż gdzie indziej

Trzy powody charakterystyczne dla tego modelu.

To MoE z bilionem parametrów. 1,05 biliona parametrów, z czego 52 miliardy aktywne na token, plus enkoder wizyjny z 1,6 miliarda parametrów. Pamięć podręczna KV dla długiego kontekstu w modelu tej klasy jest wiążącym ograniczeniem podczas serwowania, a nie tym, co zakłada plik konfiguracyjny. Liczba uzyskana z pomiarów to rzetelna liczba do planowania.

Cena jest ustalana za token, a nie za żądanie. Żądanie z długim kontekstem na tej karcie to pozycja rozliczeniowa, która skaluje się liniowo z tym, co wysyłasz. Nie kupujesz „okna 1M”; kupujesz tokeny, a okno decyduje jedynie o tym, ile może trafić w jednym wywołaniu.

Wagi są dostarczane razem z konfiguracją. Gdy pobierzesz 1 060,6 GB w formacie bf16 i odczytasz code>config.json/code>, zobaczysz 1 048 576 i będziesz mieć pokusę, by planować pod tę wartość. Przepis vLLM wymaga równoległości tensorowej równej 8 z pamięcią podręczną KV w FP8, co jest dokładnie taką konfiguracją, w której serwowane okno i skonfigurowane okno przestają się zgadzać.

Jak zmierzyć własny sufit w ciągu jednego popołudnia

Wyślij żądanie przekraczające to, co uważasz za limit, i odczytaj błąd — w większości przypadków dostawcy zwracają komunikat z liczbą tokenów, zamiast po cichu obcinać. To daje ci pułap udostępniany na hoście, którego faktycznie używasz, i tylko ta liczba powinna znajdować się w twoim budżecie.

Następnie wyślij żądanie przy 80% tego pułapu i obserwuj opóźnienie. Model o bilionie parametrów czytający długi kontekst ma czas do pierwszego tokenu, który rośnie wraz z długością promptu; liczba 524K to okno, a nie obietnica dotycząca szybkości.

Na koniec porównaj wynikowy sufit z twoją 95. percentylową długością wejścia, a nie ze średnią. Średnia nigdy nie wiąże; dopiero w ogonie pojawia się potok dzielenia na fragmenty, którego nie uwzględniłeś w budżecie.

Jak wyglądają witryny konkurencji

• DeepSeek V4 Pro — 1M kontekstu, 384K wyjścia, $0.66 za wejście i $1.98 za wyjście poza szczytem.

• Grok 4.7 — Kontekst 500K, wyjście 450K, stała stawka $2.00 i $6.00.

• Qwen3-Max — kontekst 262K, 65K wyjścia, 0,36 USD i 1,43 USD.

• Mistral Large 4 — 1 mln deklarowane, 524 tys. zmierzone, 1,36 USD i 4,18 USD według cennika.

Na tle tego zestawu zmierzony zakres kontekstu Mistrala plasuje się między deklaracjami 262K a 1M — bliżej środka niż góry. Jeśli kontekst jest powodem, dla którego na to patrzysz, to zmierzona liczba powinna trafić do tabeli porównawczej — a kosztuje połowę nagłówkowej.

Mistral Large 4 nie znajduje się w katalogu OrcaRouter, więc nie jest to trasa, którą możemy zaoferować; można go wywołać przez własne API Mistrala i hostingi zewnętrzne. Ogólnie oferujemy natomiast jeden punkt końcowy zgodny z OpenAI dla ponad 224 modeli w cenie katalogowej dostawcy, bez narzutu — przy czym rozliczasz się według okna dostawcy, niezależnie od tego, jakie ono jest.