Wagi są udostępnione i mieszczą się na ośmiu Blackwellach: za kulisami wydania NVFP4 Mistral Large 4 w dniu premiery

Każdy przewodnik po self-hostingu opublikowany w ciągu ostatniego tygodnia mówi ci te same trzy rzeczy o Mistral Large 4: plik licencji zwraca 404, nie istnieje żaden skwantyzowany checkpoint, a każda konfiguracja, którą napiszesz, jest projekcją zapożyczoną z poprzedniego modelu. Od rana 29 października 2026 r. wszystkie trzy są nieprawdziwe. Licencja znajduje się w repozytorium — ma 2 632 bajty — a rodzina checkpointów jest prawdziwa: mistralai/Mistral-Large-4-1T-A52B w 54 shardach FP8 i 1060,6 GB, plus bliźniaczy model NVFP4 w 32 shardach i 610,1 GB. Notatka NVIDIA z dnia zerowego, ta, która gratuluje zespołowi Mistral AI i jednym tchem wspomina o wsparciu NVFP4 na Hugging Face, jest najkrótszą możliwą wersją tej historii. Przydatna wersja jest dłuższa: co faktycznie zakłada opublikowany przepis, co stało się z ceną, gdy nikt nie patrzył, i które z wtorkowych porad dotyczących self-hostingu są teraz aktywnie wprowadzające w błąd. Jeśli chcesz porównać to, co jest dziś dostępne w routingu, a nie to, co można pobrać, katalog modeli OrcaRouter zawiera listę każdego modelu, który obsługujemy, jego okno kontekstowe i cenę za token, z failoverem skonfigurowanym dla każdej trasy.

Zacznijmy od dat, ponieważ to w nich większość relacji myli się w obu kierunkach. Mistral Large 4 ogłoszono 6 października 2026 r. jako podgląd API — model mieszanki ekspertów o 1,05 biliona parametrów, z 49 miliardami parametrów aktywnych na token, czyli 52 miliardami po uwzględnieniu embeddingów i warstw wyjściowych, 1,6-miliardowym enkoderem wizyjnym i oknem kontekstu o rozmiarze 1 mln tokenów, w cenie 1,36 USD za milion tokenów wejściowych wobec 4,18 USD za milion tokenów wyjściowych. Otwarte wagi obiecano przed końcem października. Pojawiły się 29 października o 14:51 UTC, około dwa dni po 27 października — dacie, na którą wskazywały doniesienia prasowe. Ta różnica ma znaczenie, ponieważ wiele materiałów o tym modelu powstało właśnie w tym okresie.

Co właściwie jest dziś rano na Hubie?

Metadane repozytorium dostarczają więcej informacji niż tekst ogłoszenia, więc oto one bezpośrednio:

• Główny checkpoint — mistralai/Mistral-Large-4-1T-A52B, 54 shardy safetensors, 1,060.6 GB na dysku, oznaczony jako fp8, repozytorium utworzono 30 września 2026, wagi ostatnio zapisano 29 października o 14:51 UTC, dostęp nieograniczony.

• Skwantyzowany odpowiednik — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 shardy, 610,1 GB, repozytorium utworzono 15 października 2026 r. i zaktualizowano dzisiaj o 14:11 UTC — czterdzieści minut przed ukończeniem repozytorium nadrzędnego.

• Licencja — Mistral Ecosystem Open-Weight License, którą Mistral opisuje jako zmodyfikowaną licencję MIT, z którą nie wiąże się żaden próg przychodowy.

• Architektura, według params.json — 128 ekspertów, przy czym czterech jest routowanych na token, a dodatkowo jeden ekspert jest wspólny, 72 warstwy, rozmiar ukryty 6 144, 30-warstwowa wieża wizyjna przyjmująca obrazy o rozmiarze do 1540 pikseli oraz współdzielenie KV w większości warstw.

• Liczby, które się nie zgadzają — karta modelu NVFP4 wymienia 39 języków; komunikat ogłoszeniowy twierdzi, że jest ich ponad 160. Karta podaje 49 miliardów parametrów aktywnych na token; dokumentacja API i własna tabela dostawcy mówią o 52 miliardach, czyli tej samej liczbie po doliczeniu osadzeń i warstw wyjściowych. We wpisie Mistrala przypisano do treningu 3800 GPU Grace Blackwell; kilka serwisów zaokrągliło tę liczbę do 4000. Nic z tego nie jest katastrofalne, a każda rozbieżność mówi, który dokument napisał który zespół.

Numer 610 GB to wydanie

Pobranie modelu o 1,05 biliona parametrów nie przebiega w sposób, który ktokolwiek opisałby jako zwyczajny. Checkpoint FP8 ma 1 060,6 GB — z zapasem ponad terabajt wag, zanim pojawi się choćby jeden token pamięci podręcznej KV, aktywacja lub fragmentacja. Mieści się on w węźle Blackwell z ośmioma GPU, pozostawiając około 400 GB zapasu. Na ośmiu kartach H200 mieści się niemal bez zapasu. Checkpoint NVFP4 obniża to do 610,1 GB, a oszczędność nie jest kosmetyczna: to różnica między węzłem składającym się wyłącznie z wag a węzłem, w którym pozostaje miejsce na kontekst 1M tokenów, który model reklamuje.

Schemat kwantyzacji jest też bardziej szczegółowy niż „4-bit”. Zgodnie z kartą wagi mixture-of-experts są w NVFP4, natomiast warstwy liniowe pozostają w FP8, a przepis vLLM wymaga pamięci cache KV w FP8 na warstwach MLA. To stos serwowania o mieszanej precyzji, a nie jednolite zrzucenie do niższej precyzji, i jest ukierunkowany konkretnie na Blackwell — wymienione układy to B200, B300, GB200 i GB300.

Jedna konsekwencja zasługuje na podkreślenie dla każdego, kto planuje zakup: oficjalny przepis wciąż wymaga ośmiu GPU. vLLM jest publikowany z równoległością tensorową 8; SGLang z tp-size 4. Kwantyzacja nie jest tu przede wszystkim sposobem na zmniejszenie liczby węzłów. Jest sposobem na pozostawienie węzłowi wystarczającej pamięci, aby faktycznie obsługiwać długi kontekst, a opublikowane parametry serwowania są tego dowodem.

Przepis, flaga po fladze

To, co wyróżnia to wydanie na tle większości publikacji modeli z otwartymi wagami, polega na tym, że dostawca dołączył instrukcje serwowania, zamiast zostawiać je społeczności. Ścieżka vLLM, w opublikowanej formie:

• Obraz — vllm/vllm-openai:mistral-large-4

• Równoległość — --tensor-parallel-size 8

• Pamięć podręczna — --kv-cache-dtype fp8_ds_mla, z --gpu-memory-utilization 0.85

• Parsery — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Opcjonalna spekulacja — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

Ścieżka SGLang różni się pod względami wartymi przeczytania dwa razy:

• Obraz — lmsysorg/sglang:mistral-large-4, z --tp-size 4 i --mem-fraction-static 0.85

• Spekulacja — --speculative-algorithm DSPARK, domyślnie włączony w opublikowanym poleceniu

• Limity obsługi — --max-running-requests 64, przy czym parser rozumowania i parser narzędzi są ustawione na auto

Trzy rzeczy, które mówią ci flagi, a których nie mówi komunikat.

Po pierwsze, DSpark nie jest osobnym modelem. Plik konfiguracyjny opisuje trzy warstwy przewidywania wielu tokenów z małą rekurencyjną głową draftu — rząd Markowa równy 512 — osadzoną w samym checkpointcie. Dekodowanie spekulatywne zwykle oznacza uruchomienie drugiego, mniejszego modelu obok dużego i ponoszenie kosztu jego pamięci. Tutaj głowa draftu znajduje się już w tych 610 GB, dlatego flaga spekulatywna jest krótkim ciągiem konfiguracyjnym, a nie drugim wdrożeniem.

Po drugie, stos attention jest opowieścią o kompresji. Konfiguracja zawiera rzadki indekser z top-k wynoszącym 2,048 na 32 głowach, rangę KV LoRA równą 512 oraz współdzielenie KV w większości z 72 warstw — układ, który stał się standardem w modelach z linii DeepSeek. Kontekst 1M jest osiągalny, ponieważ pamięć attention jest intensywnie współdzielona, a KV cache jest w FP8, a nie dlatego, że model ma terabajt cache do wykorzystania.

Trzecia kwestia to arytmetyka. Opublikowany blok YaRN rozszerza natywne okno RoPE o rozmiarze 512 tokenów 2048-krotnie, co daje dokładnie 1 048 576 — reklamowaną długość kontekstu. Niezależnie od tego, jak wyglądał harmonogram treningu, konfiguracja, którą pobierasz, osiąga 1 mln tokenów poprzez ekstrapolację, i warto to wiedzieć, zanim podasz jej dokument o długości 900 000 tokenów i założysz, że model widział już taki kształt.

Cennik został przeniesiony podczas pisania przewodników.

Dokumentacja Mistrala podaje obecną stawkę: 0,70 USD za milion tokenów wejściowych, 0,07 USD za milion tokenów wejściowych z pamięci podręcznej i 2,10 USD za milion tokenów wyjściowych. Ogłoszenie z 6 października podawało stawkę cennikową 1,36 USD i 4,18 USD, przy czym zniżka na okres zapoznawczy wynosiła około połowy tej kwoty. Jeśli czytać te dwa dokumenty łącznie, wydanie modelu z otwartymi wagami nie tylko dostarczyło pliki — obniżyło stałą cenę cennikową do poziomu zbliżonego do tego, za jaki wypożyczano model w okresie zapoznawczym. Dla każdego, kto planował budżet na podstawie ogłoszenia z października, nowa karta cenowa to około połowa zapisanej przez niego kwoty.

Niezależny obraz wypada mniej pochlebnie niż obniżka ceny. Artificial Analysis w swoim obecnym Intelligence Index — serii v5 przebudowanej 27 października — przyznaje Mistral Large 4 wynik 26, odnotowuje 2,06 USD za ukończenie jednego zadania Index i mierzy 161,3 tokenu wyjściowego na sekundę oraz 1,42 sekundy do pierwszego tokenu. Szybkość jest naprawdę dobra: 161 tokenów na sekundę to ponad dwukrotność mediany dla zestawu porównawczego. Koszt przypadający na zadanie już nie: przy 2,06 USD plasuje się w dolnej ćwiartce swojej klasy, ponieważ model, który długo rozumuje, wydaje pieniądze na tokeny, a nie na stawkę cennika.

Własne liczby Mistrala i ta jedna, której nie opublikował.

Każdy benchmark w wpisie Mistrala dotyczącym wydania należy do Mistrala, co warto zaznaczyć, zanim przytoczy się którykolwiek z nich. Terminal-Bench 4.0 deklarowany jest na 41%, trzynaście punktów powyżej wersji preview i, według wpisu, prowadzenie wśród modeli o otwartych wagach; FrontierCode 2.0 na 19,7%; AA Coding Agent Index na 48%, określany jako praktycznie zrównany z GLM-5.3; BrowseComp na 84,5% wobec 75% dla nadzorowanego checkpointu wersji preview; FinWorkBench na 73,3%, za 77,3% Kimi K3; oraz średni wskaźnik odmów 96,6% w przypadku złośliwych żądań z zakresu cyberbezpieczeństwa — i to właśnie wokół tej liczby tak naprawdę zorganizowano publikację. Niektóre z nich pochodzą z zewnętrznych harnessów — FrontierCode Cognition, Coding Agent Index Artificial Analysis, preferencja ludzka Surge Code — ale to Mistral je uruchomił i Mistral je relacjonował. W momencie pisania żadnego nie odtworzono publicznie.

Brakuje liczby, której najbardziej potrzebuje osoba samodzielnie hostująca: jakości NVFP4 w porównaniu z checkpointem FP8 w tej samej ewaluacji. Karta przedstawia kwantyzację jako oferującą redukcję pamięci „przy podobnej wydajności”, co jest twierdzeniem, a nie pomiarem. Dopóki ktoś nie opublikuje testu porównawczego w identycznych warunkach, uczciwe stanowisko jest takie, że checkpoint 610 GB jest tym, który możesz zmieścić, a checkpoint 1 060,6 GB to ten, który ma dokumentację.

Zestaw tabelę dostawcy z tymi samymi benchmarkami, które uruchamia Artificial Analysis, a obraz zmienia kształt. Obecny wiersz AA dla Mistral Large 4 — hostowane API, wysoki nakład rozumowania — podaje Terminal-Bench 4.0 na poziomie 25%, szesnaście punktów poniżej 41% z wpisu o wydaniu, a FrontierCode 2.0 na 15% wobec 19,7% podawanych przez Mistral. Oba to zestawy testowe, które sam Mistral przywołuje. Prawdopodobne wyjaśnienie to konfiguracja: dane z wydania mogą pochodzić z konkretnego ustawienia rozumowania lub określonego wycinka ewaluacji, a AA mierzy to, co zwraca publiczne API. Niedopuszczalne wyjaśnienie to to, na którym osiadła większość materiałów — drukowanie obu liczb tak, jakby mierzyły to samo.

Klauzula licencyjna, która decyduje, kto może to serwować

Licencja jest na tyle krótka, że można ją przeczytać w jednym podejściu, a kluczowa jest klauzula dotycząca model-as-a-service. Uruchamianie usługi hostowanej na wagach wymaga odrębnej licencji komercyjnej od Mistral. Definicja model-as-a-service wyklucza jednak osadzone produkty dla użytkowników końcowych oraz — osobno — „samo przekazywanie żądań do modeli hostowanych przez inne podmioty”. Ten wyjątek jest węższy, niż się z początku wydaje: nie pozwala samodzielnie uruchomić własnego wnioskowania i odsprzedawać go, ale pozwala bramce przekazywać żądania do wnioskowania hostowanego przez Mistral bez stawania się licencjobiorcą. Czy ta interpretacja utrzyma się w sporze, to pytanie do prawników Mistrala, a nie do tego bloga.

To prowadzi do niezręcznej kwestii. OrcaRouter nie oferuje Mistral Large 4 — w naszym katalogu 214 modeli nie ma w ogóle żadnego punktu końcowego Mistral — więc nic z tego wydania nie jest dziś tutaj routowalne, a każdy, kto twierdzi inaczej, wciska ci kit. To, co katalog faktycznie zawiera, to drugą połowę takiego wdrożenia: DSL routingu, który potrafi utrzymać obciążenie na jednym modelu i przełączyć je bez zmiany w kodzie, automatyczne przełączanie awaryjne, gdy punkt końcowy zacznie działać gorzej, oraz rozliczanie pass-through z 0% marży, dzięki czemu zmiana stawek samego dostawcy trafia po naszej stronie tego samego dnia, w którym pojawia się u niego. Zespoły, które pobierają 610 GB i uruchamiają własną maszynę vLLM, niemal zawsze przez pierwsze tygodnie trzymają za nią hostowaną trasę — i to jest właśnie ta część, którą faktycznie możemy obsługiwać.

Kto powinien rozpocząć pobieranie dziś wieczorem?

Jeśli już uruchamiasz osiem GPU Blackwell albo obowiązuje Cię reguła dotycząca rezydencji danych, której nie spełnia żaden hostowany endpoint, to rachunek zmienił się dziś rano — i zmienił się na Twoją korzyść: wagi istnieją, licencja istnieje, a dostawca przekazał Ci przetestowane polecenie serwowania zamiast sugestii. Najpierw pobierz checkpoint NVFP4 — 610.1 GB to znośny wieczór, a obraz vLLM jest przypięty. Zanim zwiążesz z nim ścieżkę produkcyjną, przeprowadź własną ocenę względem hostowanego API, ponieważ twierdzenie o kwantyzacji pozostaje niezmierzone, a benchmarki dostawcy są benchmarkami dostawcy.

Jeśli nie dysponujesz sprzętem tej klasy, nic w tym wydaniu nie jest jeszcze dla ciebie. Model 1T z 49 miliardami aktywnych parametrów na token to nie coś do pobrania na laptopa ani eksperyment z pojedynczą kartą, a checkpoint FP8 waży terabajt. Wiadomość, która powinna do ciebie dotrzeć, dotyczy ceny, a nie listy plików: hostowane API zaczyna się teraz od $0.70 i $2.10, czyli mniej więcej połowy tego, czego można się było spodziewać po październikowej zapowiedzi — i to zmiana, z której możesz skorzystać, nie mając ani jednej GPU.

Ciekawsze jest pytanie otwarte. Model o bilionie parametrów mieszczący się w 610 GB jest dowodem, że NVFP4 potrafi skompresować mieszankę ekspertów w skali czołowej bez zmiany jej kształtu. Czy skompresuje ją bez zmiany odpowiedzi, rozstrzygną niezależne uruchomienia w ciągu najbliższych dwóch tygodni — a nikt jeszcze tego nie opublikował, łącznie z ludźmi, którzy ją udostępnili.