Vikterna är ute och de får plats på åtta Blackwells: Inuti Mistral Large 4:s NVFP4-släpp på dag noll

Varje guide för egen hosting som publicerats den senaste veckan säger samma tre saker om Mistral Large 4: licensfilen returnerar 404, det finns ingen kvantiserad checkpoint, och varje konfiguration du skriver är en projektion lånad från den föregående modellen. På morgonen den 29 oktober 2026 är alla tre fel. Licensen finns i repositoriet – 2 632 byte av den – och checkpointfamiljen är verklig: mistralai/Mistral-Large-4-1T-A52B med 54 FP8-shardar och 1 060,6 GB, plus ett NVFP4-syskon med 32 shardar och 610,1 GB. NVIDIA:s anteckning från dag noll, den som gratulerar Mistral AI-teamet och nämner NVFP4-stöd på Hugging Face i samma andetag, är den kortast möjliga versionen av den här historien. Den användbara versionen är den längre: vad det publicerade receptet faktiskt förutsätter, vad som hände med priset medan ingen såg på, och vilket av tisdagens råd om egen hosting som nu är aktivt vilseledande. Om du vill jämföra vad som är routbart i dag snarare än vad som är nedladdningsbart, OrcaRouter-modellkatalogen listar varje modell vi serverar, dess kontextfönster och dess pris per token, med failover konfigurerat per rutt.

Börja med datumen, eftersom det är den del som bevakningen oftast får fel på i båda riktningarna. Mistral Large 4 tillkännagavs den 6 oktober 2026 som en API-förhandsvisning – en mixture-of-experts-modell på 1,05 biljoner parametrar med 49 miljarder aktiva parametrar per token, eller 52 miljarder när inbäddnings- och utdatalagren räknas in, en visionskodare på 1,6 miljarder parametrar och ett kontextfönster på 1M token, prissatt till $1,36 per miljon inputtoken jämfört med $4,18 per miljon outputtoken. De öppna vikterna utlovades före utgången av oktober. De anlände 14:51 UTC den 29 oktober, ungefär två dagar efter det 27 oktober-datum som pressrapporterna hade landat på. Gapet har betydelse eftersom en stor del av skrivandet om den här modellen författades inom det.

Vad är det egentligen på Hub i morse

Repository-metadatan är mer informativ än tillkännagivandets prosa, så här är den direkt:

• Huvudcheckpoint — mistralai/Mistral-Large-4-1T-A52B, 54 safetensors-shards, 1 060,6 GB på disk, taggad fp8, repo skapades 30 september 2026, vikterna senast skrivna 29 oktober 14:51 UTC, inte gated.

Kvantiserad syskonmodell — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 shards, 610,1 GB, repot skapades 15 oktober 2026 och uppdaterades i dag kl. 14.11 UTC – fyrtio minuter innan det överordnade repot slutfördes.

• Licens — Mistral Ecosystem Open-Weight License, som Mistral beskriver som en modifierad MIT-licens, utan något kopplat intäktsgränsvärde.

• Arkitektur, från params.json — 128 experter med fyra routade per token plus en delad expert, 72 lager, dold storlek 6 144, ett 30-lagers visiontorn som accepterar bilder upp till 1 540 pixlar, och KV-delning över de flesta lager.

• Siffrorna som inte stämmer överens – NVFP4-modellkortet listar 39 språk; meddelandet hävdar 160+. Kortet räknar 49 miljarder parametrar aktiva per token; API-dokumentationen och leverantörens egen tabell anger 52 miljarder, vilket är samma siffra med inbäddningar och utdatalager tillagda. Mistrals inlägg tillgodoräknar 3 800 Grace Blackwell-GPU:er för träning; flera medier avrundade det till 4 000. Inget av detta är ödesdigert, och varje avvikelse säger dig vilket dokument som skrevs av vilket team.

Siffran 610 GB är releasen.

En modell med 1,05 biljoner parametrar laddas inte ned på ett sätt som någon beskriver lättvindigt. FP8-checkpointen är 1 060,6 GB – med god marginal över en terabyte vikter innan det ens finns en enda token KV-cache, aktivering eller fragmentering. På en Blackwell-nod med åtta GPU:er får den plats med ungefär 400 GB över. På åtta H200 får den plats med nästan ingen marginal. NVFP4-checkpointen minskar det till 610,1 GB, och besparingen är inte kosmetisk: det är skillnaden mellan en nod som helt och hållet består av vikter och en nod som har utrymme kvar för den 1M-token-kontext som modellen annonserar.

Kvantiseringsschemat är också mer specifikt än "4-bit". Enligt produktkortet är mixture-of-experts-vikterna NVFP4 medan de linjära lagren förblir FP8, och vLLM-receptet kräver en FP8-KV-cache på MLA-lagren. Det är en serveringsstack med blandad precision, inte en generell nedkonvertering, och den är specifikt riktad mot Blackwell — B200, B300, GB200 och GB300 är de namngivna delarna.

En konsekvens bör framhållas för alla som planerar ett köp: det officiella receptet kräver fortfarande åtta GPU:er. vLLM publiceras med tensor parallelism 8; SGLang med tp-size 4. Kvantisering här är inte i första hand ett sätt att minska antalet noder. Det är ett sätt att lämna noden tillräckligt med minne för att faktiskt kunna betjäna lång kontext, och de publicerade serveringsparametrarna är beviset.

Receptet, flagga för flagga

Det som skiljer den här lanseringen från de flesta släpp av öppna vikter är att leverantören skickade med serveringsinstruktioner i stället för att lämna dem åt communityt. vLLM-vägen, som den publicerades:

• Bild — vllm/vllm-openai:mistral-large-4

• Parallelism — --tensor-parallel-size 8

• Cache — --kv-cache-dtype fp8_ds_mla, med --gpu-memory-utilization 0.85

• Parsers – --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Valfri spekulation – --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

SGLang-vägen skiljer sig på sätt som är värda att läsa två gånger:

• Bild — lmsysorg/sglang:mistral-large-4, med --tp-size 4 och --mem-fraction-static 0.85

• Spekulation – --speculative-algorithm DSPARK, på som standard i det publicerade kommandot

• Serveringsgränser — --max-running-requests 64, med både resonemangs- och verktygstolkarna inställda på auto

Tre saker som flaggorna säger dig som tillkännagivandet inte gör

Det första är att DSpark inte är en separat modell. Konfigurationsfilen beskriver tre lager för förutsägelse av flera token med ett litet återkommande utkasthuvud – en Markov-rank på 512 – inbäddat i själva checkpointen. Spekulativ avkodning innebär normalt att man kör en andra, mindre modell vid sidan av den stora och betalar för dess minne. Här finns utkasthuvudet redan inuti de 610 GB, vilket är varför den spekulativa flaggan är en kort konfigurationssträng i stället för en andra driftsättning.

Det andra är att attention-stacken är en komprimeringshistoria. Konfigurationen har en sparsam indexerare med ett top-k på 2 048 över 32 huvuden, en KV LoRA-rank på 512 och KV-delning över större delen av de 72 lagren – den typ av layout som har blivit standard i modeller av DeepSeek-härkomst. 1M-kontexten är nåbar eftersom attention-minnet delas aggressivt och KV-cachen är FP8, inte för att modellen har en terabyte cache att spendera.

Det tredje är aritmetik. Det publicerade YaRN-blocket förlänger ett inbyggt RoPE-fönster på 512 token med en faktor på 2 048, vilket multiplicerat ger exakt 1 048 576 – den annonserade kontextlängden. Hur träningsschemat än såg ut, når konfigurationen du laddar ner 1 M token genom extrapolering, och det är värt att känna till innan du riktar ett dokument på 900 000 token mot den och antar att modellen har sett den formen tidigare.

Prisboken flyttades medan guiderna skrevs

Mistrals dokumentation anger den aktuella taxan till 0,70 USD per miljon indata-token, 0,07 USD per miljon cachade indata-token och 2,10 USD per miljon utdata-token. Meddelandet den 6 oktober angav ett listpris på 1,36 USD och 4,18 USD, med en förhandsrabatt på ungefär hälften av det. Läser man de två dokumenten tillsammans står det klart att släppet med öppna vikter inte bara levererade filer – det flyttade det permanenta listpriset ned till ungefär den nivå som förhandsversionen hade prissatts till. För alla som budgeterade utifrån oktobermeddelandet är det nya priskortet ungefär hälften av siffran de skrev ned.

Den oberoende bilden är mindre smickrande än prissänkningen. Artificial Analysis poängsätter Mistral Large 4 till 26 enligt sitt nuvarande Intelligence Index – v5-serien som byggdes om den 27 oktober – noterar att det kostar 2,06 dollar att slutföra en Index-uppgift och mäter 161,3 utdatatoken per sekund med 1,42 sekunder till första token. Hastigheten är verkligen god: 161 token per sekund är mer än dubbelt så mycket som medianen för jämförelseurvalet. Kostnaden per uppgift är det inte: på 2,06 dollar ligger den i den nedre fjärdedelen av sin klass, eftersom en modell som resonerar länge lägger pengarna på token snarare än på prislistan.

Mistrals egna siffror, och den siffra som företaget inte publicerade

Varje benchmark i Mistrals lanseringsinlägg är Mistrals egen, vilket är värt att påpeka innan man citerar någon av dem. Terminal-Bench 4.0 uppges ligga på 41 %, tretton procentenheter över förhandsversionen och, enligt inlägget, en ledning bland modeller med öppna vikter; FrontierCode 2.0 på 19,7 %; AA Coding Agent Index på 48 %, beskrivet som i praktiken jämställt med GLM-5.3; BrowseComp på 84,5 % mot 75 % för förhandsversionens övervakade checkpoint; FinWorkBench på 73,3 %, bakom Kimi K3:s 77,3 %; och en genomsnittlig avslagsfrekvens på 96,6 % för skadliga cyberförfrågningar, vilket är siffran som lanseringen egentligen är organiserad kring. Några av dessa kommer från tredjeparts testramverk – Cognition:s FrontierCode, Artificial Analysis Coding Agent Index, Surge Codes mänskliga preferens – men Mistral körde dem och Mistral rapporterade dem. Ingen av dem har vid skrivande stund reproducerats offentligt.

Det nummer som saknas är det en självhostare behöver mest: NVFP4-kvalitet mot FP8-checkpointen i samma utvärdering. Kortet framställer kvantiseringen som att den ger minnesbesparing "med liknande prestanda", vilket är ett påstående, inte en mätning. Tills någon publicerar en likvärdig körning är den ärliga ståndpunkten att 610 GB-checkpointen är den man får plats med och 1 060,6 GB-checkpointen är den som det finns dokumentation för.

Ställ leverantörstabellen mot samma benchmarkar som körs av Artificial Analysis, och bilden ändrar form. AA:s nuvarande rad för Mistral Large 4 – hostad API, hög resonemangsinsats – anger Terminal-Bench 4.0 till 25 %, sexton punkter under de 41 % i lanseringsinlägget, och FrontierCode 2.0 till 15 % mot de 19,7 % som Mistral citerar. Båda är harnessar som Mistral själv hänvisar till. Den sannolika förklaringen är konfiguration: siffrorna i lanseringen kan komma från en specifik resonemangsinställning eller en viss utvärderingsdelmängd, och AA mäter det som det publika API:et returnerar. Den oacceptabla förklaringen är den som de flesta reportage har landat i – att trycka båda siffrorna som om de mätte samma sak.

Licensklausulen som avgör vem som får servera den.

Licensen är kort nog att läsa på en sittning, och den klausul som har betydelse är den om model-as-a-service. Att driva en hostad tjänst på vikterna kräver en separat kommersiell licens från Mistral. Men definitionen av model-as-a-service utesluter inbäddade slutanvändarprodukter och, separat, "ren vidarebefordran av förfrågningar till modeller som hostas av andra". Det undantaget är snävare än det först verkar: det tillåter dig inte att sätta upp din egen inferens och sälja den vidare, och det tillåter en gateway att skicka vidare förfrågningar till inferens som hostas av Mistral utan att bli licensinnehavare. Huruvida den tolkningen håller i en tvist är en fråga för Mistrals jurister, inte för den här bloggen.

Vilket leder oss till det besvärliga. OrcaRouter listar inte Mistral Large 4 – vår katalog med 214 modeller innehåller ingen Mistral-slutpunkt alls – så inget i den här releasen går att dirigera här i dag, och den som påstår något annat säljer dig en historia. Det katalogen däremot har är den andra halvan av en utrullning som den här: ett routing-DSL som kan hålla en arbetsbelastning kvar på en modell och växla den utan kodändring, automatisk failover när en slutpunkt försämras, och genomfakturerad prissättning med 0 % påslag, så att en leverantörs egen prisändring landar hos oss samma dag som den landar hos dem. Team som hämtar 610 GB och sätter upp sin egen vLLM-box behåller nästan alltid en hostad rutt bakom den under de första veckorna, och det är den delen vi faktiskt kan driva.

Vem ska starta nedladdningen i kväll?

Om du redan kör åtta Blackwell-GPU:er, eller har en datalokaliseringsregel som ingen hostad slutpunkt uppfyller, ändrades kalkylen i morse – och den ändrades till din fördel: vikterna finns, licensen finns, och leverantören gav dig ett testat serveringskommando i stället för ett förslag. Hämta NVFP4-checkpointen först – 610,1 GB är en överkomlig kväll, och vLLM-avbildningen är låst. Kör din egen utvärdering mot det hostade API:et innan du binder en produktionsväg till det, eftersom kvantiseringspåståendet är omätt och leverantörens benchmarks är leverantörens.

Om du inte kör den typen av hårdvara har den här versionen ingenting för dig ännu. En 1T-modell med 49 miljarder aktiva parametrar per token är inte en nedladdning för en laptop eller ett experiment med ett enda kort, och FP8-checkpointen är en terabyte. Nyheten som bör nå dig är prisraden, inte fillistan: det värdbaserade API:et börjar nu på 0,70 och 2,10 dollar, vilket är ungefär hälften av vad oktobermeddelandet fick dig att förvänta dig, och det är en förändring du kan använda utan att äga en enda GPU.

Den öppna frågan är den intressanta. En modell med en biljon parametrar som får plats i 610 GB är ett bevis på att NVFP4 kan komprimera en mixture-of-experts-modell i frontlinjeskala utan att ändra dess form. Huruvida NVFP4 kan komprimera den utan att ändra dess svar är något som de kommande två veckornas oberoende körningar kommer att avgöra, och ingen har publicerat det ännu – inte ens de som släppte den.