De gewichten zijn vrijgegeven en ze passen op acht Blackwells: binnen de day-zero NVFP4-release van Mistral Large 4

Elke zelfhostinggids die in de afgelopen week is gepubliceerd, vertelt je dezelfde drie dingen over Mistral Large 4: het licentiebestand geeft een 404 terug, er bestaat geen gekwantiseerd checkpoint, en elke configuratie die je schrijft, is een projectie die van het vorige model is overgenomen. Sinds de ochtend van 29 oktober 2026 zijn alle drie onjuist. De licentie staat in de repository — 2.632 bytes daarvan — en de checkpointfamilie is echt: mistralai/Mistral-Large-4-1T-A52B met 54 FP8-shards en 1.060,6 GB, plus een NVFP4-tegenhanger met 32 shards en 610,1 GB. NVIDIA's day-zero-notitie, degene die het Mistral AI-team feliciteert en in één adem NVFP4-ondersteuning op Hugging Face vermeldt, is de kortst mogelijke versie van dit verhaal. De nuttige versie is de langere: wat het gepubliceerde recept eigenlijk veronderstelt, wat er met de prijs is gebeurd terwijl niemand keek, en welk deel van het zelfhostingadvies van dinsdag nu actief misleidend is. Als je wilt vergelijken wat vandaag routeerbaar is in plaats van wat downloadbaar is, de OrcaRouter-modelcatalogus vermeldt elk model dat we aanbieden, samen met zijn contextvenster en zijn prijs per token, waarbij failover per route is geconfigureerd.

Begin met de data, want dat is het onderdeel waar de meeste berichtgeving het in beide richtingen verkeerd heeft. Mistral Large 4 werd op 6 oktober 2026 aangekondigd als API-preview — een mixture-of-experts-model met 1,05 biljoen parameters, met 49 miljard parameters actief per token, of 52 miljard zodra de embeddings en outputlagen worden meegeteld, een vision-encoder van 1,6 miljard parameters en een contextvenster van 1 miljoen tokens, geprijsd op $1,36 per miljoen inputtokens tegen $4,18 per miljoen outputtokens. De open weights werden beloofd voor het einde van oktober. Ze kwamen er om 14:51 UTC op 29 oktober, ruwweg twee dagen na de datum van 27 oktober waarop de persberichten waren uitgekomen. Dat gat is van belang, omdat een groot deel van wat over dit model werd geschreven, binnen dat gat tot stand kwam.

Wat staat er vanochtend eigenlijk op de Hub?

De metadata van het repository zijn informatiever dan de tekst van de aankondiging, dus hier zijn ze direct:

• Hoofdcheckpoint — mistralai/Mistral-Large-4-1T-A52B, 54 safetensors-shards, 1.060,6 GB op schijf, getagd als fp8, repo aangemaakt op 30 september 2026, gewichten laatst geschreven op 29 oktober om 14:51 UTC, niet met toegangsbeperking.

• Gekwantiseerde variant — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 shards, 610,1 GB, repo aangemaakt op 15 oktober 2026 en vandaag om 14:11 UTC bijgewerkt — veertig minuten voordat de bovenliggende repository voltooid was.

• Licentie — de Mistral Ecosystem Open-Weight License, die Mistral beschrijft als een gewijzigde MIT-licentie, zonder omzetgrens.

• Architectuur, uit params.json — 128 experts, waarvan vier per token worden gerouteerd plus één gedeelde expert, 72 lagen, hidden size van 6.144, een vision-tower van 30 lagen die afbeeldingen tot 1.540 pixels accepteert, en KV-sharing over de meeste lagen.

• De cijfers die niet overeenkomen: de NVFP4-modelkaart vermeldt 39 talen; de aankondiging claimt 160+. De kaart telt 49 miljard parameters die per token actief zijn; de API-documentatie en de eigen tabel van de leverancier zeggen 52 miljard, hetzelfde cijfer met embeddings en outputlayers toegevoegd. Mistral's bericht schrijft 3.800 Grace Blackwell-GPU's toe aan de training; meerdere media rondden dat af naar 4.000. Niets hiervan is rampzalig, en elke discrepantie vertelt je welk document door welk team is geschreven.

Het 610 GB-nummer is de release.

Een model met 1,05 biljoen parameters download je niet op een manier die iemand terloops zou beschrijven. De FP8-checkpoint is 1.060,6 GB — ruim meer dan een terabyte aan gewichten, voordat er ook maar één token KV-cache, activatie of fragmentatie bestaat. Op een acht-GPU-node van Blackwell past dat met ongeveer 400 GB overschot. Op acht H200's past het met vrijwel geen enkele ruimte over. De NVFP4-checkpoint verkleint dat tot 610,1 GB, en die besparing is niet cosmetisch: het is het verschil tussen een node die volledig uit gewichten bestaat en een node waar nog ruimte over is voor de context van 1M tokens die het model belooft.

Het quantisatieschema is ook specifieker dan "4-bit". Volgens de kaart zijn de mixture-of-experts-gewichten NVFP4, terwijl de lineaire lagen FP8 blijven, en het vLLM-recept vraagt om een FP8-KV-cache op de MLA-lagen. Dat is een mixed-precision serving-stack, geen blanket-downcast, en hij is specifiek gericht op Blackwell — de genoemde onderdelen zijn B200, B300, GB200 en GB300.

Eén gevolg verdient benadrukt te worden voor iedereen die een aankoop plant: het officiële recept vraagt nog steeds acht GPU's. vLLM wordt gepubliceerd met tensor-parallelisme 8; SGLang met tp-size 4. Kwantisatie is hier niet in de eerste plaats een manier om het aantal nodes te verkleinen. Het is een manier om de node genoeg geheugen over te laten houden om daadwerkelijk lange context te bedienen, en de gepubliceerde servingparameters zijn het bewijs.

Het recept, vlag voor vlag

Wat deze release anders maakt dan de meeste open-weight-releases, is dat de leverancier serveerinstructies heeft meegeleverd in plaats van ze aan de community over te laten. Het vLLM-pad, zoals gepubliceerd:

• Afbeelding — vllm/vllm-openai:mistral-large-4

• Parallelisme — --tensor-parallel-size 8

• Cache — --kv-cache-dtype fp8_ds_mla, met --gpu-memory-utilization 0.85

• Parsers — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Optionele speculatie — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

Het SGLang-pad verschilt op manieren die het waard zijn om twee keer te lezen:

• Image — lmsysorg/sglang:mistral-large-4, met --tp-size 4 en --mem-fraction-static 0.85

• Speculatie — --speculative-algorithm DSPARK, standaard ingeschakeld in het gepubliceerde commando

• Servicelimieten — --max-running-requests 64, waarbij zowel de reasoning- als de toolparsers op auto zijn ingesteld

Drie dingen die de vlaggen je vertellen, maar de aankondiging niet.

Het eerste is dat DSpark geen afzonderlijk model is. Het configuratiebestand beschrijft drie lagen voor voorspelling van meerdere tokens met een kleine recurrente draft-head — een markov-rang van 512 — die in de checkpoint zelf is ingebed. Speculatief decoderen betekent normaal gesproken dat je een tweede, kleiner model naast het grote draait en betaalt voor zijn geheugen. Hier zit de draft-head al binnen de 610 GB; daarom is de speculatieve flag een korte configuratietekenreeks en geen tweede uitrol.

Ten tweede is de attention-stack een compressieverhaal. De configuratie bevat een sparse indexer met een top-k van 2.048 over 32 heads, een KV-LoRA-rank van 512 en KV-sharing over de meeste van de 72 lagen — het soort indeling dat standaard is geworden in modellen uit de DeepSeek-lijn. De context van 1M is bereikbaar omdat het attention-geheugen agressief wordt gedeeld en de KV-cache FP8 is, niet omdat het model een terabyte cache heeft om uit te geven.

De derde is rekenwerk. Het gepubliceerde YaRN-blok verlengt een native RoPE-venster van 512 tokens met een factor 2.048, wat zich vermenigvuldigt tot precies 1.048.576 — de geadverteerde contextlengte. Hoe het trainingsschema er ook uitzag, de config die je downloadt bereikt 1M tokens via extrapolatie, en dat is goed om te weten voordat je er een document van 900.000 tokens op richt en aanneemt dat het model die vorm eerder heeft gezien.

Het prijsboek is verplaatst terwijl de handleidingen werden geschreven.

Mistrals documentatie vermeldt het huidige tarief als $0.70 per miljoen inputtokens, $0.07 per miljoen gecachte input en $2.10 per miljoen output. De aankondiging van 6 oktober noemde een lijsttarief van $1.36 en $4.18, met een previewkorting van ongeveer de helft daarvan. Lees de twee documenten samen, en de release met open gewichten heeft niet alleen bestanden geleverd — hij heeft de permanente lijstprijs verlaagd naar ongeveer het niveau waarop de preview werd aangeboden. Voor iedereen die op basis van de aankondiging van oktober een budget opstelde, is de nieuwe tariefkaart ongeveer de helft van het bedrag dat ze hadden opgeschreven.

Het onafhankelijke beeld is minder flatteus dan de prijsverlaging. Artificial Analysis scoort Mistral Large 4 op 26 in zijn huidige Intelligence Index — de v5-serie, herbouwd op 27 oktober — merkt op dat $2,06 nodig is om één Index-taak te voltooien, en meet 161,3 outputtokens per seconde met 1,42 seconden tot het eerste token. De snelheid is echt goed: 161 tokens per seconde is meer dan twee keer de mediaan van de vergelijkingsset. De kosten per taak zijn dat niet: met $2,06 zit het in het onderste kwart van zijn klasse, omdat een model dat uitvoerig redeneert het geld uitgeeft aan tokens, niet aan de tariefkaart.

Mistrals eigen cijfers, en het cijfer dat het niet publiceerde

Elke benchmark in Mistrals releasepost is van Mistral, wat vermeldenswaard is voordat we er een van citeren. Terminal-Bench 4.0 wordt geclaimd op 41%, dertien punten boven de preview en, volgens de post, een voorsprong onder open-weightmodellen; FrontierCode 2.0 op 19.7%; de AA Coding Agent Index op 48%, beschreven als effectief gelijk met GLM-5.3; BrowseComp op 84.5% tegen 75% voor de gesuperviseerde checkpoint van de preview; FinWorkBench op 73.3%, achter de 77.3% van Kimi K3; en een gemiddeld weigeringspercentage van 96.6% op schadelijke cyberverzoeken, het cijfer waarrond de release echt draait. Enkele van deze komen uit testharnassen van derden — Cognitions FrontierCode, Artificial Analysis' Coding Agent Index, Surge Codes menselijke voorkeur — maar Mistral heeft ze uitgevoerd en Mistral heeft ze gerapporteerd. Geen enkele ervan was op het moment van schrijven publiekelijk gereproduceerd.

Het getal dat ontbreekt, is het getal dat een self-hoster het meest nodig heeft: NVFP4-kwaliteit tegen het FP8-checkpoint op dezelfde evaluatie. De kaart presenteert de kwantisatie als een geheugenreductie "met vergelijkbare prestaties", wat een claim is, geen meting. Tot iemand een like-for-like run publiceert, is de eerlijke positie dat het 610 GB-checkpoint het checkpoint is dat je kunt laden en het 1.060,6 GB-checkpoint het checkpoint met een papieren spoor.

Vergelijkt men de leverancierstabel met dezelfde benchmarks als uitgevoerd door Artificial Analysis, dan verandert het beeld. De actuele rij van AA voor Mistral Large 4 — gehoste API, hoge redeneerintensiteit — zet Terminal-Bench 4.0 op 25%, zestien punten onder de 41% in het releasebericht, en FrontierCode 2.0 op 15% tegenover de 19,7% die Mistral noemt. Beide zijn harnesses die Mistral zelf aanvoert. De waarschijnlijke verklaring is configuratie: de releasecijfers komen mogelijk uit een specifieke redeneerinstelling of een bepaald evaluatieslice, en AA meet wat de publieke API retourneert. De onaanvaalbare verklaring is die waar de meeste berichtgeving op is uitgekomen — beide getallen afdrukken alsof ze hetzelfde meten.

De licentieclausule die bepaalt wie het mag serveren

De licentie is kort genoeg om in één keer te lezen, en de clausule die van belang is, is die over model-as-a-service. Een gehoste dienst op de weights draaien vereist een aparte commerciële licentie van Mistral. Maar de definitie van model-as-a-service sluit ingebedde eindgebruikersproducten uit en, afzonderlijk, "louter het doorgeven van verzoeken aan modellen die door anderen worden gehost". Die uitzondering is enger dan het op het eerste gezicht lijkt: ze laat je niet je eigen inference opzetten en doorverkopen, en ze laat een gateway wel verzoeken doorgeven aan door Mistral gehoste inference zonder licentiehouder te worden. Of die lezing in een geschil standhoudt, is een vraag voor de advocaten van Mistral, niet voor dit blog.

Wat ons bij het ongemakkelijke deel brengt. OrcaRouter vermeldt Mistral Large 4 niet — onze catalogus van 214 modellen bevat helemaal geen Mistral-endpoint — dus niets in deze release is hier vandaag routeerbaar, en iedereen die iets anders beweert, verkoopt je een leugen. Wat de catalogus wel bevat, is de andere helft van een uitrol als deze: een routerings-DSL waarmee je een workload op één model kunt houden en kunt overschakelen zonder codewijziging, automatische failover wanneer een endpoint verslechtert, en doorgegeven prijzen met 0% opslag, zodat een tariefwijziging van een leverancier bij ons dezelfde dag aankomt als bij hen. Teams die 610 GB binnenhalen en hun eigen vLLM-box opzetten, houden er bijna altijd een gehoste route achter voor de eerste weken, en dat is het deel dat wij daadwerkelijk kunnen bedienen.

Wie moet vanavond de download starten?

Als je al acht Blackwell-GPU's draait, of je hebt een dataresidentieregel waaraan geen enkel gehost endpoint voldoet, dan is de afweging vanmorgen veranderd — en wel in je voordeel: de gewichten bestaan, de licentie bestaat, en de leverancier heeft je een getest serveercommando gegeven in plaats van een suggestie. Haal eerst de NVFP4-checkpoint op — 610,1 GB is een draaglijke avond, en de vLLM-image is vastgezet. Voer je eigen evaluatie uit tegen de gehoste API voordat je er een productiepad aan vastlegt, omdat de quantisatieclaim niet gemeten is en de leveranciersbenchmarks die van de leverancier zijn.

Als je die klasse hardware niet draait, is er in deze release nog niets voor jou. Een 1T-model met 49 miljard actieve parameters per token is geen download voor een laptop of een experiment met één kaart, en de FP8-checkpoint is een terabyte. Het nieuws dat je moet bereiken, is de prijsregel, niet de bestandslijst: de gehoste API begint nu bij $0,70 en $2,10, ongeveer de helft van wat de aankondiging in oktober je liet verwachten, en dat is een verandering die je kunt gebruiken zonder een enkele GPU te bezitten.

De open vraag is de interessante. Een model met een biljoen parameters dat in 610 GB past, is een bewijs dat NVFP4 een mixture-of-experts op frontier-schaal kan comprimeren zonder zijn vorm te veranderen. Of het dat comprimeert zonder zijn antwoorden te veranderen, is iets wat de komende twee weken van onafhankelijke runs zullen beslechten, en niemand heeft dat nog gepubliceerd — ook niet de mensen die het hebben uitgebracht.