Mistral Large 4 zelf hosten: wat 1,06 TB je eigenlijk kost

De weights zijn uitgebracht, zonder toegangsdrempel, en de licentie staat commercieel gebruik toe. Drie feiten die self-hosting van Mistral Large 4 een beslissing laten lijken in plaats van een fantasie. Dan lees je de bestandslijst: 54 safetensors-shards, 1.060,6 GB in bf16, nog vóór ook maar één token KV-cache. Dat getal – niet de kop met een biljoen parameters – is waarop je je opslag en GPU's plant, en het is de reden dat de meeste teams deze pagina lezen en bij de API blijven.

De twee controlepunten, en wat elk daarvan vereist.

• bf16 — 54 shards, 1.060,6 GB, waarvan twee 16,9 GB en 4,2 GB en de overige 52 tussen 19,7 en 20,0 GB. Zodra KV-state is gereserveerd, past het niet nuttig op acht acceleratoren van 141 GB, dus houd rekening met meer hardware of met het gekwantiseerde pad.

• NVFP4 — een afzonderlijke repository, 32 shards, 610,1 GB, door Mistral gepositioneerd voor Blackwell-hardware met native NVFP4-ondersteuning. Mistrals eigen advies: vier B200- of B300-GPU's. De bewering dat het "dezelfde prestaties" behoudt, is een leveranciersclaim, geen meting.

• Servingrecept — de vLLM-configuratie van de modelkaart vraagt om tensor-parallelisme van 8 met FP8 KV-cache-dtype. Dat is de configuratie waartegen je moet benchmarken, niet een belofte van doorvoer.

• Context — 1M tokens geconfigureerd, 524.288 gemeten op de geteste configuratie. Een lange context vermenigvuldigt de KV-cache-druk, wat bij een vision-encoder met 1,6 miljard parameters plus een MoE met 1,05 biljoen parameters het verschil is tussen passen en niet passen.

De break-even die niemand runt

Neem de actieprijs als maatstaf voor wat hosting moet onderbieden: $0,68 per miljoen invoertokens en $2,09 per miljoen uitvoertokens. Vier B200's tegen een realistisch cloudtarief — zeg $8 tot $12 per GPU-uur — kost $32 tot $48 per uur, of ruwweg $23.000 tot $35.000 per maand, vóór opslag, netwerk, engineering en de tijd om een serving-stack af te stemmen.

Om bij die maandelijkse kosten break-even te spelen tegen $2,09 per miljoen outputtokens, zou u iets boven de elf miljard outputtokens per maand moeten genereren, elke maand, bij volledige benutting. Dat is een volume dat vrijwel geen enkel team buiten een hyperscaler daadwerkelijk heeft, en het negeert de twee weken engineering die de eerste implementatie kost.

Anders gesteld: bij 100 miljoen outputtokens per maand — een groot maar realistisch productieaantal — kost de API ongeveer $209 bij een promotieactie of $418 tegen listprijs, tegenover een hostingrekening in de tienduizenden. Zelf hosten is op die schaal geen korting. Het is de aankoop van iets anders.

Wat dat iets anders is

Vier dingen, en het zijn de enige eerlijke redenen om 1,06 TB te downloaden.

Dataresidentie. De gewichten verlaten nooit uw perimeter. Voor een gereguleerde workload is dat geen voorkeur maar een vereiste, en geen enkele API-prijs kan daaraan tippen.

Licentiezekerheid. Mistral's Ecosystem Open-Weight License staat commercieel gebruik, wijziging, verder trainen en afgeleide werken toe, met één voorbehoud: het aanbieden van een model-as-a-service — waarbij derden wezenlijke controle krijgen over invoer, parameters of trainingsgegevens — vereist een aparte commerciële overeenkomst. Ingebouwde functies, intern gebruik en louter doorgeven vallen hierbuiten. Wie het artefact bezit, is gebonden aan de voorwaarden die hij heeft aanvaard.

Het recht om te fine-tunen. Een afgeleide die je zelf traint, is jouw eigendom, en geen enkele gehoste API kan dat bieden, ongeacht de prijs.

Determinisme. De checkpoint die je hebt gevalideerd, is de checkpoint die je uitvoert. Een gehost model kan onder dezelfde naam naar een nieuwe versie worden omgeleid; een bestand op je schijf kan dat niet.

Wat geen van die vier is: goedkoper per token. De berekening hierboven sluit dat uit voor elk team onder hyperscale, en een plan dat op de verwachting van besparingen is gebouwd, overleeft de eerste factuur niet.

De licentieclausule die een hoster twee keer moet lezen

Als uw reden voor self-hosting is om het model aan klanten aan te bieden, is clausule 2 de alinea die uw juridische vorm bepaalt. Berekeningen voor uw eigen producten zijn toegestaan; een platform dat klanten het model en betekenisvolle controle over invoer, parameters of training geeft, is onder deze licentie niet mogelijk zonder een afzonderlijke overeenkomst. De uitzondering voor "louter doorgeven van verzoeken aan modellen die door anderen worden gehost" is smal en betekent wat er staat: doorsturen naar het eindpunt van iemand anders is geen hosting.

Dat onderscheid is het enige op deze pagina waar een tariefkaart geen antwoord op kan geven, en het is een advocatenuur waard voordat je een GPU aanschaft.

Wie moet het downloaden?

Download als een toezichthouder, een klantcontract of een dataclassificatiebeleid je het antwoord al heeft gegeven. Download als je van plan bent om te fine-tunen en een afgeleide uit te brengen, want dat is een capaciteit die de API niet verkoopt. Download als je Blackwell-capaciteit hebt die al betaald is en onbenut staat — het NVFP4-pad op vier B200s is de enige configuratie waarbij de cijfers in de buurt van break-even komen.

Blijf bij de API als het om prijs ging. Bij $0,68 en $2,09 in promotie, of $1,36 en $4,18 tegen lijstprijs, is dit model aanroepen een van de goedkoopste manieren op de markt om een multimodaal antwoord met een biljoen parameters te krijgen — mits je de promotie als een tijdvenster behandelt en niet als een tarief. Mistral Large 4 staat niet in de catalogus van OrcaRouter, dus die route loopt via Mistral's eigen API en hosts van derden; de algemene vorm die we wel aanbieden, is één OpenAI-compatibel endpoint voor 224 modellen tegen de lijstprijs van de provider, zonder markup, waarbij een prijswijziging van een leverancier ingaat op de dag dat ze wordt aangekondigd en niet bij de volgende verlenging.