Självhosting av Mistral Large 4: Vad 1,06 TB faktiskt kostar dig

Vikterna är ute, utan gating, och licensen tillåter kommersiell användning. Tre fakta som får självhosting av Mistral Large 4 att framstå som ett beslut snarare än en fantasi. Sedan läser du fillistan: 54 safetensors-shards, 1 060,6 GB i bf16, innan en enda token KV-cache. Det talet – inte rubriken om en biljon parametrar – är det du dimensionerar lagring och GPU:er efter, och det är anledningen till att de flesta team läser den här sidan och stannar kvar på API:et.

De två kontrollpunkterna, och vad var och en kräver

• bf16 — 54 shardar, 1 060,6 GB, två av dem är 16,9 GB och 4,2 GB medan de övriga 52 ligger mellan 19,7 och 20,0 GB. Det får inte plats på ett användbart sätt på åtta acceleratorer med 141 GB när KV-tillståndet är reserverat, så planera för mer hårdvara eller för den kvantiserade vägen.

• NVFP4 — ett separat kodförråd, 32 shards, 610,1 GB, positionerat av Mistral för Blackwell-hårdvara med inbyggt NVFP4-stöd. Mistrals egen vägledning: fyra B200- eller B300-GPU:er. Påståendet att det bibehåller "samma prestanda" är ett leverantörspåstående, inte en mätning.

• Serveringsrecept — modellkortets vLLM-konfiguration begär tensorparallelism på 8 med FP8 KV-cache-datatyp. Det är den konfiguration som ska benchmarkas mot, inte ett löfte om genomströmning.

• Kontext — 1M tokens konfigurerade, 524 288 uppmätta på den testade konfigurationen. En lång kontext mångdubblar KV-cache-trycket, vilket på en visionskodare med 1,6 miljarder parametrar plus en MoE med 1,05 biljoner parametrar är skillnaden mellan att få plats och inte.

Nollpunkten som ingen kör

Ta kampanjpriset som riktmärke för vad hosting måste slå: 0,68 USD per miljon input-tokens och 2,09 USD per miljon output-tokens. Fyra B200:or till ett realistiskt molnpris – säg 8 till 12 USD per GPU-timme – blir 32 till 48 USD per timme, eller ungefär 23 000 till 35 000 USD i månaden före lagring, nätverk, ingenjörsarbete och tiden det tar att trimma en serveringsstack.

För att gå jämnt ut med den månadskostnaden mot $2,09 per miljon output-tokens skulle du behöva generera någonstans över elva miljarder output-tokens i månaden, varje månad, vid fullt utnyttjande. Det är en volym som nästan inget team utanför en hyperscaler faktiskt har, och den ignorerar de två veckorna av ingenjörsarbete som den första driftsättningen kräver.

Omvänt: vid 100 miljoner output-tokens i månaden – en stor men verklig produktionsvolym – kostar API:et cirka $209 till kampanjpris eller $418 enligt listpris, jämfört med en hostingräkning på tiotusentals dollar. Egen hosting är inte en rabatt i den skalan. Det är ett köp av något annat.

Vad det där något annat är

Fyra saker, och de är de enda ärliga skälen till att ladda ner 1,06 TB.

Datalokalisering. Vikterna lämnar aldrig din skyddsperimeter. För en reglerad arbetsbelastning är det inte en preferens utan ett krav, och inget API-pris konkurrerar med det.

Licenssäkerhet. Mistrals Ecosystem Open-Weight License tillåter kommersiell användning, modifiering, vidareträning och derivatverk, med ett förbehåll: att driva en model-as-a-service – att ge tredje parter betydande kontroll över indata, parametrar eller träningsdata – kräver ett separat kommersiellt avtal. Inbäddade funktioner, intern användning och ren vidarebefordran är undantagna. Att äga artefakten innebär att de villkor du har accepterat är de villkor som gäller.

Rätten att finjustera. En avledd modell som du tränar är din, och inget hostat API kan erbjuda det oavsett pris.

Determinism. Den checkpoint du validerade är den checkpoint du kör. En hostad modell kan pekas om mot en ny version under samma namn; en fil på din disk kan inte.

Det som ingen av dessa fyra är: billigare per token. Räkneexemplet ovan utesluter det för alla team under hyperskala, och en plan som bygger på förväntade besparingar kommer inte att överleva sin första faktura.

Licensklausulen som en hostare måste läsa två gånger

Om anledningen till att du självhostar är att tillhandahålla modellen till kunder, är klausul 2 stycket som avgör din rättsliga form. Beräkning för dina egna produkter är okej; en plattform som ger kunderna modellen och meningsfull kontroll över indata, parametrar eller träning tillåts inte enligt denna licens utan ett separat avtal. Undantaget för ”enbart vidarebefordran av förfrågningar till modeller som hostas av andra” är snävt och betyder precis vad det står: att vidarebefordra till någon annans slutpunkt är inte hostning.

Den skillnaden är det enda på den här sidan som en prislista inte kan ge svar på, och den är värd en timme med advokat före ett GPU-köp.

Vem bör ladda ner det?

Ladda ner om en tillsynsmyndighet, ett kundavtal eller en dataklassificeringspolicy redan har gett dig svaret. Ladda ner om du avser att finjustera och leverera en derivata, eftersom det är en förmåga som API:et inte säljer. Ladda ner om du har Blackwell-kapacitet som redan är betald och oanvänd – NVFP4-vägen på fyra B200:or är den enda konfigurationen där siffrorna närmar sig break-even.

Håll dig till API:et om frågan gällde priset. Till 0,68 $ och 2,09 $ under kampanj, eller 1,36 $ och 4,18 $ enligt listpris, är att anropa den här modellen ett av marknadens billigaste sätt att få ett multimodalt svar från en modell med en biljon parametrar – förutsatt att du betraktar kampanjen som ett tidsfönster snarare än en prisnivå. Mistral Large 4 finns inte i OrcaRouters katalog, så den vägen går via Mistrals eget API och tredjepartsvärdar; den övergripande lösning vi erbjuder är en OpenAI-kompatibel slutpunkt för 224 modeller till leverantörslistpris utan påslag, där en leverantörs prisändring slår igenom samma dag som den tillkännages i stället för vid nästa förnyelse.