Self-hosting di Mistral Large 4: quanto ti costa davvero 1,06 TB

I pesi sono disponibili, senza gating, e la licenza consente l'uso commerciale. Tre fatti che fanno sembrare il self-hosting di Mistral Large 4 una decisione piuttosto che una fantasia. Poi leggi l'elenco dei file: 54 shard safetensors, 1.060,6 GB in bf16, prima ancora di un singolo token di KV cache. È quel numero — non il titolo da un trilione di parametri — quello su cui pianifichi archiviazione e GPU, ed è il motivo per cui la maggior parte dei team leggerà questa pagina e resterà sull'API.

I due checkpoint e ciò che ciascuno richiede

• bf16 — 54 shard, 1.060,6 GB, due da 16,9 GB e 4,2 GB con gli altri 52 tra 19,7 e 20,0 GB. Non entra in modo utile su otto acceleratori da 141 GB una volta riservato lo stato KV, quindi prevedete più hardware o il percorso quantizzato.

• NVFP4 — un repository separato, 32 shard, 610,1 GB, posizionato da Mistral per hardware Blackwell con supporto NVFP4 nativo. Le indicazioni di Mistral: quattro GPU B200 o B300. L'affermazione che mantenga le "stesse prestazioni" è una dichiarazione del fornitore, non una misurazione.

• Ricetta di serving — la configurazione vLLM della model card richiede tensor parallelism pari a 8 con dtype FP8 per la KV-cache. Questa è la configurazione da prendere come riferimento per il benchmark, non una promessa di throughput.

• Contesto — 1M token configurati, 524.288 misurati sulla configurazione testata. Un contesto lungo moltiplica la pressione sulla KV-cache, che su un vision encoder da 1,6 miliardi di parametri più un MoE da 1,05 trilioni di parametri è la differenza tra l'entrare in memoria e il non entrarci.

Il break-even che nessuno esegue

Prendi il prezzo promozionale come parametro di riferimento per ciò che l'hosting deve battere: 0,68 $ per milione di token di input e 2,09 $ per milione di output. Quattro B200 a una tariffa cloud realistica — diciamo 8-12 $ per GPU-ora — costano 32-48 $ all'ora, ovvero circa 23.000-35.000 $ al mese prima di archiviazione, networking, ingegneria e del tempo necessario per mettere a punto uno stack di serving.

Per raggiungere il pareggio con quel costo mensile rispetto a 2,09 dollari per milione di token di output, dovreste generare ben oltre undici miliardi di token di output al mese, ogni mese, a piena utilizzazione. Si tratta di un volume che quasi nessun team al di fuori di un hyperscaler ha davvero, e ignora le due settimane di ingegneria che il primo deployment richiede.

Per dirla altrimenti: a 100 milioni di token di output al mese — un numero di produzione grande ma reale — l'API costa circa $209 in promozione o $418 a listino, a fronte di una bolletta di hosting nell'ordine delle decine di migliaia. L'auto-hosting non è uno sconto, a quella scala. È l'acquisto di qualcos'altro.

Che cos’è quell’altra cosa

Quattro cose, e sono le uniche ragioni oneste per scaricare 1,06 TB.

Residenza dei dati. I pesi non lasciano mai il tuo perimetro. Per un carico di lavoro regolamentato non è una preferenza, è un requisito, e nessun prezzo API può competere con questo.

Certezza della licenza. La Ecosystem Open-Weight License di Mistral consente l'uso commerciale, la modifica, l'ulteriore addestramento e le opere derivate, con una sola riserva: gestire un model-as-a-service — offrendo a terzi un controllo significativo su input, parametri o dati di addestramento — richiede un accordo commerciale separato. Le funzionalità incorporate, l'uso interno e la semplice ritrasmissione sono esclusi. Possedere l'artefatto significa che i termini concordati sono i termini che si applicano.

Il diritto al fine-tuning. Un derivato che addestri è tuo, e nessuna API ospitata può offrirlo a qualunque prezzo.

Determinismo. Il checkpoint che hai validato è il checkpoint che esegui. Un modello ospitato può essere reindirizzato a una nuova versione con lo stesso nome; un file sul tuo disco non può.

Ciò che nessuno di quei quattro è: più economico per token. L'aritmetica di cui sopra lo esclude per qualsiasi team al di sotto dell'iperscala, e un piano costruito sull'aspettativa di risparmi non sopravviverà alla sua prima fattura.

La clausola di licenza che un hoster deve leggere due volte

Se il motivo per cui fai self-hosting è servire il modello ai clienti, la clausola 2 è il paragrafo che determina la tua forma giuridica. L'elaborazione per i propri prodotti è consentita; una piattaforma che consegna ai clienti il modello e un controllo significativo su input, parametri o addestramento non esiste ai sensi di questa licenza senza un accordo separato. L'eccezione per il «mero inoltro di richieste a modelli ospitati da altri» è limitata e significa ciò che dice: inoltrare all'endpoint di qualcun altro non è hosting.

Quella distinzione è l'unica cosa in questa pagina a cui un tariffario non può rispondere, e vale un'ora di un avvocato prima di acquistare una GPU.

Chi dovrebbe scaricarlo

Scarica se un'autorità di regolamentazione, un contratto con un cliente o una politica di classificazione dei dati ti hanno già dato la risposta. Scarica se intendi eseguire il fine-tuning e distribuire una versione derivata, perché è una capacità che l'API non vende. Scarica se disponi di capacità Blackwell già pagata e inutilizzata — il percorso NVFP4 su quattro B200 è l'unica configurazione in cui i numeri si avvicinano al punto di pareggio.

Resta sull'API se la domanda era il prezzo. A 0,68 $ e 2,09 $ in promozione, oppure 1,36 $ e 4,18 $ a listino, chiamare questo modello è uno dei modi più economici sul mercato per ottenere una risposta multimodale da mille miliardi di parametri — a patto di trattare la promozione come una finestra temporale e non come una tariffa. Mistral Large 4 non è nel catalogo di OrcaRouter, quindi quella via passa attraverso l'API di Mistral e host di terze parti; la formula generale che offriamo è un unico endpoint compatibile con OpenAI su 224 modelli al prezzo di listino del provider, senza ricarichi, in cui una variazione di prezzo del fornitore si applica il giorno stesso in cui viene annunciata, anziché al rinnovo successivo.