I pesi sono usciti e stanno su otto Blackwell: dentro il rilascio NVFP4 day-zero di Mistral Large 4

Ogni guida al self-hosting pubblicata nell'ultima settimana ti dice le stesse tre cose su Mistral Large 4: il file di licenza restituisce un 404, non esiste alcun checkpoint quantizzato e qualsiasi configurazione tu scriva è una proiezione presa in prestito dal modello precedente. A partire dalla mattina del 29 ottobre 2026, tutte e tre sono sbagliate. La licenza è sul repository — 2.632 byte — e la famiglia di checkpoint è reale: mistralai/Mistral-Large-4-1T-A52B con 54 shard FP8 e 1.060,6 GB, più una variante NVFP4 con 32 shard e 610,1 GB. La nota day-zero di NVIDIA, quella che si congratula con il team di Mistral AI e menziona il supporto NVFP4 su Hugging Face nella stessa frase, è la versione più breve possibile di questa storia. La versione utile è quella più lunga: cosa presuppone davvero la ricetta pubblicata, cosa è successo al prezzo mentre nessuno guardava e quale dei consigli di self-hosting di martedì è ora attivamente fuorviante. Se vuoi confrontare ciò che è instradabile oggi anziché ciò che è scaricabile, il catalogo dei modelli OrcaRouter elenca ogni modello che serviamo, la sua finestra di contesto e il suo prezzo per token, con failover configurato per route.

Cominciamo dalle date, perché sono la parte su cui la maggior parte dei resoconti sbaglia in entrambe le direzioni. Mistral Large 4 è stato annunciato il 6 ottobre 2026 come anteprima API: un modello mixture-of-experts da 1,05 trilioni di parametri, con 49 miliardi di parametri attivi per token, o 52 miliardi una volta contati gli embedding e i layer di output, un encoder visivo da 1,6 miliardi di parametri e una finestra di contesto da 1 milione di token, con un prezzo di $1,36 per milione di token di input contro $4,18 per milione di token di output. I pesi aperti erano stati promessi entro la fine di ottobre. Sono arrivati alle 14:51 UTC del 29 ottobre, circa due giorni dopo la data del 27 ottobre su cui si erano assestati i resoconti della stampa. Il divario conta perché gran parte della scrittura su questo modello è stata scritta al suo interno.

Che cosa c’è davvero sull’Hub questa mattina

I metadati del repository sono più informativi della prosa dell'annuncio, quindi eccoli direttamente:

• Checkpoint principale — mistralai/Mistral-Large-4-1T-A52B, 54 shard safetensors, 1.060,6 GB su disco, con tag fp8, repository creato il 30 settembre 2026, pesi scritti per l'ultima volta il 29 ottobre alle 14:51 UTC, non soggetto a gate.

• Versione quantizzata gemella — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 shard, 610,1 GB, repository creato il 15 ottobre 2026 e aggiornato oggi alle 14:11 UTC — quaranta minuti prima che il repository principale venisse completato.

• Licenza — la Mistral Ecosystem Open-Weight License, che Mistral descrive come una licenza MIT modificata, senza alcuna soglia di fatturato associata.

• Architettura, da params.json — 128 esperti con quattro esperti instradati per token più un esperto condiviso, 72 layer, dimensione nascosta 6.144, una torre visiva da 30 layer che accetta immagini fino a 1.540 pixel e condivisione KV tra la maggior parte dei layer.

• I numeri che non concordano: la scheda del modello NVFP4 elenca 39 lingue; l'annuncio ne rivendica oltre 160. La scheda conta 49 miliardi di parametri attivi per token; la documentazione API e la tabella dello stesso fornitore indicano 52 miliardi, che è lo stesso valore con l'aggiunta di embedding e layer di output. Il post di Mistral attribuisce 3.800 GPU Grace Blackwell all'addestramento; diverse testate hanno arrotondato a 4.000. Niente di tutto ciò è fatale, e ogni discrepanza ti dice quale documento è stato scritto da quale team.

Il numero 610 GB è il rilascio.

Un modello da 1,05 trilioni di parametri non si scarica in un modo che qualcuno descriverebbe con nonchalance. Il checkpoint FP8 è di 1.060,6 GB — ben oltre un terabyte di pesi prima che esista anche un solo token di cache KV, attivazione o frammentazione. Su un nodo Blackwell con otto GPU ci sta con circa 400 GB di margine. Su otto H200 ci sta con quasi nessun margine. Il checkpoint NVFP4 lo riduce a 610,1 GB, e il risparmio non è cosmetico: è la differenza tra un nodo fatto interamente di pesi e un nodo che ha ancora spazio per il contesto da 1M token che il modello pubblicizza.

Lo schema di quantizzazione è anche più specifico di "4-bit". Secondo la scheda, i pesi mixture-of-experts sono NVFP4 mentre i layer lineari restano FP8, e la ricetta vLLM richiede una cache KV FP8 sui layer MLA. Si tratta di uno stack di serving a precisione mista, non di un downcast indiscriminato, ed è mirato specificamente a Blackwell — B200, B300, GB200 e GB300 sono le parti citate.

Una conseguenza merita di essere sottolineata per chiunque stia pianificando un acquisto: la ricetta ufficiale richiede ancora otto GPU. vLLM è pubblicato con tensor parallelism 8; SGLang con tp-size 4. La quantizzazione, in questo caso, non è principalmente un modo per ridurre il numero di nodi. È un modo per lasciare al nodo memoria sufficiente a servire effettivamente contesti lunghi, e i parametri di serving pubblicati ne sono la prova.

La ricetta, flag per flag

Ciò che distingue questo rilascio dalla maggior parte delle pubblicazioni di pesi aperti è che il fornitore ha incluso le istruzioni di servizio invece di lasciarle alla comunità. Il percorso vLLM, così come pubblicato:

• Immagine — vllm/vllm-openai:mistral-large-4

• Parallelismo — --tensor-parallel-size 8

• Cache — --kv-cache-dtype fp8_ds_mla, con --gpu-memory-utilization 0.85

• Parser — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Speculazione opzionale — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

Il percorso SGLang differisce in modi che vale la pena leggere due volte:

• Immagine — lmsysorg/sglang:mistral-large-4, con --tp-size 4 e --mem-fraction-static 0.85

• Speculazione — --speculative-algorithm DSPARK, attivo per impostazione predefinita nel comando pubblicato

• Limiti di servizio: --max-running-requests 64, con i parser di reasoning e degli strumenti entrambi impostati su auto

Tre cose che i flag ti dicono e che l'annuncio non dice

Il primo è che DSpark non è un modello separato. Il file di configurazione descrive, incorporati nel checkpoint stesso, tre livelli di previsione multi-token con una piccola testa di draft ricorrente — un rango di Markov di 512. La decodifica speculativa normalmente significa eseguire un secondo modello, più piccolo, accanto a quello grande e pagarne la memoria. Qui la testa di draft è già all'interno dei 610 GB, ed è per questo che il flag speculativo è una breve stringa di configurazione anziché un secondo deployment.

Il secondo è che lo stack di attenzione è una questione di compressione. La configurazione include un indicizzatore sparso con un top-k di 2.048 su 32 teste, un rango LoRA KV di 512 e condivisione KV su gran parte dei 72 layer — il tipo di struttura diventata standard nei modelli della discendenza DeepSeek. Il contesto da 1M è raggiungibile perché la memoria di attenzione è condivisa in modo aggressivo e la cache KV è in FP8, non perché il modello abbia un terabyte di cache da spendere.

Il terzo è aritmetico. Il blocco YaRN pubblicato estende una finestra RoPE nativa di 512 token di un fattore di 2.048, che moltiplicato dà esattamente 1.048.576 — la lunghezza di contesto dichiarata. Qualunque fosse l'aspetto del programma di addestramento, la configurazione che stai scaricando raggiunge 1M token per extrapolazione, e vale la pena saperlo prima di puntarci un documento da 900.000 token e dare per scontato che il modello abbia già visto quella forma.

Il listino prezzi è stato spostato mentre le guide venivano scritte.

La documentazione di Mistral indica la tariffa attuale a $0,70 per milione di token di input, $0,07 per milione di input in cache e $2,10 per milione di output. L'annuncio del 6 ottobre citava un prezzo di listino di $1,36 e $4,18, con uno sconto di anteprima che lo portava a circa la metà. Leggendo insieme i due documenti, il rilascio open-weight non si è limitato a distribuire file — ha abbassato il prezzo di listino permanente fino a circa il livello a cui veniva offerta l'anteprima. Per chi ha predisposto il budget basandosi sull'annuncio di ottobre, la nuova scheda prezzi è circa la metà del numero che aveva annotato.

L’immagine indipendente è meno lusinghiera del taglio di prezzo. Artificial Analysis, sul suo attuale Intelligence Index — la serie v5 ricostruita il 27 ottobre — assegna a Mistral Large 4 un punteggio di 26, rileva $2.06 per completare un compito dell’Index e misura 161,3 token di output al secondo con 1,42 secondi al primo token. La velocità è davvero buona: 161 token al secondo sono più del doppio della mediana del set di confronto. Il costo per compito no: a $2.06 si colloca nell’ultimo quartile della sua categoria, perché un modello che ragiona a lungo spende il denaro in token anziché nel listino prezzi.

I numeri di Mistral, e quello che non ha pubblicato

Ogni benchmark nel post di rilascio di Mistral è di Mistral, cosa che vale la pena dichiarare prima di citarne uno qualsiasi. Terminal-Bench 4.0 è dichiarato al 41%, tredici punti sopra l'anteprima e, secondo il post, un primato open-weight; FrontierCode 2.0 al 19,7%; l'AA Coding Agent Index al 48%, descritto come di fatto alla pari con GLM-5.3; BrowseComp all'84,5% contro il 75% del checkpoint supervisionato dell'anteprima; FinWorkBench al 73,3%, dietro il 77,3% di Kimi K3; e un tasso medio di rifiuto del 96,6% sulle richieste cyber malevole, che è il numero attorno a cui il rilascio è realmente organizzato. Alcuni di questi provengono da harness di terze parti — FrontierCode di Cognition, Coding Agent Index di Artificial Analysis, la preferenza umana di Surge Code — ma è stata Mistral a eseguirli e a riportarli. Nessuno è stato riprodotto pubblicamente al momento della stesura.

Il dato che manca è quello di cui ha più bisogno chi fa self-hosting: la qualità di NVFP4 rispetto al checkpoint FP8 sulla stessa valutazione. La scheda presenta la quantizzazione come una riduzione dell’occupazione di memoria «con prestazioni simili», il che è un’affermazione, non una misurazione. Finché qualcuno non pubblica un’esecuzione a parità di condizioni, la posizione onesta è che il checkpoint da 610 GB è quello che si può caricare, mentre il checkpoint da 1.060,6 GB è quello che ha una documentazione a supporto.

Confrontando la tabella del fornitore con gli stessi benchmark eseguiti da Artificial Analysis, il quadro cambia forma. La riga attuale di AA per Mistral Large 4 — API ospitata, sforzo di ragionamento elevato — colloca Terminal-Bench 4.0 al 25%, sedici punti sotto il 41% del post di annuncio, e FrontierCode 2.0 al 15% contro il 19,7% citato da Mistral. Entrambi sono harness che Mistral stessa cita. La spiegazione più probabile è la configurazione: i dati del rilascio potrebbero provenire da una specifica impostazione di ragionamento o da una particolare porzione di valutazione, e AA misura ciò che restituisce l'API pubblica. La spiegazione inaccettabile è quella su cui si è assestata gran parte della copertura — stampare entrambi i numeri come se misurassero la stessa cosa.

La clausola di licenza che decide chi può servirlo

La licenza è abbastanza breve da poter essere letta in una sola seduta, e la clausola che conta è quella relativa al model-as-a-service. Eseguire un servizio ospitato sui pesi richiede una licenza commerciale separata da Mistral. Ma la definizione di model-as-a-service esclude i prodotti incorporati per l'utente finale e, separatamente, il "mero inoltro di richieste a modelli ospitati da terzi". Questa deroga è più limitata di quanto non sembri a prima vista: non ti consente di allestire una tua infrastruttura di inferenza e rivenderla, e consente invece a un gateway di inoltrare le richieste all'inferenza ospitata da Mistral senza diventare licenziatario. Se questa interpretazione regga in caso di controversia è una questione per gli avvocati di Mistral, non per questo blog.

Il che ci porta alla parte imbarazzante. OrcaRouter non elenca Mistral Large 4 — il nostro catalogo di 214 modelli non contiene alcun endpoint Mistral — quindi nulla di questa release è instradabile qui oggi, e chiunque affermi il contrario ti sta vendendo fumo. Quello che il catalogo offre è l'altra metà di un rollout come questo: un DSL di routing che può mantenere un carico di lavoro su un modello e cambiarlo senza modifiche al codice, failover automatico quando un endpoint si degrada, e prezzi pass-through con 0% di ricarico, così una variazione di tariffa del fornitore arriva dalla nostra parte lo stesso giorno in cui arriva dalla loro. I team che scaricano 610 GB e mettono in piedi il proprio box vLLM quasi sempre tengono una rotta ospitata dietro per le prime settimane, e questa è la parte che possiamo davvero gestire.

Chi dovrebbe avviare il download stasera?

Se già gestisci otto GPU Blackwell, o hai una regola di residenza dei dati che nessun endpoint ospitato soddisfa, il calcolo è cambiato questa mattina ed è cambiato a tuo favore: i pesi esistono, la licenza esiste, e il fornitore ti ha consegnato un comando di serving testato anziché un suggerimento. Scarica prima il checkpoint NVFP4 — 610,1 GB sono una serata sopportabile, e l'immagine vLLM è fissata a una versione specifica. Esegui una tua valutazione rispetto all'API ospitata prima di affidarle un percorso di produzione, perché l'affermazione sulla quantizzazione non è misurata e i benchmark del fornitore sono del fornitore.

Se non usi quel tipo di hardware, in questa release non c’è ancora nulla per te. Un modello 1T con 49 miliardi di parametri attivi per token non è un download da laptop né un esperimento su una singola scheda, e il checkpoint FP8 è un terabyte. La notizia che dovrebbe arrivarti è la riga del prezzo, non l’elenco dei file: l’API ospitata ora parte da $0,70 e $2,10, circa la metà di quanto l’annuncio di ottobre ti aveva fatto aspettare, e questo è un cambiamento di cui puoi usufruire senza possedere una singola GPU.

La domanda aperta è quella interessante. Un modello da mille miliardi di parametri che entra in 610 GB è la prova che NVFP4 può comprimere un mixture-of-experts su scala di frontiera senza cambiarne la forma. Se lo comprima senza cambiarne le risposte è qualcosa che le prossime due settimane di esecuzioni indipendenti chiariranno, e nessuno l’ha ancora pubblicato — comprese le persone che l’hanno rilasciato.