La finestra di contesto di Mistral Large 4: 1M dichiarati, 524K misurati e perché la differenza viene fatturata

La scheda del modello di Mistral dice una cosa e una misurazione indipendente ne dice un'altra, e il divario non è solo cosmetico. La scheda indica una finestra di contesto da 1M token. Artificial Analysis, che valuta la configurazione che riesce effettivamente a eseguire, ha misurato 524.288 token. Ogni token di input che invii viene conteggiato, quindi la domanda "quanto contesto ho" è anche la domanda "quanto mi è consentito spendere in una singola richiesta".

La differenza tra quei due numeri è di 2×, il che, su un modello che costa 1,36 $ per milione di token di input, non è una differenza trascurabile.

Cosa sono i numeri e da dove proviene ciascuno

• 1.048.576 token — il valore nel file di configurazione che Mistral fornisce insieme ai pesi. È un limite massimo scritto dal fornitore, e la scheda del modello lo ripete come "1M".

• 524.288 token — quello che Artificial Analysis ha misurato sulla configurazione testata. Metà del limite massimo.

• Quanto costa — a 1,36 $ per milione, riempire 524K costa circa 0,71 $ per richiesta; riempire l'intero 1M costerebbe 1,43 $. Entrambi sono il lato di input di una singola chiamata, prima di qualsiasi output.

Il valore dichiarato dal fornitore non è una bugia e quello misurato non è un bug. Una finestra di contesto è una capacità dell'architettura; ciò che una determinata configurazione di serving accetterà effettivamente — con il suo budget di KV-cache, il suo parallelismo tensoriale, la sua dimensione del batch — è inferiore, e il divario tra i due è normale in questo settore. Semplicemente, è raramente indicato sulla stessa riga del prezzo.

Perché questo qui conta più di quanto non conti altrove

Tre motivi specifici di questo modello.

È un MoE da un trilione di parametri. 1,05 trilioni di parametri con 52 miliardi attivi per token, più un encoder visivo da 1,6 miliardi di parametri. La KV cache per un contesto lungo su quella classe di modello è il vincolo determinante per il serving, non l'intento del file di configurazione. Il numero misurato è il numero onesto su cui basare la pianificazione.

Il prezzo è per token, non per richiesta. Una richiesta a contesto lungo su questa scheda è una voce di costo che scala linearmente con ciò che invii. Non stai acquistando "una finestra da 1M"; stai acquistando token, e la finestra decide solo quanti possono arrivare in una singola chiamata.

I pesi vengono forniti con la configurazione. Quando scarichi 1,060.6 GB di bf16 e leggi code>config.json/code>, vedrai 1,048,576 e sarai tentato di pianificare in base a esso. La ricetta vLLM richiede un parallelismo tensoriale pari a 8 con cache KV FP8, che è esattamente il tipo di configurazione in cui la finestra servita e quella configurata smettono di coincidere.

Come misurare il proprio soffitto in un pomeriggio

Invia una richiesta che superi quello che pensi sia il limite e leggi l'errore: nella maggior parte dei casi i provider restituiscono un messaggio con il conteggio dei token anziché troncare silenziosamente. Questo ti dà il tetto effettivamente servito sull'host che usi davvero, che è l'unico numero che il tuo budget dovrebbe contenere.

Poi invia una richiesta all'80% di quel tetto e osserva la latenza. Un modello da un trilione di parametri che legge un contesto lungo ha un tempo di primo token che cresce con la lunghezza del prompt; il valore di 524K è una finestra, non una promessa sulla velocità.

Infine, confronta il limite massimo risultante con la lunghezza del tuo input al 95° percentile anziché con la media. La media non è mai vincolante; è nella coda che compare la pipeline di chunking per cui non hai previsto un budget.

Come sono le finestre della concorrenza

• DeepSeek V4 Pro — contesto di 1M, output di 384K, $0,66 in entrata e $1,98 in uscita fuori orario di punta.

• Grok 4.7 — contesto da 500K, output da 450K, $2,00 e $6,00 a tariffa fissa.

• Qwen3-Max — 262K di contesto, 65K di output, $0.36 e $1.43.

• Mistral Large 4 — 1M dichiarati, 524K misurati, 1,36 $ e 4,18 $ a listino.

Rispetto a quel panorama, la finestra misurata di Mistral si colloca tra le dichiarazioni di 262K e 1M — più vicina alla metà che al vertice. Se è il contesto il motivo per cui lo stai considerando, il numero misurato è quello che va inserito nella tabella comparativa, e costa metà del dato di punta.

Mistral Large 4 non è nel catalogo di OrcaRouter, quindi non è una route che possiamo offrire; è richiamabile tramite l'API propria di Mistral e host di terze parti. Ciò che invece offriamo in generale è un unico endpoint compatibile con OpenAI su 224 modelli al prezzo di listino del provider, senza ricarico — dove la finestra del fornitore, qualunque essa sia, è quella su cui vieni fatturato.