Mistral Large 4s Kontextfenster: 1 M angegeben, 524 K gemessen – und warum die Differenz berechnet wird

Mistrals Modellkarte sagt das eine, eine unabhängige Messung das andere, und die Diskrepanz ist nicht kosmetisch. Die Karte nennt ein 1M-Token-Kontextfenster. Artificial Analysis, das die Konfiguration bewertet, die sich tatsächlich ausführen lässt, hat 524.288 Token gemessen. Jedes Eingabe-Token, das Sie senden, wird abgerechnet, also ist die Frage „Wie viel Kontext habe ich?“ zugleich die Frage „Wie viel darf ich in einer einzigen Anfrage ausgeben?“

Der Unterschied zwischen diesen beiden Zahlen beträgt 2×, was bei einem Modell, das 1,36 $ pro Million Eingabe-Tokens berechnet, kein Rundungsfehler ist.

Was die Zahlen sind und woher jede einzelne stammt

• 1.048.576 Token — der Wert in der Konfigurationsdatei, die Mistral mit den Gewichten ausliefert. Es ist eine vom Anbieter festgelegte Obergrenze, und die Model Card gibt sie als „1M“ wieder.

• 524,288 tokens — was Artificial Analysis auf der getesteten Konfiguration gemessen hat. Die Hälfte des Maximums.

• Was das kostet — bei 1,36 $ pro Million kostet das Füllen von 524K etwa 0,71 $ pro Anfrage; das Füllen der vollen 1M würde 1,43 $ kosten. Beides betrifft die Eingabeseite eines einzelnen Aufrufs, noch vor jeglicher Ausgabe.

Die Herstellerangabe ist keine Lüge, und der gemessene Wert ist kein Bug. Ein Kontextfenster ist eine Eigenschaft der Architektur; was eine gegebene Serving-Konfiguration tatsächlich annimmt – mit ihrem KV-Cache-Budget, ihrer Tensor-Parallelität, ihrer Batch-Größe –, ist kleiner, und die Lücke zwischen beiden ist in dieser Branche normal. Sie wird nur selten in derselben Zeile wie der Preis genannt.

Warum das hier mehr zählt als anderswo

Drei Gründe, die speziell für dieses Modell gelten.

Es ist ein MoE mit einer Billion Parametern. 1,05 Billionen Parameter mit 52 Milliarden aktiven pro Token, plus ein Vision-Encoder mit 1,6 Milliarden Parametern. Der KV-Cache für einen langen Kontext bei dieser Modellklasse ist die bindende Einschränkung beim Serving, nicht die Absicht der Konfigurationsdatei. Die gemessene Zahl ist die ehrliche Planungszahl.

Der Preis wird pro Token berechnet, nicht pro Anfrage. Eine Anfrage mit langem Kontext auf dieser Karte ist ein Rechnungsposten, der linear mit dem skaliert, was Sie senden. Sie kaufen kein „1M-Fenster“; Sie kaufen Tokens, und das Fenster entscheidet nur darüber, wie viele in einem einzigen Aufruf ankommen können.

Die Gewichte werden mit der Konfiguration ausgeliefert. Wenn Sie 1.060,6 GB bf16 herunterladen und code>config.json/code> lesen, sehen Sie die 1.048.576, und Sie werden in Versuchung geraten, damit zu planen. Das vLLM-Rezept verlangt Tensor-Parallelismus von 8 mit FP8-KV-Cache – genau die Art von Konfiguration, bei der das bediente Fenster und das konfigurierte Fenster nicht mehr übereinstimmen.

Wie Sie Ihre eigene Zimmerdecke an einem Nachmittag ausmessen

Sende eine Anfrage, die das überschreitet, was du für das Limit hältst, und lies die Fehlermeldung – die Anbieter geben in den meisten Fällen eine Meldung mit der Token-Anzahl zurück, statt stillschweigend abzuschneiden. Das liefert dir die tatsächlich bediente Obergrenze auf dem Host, den du wirklich nutzt – die einzige Zahl, die in deinem Budget stehen sollte.

Dann senden Sie eine Anfrage bei 80 % dieser Obergrenze und beobachten Sie die Latenz. Ein Modell mit einer Billion Parametern, das einen langen Kontext liest, hat eine First-Token-Zeit, die mit der Prompt-Länge wächst; die 524K-Angabe ist ein Fenster, kein Versprechen in Bezug auf die Geschwindigkeit.

Vergleichen Sie schließlich die resultierende Obergrenze mit Ihrer Eingabelänge im 95.-Perzentil statt mit dem Durchschnitt. Der Durchschnitt bindet nie; im Verteilungsschwanz zeigt sich die Chunking-Pipeline, für die Sie kein Budget eingeplant haben.

Wie die Fenster der Konkurrenz aussehen

• DeepSeek V4 Pro — 1M Kontext, 384K Ausgabe, 0,66 $ für die Eingabe und 1,98 $ für die Ausgabe außerhalb der Stoßzeiten.

• Grok 4.7 —500K Kontext, 450K Ausgabe, 2,00 $ und 6,00 $ pauschal.

• Qwen3-Max — 262K Kontext, 65K Ausgabe, $0.36 und $1.43.

• Mistral Large 4 — 1 Mio. angegeben, 524 K gemessen, 1,36 $ und 4,18 $ laut Liste.

Im Vergleich zu diesem Feld liegt Mistrals gemessenes Fenster zwischen den Angaben von 262K und 1M – näher an der Mitte als am oberen Ende. Wenn der Kontext der Grund ist, aus dem Sie es betrachten, dann ist die gemessene Zahl diejenige, die in die Vergleichstabelle gehört, und sie kostet die Hälfte der Schlagzeile.

Mistral Large 4 ist nicht im Katalog von OrcaRouter, daher ist dies keine Route, die wir anbieten können; es ist über Mistrals eigene API und Drittanbieter-Hosts aufrufbar. Was wir generell anbieten, ist ein OpenAI-kompatibler Endpunkt über 224 Modelle zum Listenpreis des Anbieters ohne Aufschlag — wobei das Kontextfenster des Anbieters, wie auch immer es ausfällt, dasjenige ist, gegen das Ihnen abgerechnet wird.