Die Gewichte sind draußen und sie passen auf acht Blackwells: Ein Blick auf Mistral Large 4s Day-Zero-NVFP4-Release

Jeder Self-Hosting-Leitfaden, der in der vergangenen Woche veröffentlicht wurde, nennt dieselben drei Dinge über Mistral Large 4: Die Lizenzdatei liefert einen 404, es existiert kein quantisierter Checkpoint, und jede Konfiguration, die du schreibst, ist eine Projektion, die vom vorherigen Modell übernommen wurde. Stand vom Morgen des 29. Oktober 2026 sind alle drei falsch. Die Lizenz liegt im Repository — 2.632 Bytes davon — und die Checkpoint-Familie ist real: mistralai/Mistral-Large-4-1T-A52B mit 54 FP8-Shards und 1.060,6 GB, plus ein NVFP4-Geschwistermodell mit 32 Shards und 610,1 GB. NVIDIAs Day-zero-Notiz, diejenige, die das Mistral-AI-Team beglückwünscht und im selben Atemzug NVFP4-Unterstützung auf Hugging Face erwähnt, ist die kürzestmögliche Version dieser Geschichte. Die nützliche Version ist die längere: was das veröffentlichte Rezept tatsächlich voraussetzt, was mit dem Preis geschah, während niemand hinsah, und welche der Self-Hosting-Ratschläge vom Dienstag jetzt aktiv irreführend sind. Wenn du vergleichen willst, was sich heute routen lässt statt was sich herunterladen lässt, der OrcaRouter-Modellkatalog listet jedes Modell auf, das wir bedienen, sein Kontextfenster und seinen Preis pro Token, wobei Failover pro Route konfiguriert ist.

Fangen wir mit den Daten an, denn sie sind der Teil, bei dem die meisten Berichte in beide Richtungen danebenliegen. Mistral Large 4 wurde am 6. Oktober 2026 als API-Vorschau angekündigt – ein Mixture-of-Experts-Modell mit 1,05 Billionen Parametern, von denen pro Token 49 Milliarden aktiv sind, bzw. 52 Milliarden, wenn man die Embeddings und die Ausgabeschichten mitzählt, dazu ein Vision-Encoder mit 1,6 Milliarden Parametern und ein Kontextfenster von 1 Mio. Token, bepreist mit 1,36 US-Dollar pro Million Eingabe-Token gegenüber 4,18 US-Dollar pro Million Ausgabe-Token. Die offenen Gewichte wurden vor Ende Oktober versprochen. Sie kamen am 29. Oktober um 14:51 UTC, rund zwei Tage nach dem 27. Oktober, auf den sich die Presseberichte festgelegt hatten. Diese Lücke ist von Bedeutung, weil ein Großteil der Texte über dieses Modell innerhalb dieser Zeitspanne verfasst wurde.

Was ist heute Morgen eigentlich auf dem Hub?

Die Repository-Metadaten sind informativer als der Ankündigungstext, deshalb hier direkt:

• Haupt-Checkpoint — mistralai/Mistral-Large-4-1T-A52B, 54 Safetensors-Shards, 1.060,6 GB auf der Festplatte, mit fp8 getaggt, Repository erstellt am 30. September 2026, Gewichte zuletzt geschrieben am 29. Oktober um 14:51 UTC, nicht zugriffsbeschränkt.

• Quantisiertes Geschwistermodell — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 Shards, 610,1 GB, Repository erstellt am 15. Oktober 2026 und aktualisiert heute um 14:11 UTC — vierzig Minuten bevor das übergeordnete Repository fertiggestellt wurde.

• Lizenz — die Mistral Ecosystem Open-Weight License, die Mistral als modifizierte MIT-Lizenz beschreibt, ohne Umsatzschwelle.

• Architektur, aus params.json — 128 Experten, von denen vier pro Token geroutet werden, plus ein gemeinsam genutzter Experte, 72 Schichten, Hidden Size 6.144, ein 30-schichtiger Vision-Turm, der Bilder bis zu 1.540 Pixel akzeptiert, und KV-Sharing über die meisten Schichten hinweg.

• Die Zahlen, die nicht übereinstimmen – die NVFP4-Modellkarte listet 39 Sprachen auf; die Ankündigung behauptet 160+. Die Karte zählt 49 Milliarden Parameter, die pro Token aktiv sind; die API-Dokumentation und die eigene Tabelle des Anbieters nennen 52 Milliarden, was dieselbe Zahl ist, wenn Embeddings und Ausgabeschichten hinzugefügt werden. Mistrals Beitrag führt 3.800 Grace Blackwell GPUs für das Training an; mehrere Medien rundeten das auf 4.000 auf. Nichts davon ist fatal, und jede Abweichung verrät, welches Dokument von welchem Team geschrieben wurde.

Die 610-GB-Nummer ist der Release

Ein Modell mit 1,05 Billionen Parametern lädt niemand auf eine Weise herunter, die man beiläufig beschreiben würde. Der FP8-Checkpoint ist 1.060,6 GB groß — bequem über einem Terabyte an Gewichten, bevor auch nur ein einziges Token KV-Cache, Aktivierung oder Fragmentierung existiert. Auf einem Blackwell-Knoten mit acht GPUs passt das mit rund 400 GB Reserve. Auf acht H200-GPUs passt es mit nahezu keiner Reserve. Der NVFP4-Checkpoint reduziert das auf 610,1 GB, und die Ersparnis ist nicht kosmetisch: Sie ist der Unterschied zwischen einem Knoten, der ausschließlich aus Gewichten besteht, und einem Knoten, dem Platz für den 1M-Token-Kontext bleibt, den das Modell bewirbt.

Das Quantisierungsschema ist außerdem spezifischer als „4-Bit“. Laut der Karte sind die Mixture-of-Experts-Gewichte NVFP4, während die linearen Schichten bei FP8 bleiben, und das vLLM-Rezept fordert einen FP8-KV-Cache auf den MLA-Schichten. Das ist ein Serving-Stack mit gemischter Präzision, keine pauschale Herabstufung, und er ist speziell auf Blackwell ausgerichtet — B200, B300, GB200 und GB300 sind die genannten Komponenten.

Eine Konsequenz verdient besondere Betonung für alle, die einen Kauf planen: Das offizielle Rezept verlangt weiterhin acht GPUs. vLLM wird mit Tensor-Parallelismus 8 veröffentlicht; SGLang mit tp-size 4. Die Quantisierung ist hier in erster Linie kein Mittel, um die Anzahl der Knoten zu reduzieren. Sie ist ein Mittel, um dem Knoten genügend Speicher zu belassen, um tatsächlich langen Kontext bedienen zu können, und die veröffentlichten Serving-Parameter sind der Beleg dafür.

Das Rezept, Flag für Flag

Was dieses Release von den meisten Open-Weight-Veröffentlichungen unterscheidet, ist, dass der Anbieter Serving-Anweisungen mitgeliefert hat, statt sie der Community zu überlassen. Der vLLM-Pfad, wie veröffentlicht:

• Image — vllm/vllm-openai:mistral-large-4

• Parallelität — --tensor-parallel-size 8

• Cache — --kv-cache-dtype fp8_ds_mla, mit --gpu-memory-utilization 0.85

• Parser — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• Optionale Spekulation — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

Der SGLang-Pfad unterscheidet sich in Punkten, die es wert sind, zweimal gelesen zu werden:

• Image — lmsysorg/sglang:mistral-large-4, mit --tp-size 4 und --mem-fraction-static 0.85

• Spekulation — --speculative-algorithm DSPARK, im veröffentlichten Befehl standardmäßig aktiviert

• Bedienungsgrenzen — --max-running-requests 64, wobei sowohl der Reasoning- als auch der Tool-Parser auf auto gesetzt sind

Drei Dinge, die Ihnen die Flags verraten, die die Ankündigung nicht verrät.

Erstens ist DSpark kein separates Modell. Die Konfigurationsdatei beschreibt drei Multi-Token-Vorhersageschichten mit einem kleinen rekurrenten Draft-Head – einem Markov-Rang von 512 –, der im Checkpoint selbst eingebettet ist. Spekulatives Decoding bedeutet normalerweise, ein zweites, kleineres Modell neben dem großen laufen zu lassen und für dessen Speicher zu zahlen. Hier steckt der Draft-Head bereits in den 610 GB, weshalb das Speculative-Flag ein kurzer Konfigurationsstring statt eines zweiten Deployments ist.

Zweitens ist der Attention-Stack eine Geschichte der Kompression. Die Konfiguration enthält einen Sparse-Indexer mit einem Top-k von 2.048 über 32 Heads, einen KV-LoRA-Rang von 512 und KV-Sharing über die meisten der 72 Layer – jene Art von Layout, die in Modellen aus der DeepSeek-Linie zum Standard geworden ist. Der 1M-Kontext ist erreichbar, weil der Attention-Speicher aggressiv geteilt wird und der KV-Cache FP8 ist, nicht weil das Modell ein Terabyte Cache zu verpulvern hat.

Der dritte Punkt ist Arithmetik. Der veröffentlichte YaRN-Block erweitert ein natives RoPE-Fenster von 512 Token um den Faktor 2.048, was zusammengerechnet genau 1.048.576 ergibt – die beworbene Kontextlänge. Wie auch immer der Trainingsplan aussah: Die Konfiguration, die du herunterlädst, erreicht durch Extrapolation 1 M Token, und das ist gut zu wissen, bevor du ein Dokument mit 900.000 Token darauf richtest und annimmst, das Modell habe diese Form schon einmal gesehen.

Das Preisbuch hat sich verschoben, während die Leitfäden geschrieben wurden.

Mistrals Dokumentation nennt den aktuellen Preis von 0,70 US-Dollar pro Million Eingabe-Tokens, 0,07 US-Dollar pro Million zwischengespeicherter Eingabe und 2,10 US-Dollar pro Million Ausgabe. Die Ankündigung vom 6. Oktober nannte einen Listenpreis von 1,36 und 4,18 US-Dollar, wobei der Vorschaurabatt bei ungefähr der Hälfte davon lag. Liest man die beiden Dokumente zusammen, hat die Open-Weight-Veröffentlichung nicht bloß Dateien ausgeliefert – sie hat den dauerhaften Listenpreis auf ungefähr das Niveau gesenkt, zu dem die Vorschau angeboten worden war. Für jeden, der auf Basis der Oktober-Ankündigung budgetiert, liegt die neue Preiskarte bei ungefähr der Hälfte des Betrags, den er notiert hatte.

Das unabhängige Bild ist weniger schmeichelhaft als der Preisnachlass. Artificial Analysis bewertet Mistral Large 4 auf seinem aktuellen Intelligence Index – der v5-Reihe, die am 27. Oktober neu aufgebaut wurde – mit 26, veranschlagt 2,06 US-Dollar für die Erledigung einer Index-Aufgabe und misst 161,3 Ausgabe-Tokens pro Sekunde bei 1,42 Sekunden bis zum ersten Token. Die Geschwindigkeit ist wirklich gut: 161 Tokens pro Sekunde sind mehr als das Doppelte des Medians des Vergleichssets. Die Kosten pro Aufgabe sind es nicht: Mit 2,06 US-Dollar liegt es im unteren Viertel seiner Klasse, weil ein Modell, das ausführlich nachdenkt, das Geld über Tokens statt über den Tarif ausgibt.

Mistrals eigene Zahlen – und die, die es nicht veröffentlicht hat.

Jeder Benchmark in Mistrals Veröffentlichungsbeitrag stammt von Mistral selbst, was man erwähnen sollte, bevor man einen davon zitiert. Terminal-Bench 4.0 wird mit 41 % angegeben, dreizehn Punkte über der Preview und laut Beitrag eine Führungsrolle bei offenen Gewichten; FrontierCode 2.0 bei 19,7 %; der AA Coding Agent Index bei 48 %, beschrieben als praktisch gleichauf mit GLM-5.3; BrowseComp bei 84,5 % gegenüber 75 % für den überwachten Checkpoint der Preview; FinWorkBench bei 73,3 %, hinter Kimi K3 mit 77,3 %; und eine durchschnittliche Ablehnungsrate von 96,6 % bei bösartigen Cyber-Anfragen, die Zahl, um die herum die Veröffentlichung wirklich aufgebaut ist. Einige davon stammen aus Harnesses von Drittanbietern – Cognitions FrontierCode, der Coding Agent Index von Artificial Analysis, die menschliche Präferenzbewertung von Surge Code –, aber Mistral hat sie ausgeführt und Mistral hat sie berichtet. Keiner davon wurde zum Zeitpunkt des Schreibens öffentlich reproduziert.

Die fehlende Zahl ist die, die ein Self-Hoster am meisten braucht: die NVFP4-Qualität gegenüber dem FP8-Checkpoint in derselben Evaluation. Die Karte stellt die Quantisierung als Speicherreduktion „bei ähnlicher Leistung“ dar, was eine Behauptung und keine Messung ist. Bis jemand einen unter gleichen Bedingungen durchgeführten Lauf veröffentlicht, ist die ehrliche Position, dass der 610-GB-Checkpoint derjenige ist, den man unterbringen kann, und der 1.060,6-GB-Checkpoint derjenige mit dokumentierten Belegen.

Stellt man die Anbietertabelle neben dieselben Benchmarks, wie sie von Artificial Analysis ausgeführt werden, ändert sich das Bild. AA führt für Mistral Large 4 derzeit — gehostete API, hoher Reasoning-Aufwand — Terminal-Bench 4.0 mit 25 %, sechzehn Punkte unter den 41 % aus dem Release-Beitrag, und FrontierCode 2.0 mit 15 % gegenüber den 19,7 %, die Mistral angibt. Beide sind Harnesses, die Mistral selbst anführt. Die wahrscheinliche Erklärung ist die Konfiguration: Die Veröffentlichungswerte stammen möglicherweise aus einer bestimmten Reasoning-Einstellung oder einem bestimmten Auswertungs-Slice, während AA misst, was die öffentliche API zurückgibt. Die inakzeptable Erklärung ist die, auf die sich die meisten Berichterstattungen eingependelt haben — beide Zahlen abzudrucken, als würden sie dasselbe messen.

Die Lizenzklausel, die darüber entscheidet, wer es anbieten darf

Die Lizenz ist kurz genug, um sie an einem Stück zu lesen, und die entscheidende Klausel ist die zu Model-as-a-Service. Einen gehosteten Dienst auf den Gewichten zu betreiben, erfordert eine separate kommerzielle Lizenz von Mistral. Die Definition von Model-as-a-Service schließt jedoch eingebettete Endnutzerprodukte und, separat, „bloße Weiterleitung von Anfragen an von anderen gehostete Modelle“ aus. Diese Ausnahme ist enger, als es zunächst scheint: Sie erlaubt es nicht, eine eigene Inferenz aufzusetzen und weiterzuverkaufen, und sie erlaubt es einem Gateway, Anfragen an von Mistral gehostete Inferenz durchzureichen, ohne Lizenznehmer zu werden. Ob diese Lesart in einem Streitfall Bestand hat, ist eine Frage für Mistrals Anwälte, nicht für diesen Blog.

Das bringt uns zum unangenehmen Teil. OrcaRouter führt Mistral Large 4 nicht auf — unser Katalog mit 214 Modellen enthält überhaupt keinen Mistral-Endpunkt —, also ist nichts aus diesem Release hier heute routbar, und wer etwas anderes behauptet, will Ihnen etwas vormachen. Was der Katalog aber bietet, ist die andere Hälfte eines solchen Rollouts: eine Routing-DSL, mit der sich eine Workload auf einem Modell halten und ohne Codeänderung umschalten lässt, automatisches Failover, wenn ein Endpunkt schlechter wird, und Pass-through-Pricing mit 0 % Aufschlag, sodass eine Tarifänderung eines Anbieters bei uns am selben Tag ankommt, an dem sie beim Anbieter ankommt. Teams, die 610 GB ziehen und ihre eigene vLLM-Box aufsetzen, behalten in den ersten Wochen fast immer eine gehostete Route dahinter — und genau das können wir tatsächlich betreiben.

Wer sollte heute Abend den Download starten?

Wenn Sie bereits acht Blackwell-GPUs betreiben oder eine Datenresidenz-Regel haben, die kein gehosteter Endpunkt erfüllt, hat sich die Kalkulation heute Morgen geändert – und sie hat sich zu Ihren Gunsten geändert: Die Gewichte existieren, die Lizenz existiert, und der Anbieter hat Ihnen einen getesteten Serving-Befehl übergeben statt eines Vorschlags. Ziehen Sie zuerst den NVFP4-Checkpoint – 610,1 GB sind ein verträglicher Abend, und das vLLM-Image ist gepinnt. Führen Sie Ihre eigene Evaluierung gegen die gehostete API durch, bevor Sie einen Produktionspfad darauf festlegen, denn die Quantisierungsbehauptung ist ungemessen und die Anbieter-Benchmarks sind die des Anbieters.

Wenn Sie diese Hardwareklasse nicht betreiben, ist in diesem Release noch nichts für Sie dabei. Ein 1T-Modell mit 49 Milliarden aktiven Parametern pro Token ist kein Laptop-Download und kein Single-Card-Experiment, und der FP8-Checkpoint ist ein Terabyte groß. Die Nachricht, die Sie erreichen sollte, ist die Preiszeile, nicht die Dateiliste: Die gehostete API beginnt jetzt bei $0.70 und $2.10, also rund die Hälfte dessen, was die Oktober-Ankündigung Sie hatte erwarten lassen, und das ist eine Änderung, die Sie nutzen können, ohne eine einzige GPU zu besitzen.

Die offene Frage ist die eigentlich spannende. Ein Modell mit einer Billion Parametern, das in 610 GB passt, ist der Beweis dafür, dass NVFP4 ein Mixture-of-Experts im Frontier-Maßstab komprimieren kann, ohne seine Form zu verändern. Ob es das auch komprimiert, ohne seine Antworten zu verändern, werden die nächsten zwei Wochen unabhängiger Durchläufe klären, und niemand hat das bisher veröffentlicht – auch nicht die Leute, die es ausgeliefert haben.