Self-Hosting von Mistral Large 4: Was 1,06 TB Sie tatsächlich kosten

Die Gewichte sind veröffentlicht, ohne Zugangsbeschränkung, und die Lizenz erlaubt kommerzielle Nutzung. Drei Fakten, die Self-Hosting von Mistral Large 4 wie eine Entscheidung statt wie eine Fantasie wirken lassen. Dann liest man die Dateiliste: 54 Safetensors-Shards, 1.060,6 GB in bf16, bevor auch nur ein Token KV-Cache hinzukommt. Diese Zahl – nicht die Schlagzeile von einer Billion Parametern – ist die Grundlage für die Planung von Speicher und GPUs, und sie ist der Grund, warum die meisten Teams diese Seite lesen und bei der API bleiben.

Die beiden Kontrollpunkte – und was jeder von ihnen verlangt

• bf16 — 54 Shards, 1.060,6 GB, zwei davon 16,9 GB und 4,2 GB, die übrigen 52 zwischen 19,7 und 20,0 GB. Es passt nicht sinnvoll auf acht Beschleuniger mit 141 GB, sobald KV-Zustand reserviert ist; planen Sie daher mit mehr Hardware oder dem quantisierten Pfad.

• NVFP4 — ein separates Repository, 32 Shards, 610,1 GB, von Mistral für Blackwell-Hardware mit nativer NVFP4-Unterstützung positioniert. Mistrals eigene Empfehlung: vier B200- oder B300-GPUs. Die Behauptung, dass es die „gleiche Leistung“ beibehält, ist eine Herstellerangabe, keine Messung.

• Serving-Rezept — Die vLLM-Konfiguration der Modellkarte sieht Tensor-Parallelität von 8 mit FP8-KV-Cache-Datentyp vor. Das ist die Konfiguration, gegen die gebenchmarkt werden soll – kein Durchsatzversprechen.

• Kontext — 1 Mio. Tokens konfiguriert, 524.288 auf der getesteten Konfiguration gemessen. Ein langer Kontext vervielfacht den KV-Cache-Druck, was bei einem Vision-Encoder mit 1,6 Milliarden Parametern plus einem MoE mit 1,05 Billionen Parametern den Unterschied zwischen Passen und Nicht-Passen ausmacht.

Die Break-even-Rechnung, die niemand durchführt

Nimm den Aktionspreis als Maßstab dafür, was das Hosting unterbieten muss: $0,68 pro Million Eingabe-Tokens und $2,09 pro Million Ausgabe-Tokens. Vier B200 bei einem realistischen Cloud-Tarif – sagen wir $8 bis $12 pro GPU-Stunde – kosten $32 bis $48 pro Stunde, also grob $23.000 bis $35.000 pro Monat, bevor Speicher, Netzwerk, Engineering und die Zeit für das Tuning eines Serving-Stacks dazukommen.

Um bei diesen monatlichen Kosten gegenüber $2.09 pro Million Ausgabe-Tokens die Gewinnschwelle zu erreichen, müssten Sie monatlich mehr als elf Milliarden Ausgabe-Tokens generieren – jeden Monat, bei voller Auslastung. Das ist ein Volumen, das praktisch kein Team außerhalb eines Hyperscalers tatsächlich hat, und es ignoriert die zwei Wochen Ingenieursarbeit, die der erste Deployment kostet.

Anders gesagt: Bei 100 Millionen Output-Tokens pro Monat – eine große, aber realistische Produktionszahl – kostet die API etwa 209 US-Dollar im Aktionsangebot bzw. 418 US-Dollar zum Listenpreis, verglichen mit einer Hosting-Rechnung im fünfstelligen Bereich. Self-Hosting ist in dieser Größenordnung kein Rabatt. Es ist der Kauf von etwas anderem.

Was dieses andere ist

Vier Dinge, und sie sind die einzigen ehrlichen Gründe, 1,06 TB herunterzuladen.

Datenresidenz. Die Gewichte verlassen niemals Ihren Perimeter. Für eine regulierte Arbeitslast ist das keine Präferenz, sondern eine Anforderung – und kein API-Preis kommt dagegen an.

Lizenzsicherheit. Mistral's Ecosystem Open-Weight License erlaubt kommerzielle Nutzung, Änderung, weiteres Training und abgeleitete Werke, mit einem Vorbehalt: Der Betrieb eines Model-as-a-Service – wobei Dritte wesentliche Kontrolle über Eingaben, Parameter oder Trainingsdaten erhalten – erfordert eine separate kommerzielle Vereinbarung. Eingebettete Funktionen, interne Nutzung und bloße Weiterleitung sind ausgenommen. Der Besitz des Artefakts bedeutet, dass die Bedingungen, denen Sie zugestimmt haben, die Bedingungen sind, die gelten.

Das Recht auf Fine-Tuning. Ein Derivat, das du trainierst, gehört dir, und keine gehostete API kann das zu irgendeinem Preis bieten.

Determinismus. Der Checkpoint, den Sie validiert haben, ist der Checkpoint, den Sie ausführen. Ein gehostetes Modell kann unter demselben Namen auf eine neue Version umgestellt werden; eine Datei auf Ihrer Festplatte kann das nicht.

Was keines dieser vier ist: günstiger pro Token. Die obige Rechnung schließt das für jedes Team unterhalb von Hyperscale aus, und ein Plan, der auf der Erwartung von Einsparungen basiert, wird seine erste Rechnung nicht überstehen.

Die Lizenzklausel, die ein Hoster zweimal lesen muss

Wenn Ihr Grund für das Selbsthosting darin besteht, das Modell Kunden zur Verfügung zu stellen, ist Klausel 2 der Absatz, der Ihre rechtliche Gestaltung entscheidet. Die Berechnung für Ihre eigenen Produkte ist zulässig; eine Plattform, die Kunden das Modell und eine maßgebliche Kontrolle über Eingaben, Parameter oder Training übergibt, gibt es unter dieser Lizenz ohne separate Vereinbarung nicht. Die Ausnahme für die „bloße Weiterleitung von Anfragen an Modelle, die von anderen gehostet werden“ ist eng gefasst und wörtlich zu nehmen: Die Weiterleitung an den Endpunkt eines anderen ist kein Hosting.

Diese Unterscheidung ist das Einzige auf dieser Seite, das eine Preisliste nicht beantworten kann, und sie ist vor einem GPU-Kauf eine Anwaltsstunde wert.

Wer sollte es herunterladen?

Laden Sie herunter, wenn eine Aufsichtsbehörde, ein Kundenvertrag oder eine Datenklassifizierungsrichtlinie Ihnen die Antwort bereits gegeben hat. Laden Sie herunter, wenn Sie feinabstimmen und ein Derivat ausliefern wollen, denn das ist eine Funktion, die die API nicht verkauft. Laden Sie herunter, wenn Sie Blackwell-Kapazität haben, die bereits bezahlt und ungenutzt ist – der NVFP4-Pfad auf vier B200s ist die einzige Konfiguration, bei der die Zahlen in die Nähe des Break-even kommen.

Wenn es um den Preis ging, bleiben Sie bei der API. Zu 0,68 $ und 2,09 $ im Angebot bzw. 1,36 $ und 4,18 $ zum Listenpreis ist der Aufruf dieses Modells eine der günstigsten Möglichkeiten auf dem Markt, eine multimodale Antwort mit einer Billion Parametern zu erhalten – vorausgesetzt, Sie betrachten die Aktion als Zeitfenster und nicht als Tarif. Mistral Large 4 ist nicht im Katalog von OrcaRouter enthalten, daher läuft dieser Weg über Mistrals eigene API und Hosts von Drittanbietern; die allgemeine Form, die wir anbieten, ist ein OpenAI-kompatibler Endpunkt für 224 Modelle zum Listenpreis des Anbieters ohne Aufschlag, bei dem eine Preisänderung eines Anbieters am Tag ihrer Ankündigung wirksam wird und nicht erst bei der nächsten Verlängerung.