Die Gewichte von Step 5 Preview fehlten nie: Was der NVFP4-Checkpoint ändert

S​tep 5 Previewist seit dem Tag, an dem StepFun es am 20. September 2026 veröffentlicht hat, herunterladbar – und ein großer Teil dessen, was seitdem über das Modell geschrieben wurde, behauptet etwas anderes. Das FP8-Repository stepfun-ai/S​tep-5-Preview wurde an jenem Morgen um 03:15 UTC angelegt, und sein erster Shard wurde 36 Minuten später committet; das BF16-Repository folgte um 03:52, und seine Shards landeten um 04:18. Beide stammen von StepFun selbst, beide sind ungegated, und zusammen tragen sie 1,86 Terabyte an Gewichten. Was sich Mitte Oktober änderte, ist enger gefasst und nützlicher als eine Neuveröffentlichung: StepFun veröffentlichte einen dritten Checkpoint im NVFP4-Format von N​VIDIA, und am 15. Oktober 2026 hat N​VIDIA ihn öffentlich befürwortet – nannte ihn „ihr größtes Open-Weights-Release“, sagte, das Modell „sei dafür gebaut, Agent-Aufgaben zu bewältigen, die bis zu 24 Stunden dauern“, und nannte eine Zahl: „fast 8K Tokens/Sek./GPU auf N​VIDIA GB300 mit NVFP4“.

Das ist die Nachricht. Die Korrektur ist der Grund, warum dieser Beitrag mit einem Datum beginnt statt mit einer Ankündigung. Berichterstattung, die am 20. September verfasst wurde, stieß auf ein Repository, das erst wenige Minuten alt und kurzzeitig leer war, und die Formulierung „Gewichte für einen späteren Zeitpunkt versprochen“ hielt sich hartnäckig, selbst nachdem die Gewichte noch am selben Morgen eintrafen. Ein verwandter Artikel auf dieser Seite wiederholte sie noch am 13. Oktober. Es ist jetzt nicht wahr und war es damals nicht, und es ist wichtig, weil die Open-Weights-Frage der mit Abstand größte ungelöste Punkt in jedem Bericht über dieses Modell war.

Was wurde am 14. und 15. Oktober tatsächlich ausgeliefert?

Das neue Artefakt ist stepfun-ai/S​tep-5-Preview-NVFP4. Das Repository wurde am 14. Oktober 2026 um 02:59 UTC erstellt, und der Weight-Upload ist ein Commit am selben Tag um 07:10 UTC von einem Mitwirkenden, dessen Konto, huangyu-nv, eine Stunde später auch das README neu schrieb, um es an die FP8- und BF16-Repositories anzugleichen. Es umfasst 394,18 GB verteilt auf 95 Safetensors-Dateien, angeordnet als 92 Dateien pro Layer plus zwei Extras und eine Vision-Tower-Datei — ein anderes Sharding-Schema als die FP8- und BF16-Repos, die beide 24 Text-Shards plus einen Multi-Token-Prediction-Head und ein ViT liefern.

Was darin steht, ist es wert, präzise genannt zu werden, denn „NVFP4“ wird derzeit recht lose verwendet. Der Quantisierungsblock in config.json liest sich wie folgt: quant_method: modelopt, quant_algo: NVFP4, group_size: 16 und kv_cache_quant_algo: null. Die Ignorierliste ist lang und spezifisch: 92 Self-Attention-Blöcke, 88 MoE-Gates, 88 geteilte Experten, die Embedding-Tabelle, die finale Norm und der Language-Model-Head, plus der Vision-Tower und sein Projektor. Nur drei Einträge in der gesamten Liste berühren moe.experts Einfach gesagt: Attention und die Routing-Maschinerie bleiben in höherer Präzision, und die Feed-Forward-Gewichte der Experten – der Großteil der 600 Milliarden Parameter – sind der Teil, der quantisiert wurde. Der KV-Cache bleibt unangetastet, was das entscheidende Detail dafür ist, ob Ihre Long-Context-Serving-Konfiguration den Wechsel übersteht.

Hugging Faces eigene Parameterbilanz in diesem Repository weist 320,6 Milliarden aus, aufgeteilt in 282,4 Milliarden U8, 38,2 Milliarden BF16 und 2,4 Millionen F32, und die Dateiseite gibt „321B params“ als Modellgröße aus. Die Modellkarte von StepFun auf derselben Seite nennt 600B insgesamt und 27B aktiv. Beides ist korrekt, und es werden unterschiedliche Dinge gezählt: Die 321B-Zahl ist eine Speicherzählung quantisierter Elemente, keine Parameteranzahl in dem Sinne, in dem die Architekturbeschreibung sie verwendet. Wenn Sie den Speicher dimensionieren, verwenden Sie die Speicherzahl. Wenn Sie das Modell beschreiben, verwenden Sie die Modellkarte.

Drei Checkpoints, drei Hardware-Rechnungen

Der Grund, warum die NVFP4-Veröffentlichung mehr zählt als eine vierte Datei in einem Ordner, ist, dass sie die kleinste Maschine verändert, auf der du dieses Modell ausführen kannst. StepFuns eigene Bereitstellungstabelle in der Modellkarte gibt die Shapes für die beiden älteren Checkpoints an, und die Repositories geben die Größen an; hier stehen sie zusammen, ergänzt um die NVFP4-Zeile.

• Präzision — FP8 650,32 GB vs. BF16 1.214,9 GB vs. NVFP4 394,18 GB auf der Festplatte

• Kleinste veröffentlichte vLLM-Konfiguration — FP8 ein B300-Knoten mit 4 GPUs oder ein H200-Knoten mit 8 GPUs vs. BF16 ein B300-Knoten mit 8 GPUs oder zwei H200-Knoten mit 16 GPUs vs. NVFP4 noch nicht in StepFuns Tabelle enthalten

• Die von der Karte empfohlene Parallelität — FP8 TP4, TEP4 oder DEP4 auf B300 vs. BF16 TP8, TEP8 oder DEP8 vs. NVFP4 nicht angegeben

• Attention- und Router-Gewichte — FP8 auf acht Bit quantisiert vs. BF16 in voller Präzision vs. NVFP4, das durch die ModelOpt-Ignore-Liste unquantisiert bleibt

• KV-Cache — in allen drei nicht quantisiert, da die NVFP4-Konfiguration kv_cache_quant_algo auf null setzt

• Serving-Stack — alle drei über vLLM oder SGLang mit einem OpenAI-kompatiblen Endpoint oder offline über den eigenständigen Transformers-Pfad

Die Lücke in den letzten beiden Zeilen ist der ehrliche Vorbehalt zum neuen Checkpoint. N​VIDIAs Beitrag besagt, dass das Modell mit fast 8K Tokens pro Sekunde pro GPU auf GB300 unter Verwendung von NVFP4 läuft, aber StepFuns Deployment-Tabelle wurde nicht um eine NVFP4-Zeile aktualisiert, sodass es noch kein vom Anbieter veröffentlichtes Parallelisierungsrezept dafür gibt. Wenn Sie diese Woche ein Deployment planen, ist der FP8-Pfad derjenige mit einer dokumentierten Konfiguration und der NVFP4-Pfad derjenige mit einer Schlagzeilen-Zahl, die an der Hardware von jemand anderem hängt.

Die 8K-Angabe ist eine Herstellerangabe, und nur ein Hersteller hat sie genannt.

N​VIDIAs Beitrag vom 15. Oktober ist der gesamte Erstanbieter-Beleg dazu. Es gibt keinen Eintrag im N​VIDIA-Entwicklerblog, keine StepFun-Ankündigungsseite und keine von außen überprüfbare Nachbildung der Durchsatzangabe durch Dritte. „Fast 8K Token/s/GPU“ ist zudem eine Aussage, die ohne die Batch-Größe, die Sequenzlänge und die Nebenläufigkeit, bei der gemessen wurde, wenig bedeutet – dieselbe Modellkonfiguration kann über diese drei Achsen hinweg um eine Größenordnung abweichen, und Serving-Frameworks für Mixture-of-Experts-Modelle reagieren besonders empfindlich darauf, wie viele Experten pro Token aktiv sind. Behandle es als N​VIDIA-Bericht über N​VIDIA-Hardware – was genau dem entspricht, was es zu sein vorgibt – und nicht als unabhängig verifizierte Durchsatzangabe.

Die Behauptung zum 24-Stunden-Agenten hat denselben Status. Es ist eine Fähigkeitsbeschreibung und keine Messung, und StepFuns eigene Karte beschreibt langfristige Ausführung in denselben Begriffen, ohne eine Dauer damit zu verbinden. Die veröffentlichten Evaluierungsnotizen des Anbieters für dieses Modell listen tatsächlich den Harness und die Einstellungen auf – Temperatur 1.0, Top-p 0.95, Top-k 0, die Einstellung High reasoning, den SWE-agent-Harness für DeepSWE v1.1 –, was mehr ist, als viele Release-Karten bieten, aber die Ergebnistabelle selbst ist ein Bild, und StepFun veröffentlicht keine numerische Benchmark-Tabelle in seiner Dokumentation. Der einzige neutrale Bewerter mit einer Live-Bewertung für dieses Modell ist Artificial Analysis, wo S​tep 5 Preview bei 44 im Intelligence Index liegt und ursprünglich 1,03 $ pro Index-Aufgabe kostete.

Das Deployment-Rezept ist zusammen mit dem Checkpoint eingetroffen, und es ist der Teil, den Sie verwenden werden.

Wenn man die Repository-Historien liest, sind die Gewichtsdateien und die Anleitungen nicht zusammen angekommen. Beide älteren Repositories wurden zwischen dem 13. und 14. Oktober neu geschrieben – sieben README-Commits im FP8-Repo zwischen dem 13. und 15. Oktober – und was diese Commits hinzugefügt haben, ist ein vollständiger Serving-Leitfaden: ein veröffentlichtes Container-Image unter vllm/vllm-openai:step-5-preview, funktionierende Befehle für Tensor-, Expert- und kombinierte Parallelität, das Flag-Set, das dieses Modell benötigt, und einen validierten SGLang-Pfad. Die Flags sind der Punkt, an dem die modellspezifische Arbeit sichtbar wird: --max-model-len 1048576, ein spekulativer Decoding-Head, konfiguriert als --spec-method mtp --spec-tokens 3, und dedizierte --reasoning-parser step5 und --tool-call-parser step5 Parser, damit die Reasoning-Blöcke und Tool-Aufrufe des Modells den Roundtrip durch eine O​penAI-förmige API überstehen. Auf Blackwell schalten die TEP- und DEP-Konfigurationen das MoE-Backend auf deep_gemm_mega_moe; die einfache TP4-Konfiguration kann das nicht, weil dieses Backend Expertenparallelität erfordert.

Das ist Framework-Support, der ankommt, und für jeden, der entscheidet, ob er auf diesem Modell aufbauen soll, ist er mehr wert als die Durchsatzbehauptung. Ein 650-GB-Download mit einem nicht validierten Startbefehl ist ein Forschungsprojekt. Ein 650-GB-Download mit einem gepinnten Container-Image, vier getesteten parallelen Konfigurationen pro Präzision und einem Parser, der das eigene Ausgabeformat des Modells versteht, ist ein Deployment.

Wenn Sie nichts davon selbst betreiben möchten, ist die Rechnung bei diesem Modell ungewöhnlich. S​tep 5 Preview läuft auf StepFuns eigener Plattform für 1,00 $ pro Million Input-Tokens, 0,10 $ pro Million Cache-Hit-Input-Tokens und 2,70 $ pro Million Output-Tokens. Ein Monat mit 200 Millionen Input-Tokens und 200 Millionen Output-Tokens kostet also 200 $ bzw. 540 $ – gegenüber ungefähr dem Preis eines B300-Knotens mit vier GPUs pro Monat für die Hardware, die es hostet. Self-Hosting ist hier eine Entscheidung für Kontrolle und Datenresidenz, nicht für Kosten, und dass die Gewichte offen sind, macht es überhaupt zu einer Entscheidung, die Sie treffen dürfen. Es lohnt sich, klar zu sagen, dass S​tep 5 Preview nicht auf OrcaRouters Live-Modellliste steht, sodass die API des Anbieters selbst die richtige Anlaufstelle ist, um es aufzurufen; was eine API für mehr als 200 Modelle Ihnen in dieser Situation tatsächlich bringt, ist die andere Hälfte der Frage – die Kosten des Modells, auf das Sie die Workload verschieben würden, falls ein selbst gehostetes Deployment nicht funktioniert, bei 0 % Aufschlag auf den Listenpreis jedes Anbieters.

Die Lizenz, wörtlich gelesen

„Open weights“ leistet in NVIDIAs Formulierung eine Arbeit, die die Lizenz nicht vollständig deckt, und dies ist der Teil der Geschichte, der am ehesten falsch verstanden wird. Die StepFun Model License 1.0 ist eine unbefristete, weltweite, lizenzgebührenfreie, nicht ausschließliche Erlaubnis, die Gewichte zu nutzen, zu kopieren, zu verbreiten, Unterlizenzen zu vergeben, sie zu verändern und davon abgeleitete Werke zu erstellen, mit einer entsprechenden Patentgewährung. Sie ist keine OSI-zugelassene Open-Source-Lizenz, und es gibt zwei Bedingungen, die man kennen sollte, bevor man ein Geschäft darauf aufbaut.

• Namensnennung — wenn ein kommerzielles Produkt oder eine kommerzielle Dienstleistung, das bzw. die das Modell einsetzt, in einem Kalendermonat 100 Millionen monatlich aktive Nutzer oder 20 Millionen US-Dollar Umsatz überschreitet, müssen Sie „Powered by StepFun AI“ gut sichtbar in der Produktoberfläche und in Ihrer Nutzervereinbarung anzeigen

• Separate kommerzielle Lizenz erforderlich — wenn Sie Hardwarehersteller oder Markeninhaber sind und die Fähigkeiten des Modells in Geräten ausliefern, oder wenn Sie ein Model-as-a-Service-Geschäft betreiben und der kombinierte Umsatz in einem beliebigen Zwölfmonatszeitraum 20 Millionen US-Dollar übersteigt

• Was ausdrücklich nicht MaaS ist – die Modellfähigkeit in eine feste Endnutzerfunktion einzubetten oder Anfragen lediglich an das Modell eines anderen Anbieters weiterzuleiten

• Was ohne die zusätzliche Vereinbarung ausdrücklich erlaubt ist – interne Nutzung, die das Modell oder seine Fähigkeiten keinem Dritten gegenüber offenlegt, und Nutzung, die über einen von StepFun zertifizierten Vertriebskanal im Rahmen dieser Zertifizierung erlangt wurde

• Beendigung — eine wesentliche Vertragsverletzung beendet die Gewährung, mit einer dreißigtägigen Heilungsfrist nach schriftlicher Mitteilung

Die praktische Lesart ist also, dass die Gewichte tatsächlich herunterladbar und tatsächlich nutzbar sind, auch kommerziell, bis zu den Schwellenwerten in Abschnitt 2. Ein Startup, das dieses Modell für interne Dokumentenarbeit feinabstimmt, ist von der Gewährung abgedeckt. Ein Handyhersteller, der es als Feature ausliefert, oder ein Anbieter gehosteter Inferenz mit mehr als 20 Millionen Dollar Umsatz fällt nicht darunter. Das ist dieselbe Art von Beschränkung, die die Llama- und Qwen-Lizenzen verwenden, und es lohnt sich, das klar zu sagen, anstatt es unter „offen“ abzulegen.

Was das für das Modell bedeutet

Ein Mixture-of-Experts-Modell mit 600 Milliarden Parametern und 27 Milliarden aktiven Parametern, einem Kontext von einer Million Token, Text-, Bild- und Videoeingabe, einer maximalen Ausgabe von 64k in der Dokumentation von StepFun, einer ungefähren Preisliste von $1.00 / $2.70, einem Indexwert von 44 von dem einzigen neutralen Evaluator, der es bewertet hat, und drei herunterladbaren Checkpoints in drei Präzisionen. Veröffentlicht am 20. September 2026. Die Gewichte sind seit dem Morgen der Veröffentlichung offen. Am 14. Oktober für Blackwell quantisiert, am 15. Oktober vom GPU-Anbieter bestätigt, mit einem Durchsatzwert, den niemand außerhalb von N​VIDIA reproduziert hat.

Das nächste, was es zu beobachten lohnt, ist nicht ein weiterer Endpunkt. Es ist die erste unabhängige Messung zum NVFP4-Checkpoint – ein Durchsatz- oder Qualitätsvergleich mit dem FP8-Pfad von jemandem, der nicht die Hardware verkauft. Quantisierung auf vier Bit, wobei der Attention-Stack zurückgehalten wird, ist ein vernünftiges Design, und die konkrete Frage ist, ob die Expertengewichte das überstehen. Bis jemand das veröffentlicht, ist die ehrliche Haltung zum neuen Checkpoint dieselbe, die die September-Berichterstattung bei den alten hätte einnehmen sollen: Die Gewichte sind echt, das Rezept ist echt, und die Leistungsbehauptung stammt vom Anbieter.

Ein Ergebnis wie dieses ist auch eine Erinnerung daran, dass Modellfehler bereits dokumentiert sind: Die KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse werden im OrcaRouter AI Incident Archive gesammelt, wobei jeder Eintrag eigene Quellen, einen Schweregrad, eine Konfidenzstufe und eine Kennzeichnung als umstritten trägt.