NVIDIA liefert still und leise einen Drafter für Metas 816B-Flaggschiff aus

NVIDIA published nvidia/Muse-Spark-Open-816B-A42B-DFlash2 to Hugging Face on October 16, 2026, and told nobody. The repository is a draft checkpoint — a 4.38-billion-parameter speculative-decoding model whose entire job is to guess the next several tokens of Muse-Spark-Open-816B-A42B, Meta's 816-billion-parameter open-weight flagship, so the large model can verify a whole block of guesses in one forward pass instead of emitting one token at a time. There is no NVIDIA blog post, no announcement thread, no press release, and as of writing the repository shows zero downloads and zero likes. What it does have is a model card with acceptance-length tables, a working vLLM invocation, and a short list of things it conspicuously declines to claim. This is what the artifact says and what it does not. What the numbers cannot tell you is whether any of it has gone wrong in the field: the documented AI incidents and agent failures around models in this class are collected in the OrcaRouter AI Incident Archive where each entry carries its own sources, severity, confidence grade and disputed flag.

Was ausgeliefert wurde, in der Reihenfolge, in der es überprüft werden kann

Alles Folgende stammt aus dem Repository oder aus der eigenen API von Hugging Face dafür. Nichts davon erfordert, einem Anbieter-Benchmark zu vertrauen.

• Der Zeitpunkt — das Repo wurde am 16. Oktober 2026 um 04:40 UTC erstellt und seine Gewichte wurden rund vierzig Minuten später committet; die eigene Release-Zeile der Karte lautet "Huggingface: 10/16/2026". Es gibt keine begleitende Veröffentlichung auf NVIDIAs Entwicklerblog, und die Modellkarte verweist nur auf das DFlash-Paper und das Projekt Model Optimizer.

• Das Artefakt — eine safetensors-Datei in BF16, 4.384.162.432 Parameter, etwa 8,8 GB Speicher. Die Architekturklasse ist DFlash2DraftModel, mit fünf dichten Decoder-Schichten, nicht-kausaler Sliding-Window-Attention mit einem Fenster von 2.048, einer Hidden-Size von 8.192, 128 Query-Heads gegenüber 16 Key-Value-Heads mit jeweils 64 Dimensionen und einem Vokabular von 202.048. Die Blockgröße ist 8; der Draft zapft fünf Schichten des Zielmodells an — 3, 19, 31, 47 und 59 — von 62.

• Es ist nicht zugangsbeschränkt — Hugging Face meldet das Repository als öffentlich und uneingeschränkt. Du kannst den Drafter jetzt herunterladen, während das Ziel-Repository von Meta weiterhin hinter einer Anmeldung mit Zustimmung zu den Nutzungsbedingungen steht.

• Der Lizenz-Stack — der Draft-Checkpoint unterliegt dem NVIDIA Open Model Agreement, und die Card ergänzt obendrauf Metas Muse Model License, wobei die Attributionsangabe "Built with Muse Spark Open" für alles, was darauf aufbaut, erforderlich ist.

• Die Herkunft, angegeben von NVIDIA — die Drittanbieter-Mitteilung der Karte selbst besagt unmissverständlich, dass Muse-Spark-Open-816B-A42B „nicht Eigentum von NVIDIA ist und nicht von NVIDIA entwickelt wurde“ und dass dieser Verfasser „von NVIDIA für die Verwendung mit diesem Zielmodell trainiert wurde“. Die Trainings-Prompts stammen aus NVIDIAs Nemotron-Post-Training-Dataset-v2, rund 3,48 Millionen mehrsprachige Beispiele aus Mathematik, Code und MINT, wobei die Antworten vom Zielmodell über fünf Stufen des Reasoning-Aufwands synthetisiert wurden.

• Die Toolchain — auf der Karte steht, das Modell sei mit „einem Vorab-Build von NVIDIA Model Optimizer 0.47“ trainiert worden. Model Optimizer 0.47.0 wurde am 23. September 2026 öffentlich veröffentlicht, und 0.48.0rc0 folgte am 8. Oktober, sodass das Rezept, aus dem dieser Drafter hervorgegangen ist, nun von Dritten erneut ausgeführt werden kann.

Dies ist nicht das erste Draft-Modell für dieses Modell und nicht NVIDIAs erstes Draft-Modell.

Beide dieser Fakten sind wichtig, um zu beurteilen, was hier tatsächlich neu ist, denn jedes für sich allein würde den Drop wie etwas erscheinen lassen, das er nicht ist.

NVIDIA veröffentlicht seit dem Sommer still und leise DFlash-Familie-Drafter für die offenen Gewichte anderer: MiniMax-M2.7-DFlash Mitte Juni, Kimi-K2.6-DFlash und dann Kimi-K2.7-Code-DFlash im Juni und Juli sowie einen Nemotron 3.5 Lightning 30B Drafter Anfang August. Ein Muse Spark Open Drafter von NVIDIA ist der nächste Eintrag in einer Serie, kein Debüt.

Auch Muse Spark Open hatte bereits vor diesem hier Drafter. Ein DFlash2-Checkpoint unter einer Drittanbieter-Organisation wurde am 13. Oktober auf Hugging Face veröffentlicht, und ein DSpark-Checkpoint für dasselbe Ziel wurde zuletzt am 15. Oktober aktualisiert – beide etwa einen Monat nach Metas eigenem Day-Zero-Stack, der DFlash V2 für die eine Laufzeitumgebung und DSpark für die andere benannte. „Es gibt einen Drafter für Muse Spark Open“ ist also nicht die Story.

Die Aussage ist enger gefasst und nützlicher: NVIDIAs eigener, mit Model Optimizer trainierter BF16-DFlash2-Checkpoint existiert jetzt für das Modell, veröffentlicht für Blackwell-Hardware mit vLLM als getesteter Engine. Wenn Sie wählen, welchen Drafter Sie ausführen, ist die Entscheidung eigentlich eine Entscheidung für den Serving-Stack, und genau dort gehen die beiden Wege auseinander.

Die Zahlen und die genauen Bedingungen, die daran geknüpft sind

NVIDIA berichtet eine Kennzahl über drei Testsets hinweg: die Akzeptanzlänge, die mittlere Anzahl pro Generierungsschritt ausgegebener Tokens, gemessen mit Draft-Länge 7.

• MT-Bench, 80 Fragen mit zwei Turns — 3,73 Tokens pro akzeptiertem Schritt beim Greedy-Decoding und 3,01 beim Sampling. Mathematik ist mit 4,47 die stärkste Kategorie; die Geisteswissenschaften sind mit 2,92 die schwächste.

• SPEED-Bench qualitativ, 880 Prompts in 11 Kategorien — 3,72 bei Greedy und 3,01 bei Sampling. Mehrsprachigkeit erreicht 4,27 und Coding 4,15, während Schreiben bei 3,05 nachhängt.

• SPEED-Bench-Durchsatz, 32.000-Token-Eingaben — 3,30 greedy und 2,78 Sampling, und hier trübt sich das Bild: Der High-Entropy-Bucket fällt auf 2,51 greedy und 2,16 Sampling ab, gegenüber 3,71 für Text mit niedriger Entropie.

• Die Bedingungen — Reasoning-Aufwand xhigh, 4.096 Ausgabe-Tokens, Parallelität 32, auf einem einzelnen GB300-Knoten bei TP4 und EP4, über vLLM bereitgestellt, mit dem Target in NVFP4. Die Greedy-Werte beziehen sich auf Temperatur 0; die Sampling-Werte beziehen sich auf Temperatur 1,0 ohne Top-p- oder Top-k-Trunkierung, unter Verwendung einer probabilistischen Draft-Sampling-Methode.

Drei Vorbehalte gehören neben diese Zahlen statt unter sie. Erstens: Sie sind Anbieterangaben, und wir haben keine davon reproduziert; auch sonst hat niemand eine unabhängige Messung dieses Checkpoints veröffentlicht. Zweitens: Die Akzeptanzlänge ist keine Beschleunigung – sie ist die Obergrenze, aus der eine Beschleunigung berechnet wird. Jedes akzeptierte Token muss weiterhin von einem Modell mit 816 Milliarden Parametern verifiziert werden, und auch der eigene Vorwärtsdurchlauf des Drafters kostet etwas; NVIDIA hat weder ein Tokens-pro-Sekunde-Verhältnis noch einen Latenzvergleich veröffentlicht, wobei genau das die Zahl ist, die ein Leser, der über den Einsatz entscheiden will, haben möchte. Drittens: All das wurde bei Nebenläufigkeit 32 gemessen, was nicht das Regime ist, in dem spekulative Dekodierung üblicherweise am meisten bringt – die Gewinne konzentrieren sich auf latenzgebundene Einzelstreams mit kleiner Batch-Größe, und ein ausgelasteter Server bekommt weniger.

Was diese Tabellen überhaupt nicht messen, ist die Qualität der Ausgabe. Die Verifikation unter Greedy-Dekodierung ist darauf ausgelegt, die eigenen Token des Zielmodells zurückzugeben, weshalb die Greedy-Spalte einer reinen Geschwindigkeitsbehauptung nahekommt. Die Sampling-Spalte ist diejenige, die man mit dem eigenen Traffic testen sollte, denn ein probabilistischer Drafter verändert, wie die Verteilung durchlaufen wird, nicht nur, wie schnell.

Wie du es tatsächlich einschalten würdest

Die Karte gibt einen unterstützten Aufruf an, und es handelt sich um ein einzelnes Flag auf einem vLLM-Server. Sie servieren das Ziel und übergeben den Drafter über das speculative-config-Argument: Die Methode ist "dflash", das Modell ist der NVIDIA-Checkpoint, die Anzahl der spekulativen Token ist 7, die Draft-Sample-Methode ist probabilistisch, und der Befehl erfordert, dass Remote-Code vertraut wird. TensorRT-LLM ist die zweite Engine, die die Karte auflistet; vLLM ist diejenige, die sie als Beschleunigungs-Engine nennt und die sie auf Blackwell getestet hat.

Zwei Lücken verdienen es, benannt zu werden. Die Zeile zur unterstützten Hardware auf der Karte nennt NVIDIA Blackwell mit Linux, es handelt sich also um einen Datacenter-GPU-Pfad statt um etwas, das sich in ein Apple-Silicon- oder Consumer-Setup einfügt. Und SGLang – die Runtime, über die Metas eigenes Launch-Material DFlash V2 routet – taucht in NVIDIAs Liste der Engines für diesen Checkpoint nirgends auf. Die beiden Drafter sind nicht austauschbar; wenn Ihr Serving-Stack SGLang ist, ist dieses Repository nicht für Sie geschrieben.

Was ein Verfasser für einen Leser ändert und was nicht

Spekulative Dekodierung ist der Teil der Inferenz großer Modelle, der Menschen erreicht, die niemals ein Gewicht herunterladen werden, denn sie ist der wichtigste Hebel dafür, wie kostengünstig sehr große offene Modelle bereitgestellt werden können. Ein besseres Draft-Modell bedeutet mehr akzeptierte Tokens pro Schritt, was mehr Durchsatz pro GPU bedeutet, und genau das schlägt sich schließlich in einem niedrigeren Preis und einem schnelleren ersten Token bei einer API nieder. Deshalb ist ein 4,38B-Modell berichtenswert, obwohl fast niemand, der darüber liest, es ausführen wird.

Allerdings bringt dieses hier kein 816B-Modell auf Ihren Schreibtisch. Es ist ein 8,8 GB großes Anhängsel an ein Zielmodell, dessen kleinster praktikabler Checkpoint in Hunderten von Gigabyte gemessen wird, auf Blackwell-Silizium, unter zwei übereinander gestapelten Lizenzen. Es ist kein Modell, mit dem man chattet, es erzeugt keinen eigenen Text und kann überhaupt nicht laufen ohne das Zielmodell, für das es trainiert wurde, Entwürfe zu erstellen.

Wenn Sie die Muse-Spark-Fähigkeit ohne all das wollen, lebt sie in der bereitgestellten Linie: Muse Spark 1.2 und Muse Spark 1.1 sind die beiden Checkpoints, die OrcaRouter routet, beide zu Metas Listenpreis mit 0 % Aufschlag, der direkt durchgereicht wird, da der Preis des Anbieters durchgereicht und nicht aufgeschlagen wird. Muse Spark Open und dieser DFlash2-Draft-Checkpoint sind nicht in unserem Katalog, und wir werden nichts anderes suggerieren — ein Drafter für selbst gehostete Gewichte ist selbst gehostete Infrastruktur. Wo wir in diesem Zusammenhang noch nützlich sind, ist der langweilige Teil: eine API über 200+ Modelle hinweg, automatisches Failover, wenn ein Anbieter schlechter wird, und eine Routing-DSL, die Datenverkehr zwischen Modellen per Konfiguration statt per Codeänderung verschiebt, was eine günstige Möglichkeit ist, herauszufinden, was ein unerprobter Checkpoint mit echtem Datenverkehr macht, ohne einen Produktionspfad darauf zu verwetten.

Was würde die offenen Fragen klären

Vier Dinge würden diesen Artikel verändern, und keines davon ist ein Rätsel um NVIDIAs Absichten.

• Eine End-to-End-Beschleunigungszahl — Tokens pro Sekunde oder Latenz gegenüber einer passenden nicht-spekulativen Baseline auf derselben Hardware, gemessen von irgendjemandem außer NVIDIA. Die Akzeptanzlänge sagt Ihnen, dass der Draft oft akzeptiert wird; sie sagt Ihnen nicht, dass der Server schneller geworden ist.

• Ein Vergleich des BF16- mit dem NVFP4-Ziel — jede veröffentlichte Tabelle wurde gegen das NVFP4-Ziel gemessen, also das, was die meisten tatsächlich bereitstellen werden, doch die Karte nennt keinen Fall, in dem das Ziel mit höherer Präzision ausgeführt wurde.

• Unterstützung außerhalb von vLLM und TensorRT-LLM — wenn der Checkpoint in SGLang auftaucht, werden die beiden DFlash2-Drafter für Muse Spark Open austauschbar statt stack-spezifisch, und genau dann wird die Wahl zwischen ihnen einfach.

• Ein Retraining mit veröffentlichtem Tooling — dieses Entwurfsmodell stammt aus einem Pre-Release-Build von Model Optimizer 0.47. Da 0.47.0 seit dem 23. September öffentlich und 0.48.0rc0 seit dem 8. Oktober verfügbar ist, ist das Rezept prüfbar, und ein darauf trainierter Checkpoint würde wahrscheinlich etwas geringfügig Besseres melden.

Bis mindestens das erste davon eintrifft, lautet die ehrliche Zusammenfassung, dass NVIDIA einen gut dokumentierten, nicht durch Zugangsbeschränkungen gesperrten, hardwarespezifischen Drafter für das Flaggschiff eines anderen ausgeliefert, die Akzeptanzlängen veröffentlicht und die Ankündigung ausgelassen hat — und der Grund, sich dafür zu interessieren, ist nicht, dass Muse Spark Open schneller geworden ist, sondern dass die Infrastruktur, die offene Gewichte mit 816 Milliarden Parametern in großem Maßstab bezahlbar macht, weiterhin so leise eintrifft wie hier.