NVIDIA heeft stilletjes een drafter uitgebracht voor Meta's 816B-vlaggenschip

NVIDIA published nvidia/Muse-Spark-Open-816B-A42B-DFlash2 to Hugging Face on October 16, 2026, and told nobody. The repository is a draft checkpoint — a 4.38-billion-parameter speculative-decoding model whose entire job is to guess the next several tokens of Muse-Spark-Open-816B-A42B, Meta's 816-billion-parameter open-weight flagship, so the large model can verify a whole block of guesses in one forward pass instead of emitting one token at a time. There is no NVIDIA blog post, no announcement thread, no press release, and as of writing the repository shows zero downloads and zero likes. What it does have is a model card with acceptance-length tables, a working vLLM invocation, and a short list of things it conspicuously declines to claim. This is what the artifact says and what it does not. What the numbers cannot tell you is whether any of it has gone wrong in the field: the documented AI incidents and agent failures around models in this class are collected in the OrcaRouter AI Incident Archive where each entry carries its own sources, severity, confidence grade and disputed flag.

Wat is uitgebracht, in de volgorde waarin het kan worden gecontroleerd

Alles hieronder is afkomstig uit de repository of uit de eigen API van Hugging Face daarvoor. Niets ervan vereist dat je een leveranciersbenchmark vertrouwt.

• De timing — de repo werd aangemaakt om 04:40 UTC op 16 oktober 2026 en de gewichten ervan werden ongeveer veertig minuten later gecommit; de eigen release-regel van de kaart luidt "Huggingface: 10/16/2026". Er is geen begeleidende publicatie op de developerblog van NVIDIA, en de modelkaart verwijst alleen naar de DFlash-paper en het Model Optimizer-project.

• Het artefact — één safetensors-bestand in BF16, 4.384.162.432 parameters, ongeveer 8,8 GB opslag. De architectuurklasse is DFlash2DraftModel, met vijf dense decoderlagen, niet-causale sliding-window-attentie met een venster van 2.048, een verborgen grootte van 8.192, 128 query-heads tegenover 16 key-value-heads met elk 64 dimensies, en een vocabulaire van 202.048. Blokgrootte is 8; de draft gebruikt vijf lagen van het doel — 3, 19, 31, 47 en 59 — van de 62.

• Het is vrij toegankelijk — Hugging Face meldt dat de repository openbaar en onbeperkt is. Je kunt de drafter nu direct downloaden, terwijl de doelrepository van Meta nog achter een login zit waar je de voorwaarden moet accepteren.

• De licentiestack — het concept-checkpoint valt onder de NVIDIA Open Model Agreement, en de kaart voegt daar bovenop Meta's Muse Model License aan toe, waarbij de attributiestring "Built with Muse Spark Open" vereist is voor alles wat erop is gebouwd.

• De herkomst, zoals vermeld door NVIDIA — de eigen kennisgeving van derden op de kaart zegt ronduit dat Muse-Spark-Open-816B-A42B "niet eigendom is van NVIDIA en niet door NVIDIA is ontwikkeld" en dat dit conceptmodel "door NVIDIA is getraind voor gebruik met dat doelmodel". De trainingsprompts zijn afkomstig uit NVIDIA's Nemotron-Post-Training-Dataset-v2, ongeveer 3,48 miljoen meertalige samples over wiskunde, code en STEM, met antwoorden die door het doelmodel zijn gesynthetiseerd over vijf niveaus van redeneerinspanning.

• De toolchain — op de kaart staat dat het model is getraind met "een pre-release build van NVIDIA Model Optimizer 0.47". Model Optimizer 0.47.0 werd op 23 september 2026 publiekelijk uitgebracht, en 0.48.0rc0 volgde op 8 oktober, dus het recept waaruit deze drafter is voortgekomen, kan nu door een derde partij opnieuw worden uitgevoerd.

Dit is niet de eerste drafter voor dit model, en niet de eerste drafter van NVIDIA.

Beide feiten zijn van belang om te beoordelen wat hier werkelijk nieuw is, want elk van beide afzonderlijk zou de daling doen lijken op iets wat ze niet is.

NVIDIA publiceert sinds de zomer stilletjes DFlash-familie draftmodellen voor de open weights van anderen: MiniMax-M2.7-DFlash medio juni, Kimi-K2.6-DFlash en daarna Kimi-K2.7-Code-DFlash in juni en juli, en een Nemotron 3.5 Lightning 30B-draftmodel begin augustus. Een Muse Spark Open-draftmodel van NVIDIA is het volgende item in een reeks, geen debuut.

Ook Muse Spark Open had al drafters vóór deze. Een DFlash2-checkpoint onder een externe organisatie werd op 13 oktober gepubliceerd op Hugging Face, en een DSpark-checkpoint voor hetzelfde doel werd voor het laatst bijgewerkt op 15 oktober — beide ongeveer een maand nadat Meta's eigen day-zero-stack DFlash V2 voor de ene runtime en DSpark voor de andere noemde. Dus "er bestaat een drafter voor Muse Spark Open" is niet het verhaal.

Het verhaal is specifieker en nuttiger: NVIDIA's eigen, met Model Optimizer getrainde BF16 DFlash2-checkpoint bestaat nu voor het model, gepubliceerd voor Blackwell-hardware met vLLM als geteste engine. Als je kiest welke drafter je wilt draaien, is de keuze eigenlijk een keuze van servingstack, en daar lopen de twee paden uiteen.

De cijfers, en de exacte voorwaarden die eraan verbonden zijn

NVIDIA rapporteert één grootheid over drie testsets: acceptatielengte, het gemiddelde aantal tokens dat per generatiestap wordt geproduceerd, gemeten met conceptlengte 7.

• MT-Bench, 80 vragen met twee beurten — 3,73 tokens per geaccepteerde stap bij greedy decoding en 3,01 bij sampling. Wiskunde is de sterkste categorie met 4,47; geesteswetenschappen de zwakste met 2,92.

• SPEED-Bench kwalitatief, 880 prompts verdeeld over 11 categorieën — 3,72 greedy en 3,01 sampling. Meertalig bereikt 4,27 en programmeren 4,15, terwijl schrijven achterblijft op 3,05.

• SPEED-Bench-doorvoer, invoer van 32.000 tokens — 3,30 greedy en 2,78 sampling, en hier wordt het beeld minder rooskleurig: de bucket met hoge entropie zakt naar 2,51 greedy en 2,16 sampling, tegenover 3,71 voor tekst met lage entropie.

• De condities — reasoning effort xhigh, 4.096 outputtokens, gelijktijdigheid 32, op één GB300-node met TP4 en EP4, geserveerd via vLLM met het doelmodel in NVFP4. De greedy-waarden zijn bij temperatuur 0; de sampling-waarden zijn bij temperatuur 1.0 zonder top-p- of top-k-truncatie, waarbij een probabilistische draft-samplingmethode wordt gebruikt.

Drie kanttekeningen horen naast die cijfers te staan, niet eronder. Ten eerste zijn ze door de leverancier opgegeven en we hebben er geen enkele gereproduceerd, en ook niemand anders heeft een onafhankelijke meting van dit checkpoint gepubliceerd. Ten tweede is acceptatielengte geen snelheidswinst — het is het plafond waaruit een snelheidswinst wordt berekend. Elk geaccepteerd token moet nog steeds worden geverifieerd door een model met 816 miljard parameters, en de eigen forward pass van de drafter kost ook iets; NVIDIA heeft geen tokens-per-secondeverhouding en geen latentievergelijking gepubliceerd, en net dat cijfer zou een lezer die overweegt dit te implementeren, willen zien. Ten derde is dit allemaal gemeten bij een gelijktijdigheid van 32, wat niet het regime is waarin speculatief decoderen doorgaans het beste rendeert — de winst concentreert zich in latentiegebonden single-streams met een lage batchgrootte, en een drukke server krijgt minder.

Wat deze tabellen helemaal niet meten, is uitvoerkwaliteit. Verificatie bij greedy decoding is ontworpen om de eigen tokens van het doelmodel terug te geven, dus de greedy-kolom ligt dicht bij een pure snelheidsclaim. De sampling-kolom is degene die je op je eigen verkeer moet testen, omdat een probabilistische drafter verandert hoe de distributie wordt doorlopen, niet alleen hoe snel.

Hoe je het daadwerkelijk zou inschakelen

De kaart geeft één ondersteunde aanroep, en het is één enkele flag op een vLLM-server. Je serveert het doel en geeft de drafter door via het argument speculative-config: de methode is "dflash", het model is het NVIDIA-checkpoint, het aantal speculatieve tokens is 7, de draft-samplemethode is probabilistisch, en het commando vereist dat remote code wordt vertrouwd. TensorRT-LLM is de tweede engine die de kaart vermeldt; vLLM is de engine die men als de acceleratie-engine noemt en die men op Blackwell heeft getest.

Twee hiaten zijn het benoemen waard. De regel voor ondersteunde hardware van de kaart is NVIDIA Blackwell met Linux, dus dit is een datacenter-GPU-pad in plaats van iets dat in een Apple-silicon- of consumentenopstelling past. En SGLang — de runtime waar het eigen lanceringsmateriaal van Meta DFlash V2 doorheen leidt — komt nergens voor in NVIDIA's lijst met engines voor dit checkpoint. De twee drafters zijn niet uitwisselbaar; als je servingstack SGLang is, is deze repository niet voor jou geschreven.

Wat een opsteller voor een lezer verandert, en wat niet

Speculatieve decoding is het deel van inferentie met grote modellen dat mensen bereikt die nooit een gewicht zullen downloaden, omdat het de belangrijkste hefboom is voor hoe goedkoop zeer grote open modellen kunnen worden aangeboden. Een beter conceptmodel betekent meer geaccepteerde tokens per stap, wat meer doorvoer per GPU betekent, en dat is wat uiteindelijk tot uiting komt in een lagere prijs en een snellere eerste token bij een API. Daarom is een model van 4,38 miljard nieuws, ook al zal bijna niemand die erover leest het draaien.

Dat gezegd hebbende, zet deze geen 816B-model op je bureau. Het is een toevoeging van 8,8 GB aan een doelmodel waarvan de kleinste praktische checkpoint in honderden gigabytes wordt gemeten, op Blackwell-silicium, onder twee licenties die op elkaar gestapeld zijn. Het is geen model waarmee je chat, het produceert zelf geen tekst, en het kan helemaal niet draaien zonder het doelmodel waarvoor het is getraind om te draften.

Als je Muse Spark-capabiliteit wilt zonder dat alles, is de geserveerde lijn waar die zit: Muse Spark 1.2 en Muse Spark 1.1 zijn de twee checkpoints die OrcaRouter routeert, beide tegen Meta's adviesprijs met 0% opslag die rechtstreeks wordt doorgegeven, omdat de prijs van de provider wordt doorgegeven in plaats van te worden verhoogd. Muse Spark Open en dit DFlash2-conceptcheckpoint staan niet in onze catalogus en we gaan niet anders suggereren — een drafter voor self-hosted weights is self-hosted infrastructuur. Waar we er nog steeds nuttig omheen zijn, is het saaie gedeelte: één API voor 200+ modellen, automatische failover wanneer een provider verslechtert, en een routing-DSL die verkeer tussen modellen verplaatst op basis van configuratie in plaats van een codewijziging, wat een goedkope manier is om erachter te komen wat een onbewezen checkpoint doet met echt verkeer, zonder er een productiepad op in te zetten.

Wat zou de openstaande vragen beslechten

Vier dingen zouden dit stuk veranderen, en geen ervan is een mysterie over Nvidia's bedoelingen.

• Een end-to-end versnellingscijfer — tokens per seconde of latentie ten opzichte van een overeenkomstige niet-speculatieve baseline op dezelfde hardware, gemeten door iemand anders dan NVIDIA. Acceptatielengte vertelt je dat de draft vaak aanslaat; het vertelt je niet dat de server sneller is geworden.

• Een vergelijking tussen BF16- en NVFP4-doelen — elke gepubliceerde tabel is gemeten ten opzichte van het NVFP4-doel, wat de meeste mensen daadwerkelijk zullen serveren, maar de kaart meldt geen enkel geval waarin het doel op hogere precisie werd uitgevoerd.

• Ondersteuning buiten vLLM en TensorRT-LLM — als het checkpoint opduikt in SGLang, worden de twee DFlash2-drafters voor Muse Spark Open onderling verwisselbaar in plaats van stackspecifiek, en dan wordt de keuze tussen beide eenvoudig.

• Een hertraining met vrijgegeven tooling — deze drafter is voortgekomen uit een pre-release-build van Model Optimizer 0.47. Nu 0.47.0 sinds 23 september openbaar is en 0.48.0rc0 sinds 8 oktober uit is, is het recept te onderzoeken, en een checkpoint die erop is getraind zou waarschijnlijk iets rapporteren dat iets beter is.

Totdat ten minste de eerste daarvan beschikbaar komt, is de eerlijke samenvatting dat NVIDIA een goed gedocumenteerde, vrij toegankelijke, hardwarespecifieke drafter voor andermans vlaggenschip heeft uitgebracht, de acceptatielengtes gepubliceerd en de aankondiging overgeslagen — en de reden om dit belangrijk te vinden is niet dat Muse Spark Open sneller is geworden, maar dat de infrastructuur om open gewichten met 816 miljard parameters op schaal betaalbaar te maken, net zo geruisloos blijft opduiken als dit.