NVIDIA har tyst släppt en draftmodell för Metas 816B-flaggskepp

NVIDIA published nvidia/Muse-Spark-Open-816B-A42B-DFlash2 to Hugging Face on October 16, 2026, and told nobody. The repository is a draft checkpoint — a 4.38-billion-parameter speculative-decoding model whose entire job is to guess the next several tokens of Muse-Spark-Open-816B-A42B, Meta's 816-billion-parameter open-weight flagship, so the large model can verify a whole block of guesses in one forward pass instead of emitting one token at a time. There is no NVIDIA blog post, no announcement thread, no press release, and as of writing the repository shows zero downloads and zero likes. What it does have is a model card with acceptance-length tables, a working vLLM invocation, and a short list of things it conspicuously declines to claim. This is what the artifact says and what it does not. What the numbers cannot tell you is whether any of it has gone wrong in the field: the documented AI incidents and agent failures around models in this class are collected in the OrcaRouter AI Incident Archive where each entry carries its own sources, severity, confidence grade and disputed flag.

Vad som har släppts, i den ordning det kan kontrolleras

Allt nedan kommer från repositoriet eller från Hugging Faces eget API för det. Inget av det kräver att man litar på ett leverantörsbenchmark.

• Tajmingen — repot skapades kl. 04:40 UTC den 16 oktober 2026 och dess vikter committades ungefär fyrtio minuter senare; kortets egen utgivningsrad lyder "Huggingface: 10/16/2026". Det finns ingen medföljande publikation på NVIDIAs utvecklarblogg, och modellkortet hänvisar endast till DFlash-artikeln och projektet Model Optimizer.

• Artefakten — en safetensors-fil i BF16, 4 384 162 432 parametrar, cirka 8,8 GB lagringsutrymme. Arkitekturklassen är DFlash2DraftModel, med fem täta avkodarlager, icke-kausal attention med glidande fönster vid ett fönster på 2 048, en dold storlek på 8 192, 128 query-huvuden mot 16 key-value-huvuden med 64 dimensioner vardera, och ett vokabulär på 202 048. Blockstorleken är 8; utkastet hämtar fem lager från målmodellen — 3, 19, 31, 47 och 59 — av 62.

• Det är inte åtkomstbegränsat — Hugging Face rapporterar att repositoriet är offentligt och utan begränsningar. Du kan ladda ner draftmodellen redan nu, medan Metas målrepositorium fortfarande ligger bakom en inloggning för villkorsgodkännande.

• Licensstacken — utkastets checkpoint styrs av NVIDIA Open Model Agreement, och kortet lägger till Metas Muse Model License ovanpå, med attribueringssträngen "Built with Muse Spark Open" som krävs för allt som byggs på den.

• Härkomsten, angiven av NVIDIA — kortets egen tredjepartsmeddelande säger klart och tydligt att Muse-Spark-Open-816B-A42B "inte ägs eller utvecklas av NVIDIA" och att denna draftare "tränades av NVIDIA för användning med den målmodellen". Träningspromptarna kommer från NVIDIAs Nemotron-Post-Training-Dataset-v2, ungefär 3,48 miljoner flerspråkiga exempel som spänner över matematik, kod och STEM, med svar syntetiserade av målmodellen över fem nivåer för resonemangsansträngning.

• Verktygskedjan – kortet säger att modellen tränades med "ett förhandsbygge av NVIDIA Model Optimizer 0.47". Model Optimizer 0.47.0 släpptes offentligt den 23 september 2026, och 0.48.0rc0 följde den 8 oktober, så receptet som den här draftaren kom från är nu något som en tredje part kan köra igen.

Det här är inte den första draftaren för den här modellen, och inte NVIDIAs första draftare.

Båda dessa fakta har betydelse för att bedöma vad som faktiskt är nytt här, eftersom vart och ett av dem för sig skulle få släppet att framstå som något det inte är.

NVIDIA har i tysthet publicerat draftmodeller ur DFlash-familjen för andras öppna vikter sedan i somras: MiniMax-M2.7-DFlash i mitten av juni, Kimi-K2.6-DFlash och sedan Kimi-K2.7-Code-DFlash under juni och juli, samt en Nemotron 3.5 Lightning 30B-draftmodell i början av augusti. En Muse Spark Open-draftmodell från NVIDIA är nästa inslag i en serie, inte en debut.

Muse Spark Open hade också redan drafters före den här. En DFlash2-checkpoint under en tredjepartsorganisation publicerades på Hugging Face den 13 oktober, och en DSpark-checkpoint för samma mål uppdaterades senast den 15 oktober – båda ungefär en månad efter Metas egen day-zero-stack som namngav DFlash V2 för en runtime och DSpark för den andra. Så ”en drafter finns för Muse Spark Open” är inte historien.

Historien är snävare och mer användbar: NVIDIAs egen, Model Optimizer-tränade BF16 DFlash2-checkpoint finns nu för modellen, publicerad för Blackwell-hårdvara med vLLM som dess testade motor. Om du väljer vilken drafter du ska köra är valet egentligen ett val av serving stack, och det är där de två vägarna skiljer sig åt.

Siffrorna, och de exakta villkoren som är knutna till dem.

NVIDIA rapporterar en kvantitet över tre testset: acceptanslängd, medelantalet token som emitteras per genereringssteg, mätt med utkastlängd 7.

• MT-Bench, 80 frågor i två turer — 3,73 tokens per accepterat steg vid girig avkodning och 3,01 vid sampling. Matematik är den starkaste kategorin med 4,47; humaniora är den svagaste med 2,92.

• SPEED-Bench kvalitativt, 880 prompter inom 11 kategorier — 3,72 med greedy och 3,01 med sampling. Flerspråkighet når 4,27 och kodning 4,15, medan skrivande släpar efter på 3,05.

• SPEED-Bench-genomströmning, indata på 32 000 tokens — 3,30 greedy och 2,78 sampling, och det är här bilden blir dyster: hinken med hög entropi kollapsar till 2,51 greedy och 2,16 sampling, mot 3,71 för text med låg entropi.

• Villkoren — resonemangsinsats xhigh, 4 096 utgående tokens, samtidighet 32, på en enda GB300-nod vid TP4 och EP4, serverad via vLLM med målet i NVFP4. De giriga värdena är temperatur 0; samplingsvärdena är temperatur 1,0 utan top-p- eller top-k-trunkering, med en probabilistisk draft-samplingmetod.

Tre förbehåll hör bredvid dessa siffror snarare än under dem. För det första är de rapporterade av leverantören, och vi har inte reproducerat någon av dem, och inte heller har någon annan publicerat en oberoende mätning av denna checkpoint. För det andra är acceptanslängd inte en snabbhetsvinst – det är taket som en snabbhetsvinst beräknas utifrån. Varje accepterad token måste fortfarande verifieras av en modell med 816 miljarder parametrar, och draftmodellens egen framåtpassning kostar också något; NVIDIA publicerade ingen kvot för tokens per sekund och ingen latensjämförelse, vilket är den siffra en läsare som överväger att driftsätta detta skulle vilja ha. För det tredje mättes allt detta vid samtidighet 32, vilket inte är den regim där spekulativ avkodning vanligtvis lönar sig bäst – vinsterna koncentreras till latensbundna enskilda strömmar med låg batchstorlek, och en upptagen server får mindre.

Det dessa tabeller inte alls mäter är utdatakvaliteten. Verifiering under greedy-avkodning är utformad för att returnera målmodellens egna tokens, så greedy-kolumnen ligger nära ett rent hastighetspåstående. Samplingskolumnen är den du bör testa på din egen trafik, eftersom en probabilistisk drafter förändrar hur fördelningen genomlöps, inte bara hur snabbt.

Hur du faktiskt skulle slå på den

Kortet anger ett enda anrop som stöds, och det är en enda flagga på en vLLM-server. Du serverar målmodellen och skickar draft-modellen via argumentet speculative-config: metoden är "dflash", modellen är NVIDIA-checkpointen, antalet spekulativa tokens är 7, draft-sampling-metoden är probabilistisk, och kommandot kräver att fjärrkod är betrodd. TensorRT-LLM är den andra motorn som kortet listar; vLLM är den som det anger som accelerationsmotor och den som det testade på Blackwell.

Två luckor förtjänar att nämnas. Kortets rad för hårdvarustöd är NVIDIA Blackwell med Linux, så det här är en datacenter-GPU-väg snarare än något som låter sig infogas i en Apple-silicon- eller konsumentkonfiguration. Och SGLang – den runtime som Metas eget lanseringsmaterial dirigerar DFlash V2 genom – förekommer inte någonstans i NVIDIAs lista över motorer för denna checkpoint. De två draft-modellerna är inte utbytbara; om din serveringsstack är SGLang är det här repot inte skrivet för dig.

Vad en utkastare ändrar för en läsare, och vad den inte gör

Spekulativ avkodning är den del av inferens för stora modeller som når människor som aldrig kommer att ladda ner en vikt, eftersom den är den främsta hävstången för hur billigt mycket stora öppna modeller kan tillhandahållas. En bättre utkastmodell innebär fler accepterade tokens per steg, vilket innebär högre genomströmning per GPU, vilket i slutändan visar sig som ett lägre pris och en snabbare första token i ett API. Det är därför en 4,38B-modell är en nyhet trots att nästan ingen som läser om den kommer att köra den.

Med det sagt ställer den här inte en 816B-modell på ditt skrivbord. Det är ett 8,8 GB stort tillägg till ett mål vars minsta praktiska checkpoint mäts i hundratals gigabyte, på Blackwell-kisel, under två licenser staplade på varandra. Det är inte en modell man chattar med, den producerar ingen egen text, och den kan inte köras alls utan det mål den tränades att generera utkast för.

Om du vill ha Muse Spark-kapacitet utan något av det, är den servade linjen där den finns: Muse Spark 1.2 och Muse Spark 1.1är de två checkpoints som OrcaRouter dirigerar, båda till Metas listpris med 0 % påslag som förs vidare direkt, eftersom leverantörens pris förs vidare i stället för att påslag läggs på. Muse Spark Open och denna DFlash2-utkastcheckpoint finns inte i vår katalog och vi kommer inte att antyda något annat — en drafter för självhostade vikter är självhostad infrastruktur. Där vi fortfarande är användbara kring det är den tråkiga delen: ett API över 200+ modeller, automatisk failover när en leverantör försämras, och ett routing-DSL som flyttar trafik mellan modeller via konfiguration i stället för via en kodändring, vilket är ett billigt sätt att ta reda på vad en oprövad checkpoint gör med verklig trafik utan att satsa en produktionsväg på den.

Vad skulle avgöra de öppna frågorna

Fyra saker skulle förändra den här texten, och ingen av dem är ett mysterium när det gäller NVIDIAs avsikter.

• En siffra för snabbhetsvinst från början till slut — tokens per sekund eller latens mot en matchad icke-spekulativ baslinje på samma hårdvara, mätt av någon annan än NVIDIA. Acceptanslängden visar att draften landar ofta; den visar inte att servern blev snabbare.

• En jämförelse av målmodellen i BF16 mot NVFP4 — varje publicerad tabell mättes mot NVFP4-målmodellen, vilket är vad de flesta faktiskt kommer att servera, men kortet rapporterar inget fall där målmodellen kördes med högre precision.

• Stöd utanför vLLM och TensorRT-LLM — om checkpunkten dyker upp i SGLang blir de två DFlash2-draftmodellerna för Muse Spark Open utbytbara i stället för stackspecifika, och då blir valet mellan dem enkelt.

• En omträning på verktyg som släppts — den här utkastmodellen kom från ett förhandsversionsbygge av Model Optimizer 0.47. Eftersom 0.47.0 har varit offentlig sedan 23 september och 0.48.0rc0 har varit ute sedan 8 oktober, går receptet att granska, och en checkpoint tränad på det skulle antagligen rapportera något lite bättre.

Fram till att åtminstone den första av dem landar är den ärliga sammanfattningen att NVIDIA har levererat en väldokumenterad, fritt tillgänglig, hårdvaruspecifik utkastmodell för någon annans flaggskepp, publicerat acceptanslängderna och hoppat över tillkännagivandet — och anledningen att bry sig är inte att Muse Spark Open blev snabbare, utan att infrastrukturen för att göra öppna vikter med 816 miljarder parametrar överkomliga i stor skala fortsätter att dyka upp lika tyst som detta.