NVIDIA po cichu wydała drafter dla flagowego modelu 816B firmy Meta

NVIDIA published nvidia/Muse-Spark-Open-816B-A42B-DFlash2 to Hugging Face on October 16, 2026, and told nobody. The repository is a draft checkpoint — a 4.38-billion-parameter speculative-decoding model whose entire job is to guess the next several tokens of Muse-Spark-Open-816B-A42B, Meta's 816-billion-parameter open-weight flagship, so the large model can verify a whole block of guesses in one forward pass instead of emitting one token at a time. There is no NVIDIA blog post, no announcement thread, no press release, and as of writing the repository shows zero downloads and zero likes. What it does have is a model card with acceptance-length tables, a working vLLM invocation, and a short list of things it conspicuously declines to claim. This is what the artifact says and what it does not. What the numbers cannot tell you is whether any of it has gone wrong in the field: the documented AI incidents and agent failures around models in this class are collected in the OrcaRouter AI Incident Archive where each entry carries its own sources, severity, confidence grade and disputed flag.

Co zostało wydane, w kolejności, w jakiej można to sprawdzić

Wszystko poniżej pochodzi z repozytorium lub z własnego API Hugging Face do niego. Nic z tego nie wymaga zaufania do benchmarku dostawcy.

• Czas — repozytorium utworzono o 04:40 UTC 16 października 2026 r., a jego wagi zatwierdzono około czterdzieści minut później; wiersz wydania na samej karcie brzmi „Huggingface: 10/16/2026”. Na blogu deweloperskim NVIDIA nie ma żadnej towarzyszącej publikacji, a karta modelu odwołuje się wyłącznie do artykułu DFlash i projektu Model Optimizer.

• Artefakt — jeden plik safetensors w BF16, 4 384 162 432 parametry, około 8,8 GB na dysku. Klasa architektury to DFlash2DraftModel, z pięcioma gęstymi warstwami dekodera, nieprzyczynową uwagą z przesuwanym oknem o rozmiarze 2048, rozmiarem ukrytym 8192, 128 głowicami zapytań wobec 16 głowic klucz-wartość po 64 wymiary każda oraz słownikiem o rozmiarze 202 048. Rozmiar bloku wynosi 8; draft korzysta z pięciu warstw modelu docelowego — 3, 19, 31, 47 i 59 — spośród 62.

• Jest otwarty — Hugging Face podaje, że repozytorium jest publiczne i bez ograniczeń. Możesz pobrać draftera już teraz, podczas gdy docelowe repozytorium Meta wciąż znajduje się za logowaniem wymagającym akceptacji warunków.

• Stos licencji — roboczy checkpoint podlega umowie NVIDIA Open Model Agreement, a karta nakłada na to licencję Muse Model License firmy Meta, przy czym wymagany jest ciąg atrybucji "Built with Muse Spark Open" dla wszystkiego, co zostanie na nim zbudowane.

• Pochodzenie, wskazane przez NVIDIA — zamieszczona w samej karcie modelu nota dotycząca stron trzecich mówi wprost, że Muse-Spark-Open-816B-A42B „nie jest własnością NVIDIA ani nie został przez nią opracowany", a ten model draftujący „został wytrenowany przez NVIDIA do użycia z tym modelem docelowym". Prompty treningowe pochodzą ze zbioru NVIDIA Nemotron-Post-Training-Dataset-v2, obejmującego około 3,48 mln wielojęzycznych próbek z zakresu matematyki, kodu i STEM, a odpowiedzi zostały zsyntetyzowane przez model docelowy na pięciu poziomach wysiłku rozumowania.

• Łańcuch narzędzi — karta mówi, że model wytrenowano za pomocą „przedpremierowej kompilacji NVIDIA Model Optimizer 0.47”. Model Optimizer 0.47.0 został publicznie udostępniony 23 września 2026 r., a 0.48.0rc0 pojawił się 8 października, więc przepis, z którego powstał ten drafter, jest teraz czymś, co strona trzecia może ponownie uruchomić.

To nie jest pierwszy model szkicujący dla tego modelu ani pierwszy model szkicujący firmy NVIDIA.

Oba te fakty mają znaczenie przy ocenie, co jest tu rzeczywiście nowe, ponieważ każdy z nich z osobna sprawiłby, że spadek wyglądałby na coś, czym nie jest.

NVIDIA od lata po cichu publikuje modele drafter z rodziny DFlash do otwartych wag innych firm: MiniMax-M2.7-DFlash w połowie czerwca, Kimi-K2.6-DFlash, a następnie Kimi-K2.7-Code-DFlash przez czerwiec i lipiec, oraz drafter Nemotron 3.5 Lightning 30B na początku sierpnia. Drafter Muse Spark Open od NVIDIA to kolejny element serii, a nie debiut.

Muse Spark Open także miał już wcześniej draftery przed tym. Checkpoint DFlash2 w organizacji zewnętrznej został opublikowany na Hugging Face 13 października, a checkpoint DSpark dla tego samego celu został ostatnio zaktualizowany 15 października — oba mniej więcej miesiąc po tym, jak własny stack day-zero Meta nazwał DFlash V2 dla jednego środowiska uruchomieniowego, a DSpark dla drugiego. A więc stwierdzenie „istnieje drafter dla Muse Spark Open” nie jest sednem tej historii.

Historia jest węższa i bardziej użyteczna: istnieje już dla tego modelu własny checkpoint BF16 DFlash2 firmy NVIDIA, wytrenowany za pomocą Model Optimizer i opublikowany dla sprzętu Blackwell z vLLM jako jego przetestowanym silnikiem. Jeśli wybierasz, którego draftera uruchomić, wybór jest tak naprawdę wyborem stosu serwowania i właśnie tu rozchodzą się te dwie ścieżki.

Liczby i dokładne warunki, które są z nimi związane

NVIDIA podaje jedną wartość w trzech zestawach testowych: długość akceptacji, czyli średnią liczbę tokenów emitowanych na krok generowania, mierzoną przy długości szkicu wynoszącej 7.

• MT-Bench, 80 pytań dwuturowych — 3,73 tokena na zaakceptowany krok przy dekodowaniu zachłannym i 3,01 przy próbkowaniu. Matematyka to najmocniejsza kategoria z wynikiem 4,47; humanistyka jest najsłabsza z wynikiem 2,92.

• SPEED-Bench jakościowo, 880 promptów w 11 kategoriach — 3,72 dla greedy i 3,01 dla sampling. Wielojęzyczność osiąga 4,27, a kodowanie 4,15, podczas gdy pisanie pozostaje w tyle z wynikiem 3,05.

• Przepustowość SPEED-Bench, dane wejściowe o długości 32 000 tokenów — 3,30 w trybie zachłannym i 2,78 w trybie próbkowania, i tu obraz się psuje: grupa o wysokiej entropii spada do 2,51 w trybie zachłannym i 2,16 w trybie próbkowania, w porównaniu z 3,71 dla tekstu o niskiej entropii.

• Warunki — reasoning effort xhigh, 4096 tokenów wyjściowych, współbieżność 32, na pojedynczym węźle GB300 przy TP4 i EP4, obsługiwane przez vLLM z modelem docelowym w NVFP4. Wartości dla trybu greedy uzyskano przy temperature 0; wartości dla próbkowania przy temperature 1.0 bez obcinania top-p ani top-k, z wykorzystaniem probabilistycznej metody próbkowania draftu.

Trzy zastrzeżenia należą obok tych liczb, a nie pod nimi. Po pierwsze, są raportowane przez dostawcę i nie odtworzyliśmy żadnego z nich, ani nikt inny nie opublikował niezależnego pomiaru tego checkpointu. Po drugie, długość akceptacji nie jest przyspieszeniem — to pułap, od którego oblicza się przyspieszenie. Każdy zaakceptowany token wciąż musi zostać zweryfikowany przez model o 816 miliardach parametrów, a własny forward pass draftującego również kosztuje; NVIDIA nie opublikowała żadnego współczynnika tokenów na sekundę ani porównania opóźnień, a to właśnie liczba, której chciałby czytelnik decydujący, czy to wdrożyć. Po trzecie, wszystko to zmierzono przy współbieżności 32, a to nie jest reżim, w którym dekodowanie spekulatywne zwykle opłaca się najlepiej — zyski koncentrują się w pojedynczych strumieniach o niskim batchu, ograniczonych opóźnieniem, a zajęty serwer dostaje mniej.

To, czego te tabele w ogóle nie mierzą, to jakość wyjścia. Weryfikacja przy dekodowaniu zachłannym ma na celu zwracanie własnych tokenów modelu docelowego, więc kolumna zachłanna to niemal wyłącznie kwestia szybkości. Kolumnę próbkowania należy przetestować na własnym ruchu, ponieważ probabilistyczny drafter zmienia sposób poruszania się po rozkładzie, a nie tylko szybkość.

Jak właściwie byś to włączył

Karta podaje jedno obsługiwane wywołanie i jest to pojedyncza flaga na serwerze vLLM. Serwujesz model docelowy, a model szkicujący przekazujesz przez argument speculative-config: metoda to „dflash”, model to checkpoint firmy NVIDIA, liczba tokenów spekulacyjnych wynosi 7, metoda próbkowania szkicu jest probabilistyczna, a polecenie wymaga włączenia zaufania do zdalnego kodu. TensorRT-LLM to drugi silnik wymieniony przez kartę; vLLM jest tym, który karta wskazuje jako silnik akceleracji, i tym, który przetestowano na Blackwell.

Dwie luki warto nazwać. Obsługiwany sprzęt dla tej karty to NVIDIA Blackwell z Linuksem, więc to ścieżka dla GPU centrów danych, a nie coś, co wpisuje się w konfigurację Apple Silicon lub konsumencką. A SGLang — który jest środowiskiem uruchomieniowym, przez które własne materiały premierowe Meta kierują DFlash V2 — nie pojawia się nigdzie na liście silników NVIDIA dla tego checkpointu. Te dwa modele draftujące nie są wymienne; jeśli Twój stos serwowania to SGLang, to repozytorium nie jest napisane dla Ciebie.

Co autor zmienia dla czytelnika, a czego nie

Dekodowanie spekulatywne to ta część inferencji dużych modeli, która dociera do ludzi, którzy nigdy nie pobiorą wagi, ponieważ jest główną dźwignią wpływającą na to, jak tanio można obsługiwać bardzo duże otwarte modele. Lepszy model szkicujący oznacza więcej akceptowanych tokenów na krok, a to oznacza większą przepustowość na GPU, co ostatecznie objawia się niższą ceną i szybszym pierwszym tokenem w API. Dlatego model o 4,38 mld parametrów jest wiadomością, mimo że prawie nikt, kto o nim czyta, nie będzie go uruchamiał.

To powiedziawszy, ten nie stawia modelu 816B na twoim biurku. To dodatek o rozmiarze 8,8 GB do modelu docelowego, którego najmniejszy praktyczny checkpoint mierzy się w setkach gigabajtów, na krzemie Blackwell, pod dwiema nałożonymi na siebie licencjami. To nie jest model, z którym się rozmawia, nie generuje własnego tekstu i nie może w ogóle działać bez modelu docelowego, dla którego został wytrenowany do szkicowania.

Jeśli chcesz możliwości Muse Spark bez tego wszystkiego, znajdziesz je w linii serwowanej: Muse Spark 1.2 i Muse Spark 1.1 to dwa checkpointy, które OrcaRouter kieruje, oba w cenie katalogowej Meta z 0% marży przekazywanej bezpośrednio, ponieważ cena dostawcy jest przekazywana, a nie powiększana marżą. Muse Spark Open i ten roboczy checkpoint DFlash2 nie znajdują się w naszym katalogu i nie zamierzamy sugerować inaczej — model draftujący dla wag hostowanych samodzielnie to infrastruktura hostowana samodzielnie. To, w czym nadal jesteśmy przydatni w tym zakresie, to ta nudna część: jedno API dla ponad 200 modeli, automatyczne przełączanie awaryjne w razie degradacji dostawcy oraz DSL routingu, który przenosi ruch między modelami przez konfigurację, a nie zmianę kodu, co jest tanim sposobem, by sprawdzić, jak niesprawdzony checkpoint zachowuje się w rzeczywistym ruchu, bez stawiania na niego ścieżki produkcyjnej.

Co rozstrzygnęłoby otwarte pytania?

Cztery rzeczy zmieniłyby ten tekst, a żadna z nich nie jest zagadką dotyczącą intencji NVIDIA.

• Wskaźnik przyspieszenia end-to-end — tokeny na sekundę lub opóźnienie względem dopasowanego, niespekulacyjnego punktu odniesienia na tym samym sprzęcie, zmierzony przez kogokolwiek innego niż NVIDIA. Długość akceptacji mówi, że draft często trafia; nie mówi, że serwer przyspieszył.

• Porównanie celu BF16 i NVFP4 — każda opublikowana tabela została zmierzona względem celu NVFP4, który jest tym, co większość osób będzie faktycznie serwować, ale karta nie raportuje żadnego przypadku, w którym cel został uruchomiony z wyższą precyzją.

• Wsparcie poza vLLM i TensorRT-LLM — jeśli checkpoint pojawi się w SGLang, dwa draftery DFlash2 dla Muse Spark Open staną się wymienne, a nie przypisane do konkretnego stosu, i wtedy wybór między nimi staje się prosty.

• Ponowny trening na udostępnionych narzędziach — ten drafter pochodzi z przedpremierowej kompilacji Model Optimizer 0.47. Ponieważ 0.47.0 jest publicznie dostępny od 23 września, a 0.48.0rc0 jest dostępny od 8 października, przepis można przeanalizować, a checkpoint wytrenowany na jego podstawie prawdopodobnie raportowałby nieco lepsze wyniki.

Dopóki co najmniej pierwszy z nich się nie pojawi, uczciwe podsumowanie jest takie, że NVIDIA wydała dobrze udokumentowany, dostępny bez ograniczeń, specyficzny dla danego sprzętu model szkicujący dla flagowca kogoś innego, opublikowała długości akceptacji i pominęła ogłoszenie — a powód, by zwracać na to uwagę, nie polega na tym, że Muse Spark Open przyspieszył, lecz na tym, że infrastruktura pozwalająca uczynić otwarte wagi o 816 miliardach parametrów przystępnymi cenowo na dużą skalę wciąż pojawia się równie cicho, jak w tym przypadku.