NVIDIA Diam-diam Merilis Drafter untuk Flagship 816B milik Meta

NVIDIA published nvidia/Muse-Spark-Open-816B-A42B-DFlash2 to Hugging Face on October 16, 2026, and told nobody. The repository is a draft checkpoint — a 4.38-billion-parameter speculative-decoding model whose entire job is to guess the next several tokens of Muse-Spark-Open-816B-A42B, Meta's 816-billion-parameter open-weight flagship, so the large model can verify a whole block of guesses in one forward pass instead of emitting one token at a time. There is no NVIDIA blog post, no announcement thread, no press release, and as of writing the repository shows zero downloads and zero likes. What it does have is a model card with acceptance-length tables, a working vLLM invocation, and a short list of things it conspicuously declines to claim. This is what the artifact says and what it does not. What the numbers cannot tell you is whether any of it has gone wrong in the field: the documented AI incidents and agent failures around models in this class are collected in the OrcaRouter AI Incident Archive where each entry carries its own sources, severity, confidence grade and disputed flag.

Apa saja yang telah dirilis, dalam urutan yang dapat diperiksa

Semua yang di bawah ini berasal dari repositori atau dari API milik Hugging Face sendiri untuk itu. Tidak ada satu pun yang mengharuskan mempercayai tolok ukur vendor.

• Waktunya — repositori ini dibuat pada 04:40 UTC tanggal 16 Oktober 2026 dan bobotnya di-commit sekitar empat puluh menit kemudian; baris rilis kartu itu sendiri berbunyi "Huggingface: 10/16/2026". Tidak ada publikasi pendamping di blog pengembang NVIDIA, dan kartu model hanya merujuk pada makalah DFlash dan proyek Model Optimizer.

• Artefak — satu file safetensors dalam BF16, 4.384.162.432 parameter, sekitar 8,8 GB penyimpanan. Kelas arsitekturnya adalah DFlash2DraftModel, dengan lima lapisan dekoder padat, perhatian jendela geser non-kausal pada jendela 2.048, ukuran tersembunyi 8.192, 128 kepala kueri terhadap 16 kepala key-value masing-masing 64 dimensi, dan kosakata 202.048. Ukuran blok adalah 8; draft mencuplik lima lapisan dari target — 3, 19, 31, 47, dan 59 — dari 62.

• Ini tidak dibatasi — Hugging Face melaporkan repositori tersebut sebagai publik dan tidak dibatasi. Anda dapat mengunduh drafternya sekarang juga, sementara repositori target Meta masih berada di balik login persetujuan ketentuan.

• Tumpukan lisensi — checkpoint draf diatur oleh NVIDIA Open Model Agreement, dan kartunya menambahkan Meta's Muse Model License di atasnya, dengan string atribusi "Built with Muse Spark Open" yang diwajibkan untuk apa pun yang dibangun di atasnya.

• Asal-usul, yang dinyatakan oleh NVIDIA — pemberitahuan pihak ketiga milik kartu itu sendiri menyatakan secara jelas bahwa Muse-Spark-Open-816B-A42B "tidak dimiliki atau dikembangkan oleh NVIDIA" dan bahwa penyusun ini "dilatih oleh NVIDIA untuk digunakan dengan model target tersebut". Prompt pelatihan berasal dari NVIDIA Nemotron-Post-Training-Dataset-v2, sekitar 3,48 juta sampel multibahasa yang mencakup matematika, kode, dan STEM, dengan respons yang disintesis oleh model target di lima tingkat upaya penalaran.

• Rantai perkakas — kartu itu menyatakan model dilatih dengan "build pra-rilis NVIDIA Model Optimizer 0.47". Model Optimizer 0.47.0 dirilis ke publik pada 23 September 2026, dan 0.48.0rc0 menyusul pada 8 Oktober, jadi resep yang menghasilkan drafter ini sekarang menjadi sesuatu yang dapat dijalankan ulang oleh pihak ketiga.

Ini bukan drafter pertama untuk model ini, dan bukan drafter pertama NVIDIA.

Kedua fakta itu penting untuk menilai apa yang sebenarnya baru di sini, karena salah satunya saja akan membuat penurunan itu tampak seperti sesuatu yang bukan dirinya.

NVIDIA telah diam-diam menerbitkan drafter keluarga DFlash untuk bobot terbuka milik pihak lain sejak musim panas: MiniMax-M2.7-DFlash pada pertengahan Juni, Kimi-K2.6-DFlash lalu Kimi-K2.7-Code-DFlash sepanjang Juni dan Juli, dan drafter Nemotron 3.5 Lightning 30B pada awal Agustus. Drafter Muse Spark Open dari NVIDIA adalah item berikutnya dalam sebuah seri, bukan debut.

Muse Spark Open juga sudah memiliki drafter sebelum yang ini. Sebuah checkpoint DFlash2 di bawah organisasi pihak ketiga dipublikasikan ke Hugging Face pada 13 Oktober, dan checkpoint DSpark untuk target yang sama terakhir diperbarui pada 15 Oktober — keduanya kira-kira sebulan setelah tumpukan day-zero milik Meta sendiri yang menamai DFlash V2 untuk satu runtime dan DSpark untuk runtime lainnya. Jadi, "ada drafter untuk Muse Spark Open" bukanlah inti ceritanya.

Ceritanya lebih sempit dan lebih berguna: checkpoint BF16 DFlash2 milik NVIDIA sendiri, yang dilatih dengan Model Optimizer, kini sudah ada untuk model tersebut, diterbitkan untuk perangkat keras Blackwell dengan vLLM sebagai mesin yang teruji. Jika Anda memilih drafter mana yang akan dijalankan, pilihan itu sebenarnya adalah pilihan stack penyajian, dan di situlah kedua jalur itu bercabang.

Angka-angka tersebut, dan ketentuan persis yang melekat padanya

NVIDIA melaporkan satu kuantitas pada tiga set pengujian: panjang penerimaan, rata-rata jumlah token yang dihasilkan per langkah generasi, diukur dengan panjang draft 7.

• MT-Bench, 80 pertanyaan dua giliran — 3,73 token per langkah yang diterima pada penguraian greedy dan 3,01 pada pengambilan sampel. Matematika adalah kategori terkuat pada 4,47; humaniora adalah yang terlemah pada 2,92.

• SPEED-Bench kualitatif, 880 prompt di 11 kategori — 3,72 greedy dan 3,01 sampling. Multilingual mencapai 4,27 dan coding 4,15, sedangkan writing tertinggal di 3,05.

• Throughput SPEED-Bench, input 32.000 token — 3,30 greedy dan 2,78 sampling, dan di sinilah keadaan mulai memburuk: bucket entropi tinggi merosot ke 2,51 greedy dan 2,16 sampling, dibandingkan 3,71 untuk teks entropi rendah.

• Kondisinya — upaya penalaran xhigh, 4.096 token keluaran, konkurensi 32, pada satu node GB300 dengan TP4 dan EP4, dilayani melalui vLLM dengan target dalam NVFP4. Angka greedy adalah temperature 0; angka sampling adalah temperature 1.0 tanpa pemotongan top-p atau top-k, menggunakan metode pengambilan sampel draf probabilistik.

Tiga catatan penting sebaiknya diletakkan di samping angka-angka itu, bukan di bawahnya. Pertama, angka-angka itu dilaporkan oleh vendor dan kami belum mereproduksi satu pun darinya, juga belum ada pihak lain yang menerbitkan pengukuran independen atas checkpoint ini. Kedua, panjang penerimaan bukanlah percepatan — itu adalah batas atas yang menjadi dasar penghitungan percepatan. Setiap token yang diterima tetap harus diverifikasi oleh model berparameter 816 miliar, dan forward pass dari drafter itu sendiri juga memerlukan biaya; NVIDIA tidak menerbitkan rasio token per detik maupun perbandingan latensi, padahal itulah angka yang ingin dilihat oleh pembaca yang memutuskan apakah akan men-deploy ini. Ketiga, semuanya diukur pada concurrency 32, yang bukan merupakan kondisi tempat speculative decoding biasanya paling menguntungkan — keuntungannya terkonsentrasi pada aliran tunggal yang terikat latensi dan berukuran batch rendah, sedangkan server yang sibuk mendapat lebih sedikit.

Apa yang sama sekali tidak diukur oleh tabel-tabel ini adalah kualitas keluaran. Verifikasi di bawah greedy decoding dirancang untuk mengembalikan token milik model target itu sendiri, jadi kolom greedy hampir merupakan klaim kecepatan murni. Kolom sampling adalah yang perlu diuji pada lalu lintas Anda sendiri, karena drafter probabilistik mengubah cara distribusi ditelusuri, bukan hanya seberapa cepat.

Bagaimana Anda sebenarnya akan menyalakannya

Kartu tersebut memberikan satu pemanggilan yang didukung, dan itu adalah satu flag pada server vLLM. Anda melayani target, dan meneruskan drafter melalui argumen speculative-config: metodenya adalah "dflash", modelnya adalah checkpoint NVIDIA, jumlah token spekulatif adalah 7, metode sampel draf bersifat probabilistik, dan perintah tersebut memerlukan kode jarak jauh untuk dipercaya. TensorRT-LLM adalah mesin kedua yang dicantumkan kartu; vLLM adalah yang disebutnya sebagai mesin akselerasi dan yang diujinya pada Blackwell.

Ada dua celah yang perlu disebutkan. Lini perangkat keras yang didukung kartu ini adalah NVIDIA Blackwell dengan Linux, jadi ini jalur GPU pusat data, bukan sesuatu yang bisa disatukan ke dalam penyiapan Apple-silicon atau konsumen. Dan SGLang — runtime yang menjadi jalur DFlash V2 dalam materi peluncuran Meta sendiri — tidak muncul sama sekali dalam daftar mesin NVIDIA untuk checkpoint ini. Dua drafter tersebut tidak dapat dipertukarkan; jika stack serving Anda adalah SGLang, repositori ini tidak ditulis untuk Anda.

Apa yang diubah drafter bagi pembaca, dan apa yang tidak

Dekode spekulatif adalah bagian dari inferensi model besar yang menjangkau orang-orang yang tidak akan pernah mengunduh bobot, karena ini adalah tuas utama bagi seberapa murah model terbuka yang sangat besar dapat dilayani. Drafter yang lebih baik berarti lebih banyak token yang diterima per langkah, yang berarti throughput per GPU yang lebih besar, dan itulah yang pada akhirnya muncul sebagai harga yang lebih rendah dan token pertama yang lebih cepat di sebuah API. Itulah sebabnya model 4.38B menjadi berita meskipun hampir tidak ada orang yang membacanya yang akan menjalankannya.

Meskipun demikian, yang ini tidak menaruh model 816B di meja Anda. Ini adalah lampiran 8,8 GB pada target yang checkpoint praktis terkecilnya diukur dalam ratusan gigabyte, pada silikon Blackwell, di bawah dua lisensi yang bertumpuk satu sama lain. Ini bukan model yang Anda ajak mengobrol, ia tidak menghasilkan teksnya sendiri, dan ia sama sekali tidak dapat berjalan tanpa target yang untuknya ia dilatih membuat draf.

Jika Anda menginginkan kemampuan Muse Spark tanpa semua itu, lini yang disajikan adalah tempatnya: Muse Spark 1.2 dan Muse Spark 1.1adalah dua checkpoint yang dirutekan OrcaRouter, keduanya pada harga daftar Meta dengan markup 0% yang diteruskan langsung, karena harga penyedia diteruskan alih-alih ditandai naik. Muse Spark Open dan checkpoint draf DFlash2 ini adalah tidakada di katalog kami dan kami tidak akan menyiratkan sebaliknya — drafter untuk bobot yang di-host sendiri adalah infrastruktur yang di-host sendiri. Di mana kami masih berguna di sekitarnya adalah bagian yang membosankan: satu API untuk 200+ model, failover otomatis saat penyedia mengalami penurunan, dan DSL routing yang memindahkan lalu lintas antar model melalui konfigurasi alih-alih melalui perubahan kode, yang merupakan cara murah untuk mengetahui apa yang dilakukan checkpoint yang belum terbukti pada lalu lintas nyata tanpa mempertaruhkan jalur produksi padanya.

Apa yang akan menuntaskan pertanyaan-pertanyaan yang masih terbuka?

Empat hal akan mengubah tulisan ini, dan tidak satu pun darinya adalah misteri tentang niat NVIDIA.

• Angka percepatan end-to-end — token per detik atau latensi dibandingkan baseline non-spekulatif yang setara pada perangkat keras yang sama, diukur oleh siapa pun selain NVIDIA. Panjang penerimaan memberi tahu Anda bahwa draf sering berhasil; itu tidak memberi tahu Anda bahwa server menjadi lebih cepat.

• Perbandingan target BF16 versus NVFP4 — setiap tabel yang diterbitkan diukur terhadap target NVFP4, yang justru akan benar-benar dilayani oleh sebagian besar orang, tetapi kartu ini tidak melaporkan satu pun kasus ketika target dijalankan pada presisi yang lebih tinggi.

• Dukungan di luar vLLM dan TensorRT-LLM — jika checkpoint tersebut muncul di SGLang, kedua drafter DFlash2 untuk Muse Spark Open menjadi dapat dipertukarkan alih-alih spesifik per stack, dan saat itulah memilih di antara keduanya menjadi sederhana.

• Pelatihan ulang pada perkakas yang telah dirilis — drafter ini berasal dari build pra-rilis Model Optimizer 0.47. Karena 0.47.0 sudah publik sejak 23 September dan 0.48.0rc0 keluar sejak 8 Oktober, resepnya dapat diperiksa, dan checkpoint yang dilatih dengannya mungkin akan melaporkan hasil yang sedikit lebih baik.

Sampai setidaknya yang pertama dari semua itu terwujud, ringkasan yang jujur adalah bahwa NVIDIA telah merilis penyusun draf yang terdokumentasi dengan baik, tanpa pembatasan akses, dan khusus perangkat keras untuk produk unggulan milik pihak lain, menerbitkan panjang penerimaan, dan melewatkan pengumumannya — dan alasan untuk peduli bukanlah bahwa Muse Spark Open menjadi lebih cepat, melainkan bahwa infrastruktur untuk membuat bobot terbuka dengan 816 miliar parameter terjangkau dalam skala besar terus datang sesunyi ini.