Kartu judul yang dihasilkan untuk Nemotron-Labs-Sigma-distill-8B-nfe4, yang mencantumkan rilis 12 November 2026, 8 miliar parameter, 4 evaluasi denoising tetap per blok 32 token, lima unduhan dan nol suka dalam sebulan terakhir, serta footer yang menyatakan bahwa semua angka berasal dari kartu model NVIDIA dan tidak diverifikasi secara independen.
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4 Hadir Tanpa Pengumuman dan Lima Unduhan

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Hugging Face mencatat lima unduhan nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 dan nol suka dalam tiga puluh hari terakhir, saat tulisan ini dibuat pada 17 November 2026. Itulah keseluruhan sambutan sejauh ini untuk model bahasa 8 miliar parameter yang diterbitkan NVIDIA enam hari sebelumnya. Tidak ada postingan blog, tidak ada entri di build.nvidia.com, tidak ada utas peluncuran, tidak ada tabel benchmark dalam siaran pers. Kartu checkpoint itu sendiri mencantumkan tanggal rilis 11/12/2026; commit pertama repositori adalah 9 November pukul 05:47 UTC, dan suntingan terakhirnya pada 16 November, yang menulis ulang konversi untuk mempertahankan tensor geometri fp32. Semua hal di bawah ini diambil dari repositori tersebut, file konfigurasinya, dan laporan teknis yang dirujuknya; bagian yang belum terkonfirmasi diberi label demikian, bukan diisi.

Repositori adalah satu-satunya sumber primer, dan itu luar biasa eksplisit

Sebagian besar rilis senyap hanya meninggalkan kartu stub. Yang ini tidak. Rilis ini menyertakan file provenans, manifes integritas checkpoint dengan SHA-256, hash integritas untuk tokenizer, empat subkartu Model Card++, dan konfigurasi generasi yang mematok sampler. Tingkat pembukuan seperti itu adalah yang Anda dapatkan ketika sebuah model telah melewati proses rilis internal lalu sekadar tidak diumumkan — artefak yang akan dirangkum dalam postingan peluncuran semuanya ada, tanpa postingannya.

Makalah di baliknya nyata dan bertanggal: arXiv:2610.02665, Large Language Continuous Diffusion Models, sebuah makalah NVIDIA dengan tujuh belas penulis yang v2-nya terbit pada 12 November, hari yang sama dengan tanggal yang disebut kartu untuk bobotnya. Makalah itu mendeskripsikan Nemotron-Labs-Sigma sebagai keluarga pertama model bahasa difusi kontinu berskala besar pada 3B dan 8B. Bagian evaluasi kartu tersebut mengaitkan angka-angkanya dengan "statistik terverifikasi sepuluh seed dan enam tugas dari penyerahan rilis terbatas 10 November" — sebuah kalimat yang memberi tahu Anda bahwa berkas itu telah beredar secara privat setidaknya selama dua hari sebelum repositori publik diaktifkan.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

Apa yang sebenarnya ada di dalam checkpoint

Singkirkan prosanya, dan lembar spesifikasinya jadi singkat. Setiap baris di bawah ini berasal dari config.json, generation_config.json, atau kartu:

Backbone — transformer decoder-only bergaya Ministral: 34 lapisan, ukuran tersembunyi 4.096, FFN 14.336, 32 head query dan 8 head key-value pada dimensi head 128, SwiGLU, RoPE dengan blok penskalaan YaRN dalam konfigurasi.

• Head generasi — head difusi embedding token kontinu 16-dimensi, dengan head pembacaan autoregresif tambahan tetap dipertahankan dalam checkpoint alih-alih dipangkas.

• Jumlah parameter — 8,0B menurut penamaan kartu, 9,03B menurut sensus safetensors (9.026.818.048 tensor BF16 ditambah 2.097.186 F32), 18,06 GB di seluruh empat shard. Selisih antara kedua angka tersebut adalah head tambahan.

• Kontrak decoding — blok 32 token, tepat 4 evaluasi fungsi denoising ditambah satu readout, sehingga 5 panggilan denoiser per blok, yang berarti 6,4 token yang dihasilkan per forward pass.

• Sampler — jalur fresh_x0 native dengan self-conditioning yang dibawa antar langkah, classifier-free guidance dikunci pada 1, suhu skor dikunci pada 1.

• Konteks — 4.096 token untuk prompt ditambah generasi. Hanya bahasa Inggris. Tidak ada penghentian EOS berbasis ID token; Anda berhenti pada string atau anggaran token.

• Runtime — PyTorch 2.4 atau lebih baru, Transformers 4.55 atau lebih baru, trust_remote_code, GPU CUDA dalam bfloat16. CPU secara eksplisit tidak didukung, dan kartu tersebut memberikan alasannya: sampler mengalami degradasi numerik pada CPU dan menghasilkan keluaran yang tidak dapat digunakan.

• Lisensi — NVIDIA Nemotron Open Model License, yang menurut kartu model mengizinkan penggunaan komersial dan nonkomersial. Kartu model juga menyatakan, di bagian kasus penggunaan, bahwa model berjalan offline di perangkat keras Anda dan NVIDIA tidak menyediakan layanan apa pun.

Baris terakhir itu penting bagi siapa pun yang mengira ada endpoint Sigma di suatu tempat. Kenyataannya tidak. Tidak ada entri Nemotron-Labs-Sigma di build.nvidia.com, dan model itu tidak ada dalam katalog OrcaRouter bersama dengan sisa lini Nemotron — jadi tidak ada yang bisa dipanggil hari ini, hanya sesuatu untuk diunduh.

Empat checkpoint, empat model berbeda

Penamaan tersebut membuat varian-varian itu tampak seperti satu model dengan empat pengaturan. Kenyataannya tidak: setiap nilai NFE adalah student yang didistilasi secara terpisah, dan kartu model itu terang-terangan menyatakan bahwa jumlah langkah sudah tertanam. "Varian ini dilatih hanya untuk NFE=4, dan kode inferensi yang disertakan sengaja tidak menyediakan penggantian jumlah langkah secara arbitrer" — karena jumlah langkah lain akan mengevaluasi titik akhir fase yang tidak pernah dilatih oleh student. Jadi Anda tidak menyetel nfe4 menjadi dua langkah saat inferensi; Anda mengunduh nfe2.

Rata-rata enam tugas yang diterbitkan, semuanya dengan sepuluh seed dan dua galat baku, membuat trade-off ini dapat dipahami untuk pertama kalinya dalam keluarga ini:

• NFE 2 — GSM8K 80.17, MATH 55.72, HumanEval 48.17, MBPP 37.52; rata-rata enam tugas 53.02. 3 panggilan denoiser per blok, 10.7 token per panggilan.

• NFE 4 — GSM8K 86.86, MATH 61.52, HumanEval 60.61, MBPP 57.50; rata-rata enam tugas 66.36. 5 panggilan per blok, 6,4 token per panggilan.

• NFE 8 — GSM8K 88,44, MATH 64,40, HumanEval 65,18, MBPP 62,60; rata-rata enam tugas 70,34. 9 panggilan per blok, 3,6 token per panggilan.

• NFE 16 — GSM8K 89.61, HumanEval 67.68, MBPP 66.20, rata-rata tiga tugas 74.50. 17 panggilan per blok, 1.9 token per panggilan. Dan ada satu catatan yang tidak dimiliki ketiga lainnya: checkpoint ini ditandai pending_ten_seed_six_task_validation, angkanya berasal dari satu kali eksekusi pada seed 42 untuk tiga tugas, dan kartunya menyatakan agar diperlakukan sebagai sementara dan tidak dapat dibandingkan secara langsung.

Bentuk tangga itu adalah bagian yang menarik. Menggandakan langkah dari 2 ke 4 menghasilkan 13,3 poin dari rata-rata enam tugas. Menggandakan lagi ke 8 menghasilkan 4,0. Menaikkan ke 16 menghasilkan sekitar 4 poin tambahan pada tiga tugas yang dijalankan — dari evaluasi yang berbeda dan lebih lemah. Dengan kata lain, kurva distilasi melandai tajam tepat di titik model menjadi kompetitif, dan checkpoint nfe4 berada tepat setelah knee.

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

Dari mana angka-angka itu berasal, dan sampai di mana batasnya

Setiap angka di atas adalah milik NVIDIA, dihasilkan oleh NVIDIA, pada harness evaluasi milik NVIDIA sendiri, dan dilaporkan dengan jumlah seed yang membuatnya tampak lebih independen daripada kenyataannya. Sepuluh seed dengan dua standard error adalah protokol yang serius — itu memberi tahu Anda bahwa skor HumanEval nfe4 sebesar 60.61 memiliki interval ±1.43, yang cukup lebar sehingga Anda tidak boleh menganggap selisih dua poin terhadap apa pun sebagai hal yang nyata. Namun sepuluh seed dari harness yang sama bukanlah sepuluh laboratorium.

Apa yang tidak ada per 17 November: halaman Artificial Analysis untuk model Sigma mana pun, entri apa pun dalam katalog harga model publik, dukungan vLLM atau SGLang apa pun, dan reproduksi pihak ketiga mana pun. Pemeriksaannya cepat dan hasilnya kosong. Registri model vLLM di main tidak memiliki arsitektur nemotron_labs_sigma; pull request SGLang yang menyebut difusi Nemotron adalah untuk lineage Nemotron-Labs-Diffusion-8B yang lebih lama dan masih terbuka. Transformers tidak memiliki modul nemotron_labs_sigma native, itulah sebabnya kartu model memberi tahu Anda untuk memuat dengan trust_remote_code dan menyertakan file modelling 40 KB dari repositori bersama bobotnya.

Jadi status yang jujur adalah: {{1}}checkpoint yang telah dirilis{{/1}} dengan {{2}}protokol evaluasi yang dipublikasikan{{/2}} dan {{3}}nol verifikasi eksternal{{/3}}. {{4}}Itu adalah keadaan normal bagi model bahasa difusi pada November 2026{{/4}}, dan {{5}}itu bukan kritik terhadap model{{/5}} — {{6}}itu adalah gambaran tentang seberapa banyak bagian kartu yang dapat Anda jadikan dasar perencanaan{{/6}}.

Menjalankannya adalah skrip Python, bukan stack serving.

Quickstart pada kartu ini terdiri dari sebelas baris: muat tokenizer dan model dengan remote code, lakukan cast ke bfloat16, panggil generate dengan jumlah token maksimum dan string stop opsional, lalu baca kembali jumlah NFE yang dilaporkan model. Tidak ada templat chat di repositori ini, tidak ada system prompt, tidak ada tool calling, tidak ada mode JSON — kartu tersebut menyatakan secara gamblang bahwa ini adalah prompting bergaya benchmark dan bahwa model ini adalah student terdistilasi dari checkpoint dasar, bukan asisten. Jika Anda menginginkan percakapan, koleksi tersebut menyertakan varian instruct dari induknya dengan konteks 8.192 token.

Dua detail operasional akan merugikan siapa pun yang hanya membaca sekilas. Pertama, penghentian: tidak ada stop EOS berbasis token-ID, sehingga permintaan yang tidak pernah menghasilkan string penghenti Anda akan berjalan sampai batas token, dan anggaran tersebut dibagi dengan prompt di dalam jendela 4.096 token. Kedua, memori: bobot bfloat16 sebesar 18 GB sebelum KV cache apa pun, pada model yang satu-satunya jalur yang didukung adalah kode eager PyTorch dari repositori itu sendiri — tidak ada paged attention, tidak ada continuous batching, tidak ada build terkuantisasi dalam koleksi. Satu permintaan pada satu GPU adalah konfigurasi yang didukung saat ini.

Throughput adalah angka yang akan dicari orang, dan kartu ini tidak menyediakannya untuk checkpoint ini. Kartu model induk melaporkan sekitar 120–140 token per detik untuk 256 token yang dihasilkan pada satu H100 menggunakan sampler DDPM dengan 32 langkah per blok 64 token. nfe4 hasil distilasi melakukan 5 panggilan per 32 token alih-alih 33 panggilan per 64, yang berdasarkan jumlah panggilan berarti sedikit lebih dari empat kali lebih sedikit forward pass per token — tetapi itu aritmetika pada jumlah langkah, bukan pengukuran checkpoint ini, dan kartu tersebut tidak mempublikasikan angka token per detik untuknya.

Apa yang tidak dikonfirmasi

Tiga hal yang seharusnya sudah diselesaikan oleh sebuah postingan peluncuran, dan rilis ini tidak:

Apakah NVIDIA bermaksud ini sebagai produk atau artefak riset. Lisensi mengizinkan penggunaan komersial dan kartu ini ditulis dalam bahasa produk, tetapi tidak ada endpoint yang dihosting, tidak ada pernyataan dukungan, dan tidak ada penyebutan dalam posting blog NVIDIA mana pun hingga 16 November.

• Seberapa berharga guru tersebut. Kartu itu menyatakan bahwa student disuling dari guru "MS-SUSReg-8B" dalam keluarga arsitektur yang sama, dan berkas provenance menyebutkan run 8b_ms_susreg_n4_20261109 pada langkah student 1200. Base Nemotron-Labs-Sigma-8B yang dirilis dijelaskan berasal dari silsilah yang sama — tetapi kartu model dasar tidak memuat angka sama sekali, hanya penunjuk ke makalah, sehingga loss distilasi tidak dapat dibaca dari kedua kartu secara berdampingan.

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• Apakah checkpoint nfe16 adalah yang terbaik di keluarganya atau hanya artefak dari evaluasi yang belum selesai. Angkanya paling tinggi di kartu dan paling tidak dapat dipercaya, dan kartu itu sendiri menyatakannya — suatu keterusterangan yang melampaui kebanyakan catatan rilis.

Mengapa rilis senyap justru menjadi inti ceritanya

NVIDIA telah merilis banyak hal musim gugur ini — Bolt, Super VL, Transcribe, lini Dory, semuanya disertai posting blog dan halaman build.nvidia.com. Sigma hadir tanpa semua itu, dari organisasi yang sama, dengan sebuah makalah, lisensi, empat subkartu Model Card++, dan penghitung lima unduhan. Penafsiran paling mungkin adalah bahwa ini merupakan rilis riset yang sengaja dijauhkan dari permukaan produk: penggunaan yang dimaksudkan dalam kartu tersebut adalah "penelitian generasi yang sensitif terhadap latensi, studi dekode spekulatif dan paralel," yang merupakan bahasa khas artefak laboratorium.

Bagi pembaca yang sedang memutuskan apakah perlu peduli, pertanyaan praktisnya bukanlah apakah model itu bagus secara abstrak — melainkan apakah LM difusi kontinu 4-NFE pada konteks 4K tanpa serving stack mengalahkan model autoregresif yang sudah ada di pipeline Anda. Untuk menjawabnya, Anda perlu menjalankannya, dan aritmetika yang membuatnya layak menghabiskan satu jam GPU itu sederhana: 6,4 token per forward pass, dibandingkan satu token untuk decoder standar. Apakah itu bertahan saat dihadapkan pada beban kerja Anda adalah tepat hal yang akan diberitahukan oleh benchmark independen yang hilang itu.

OrcaRouter tidak melayani checkpoint ini, dan checkpoint ini tidak akan muncul di balik harga per token sampai seseorang membangun jalur penyajian untuk arsitektur block-diffusion dengan jumlah langkah tetap — model biayanya tidak memetakan ke token input dan output seperti API autoregresif. Yang aktif di OrcaRouter adalah kumpulan pembanding: lebih dari 200 model autoregresif di balik satu kunci pada harga daftar penyedia tanpa markup, sehingga pertanyaan Sigma dapat dijawab terhadap baseline nyata alih-alih terhadap kartu. Merutekan keduanya melalui satu endpoint juga merupakan cara termurah untuk menjaga eksperimen tetap jauh dari jalur produksi Anda selagi Anda memutuskan.