Kartu judul yang dihasilkan bertuliskan Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, dengan subjudul lineage yang sama, dua kontrak pendekodean, dengan empat ubin statistik: model dasar pada 8,49B parameter dengan langkah DDIM yang dapat dikonfigurasi, model hasil distilasi pada 9,03B dengan 4 evaluasi denoising tetap per blok, unduhan model dasar 106 berbanding 5 untuk model hasil distilasi, dan catatan kaki yang menyebutkan bahwa semua angka berasal dari kartu model NVIDIA dan tidak ada tolok ukur independen untuk keduanya.
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma: Silsilah Bobot yang Sama, Dua Kontrak Dekoding

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Hal yang membingungkan tentang Nemotron-Labs-Sigma-distill-8B-nfe4 adalah bahwa model ini bukan Nemotron-Labs-Sigma-8B yang lebih baik. Ini adalah file berbeda dengan kontrak berbeda, dihasilkan dari teacher dalam lineage yang sama, dan perbedaan antara keduanya bukanlah akurasi — melainkan berapa kali jaringan dijalankan untuk menghasilkan satu kata. Model 8B dasar diterbitkan pada 5 Oktober 2026 sebagai model riset pretrained: 8,49B parameter, langkah denoising yang dapat dikonfigurasi, classifier-free guidance yang harus Anda tuning secara manual, dan kartu yang tidak memublikasikan skor sama sekali serta merujuk ke arXiv:2610.02665. Versi distilled nfe4 hadir pada 12 November 2026 dengan 9,03B parameter, jumlah langkah yang sudah tertanam di checkpoint, dan satu-satunya tabel per tolok ukur yang pernah NVIDIA cantumkan pada kartu Sigma. Keduanya hanya untuk bahasa Inggris, keduanya dibatasi 4.096 token, keduanya berada di bawah lisensi yang sama. Pilihan di antara keduanya adalah pilihan tentang bagaimana Anda ingin model menggunakan komputasinya.

Apa sebenarnya yang berbeda, file per file

Kedua repositori menyertakan model_type yang sama — nemotron_labs_sigma — dan keduanya dimuat dengan cara yang sama, dengan trust_remote_code dan file modelling berukuran 40 KB dari repo. Konfigurasinya berbeda dalam hal-hal yang penting saat inferensi dan hampir tidak sama sekali pada backbone:

• Backbone — bentuk identik pada keduanya: 34 lapisan, ukuran hidden 4.096, FFN 14.336, 32 head query dan 8 head key-value, SwiGLU, RoPE, kosakata 131.072 token.

• Parameter — 8.49B (8,489,947,136 BF16 ditambah 2,097,186 F32) untuk model dasar, 9.03B (9,026,818,048 BF16 ditambah jumlah F32 yang sama) untuk hasil distilasi. Tambahan 537M adalah kepala pembacaan autoregresif tambahan yang dipertahankan oleh hasil distilasi bersama kepala difusinya.

• Bobot di disk — 16,99 GB dibandingkan 18,06 GB, masing-masing empat shard.

• Konteks — 4.096 token untuk base dan distill. Varian instruct dalam koleksi yang sama menaikkan ini menjadi 8.192 dan menambahkan template chat; tidak ada model di sini yang memilikinya.

• Steps — base mengekspos steps dan block_length saat pemanggilan, dan kartunya mempublikasikan tabel per anggaran; distill sama sekali tidak menerima override.

• Panduan — model dasar memerlukan classifier-free guidance (3.0 pada 32 dan 16 langkah, 2.0 pada 4) serta suhu skor yang disetel; proses distilasi berjalan pada CFG 1 dan suhu skor 1, yang berarti tanpa guidance dan tanpa penyetelan.

• Sampler — basis didokumentasikan untuk DDIM pada grid log_snr dengan blok 64-token secara default; varian distill menggunakan fresh_x0 dengan self-conditioning yang dibawa antar langkah dan blok 32-token.

Jumlah langkah bukanlah pengaturan pada model yang didistilasi.

Ini adalah kalimat dalam kartu model yang membingkai ulang keseluruhan perbandingan: "Jumlah langkah denoising ditetapkan oleh pelatihan: varian ini dilatih hanya untuk NFE=4, dan kode inferensi yang disertakan sengaja tidak menyediakan penggantian jumlah langkah secara arbitrer (jumlah langkah lain akan mengevaluasi titik akhir fase yang tidak terlatih)."

Phased DMD mendistilasi sebuah trajektori, dan trajektori hasil distilasi memiliki titik akhir fase pada tingkat noise tertentu. Mintalah student empat langkah untuk mengambil delapan langkah dan Anda tidak menjalankannya lebih lambat demi kualitas yang lebih baik — Anda memintanya mengevaluasi pada tingkat noise yang tidak pernah dilatihinya. Kartu mengatakan outputnya terdegradasi. Tidak ada dial.

Model dasarnya justru sebaliknya. Kartunya menyajikan tabel — DDIM-32 dengan CFG 3 dan score temperature 0.3, DDIM-16 dengan CFG 3 dan 0.4, DDIM-8 dengan CFG 3 dan 0.6, DDIM-4 dengan CFG 2 dan 0.8 — lalu menambahkan peringatan bahwa di bawah sekitar 16 langkah model pretrained kehilangan kualitas secara nyata, dan bahwa generasi beberapa langkah sebaiknya menggunakan varian distilasi sebagai gantinya.

Dibaca bersama-sama, kedua pernyataan dari organisasi yang sama tersebut merupakan pembagian kerja: base adalah hal yang Anda sesuaikan, distill adalah hal yang tidak Anda sesuaikan. Jika Anda ingin tombol pengatur, ambil base. Jika Anda ingin konstanta, ambil distill.

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

Aritmetika yang memisahkan mereka

Samakan satuan pada kedua kontrak tersebut, maka alasan keberadaan file hasil distilasi itu menjadi jelas.

• Base pada pengaturan yang direkomendasikan — 33 panggilan denoiser per blok 64 token (32 langkah ditambah satu readout), yaitu 1,9 token per forward pass.

• Dasar pada 4 langkah — 5 panggilan per blok 64 token, 12,8 token per lintasan, tetapi kartu memperingatkan kualitas turun secara signifikan di bawah 16 langkah.

• Distill nfe4 — 5 panggilan per blok 32-token, 6,4 token per lintasan, dengan kualitas yang dipublikasikan kartu.

• Distilasi nfe8 — 9 panggilan per blok 32 token, 3,6 token per lintasan, dan 4 poin lebih baik pada rata-rata enam tugas.

Jadi nfe4 hasil distilasi berada di antara titik operasi aman model dasar dan titik operasi tidak amannya: tiga kali lebih sedikit forward pass per token dibandingkan konfigurasi dasar yang direkomendasikan, dengan jumlah langkah yang memang digunakan untuk melatih model tersebut. Itulah seluruh premis dari rilis ini, dan itu adalah premis tentang komputasi, bukan tentang kecerdasan.

Yang tidak dimaksudkan adalah throughput terukur. Kartu dasar melaporkan sekitar 120–140 token per detik untuk 256 token yang dihasilkan pada satu H100 dengan DDPM pada 32 langkah per blok 64 token. Kartu terdistilasi tidak mempublikasikan angka token per detik. Rasio jumlah panggilan di atas adalah aritmetika atas jumlah langkah yang dipublikasikan; perlakukanlah seperti itu.

Mana yang memiliki angka, dan berapa nilainya

Di sinilah kedua kartu itu menyimpang secara tajam, dan ke arah yang tidak nyaman bagi basis.

Nemotron-Labs-Sigma-8B tidak menerbitkan tabel benchmark. Bagian evaluasinya hanya terdiri dari dua kalimat yang menyatakan bahwa hasilnya "dilaporkan dalam laporan teknis." Segala hal yang dapat Anda ketahui tentang akurasinya harus Anda ambil dari arXiv:2610.02665 — sebuah makalah yang mencakup keluarga 3B dan 8B, baik base maupun distilled, dan yang abstraknya mengklaim bahwa model-model tersebut mengalahkan masked diffusion LM dan baseline autoregresif dengan peningkatan konsisten terbesar pada coding.

Kartu nfe4 hasil distilasi memang menerbitkan angka, pada sepuluh seed dengan dua galat baku: GSM8K 86,86 ± 0,28, MATH 61,52 ± 0,20, HumanEval 60,61 ± 1,43, HumanEval+ 57,99 ± 1,20, MBPP 57,50 ± 0,61, MBPP+ 73,70 ± 1,07, rata-rata enam tugas 66,36 ± 0,46. Sembilan dari sepuluh nilai seed berada dalam rentang 42 hingga 51, sehingga protokolnya dijelaskan cukup presisi untuk direproduksi.

Kartu-kartu tersebut sebagai sebuah pasangan karenanya tidak dapat memberi tahu Anda berapa biaya distilasi. Itu adalah angka paling berguna dalam perbandingan ini dan angka itu tidak ada, karena kartu guru tidak memiliki tabel untuk dikurangkan. Makalah adalah satu-satunya tempat klaim itu berada, dan frasanya bersifat terarah: kira-kira percepatan 8× pada matematika dan 4× pada pengodean dari distilasi yang mencocokkan distribusi "dengan kehilangan akurasi kecil." Pengganda tersebut dilaporkan dalam makalah, bukan dilaporkan dalam kartu, dan pengganda itu merujuk pada eksperimen keluarga itu sendiri alih-alih pada perbandingan terkontrol antara tepat dua checkpoint tersebut di hub saat ini.

Satu kerumitan lagi pada lini distill itu sendiri: varian saudara nfe16 ditandai pending_ten_seed_six_task_validation. Rata-rata tiga tugasnya sebesar 74,50 berasal dari satu kali menjalankan seed-42 dan kartu tersebut menyatakan agar tidak membandingkannya dengan rata-rata sepuluh seed varian lain. Jadi, "yang paling besar adalah yang terbaik" adalah pembacaan yang secara eksplisit tidak didukung oleh kartu tersebut.

Opsi ketiga yang tidak disebut siapa pun

Koleksi tersebut berisi varian yang bukan salah satu dari dua model dalam perbandingan ini dan bisa dibilang merupakan berkas paling menarik di dalamnya: Nemotron-Labs-Sigma-distill-spec-8B. Model ini menggunakan teacher MS-SUSReg-8B yang sama, didistilasi dengan objektif penerimaan tambahan, dan alih-alih berjalan sebagai sampler few-step murni, model ini menyusun draf blok 32 token dengan diffusion head-nya dan memverifikasinya dengan autoregressive head miliknya sendiri. Setiap putaran membutuhkan satu panggilan diffusion, dan token yang diterima dikeluarkan tanpa forward pass tambahan. Kartu model menyatakan bahwa teks yang dikembalikan persis merupakan output autoregressive greedy — acceptance mengubah throughput, tidak pernah mengubah konten.

Angka penerimaan yang dipublikasikan, snapshot tunggal: panjang rata-rata yang diterima 7,91 pada HumanEval, 11,86 pada GSM8K, 13,37 pada MBPP, token bonus disertakan, putaran bootstrap dikecualikan. Itu adalah ukuran throughput, bukan ukuran akurasi, dan tidak dapat dibandingkan dengan tabel akurasi nfe4 — perbedaan yang ditegaskan kartu dengan huruf tebal.

Secara praktis, ini adalah varian yang perlu diperhatikan jika pertanyaannya adalah "dapatkah sebuah diffusion head mempercepat model tanpa mengubah apa yang dikatakannya." Ini bukan pengganti langsung untuk salah satu model dalam perbandingan ini: varian ini memerlukan generate_speculative, kedua head, dan self-conditioning dimatikan.

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

Cara memilih dalam praktik

Keputusan ini bermuara pada empat pemeriksaan, dan pemeriksaan pertama sepenuhnya menghilangkan satu sisi bagi sebagian besar pembaca:

• Apakah Anda meneliti proses sampling itu sendiri — jadwal guidance, jumlah langkah, pengarahan trajektori, perilaku classifier-free guidance? Basisnya adalah model, karena modellah yang memiliki kenop pengaturan dan tabel per anggaran.

• Apakah Anda membangun sesuatu yang menghasilkan teks dengan biaya tetap per token dan tidak menginginkan permukaan penyetelan? nfe4 distill adalah modelnya, karena CFG 1 dan suhu skor 1 merupakan konfigurasi lengkap.

• Apakah Anda memerlukan asisten? Tidak juga. Tidak ada templat obrolan di kedua repositori, tidak ada prompt sistem, tidak ada tool calling, dan kartu dasar menyatakan secara jelas bahwa model ini bukan pengikut instruksi. Varian instruct dengan konteks 8.192 token adalah yang diperuntukkan bagi hal itu.

• Apakah Anda perlu tolok ukur yang bisa Anda kutip? Hanya distill yang memilikinya, dan itu milik NVIDIA sendiri.

Tidak satu pun dari keempat pertanyaan itu menanyakan jumlah parameter, yang menjadi tanda bahwa ini bukan perbandingan ukuran. Selisih 537M parameter adalah harga untuk mempertahankan head autoregresif di dalam file, dan itu tidak memberi manfaat apa pun bagi jalur difusi murni nfe4 — hal itu ada karena arsitektur yang sama juga mendasari varian spec.

Inti dari pasangan tersebut

NVIDIA membangun satu backbone dan merilisnya dua kali: sekali sebagai sesuatu untuk dipelajari dan sekali sebagai sesuatu untuk dijalankan. Itu adalah strategi yang koheren, dan itulah alasan kedua kartu tersebut terbaca begitu berbeda — kartu base ditulis untuk peneliti yang akan mengubah sampler, kartu distill untuk pengembang yang tidak akan melakukannya.

Yang masih belum dimiliki pasangan ini adalah hal yang memungkinkan Anda memeriksa pertukaran itu secara jujur: skor guru. Sampai kartu dasar 8B memuat tabel enam tugas yang sama seperti yang dimuat hasil distilasi, setiap klaim tentang apa yang diperoleh dari distilasi adalah klaim tentang eksperimen tingkat keluarga dalam makalah itu, bukan tentang kedua berkas ini. Jika NVIDIA menambahkan tabel itu — dan suntingan terakhir kartu dasar pada 16 November menunjukkan bahwa repositori masih dipelihara — perbandingan ini menjadi pengurangan, bukan rekonstruksi.

Untuk saat ini, cara membaca praktisnya sempit tetapi berguna: pilih base jika Anda ingin mengeksplorasi bagaimana LM difusi kontinu berperilaku di bawah anggaran langkah yang berbeda, pilih nfe4 jika Anda menginginkan 6,4 token tetap per forward pass pada akurasi yang dipublikasikan, dan lewati keduanya jika Anda memerlukan model chat atau jendela konteks yang lebih panjang daripada memo panjang. Keduanya tidak ada di katalog OrcaRouter saat ini, dan keduanya tidak akan ada sampai tersedia jalur serving untuk arsitektur block-diffusion — yang memang tersedia di OrcaRouter adalah lebih dari 200 model autoregresif yang akan Anda gunakan sebagai pembanding untuk salah satu dari keduanya, dengan satu kunci pada harga daftar penyedia tanpa markup, dan failover otomatis jika Anda ingin eksperimennya terisolasi dari jalur produksi.

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.