一張生成的標題卡,寫著 Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma,副標為同一血緣、兩套解碼契約,並有四塊統計圖磚:基礎版為 8.49B 參數、可配置 DDIM 步數;蒸餾版為 9.03B、每個區塊固定 4 次去噪評估;基礎版下載數為 106,蒸餾版為 5;頁腳註明所有數字皆來自 NVIDIA 模型卡,且兩者都沒有獨立基準測試。
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 與 Nemotron-Labs-Sigma:相同的權重譜系,兩種解碼契約

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

令人困惑的是,Nemotron-Labs-Sigma-distill-8B-nfe4 並不是更好的 Nemotron-Labs-Sigma-8B。它是另一個檔案,帶有不同的契約,由同一血統的教師模型產生,而兩者之間的差異不在準確度,而在於網路要執行多少次才輸出一個詞。基礎版 8B 於 2026 年 10 月 5 日發布,是預訓練研究模型:8.49B 參數、可設定的去噪步數、必須手動調整的無分類器引導,以及一張完全不公布分數、而是指向 arXiv:2610.02665 的模型卡。蒸餾版 nfe4 於 2026 年 11 月 12 日推出,擁有 9.03B 參數、步數已內建於檢查點,以及 NVIDIA 唯一放在 Sigma 模型卡上的逐基準測試表。兩者都僅支援英文、上限都是 4,096 個 token,且都採用相同授權條款。兩者之間的選擇,取決於你希望模型如何運用其運算資源。

實際上,每個檔案有何不同

兩個儲存庫都附帶相同的 model_type——nemotron_labs_sigma——且兩者的載入方式相同,都使用 trust_remote_code 以及來自儲存庫的 40 KB 建模檔案。這些設定在推論時有重要差異,而在主幹網路方面幾乎完全沒有差異:

• 主幹 — 兩者架構完全相同:34 層、隱藏層维度 4,096、FFN 14,336、32 個查詢注意力頭與 8 個鍵值注意力頭、SwiGLU、RoPE、131,072 個 token 的詞彙表。

• 參數 — 基礎版為 8.49B(8,489,947,136 個 BF16 加上 2,097,186 個 F32),蒸餾版則為 9.03B(9,026,818,048 個 BF16 加上相同數量的 F32)。多出的 537M 是輔助的自迴歸讀出頭(autoregressive readout head),蒸餾版會將它與擴散頭(diffusion head)一併保留。

• 磁碟上的權重 — 16.99 GB 對比 18.06 GB,各為四個分片。

• 上下文長度——base 與 distill 皆為 4,096 個 token。同一系列中的 instruct 變體將此上限提高至 8,192,並加入了聊天模板;這裡的兩個模型都沒有。

• Steps — 基礎版本會在呼叫時暴露 steps 與 block_length,且其卡片會發布依預算分表的表格;distill 則完全不接受任何覆寫。

• 引導 — base 需要無分類器引導(32 步與 16 步時為 3.0,4 步時為 2.0),還需要調校過的分數溫度;distill 則以 CFG 1 和分數溫度 1 執行,也就是說,沒有引導,也沒有調校。

• 取樣器 — 基礎模型的文件記載,其預設是在 log_snr 網格上以 64-token 區塊使用 DDIM;{{1}}蒸餾模型使用 fresh_x0,並在步驟之間保留自我條件化,且採用 32-token 區塊。{{/1}}

步數不是蒸餾模型上的設定

這是模型卡中重新界定整個比較的那句話:「去噪步數由訓練固定:此變體僅針對 NFE=4 訓練,且隨附的推論程式碼刻意不提供任意步數覆寫(其他步數會評估到未經訓練的相位端點)。」

Phased DMD 會蒸餾出一條軌跡,而蒸餾後的軌跡會在特定噪聲水平上具有階段端點。要求一個四步學生模型跑八步,並不是讓它跑得慢一點以換取更好的品質——而是在要求它在自己從未訓練過的噪聲水平上進行評估。卡片上說輸出會退化。沒有可調的旋鈕。

基礎版則相反。它的模型卡提供了這張表——DDIM-32 使用 CFG 3 與分數溫度 0.3,DDIM-16 使用 CFG 3 與 0.4,DDIM-8 使用 CFG 3 與 0.6,DDIM-4 使用 CFG 2 與 0.8——然後補充警告:低於約 16 步時,預訓練模型會明顯失去品質,且少步數生成應改用蒸餾變體。

把同一組織的那兩段陳述合起來讀,就是一種分工:基礎版是你會去調整的東西,蒸餾版則是你不會去調整的東西。想要可調的旋鈕,就選基礎版;想要固定不變的常數,就選蒸餾版。

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

區分他們的那套算術

把這兩份合約統一成相同單位,精簡檔案存在的原因就顯而易見了。

• 將 Base 維持在其建議設定 —— 每個 64 個權杖的區塊進行 33 次去噪器呼叫(32 步加上一次讀出),即每次前向傳遞處理 1.9 個權杖。

• 以 4 步為基準 — 每個 64 個 token 的區塊有 5 次呼叫,每輪 12.8 個 token,但卡片警告低於 16 步時品質會明顯下降。

• 蒸餾 nfe4 — 每個 32-token 區塊 5 次呼叫,每次執行 6.4 個 token,達到卡片所公布的品質。

• 蒸餾 nfe8 — 每個 32 個 token 的區塊需 9 次呼叫、每次傳遞 3.6 個 token,且在六項任務平均分數上高出 4 分。

所以,蒸餾後的 nfe4 介於 base 的安全運作點與不安全運作點之間:每個 token 的前向傳遞次數只有建議 base 配置的三分之一,而且其步數正是模型實際訓練時所針對的步數。這就是本次發布的全部前提,而這是一個關於運算量、而非關於智慧的前提。

它並不是實測的吞吐量。基礎版資料卡指出,在單張 H100 上以 DDPM、每個 64 個詞元區塊執行 32 步的設定生成 256 個詞元時,速度約為每秒 120–140 個詞元。蒸餾版資料卡則未公布任何每秒詞元數的數據。上述的呼叫次數比例純粹是根據已公布的步數所做的算術推算;請以此理解。

哪一個有數字,而它們值多少?

在這裡,這兩張卡片急遽分歧,而且分歧的方向對基地而言令人不安。

Nemotron-Labs-Sigma-8B 並未公布任何基準測試表。其評估章節只有兩句話,表示結果「已在技術報告中回報」。關於其準確度,你所能得知的一切都必須取自 arXiv:2610.02665——這篇論文涵蓋 3B 與 8B 系列,包含基礎版與蒸餾版,而其摘要聲稱這些模型勝過遮罩式擴散語言模型與自迴歸基線,並在程式設計方面取得最大且一致的增益。

蒸餾後的 nfe4 card 確實公布了數字,採用十個隨機種子與兩個標準誤:GSM8K 86.86 ± 0.28、MATH 61.52 ± 0.20、HumanEval 60.61 ± 1.43、HumanEval+ 57.99 ± 1.20、MBPP 57.50 ± 0.61、MBPP+ 73.70 ± 1.07、六項任務平均值 66.36 ± 0.46。十個種子值中有九個落在 42 到 51 的範圍內,因此該協議的描述已足夠精確,足以重現。

因此,這兩張模型卡合在一起,仍無法告訴你蒸餾的代價是多少。這是這項比較中最有用的一個數字,卻缺席了,因為教師模型卡上沒有可供相減的表格。這項說法只存在於論文中,而且其措辭具有方向性:透過分佈匹配蒸餾,在數學上約有 8 倍加速、在程式設計上約有 4 倍加速,「僅有輕微準確率損失」。這些倍數是論文報告的,而非模型卡報告的,而且它們指的是該系列自身的實驗,而不是對今日 Hub 上這兩個確切檢查點所做的受控比較。

蒸餾系列本身還有一個細節:nfe16 同系列項目被標記為 pending_ten_seed_six_task_validation。它的三任務平均值 74.50 來自單一次 seed-42 執行,而卡片指出不要把它與其他變體的十個種子平均值相比。因此,「最大者就是最佳」是卡片明確不願支持的一種解讀。

沒有人提及的第三個選項

這個集合中有一個變體,既不屬於本次比較的兩個模型,也可說是其中最有意思的檔案:Nemotron-Labs-Sigma-distill-spec-8B。它同樣是以 MS-SUSReg-8B 教師模型為基礎,並以額外的接受目標進行蒸餾;它不以純粹的少步取樣器運作,而是用其擴散頭起草一個 32 個 token 的區塊,並用自身的自迴歸頭進行驗證。每一輪耗費一次擴散呼叫,而被接受的 token 會直接輸出,無需再進行一次前向傳遞。模型卡指出,回傳的文字正好是貪婪自迴歸輸出——接受與否只改變吞吐量,絕不改變內容。

已公布的接受數據(單一快照):HumanEval 的平均接受長度為 7.91,GSM8K 為 11.86,MBPP 為 13.37,包含 bonus token,排除 bootstrap 回合。這些是吞吐量指標,而非準確率指標,且不能與 nfe4 的準確率表相比——模型卡以粗體強調了這項區別。

實務上,如果問題是「擴散頭能否在不改變模型輸出內容的情況下加速模型」,這就是值得留意的變體。它並不是本次比較中任一模型的隨插即用替代方案:它需要 generate_speculative、兩個頭,並且要關閉自條件化。

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

實務上如何選擇

這個決定可歸結為四項檢查,而對大多數讀者來說,第一項就會完全排除其中一方:

• 你是在研究取樣過程本身嗎——引導排程、步數、軌跡操控、無分類器引導行為?基礎在於模型,因為它才具備可調參數與各預算對照表。

• 你是否正在打造某種以固定每 token 成本生成文字的系統,而且不想再處理調校參數?這種情況下的首選就是 nfe4 蒸餾模型,因為 CFG 1 加上分數溫度 1 就是一套完整的設定。

• 你需要助理嗎?兩者都不需要。這兩個儲存庫裡都沒有聊天範本、沒有系統提示,也沒有工具呼叫,而基礎卡片明白表示它不是指令跟隨者。8,192 個 token 上下文的 instruct 變體才是為此準備的。

• 你需要一個可以引用的基準測試嗎?只有 distill 有,而且那是 NVIDIA 自己的。

這四者當中沒有任何一個問到參數數量,而這正是判斷它並非尺寸比較的線索。537M 參數的差距,是把自迴歸頭保留在檔案裡所付出的代價,而這對 nfe4 的純擴散路徑毫無助益——它之所以存在,是因為同一套架構同時也是 spec 變體的基礎。

這對組合的重點

NVIDIA 打造了一個主幹模型,並發布了兩次:一次是作為可供研究的版本,一次是作為可直接運行的版本。這是一套連貫的策略,也是為什麼這兩張卡給人的感覺如此不同——基礎版卡是為會更動取樣器的研究人員而寫,蒸餾版卡則是為不會更動取樣器的開發者而寫。

這對模型仍缺少的,正是能讓你誠實檢驗這樁取捨的東西:教師分數。在基礎 8B 模型卡尚未載有與蒸餾版相同的六項任務表格之前,任何關於蒸餾究竟換來什麼的說法,都只是關於論文家族層級實驗的說法,而非關於這兩個檔案。若 NVIDIA 補上那張表——而基礎模型卡最後一次編輯是在 11 月 16 日,顯示這些儲存庫仍在維護中——這項比較就會變成一次相減,而非一次重建。

目前,務實的解讀範圍很窄但很有用:如果你想探索連續擴散 LM 在不同步數預算下的行為,就選 base;如果你想要在已發表的準確度下,每次前向傳遞固定 6.4 個 token,就選 nfe4;如果你需要聊天模型,或需要比長篇備忘錄更長的上下文視窗,就兩者都跳過。兩者目前都不在 OrcaRouter 目錄中,而且在區塊擴散架構有可用的服務路徑之前,也都不會收錄——OrcaRouter 目前確實有提供的,是 200 多個自迴歸模型,你可以拿它們來對上述兩者做基準測試,只需一把金鑰,按 供應商定價 且不加價,並可自動容錯移轉,如果你想讓實驗與正式環境路徑隔離。

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.