
Nemotron-Labs-Sigma-distill-8B-nfe4 與 Nemotron-Labs-Sigma:相同的權重譜系,兩種解碼契約
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 90 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 97 tok/s
- orca新Orca: OrcaC2 1.02026-11-0717 tok/s
- Orca新OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 88 tok/s
- Orca新OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 133 tok/s
- Orca新OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 每百萬 tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百萬 tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百萬 tokens · 218 tok/s
令人困惑的是,Nemotron-Labs-Sigma-distill-8B-nfe4 並不是更好的 Nemotron-Labs-Sigma-8B。它是另一個檔案,帶有不同的契約,由同一血統的教師模型產生,而兩者之間的差異不在準確度,而在於網路要執行多少次才輸出一個詞。基礎版 8B 於 2026 年 10 月 5 日發布,是預訓練研究模型:8.49B 參數、可設定的去噪步數、必須手動調整的無分類器引導,以及一張完全不公布分數、而是指向 arXiv:2610.02665 的模型卡。蒸餾版 nfe4 於 2026 年 11 月 12 日推出,擁有 9.03B 參數、步數已內建於檢查點,以及 NVIDIA 唯一放在 Sigma 模型卡上的逐基準測試表。兩者都僅支援英文、上限都是 4,096 個 token,且都採用相同授權條款。兩者之間的選擇,取決於你希望模型如何運用其運算資源。
實際上,每個檔案有何不同
兩個儲存庫都附帶相同的 model_type——nemotron_labs_sigma——且兩者的載入方式相同,都使用 trust_remote_code 以及來自儲存庫的 40 KB 建模檔案。這些設定在推論時有重要差異,而在主幹網路方面幾乎完全沒有差異:
• 主幹 — 兩者架構完全相同:34 層、隱藏層维度 4,096、FFN 14,336、32 個查詢注意力頭與 8 個鍵值注意力頭、SwiGLU、RoPE、131,072 個 token 的詞彙表。
• 參數 — 基礎版為 8.49B(8,489,947,136 個 BF16 加上 2,097,186 個 F32),蒸餾版則為 9.03B(9,026,818,048 個 BF16 加上相同數量的 F32)。多出的 537M 是輔助的自迴歸讀出頭(autoregressive readout head),蒸餾版會將它與擴散頭(diffusion head)一併保留。
• 磁碟上的權重 — 16.99 GB 對比 18.06 GB,各為四個分片。
• 上下文長度——base 與 distill 皆為 4,096 個 token。同一系列中的 instruct 變體將此上限提高至 8,192,並加入了聊天模板;這裡的兩個模型都沒有。
• Steps — 基礎版本會在呼叫時暴露 steps 與 block_length,且其卡片會發布依預算分表的表格;distill 則完全不接受任何覆寫。
• 引導 — base 需要無分類器引導(32 步與 16 步時為 3.0,4 步時為 2.0),還需要調校過的分數溫度;distill 則以 CFG 1 和分數溫度 1 執行,也就是說,沒有引導,也沒有調校。
• 取樣器 — 基礎模型的文件記載,其預設是在 log_snr 網格上以 64-token 區塊使用 DDIM;{{1}}蒸餾模型使用 fresh_x0,並在步驟之間保留自我條件化,且採用 32-token 區塊。{{/1}}
步數不是蒸餾模型上的設定
這是模型卡中重新界定整個比較的那句話:「去噪步數由訓練固定:此變體僅針對 NFE=4 訓練,且隨附的推論程式碼刻意不提供任意步數覆寫(其他步數會評估到未經訓練的相位端點)。」
Phased DMD 會蒸餾出一條軌跡,而蒸餾後的軌跡會在特定噪聲水平上具有階段端點。要求一個四步學生模型跑八步,並不是讓它跑得慢一點以換取更好的品質——而是在要求它在自己從未訓練過的噪聲水平上進行評估。卡片上說輸出會退化。沒有可調的旋鈕。
基礎版則相反。它的模型卡提供了這張表——DDIM-32 使用 CFG 3 與分數溫度 0.3,DDIM-16 使用 CFG 3 與 0.4,DDIM-8 使用 CFG 3 與 0.6,DDIM-4 使用 CFG 2 與 0.8——然後補充警告:低於約 16 步時,預訓練模型會明顯失去品質,且少步數生成應改用蒸餾變體。
把同一組織的那兩段陳述合起來讀,就是一種分工:基礎版是你會去調整的東西,蒸餾版則是你不會去調整的東西。想要可調的旋鈕,就選基礎版;想要固定不變的常數,就選蒸餾版。

區分他們的那套算術
把這兩份合約統一成相同單位,精簡檔案存在的原因就顯而易見了。
• 將 Base 維持在其建議設定 —— 每個 64 個權杖的區塊進行 33 次去噪器呼叫(32 步加上一次讀出),即每次前向傳遞處理 1.9 個權杖。
• 以 4 步為基準 — 每個 64 個 token 的區塊有 5 次呼叫,每輪 12.8 個 token,但卡片警告低於 16 步時品質會明顯下降。
• 蒸餾 nfe4 — 每個 32-token 區塊 5 次呼叫,每次執行 6.4 個 token,達到卡片所公布的品質。
• 蒸餾 nfe8 — 每個 32 個 token 的區塊需 9 次呼叫、每次傳遞 3.6 個 token,且在六項任務平均分數上高出 4 分。
所以,蒸餾後的 nfe4 介於 base 的安全運作點與不安全運作點之間:每個 token 的前向傳遞次數只有建議 base 配置的三分之一,而且其步數正是模型實際訓練時所針對的步數。這就是本次發布的全部前提,而這是一個關於運算量、而非關於智慧的前提。
它並不是實測的吞吐量。基礎版資料卡指出,在單張 H100 上以 DDPM、每個 64 個詞元區塊執行 32 步的設定生成 256 個詞元時,速度約為每秒 120–140 個詞元。蒸餾版資料卡則未公布任何每秒詞元數的數據。上述的呼叫次數比例純粹是根據已公布的步數所做的算術推算;請以此理解。
哪一個有數字,而它們值多少?
在這裡,這兩張卡片急遽分歧,而且分歧的方向對基地而言令人不安。
Nemotron-Labs-Sigma-8B 並未公布任何基準測試表。其評估章節只有兩句話,表示結果「已在技術報告中回報」。關於其準確度,你所能得知的一切都必須取自 arXiv:2610.02665——這篇論文涵蓋 3B 與 8B 系列,包含基礎版與蒸餾版,而其摘要聲稱這些模型勝過遮罩式擴散語言模型與自迴歸基線,並在程式設計方面取得最大且一致的增益。
蒸餾後的 nfe4 card 確實公布了數字,採用十個隨機種子與兩個標準誤:GSM8K 86.86 ± 0.28、MATH 61.52 ± 0.20、HumanEval 60.61 ± 1.43、HumanEval+ 57.99 ± 1.20、MBPP 57.50 ± 0.61、MBPP+ 73.70 ± 1.07、六項任務平均值 66.36 ± 0.46。十個種子值中有九個落在 42 到 51 的範圍內,因此該協議的描述已足夠精確,足以重現。
因此,這兩張模型卡合在一起,仍無法告訴你蒸餾的代價是多少。這是這項比較中最有用的一個數字,卻缺席了,因為教師模型卡上沒有可供相減的表格。這項說法只存在於論文中,而且其措辭具有方向性:透過分佈匹配蒸餾,在數學上約有 8 倍加速、在程式設計上約有 4 倍加速,「僅有輕微準確率損失」。這些倍數是論文報告的,而非模型卡報告的,而且它們指的是該系列自身的實驗,而不是對今日 Hub 上這兩個確切檢查點所做的受控比較。
蒸餾系列本身還有一個細節:nfe16 同系列項目被標記為 pending_ten_seed_six_task_validation。它的三任務平均值 74.50 來自單一次 seed-42 執行,而卡片指出不要把它與其他變體的十個種子平均值相比。因此,「最大者就是最佳」是卡片明確不願支持的一種解讀。
沒有人提及的第三個選項
這個集合中有一個變體,既不屬於本次比較的兩個模型,也可說是其中最有意思的檔案:Nemotron-Labs-Sigma-distill-spec-8B。它同樣是以 MS-SUSReg-8B 教師模型為基礎,並以額外的接受目標進行蒸餾;它不以純粹的少步取樣器運作,而是用其擴散頭起草一個 32 個 token 的區塊,並用自身的自迴歸頭進行驗證。每一輪耗費一次擴散呼叫,而被接受的 token 會直接輸出,無需再進行一次前向傳遞。模型卡指出,回傳的文字正好是貪婪自迴歸輸出——接受與否只改變吞吐量,絕不改變內容。
已公布的接受數據(單一快照):HumanEval 的平均接受長度為 7.91,GSM8K 為 11.86,MBPP 為 13.37,包含 bonus token,排除 bootstrap 回合。這些是吞吐量指標,而非準確率指標,且不能與 nfe4 的準確率表相比——模型卡以粗體強調了這項區別。
實務上,如果問題是「擴散頭能否在不改變模型輸出內容的情況下加速模型」,這就是值得留意的變體。它並不是本次比較中任一模型的隨插即用替代方案:它需要 generate_speculative、兩個頭,並且要關閉自條件化。

實務上如何選擇
這個決定可歸結為四項檢查,而對大多數讀者來說,第一項就會完全排除其中一方:
• 你是在研究取樣過程本身嗎——引導排程、步數、軌跡操控、無分類器引導行為?基礎在於模型,因為它才具備可調參數與各預算對照表。
• 你是否正在打造某種以固定每 token 成本生成文字的系統,而且不想再處理調校參數?這種情況下的首選就是 nfe4 蒸餾模型,因為 CFG 1 加上分數溫度 1 就是一套完整的設定。
• 你需要助理嗎?兩者都不需要。這兩個儲存庫裡都沒有聊天範本、沒有系統提示,也沒有工具呼叫,而基礎卡片明白表示它不是指令跟隨者。8,192 個 token 上下文的 instruct 變體才是為此準備的。
• 你需要一個可以引用的基準測試嗎?只有 distill 有,而且那是 NVIDIA 自己的。
這四者當中沒有任何一個問到參數數量,而這正是判斷它並非尺寸比較的線索。537M 參數的差距,是把自迴歸頭保留在檔案裡所付出的代價,而這對 nfe4 的純擴散路徑毫無助益——它之所以存在,是因為同一套架構同時也是 spec 變體的基礎。
這對組合的重點
NVIDIA 打造了一個主幹模型,並發布了兩次:一次是作為可供研究的版本,一次是作為可直接運行的版本。這是一套連貫的策略,也是為什麼這兩張卡給人的感覺如此不同——基礎版卡是為會更動取樣器的研究人員而寫,蒸餾版卡則是為不會更動取樣器的開發者而寫。
這對模型仍缺少的,正是能讓你誠實檢驗這樁取捨的東西:教師分數。在基礎 8B 模型卡尚未載有與蒸餾版相同的六項任務表格之前,任何關於蒸餾究竟換來什麼的說法,都只是關於論文家族層級實驗的說法,而非關於這兩個檔案。若 NVIDIA 補上那張表——而基礎模型卡最後一次編輯是在 11 月 16 日,顯示這些儲存庫仍在維護中——這項比較就會變成一次相減,而非一次重建。
目前,務實的解讀範圍很窄但很有用:如果你想探索連續擴散 LM 在不同步數預算下的行為,就選 base;如果你想要在已發表的準確度下,每次前向傳遞固定 6.4 個 token,就選 nfe4;如果你需要聊天模型,或需要比長篇備忘錄更長的上下文視窗,就兩者都跳過。兩者目前都不在 OrcaRouter 目錄中,而且在區塊擴散架構有可用的服務路徑之前,也都不會收錄——OrcaRouter 目前確實有提供的,是 200 多個自迴歸模型,你可以拿它們來對上述兩者做基準測試,只需一把金鑰,按 供應商定價 且不加價,並可自動容錯移轉,如果你想讓實驗與正式環境路徑隔離。

