
Nemotron-Labs-Sigma-distill-8B-nfe4 無預警登場,下載次數僅五次
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 90 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 97 tok/s
- orca新Orca: OrcaC2 1.02026-11-0717 tok/s
- Orca新OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 88 tok/s
- Orca新OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 133 tok/s
- Orca新OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 每百萬 tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百萬 tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百萬 tokens · 218 tok/s
Hugging Face 在截至 2026 年 11 月 17 日本文撰寫時,於過去三十天內只記錄到 nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 五次下載、零個讚。對 NVIDIA 六天前才發布的 80 億參數語言模型而言,這就是目前為止的全部迴響。沒有部落格文章、沒有 build.nvidia.com 上的列表、沒有發布討論串,也沒有新聞稿中的基準測試表。該檢查點自身的模型卡將發布日期標為 11/12/2026;儲存庫的首次提交是在 11 月 9 日 05:47 UTC,而最後一次編輯是在 11 月 16 日,該次編輯改寫了轉換程式,以保留 fp32 幾何張量。以下所有內容均是從該儲存庫、其設定檔以及它所引用的技術報告中解讀而來;未經確認的部分會標明為未確認,而不是補上臆測。
該儲存庫是唯一的第一手來源,而且它異常明確。
多數低調發布的版本都會留下一張佔位卡。這個版本沒有。它附上了一份來源證明檔、一份帶有 SHA-256 的檢查點完整性清單、一份分詞器的完整性雜湊、四張 Model Card++ 子卡,以及一份固定取樣器的生成設定。這種程度的紀錄管理,正是模型走過內部發布流程、卻單純沒有對外公告時會有的東西——發表文章會概括的那些產物全都存在,只少了那篇文章。
背後那篇論文是真實存在且有日期的:arXiv:2610.02665,大型語言連續擴散模型,這是一篇由十七位作者合著的 NVIDIA 論文,其 v2 於 11 月 12 日上線,與模型卡所稱權重發布的同一天。該論文將 Nemotron-Labs-Sigma 描述為首個 3B 與 8B 規模的大型連續擴散語言模型系列。模型卡的評估章節將其數據歸功於「11 月 10 日限制發布交接所驗證的十種子、六任務統計」——這句話告訴你,該檔案在公開儲存庫啟用前,至少已私下流通了兩天。

檢查點裡實際上包含什麼?
去掉冗長文字後,規格表就很簡短。下列每一行皆來自 config.json、generation_config.json 或模型卡:
• 主幹(Backbone)—— 一個 Ministral 風格的純解碼器 Transformer:34 層、隱藏層大小 4,096、FFN 14,336、32 個查詢頭與 8 個鍵值頭(頭維度為 128)、SwiGLU、RoPE,並在設定中包含一個 YaRN 縮放區塊。
• 生成頭 — 一個 16 維連續 token 嵌入擴散頭,並將輔助自回歸讀出頭保留在 checkpoint 中,而非予以剪枝。
• 參數量 — 依模型卡命名為 8.0B,依 safetensors 清點為 9.03B(9,026,818,048 個 BF16 張量加上 2,097,186 個 F32),四個分片共 18.06 GB。這兩個數字之間的差距在於輔助頭。
• 解碼契約 — 32 個 token 的區塊,恰好 4 次去噪函數評估加上 1 次讀出,因此每個區塊有 5 次去噪器呼叫,也就是每次前向傳遞產生 6.4 個 token。
• 取樣器 — 原生 fresh_x0 路徑,並在步驟之間傳遞自我條件;無分類器引導固定為 1,分數溫度固定為 1。
• 情境 — 4,096 個權杖用於提示加上生成。僅限英文。沒有以權杖 ID 進行的 EOS 停止;你會因字串或權杖預算而停止。
• 執行環境 — PyTorch 2.4 或更新版本、Transformers 4.55 或更新版本、trust_remote_code、bfloat16 的 CUDA GPU。明確不支援 CPU,而卡片上說明了原因:取樣器在 CPU 上會出現數值退化,產生無法使用的輸出。
• 授權條款 — NVIDIA Nemotron Open Model License,模型卡指出此授權允許商業與非商業用途。模型卡也在使用案例區段中說明,該模型可在你的硬體上離線執行,且 NVIDIA 不提供任何託管服務。
最後一句話對任何以為某處存在 Sigma 端點的人很重要。事實並非如此。build.nvidia.com 上沒有 Nemotron-Labs-Sigma 條目,而且該模型與 Nemotron 系列其餘模型一樣,都未收錄在 OrcaRouter 目錄中——所以今天沒有可呼叫的端點,只有可下載的東西。
四個檢查點,四種不同的模型
命名方式讓這些變體看起來像是同一個模型有四種設定。但它們並非如此:每個 NFE 值都是各自獨立蒸餾出的學生模型,而模型卡也直言步數是內建固定的。「這個變體僅針對 NFE=4 訓練,而隨附的推論程式碼刻意不提供任意步數覆寫」——因為其他步數會評估到該學生模型從未訓練過的相位端點。所以你不會在推論時把 nfe4 調低到兩步;你會下載 nfe2。
已發表的六項任務平均值,全部以十個隨機種子為基礎並附上兩個標準誤,首次讓這個系列中的取捨變得清晰可辨:
• NFE 2 — GSM8K 80.17、MATH 55.72、HumanEval 48.17、MBPP 37.52;六項任務平均值 53.02。每個區塊 3 次去噪器呼叫,每次呼叫 10.7 個 token。
• NFE 4 — GSM8K 86.86、MATH 61.52、HumanEval 60.61、MBPP 57.50;六項任務平均 66.36。每個區塊 5 次呼叫,每次呼叫 6.4 個 token。
• NFE 8 — GSM8K 88.44、MATH 64.40、HumanEval 65.18、MBPP 62.60;六項任務平均值 70.34。每個區塊 9 次呼叫,每次呼叫 3.6 個 token。
• NFE 16 — GSM8K 89.61、HumanEval 67.68、MBPP 66.20,三任務平均 74.50。每個區塊 17 次呼叫,每次呼叫 1.9 個 token。還有一項其他三個檢查點未附帶的注意事項:此檢查點標記為 pending_ten_seed_six_task_validation,其數據僅為在三個任務上以 seed 42 進行的單次執行,而模型卡上說應將其視為暫定值,且不可直接比較。
那座階梯的形狀才是有趣的地方。把步數從 2 加倍到 4,換來六項任務平均值 13.3 分的提升。再加倍到 8,只換來 4.0 分。提高到 16,則在實際跑過的三項任務上再換來約 4 分——而且這還是來自另一個較弱的評估。換句話說,蒸餾曲線正好在模型開始具競爭力的地方明顯變平,而 nfe4 檢查點剛好落在轉折點之後。

數字從何而來,又在哪裡止步
上方每一個數字都是 NVIDIA 的,由 NVIDIA 在其自家評估框架上產生,並以某個種子數回報,使其看起來比實際更獨立。十個種子搭配兩個標準誤是一套嚴謹的協定——它告訴你 nfe4 HumanEval 分數 60.61 具有 ±1.43 的區間,這個區間寬到你不應把與任何對象之間的兩分差距視為真實。但同一套評估框架的十個種子,並不是十個實驗室。
截至11月17日,尚不存在以下內容:任何 Sigma 模型的 Artificial Analysis 頁面、任何公開模型價格目錄中的條目、任何 vLLM 或 SGLang 支援,以及任何第三方重現。查核很快,結果卻空空如也。vLLM 在 main 分支上的模型登錄檔沒有 nemotron_labs_sigma 架構;提到 Nemotron 擴散模型的 SGLang pull request 是針對較舊的 Nemotron-Labs-Diffusion-8B 系列,且仍處於開啟狀態。Transformers 沒有原生的 nemotron_labs_sigma 模組,因此模型卡會告訴你要使用 trust_remote_code 載入,並將儲存庫中 40 KB 的 modelling 檔案與權重一併附上。
誠實的狀態是:一個已釋出的檢查點,附有已公開的評估協定,且零外部驗證。對 2026 年 11 月的擴散語言模型而言,這是正常狀態;這不是在批評該模型——而是在描述這張模型卡有多少部分是你可據以規劃的。
執行它是一個 Python 腳本,而不是一套服務堆疊
模型卡的快速入門共有十一行:使用遠端程式碼載入 tokenizer 與模型、轉換為 bfloat16、以最大 token 數與可選的停止字串呼叫 generate,並讀回模型回報的 NFE 計數。此儲存庫沒有聊天範本、沒有系統提示、沒有工具呼叫、沒有 JSON 模式——模型卡明白指出,這是基準測試風格的提示,而且該模型是基礎檢查點的蒸餾學生模型,不是助理。如果你想要對話,該集合提供了父模型的 instruct 變體,具備 8,192 個 token 的上下文。
有兩個營運細節會讓任何只略讀的人吃虧。第一,停止機制:沒有 token-ID EOS 停止,因此若請求始終未產生你的停止字串,就會一路耗到 token 預算上限,而該預算是在 4,096 個 token 的視窗內與提示共用的。第二,記憶體:在任何 KV 快取之前就有 18 GB 的 bfloat16 權重,而且該模型唯一支援的執行路徑,是來自其儲存庫本身的 PyTorch eager 程式碼——沒有 paged attention、沒有 continuous batching,該集合中也沒有量化版本。今日支援的組態是單一 GPU 上的單一請求。
吞吐量是大家都會想知道的數字,而這張卡片並沒有為這個檢查點提供該數據。母模型的模型卡指出,在單一 H100 上、每個 64 個 token 的區塊使用 32 步的 DDPM 取樣器、生成 256 個 token 時,速度大約是每秒 120–140 個 token。蒸餾後的 nfe4 每 32 個 token 做 5 次呼叫,而不是每 64 個 token 做 33 次呼叫;若以呼叫次數計算,每個 token 的前向傳遞次數少了四倍多——但這只是對步數做的算術推估,並非對這個檢查點的實測,而且模型卡也沒有公布它的每秒 token 數。
什麼尚未被確認
有三件事,本可由一篇發布公告交代清楚,但這次發布並沒有:
• NVIDIA 究竟打算將其作為產品還是研究成果。授權條款允許商業使用,且這張卡是以產品語言撰寫的,但沒有託管端點、沒有支援聲明,且在 11 月 16 日之前的任何 NVIDIA 部落格文章中均未提及。
• 老師的價值。卡片上寫著,該學生是從同一架構系列中一個「MS-SUSReg-8B」老師蒸餾而來,而來源檔案將這次執行命名為 8b_ms_susreg_n4_20261109,對應學生步驟 1200。已發布的基礎模型 Nemotron-Labs-Sigma-8B 被描述為同一血統——但基礎卡片完全沒有公布任何數字,只有指向論文的指引,因此無法並排從兩張卡片讀出蒸餾損失。

• nfe16 檢查點究竟是該系列中最佳的一個,還是尚未完成評估所造成的產物。它的數字在卡片上最高,卻也最不可信,而卡片本身也這麼說,這份坦率超過大多數發行說明所能做到的程度。
為什麼低調發布才是重點
NVIDIA 今年秋天推出了很多東西——Bolt、Super VL、Transcribe、Dory 系列,全都附有部落格文章和 build.nvidia.com 頁面。Sigma 卻完全沒有這些,同樣出自該組織,只附有一篇論文、一份授權條款、四張 Model Card++ 子卡,以及一個顯示五次下載的下載計數器。最可能的解讀是:這是一項刻意不納入產品曝光範圍的研究發布:該卡片的預期用途是「延遲敏感的生成研究、推測性與平行解碼研究」,這是實驗室產物會用的措辭。
對讀者而言,在決定是否該在意的時候,實際的問題並不是這模型在抽象層面上好不好——而是這樣一個 4-NFE、4K 上下文、沒有 serving stack 的連續擴散語言模型,能不能勝過你 pipeline 裡已有的自迴歸模型。要回答這個問題就得實際跑起來,而讓它值得花上一個 GPU 小時的算術很簡單:每次前向傳遞 6.4 個 token,對比標準解碼器的 1 個。這套算法能否經得起你的實際工作負載,正是那份缺失的獨立基準測試本來會告訴你的事。
OrcaRouter 不提供這個檢查點,而且在有人為固定步數的區塊擴散架構建立服務路徑之前,它也不會以按 token 計價的形式出現——成本模型無法像自迴歸 API 那樣對應到輸入與輸出 token。OrcaRouter 上目前實際可用的是這組比較基準:200 多個自迴歸模型只需一把金鑰即可使用,價格為供應商定價,且不加價,因此 Sigma 的問題可以對照真實基準來回答,而不是對照規格卡。將兩者都透過同一個端點路由,也是在您做決定時讓實驗避開生產路徑的最便宜方式。
