一張生成的標題卡,標題寫著 Nemotron-Labs-Sigma-distill-8B-nfe4 對上 Nemotron 3.5 Lightning 30B A3B,副標題指出前者是下載次數五次的擴散研究檢查點,後者則是下載次數 962,098 的生產用 MoE,頁腳則註明兩組數字皆為廠商回報,且兩者之間並未共用任何基準測試。
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 對比 Nemotron 3.5 Lightning 30B A3B:NVIDIA 兩款永遠不會互相競爭的發布

作者

Gideon Frost

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

把 Nemotron-Labs-Sigma-distill-8B-nfe4 和 Nemotron 3.5 Lightning 30B A3B 放在同一句話裡,人的直覺就是問哪一個更聰明。這個問題沒有答案,而且不是因為資料太少——而是因為這兩個模型不共用任何基準測試、上下文長度、服務堆疊和發布流程。Nemotron-Labs-Sigma-distill-8B-nfe4 是一個 8B 連續擴散模型,NVIDIA 於 2026 年 11 月 12 日發布,沒有任何公告,下載次數只有五次。Nemotron 3.5 Lightning 30B A3B 是一個總參數 30B、活躍參數 3B、結合 Mamba-2 與注意力機制的混合專家模型,於八月推出,附有模型卡、build.nvidia.com 端點,上個月下載量達 962,098 次。有用的比較不是比分,而是哪一個你真正能放到使用者面前,以及用來做什麼。

這兩張卡片描述的是不同的產品,而非不同的層級。

並排閱讀兩者的使用案例段落,差異就不再是能力問題。Sigma-distill 的說明卡寫著它適用於「對延遲敏感的生成研究、投機式與平行解碼研究,以及面向部署的實驗」,並聲明該模型「在使用者自有硬體上離線執行;NVIDIA 不提供任何服務」。Lightning 的說明卡則指向 integrate.api.nvidia.com 上一個相容於 OpenAI 的端點、一個 vLLM 容器標籤、一組建議的取樣參數組合(temperature 1.0 與 top_p 0.95)、聊天模板中的思考模式切換開關,以及三個各自獨立的投機式解碼草稿檢查點。

一個是檔案。另一個是背後有檔案的服務。這個差異幾乎決定了本文其餘所有內容:

• 參數 — 8B 稠密模型(若將輔助讀出頭一併計入,safetensors 清查結果為 9.03B),對比總參數 30B、每個 token 啟用 3B。

• 架構 — Ministral 風格的解碼器,配備 16 維連續擴散頭,對比交錯的 Mamba-2、MoE 與選擇性注意力層,並搭配多 token 預測頭。

• 上下文 — 提示與輸出合計為 4,096 個 token,對比最高可達 1,000,000 個;但要注意,單張 H100 僅能達到約 256,000 個,而要達到完整的一百萬個,則需要八張 H100、一張 GB200 或一張 B200。

• 語言 — 僅英文,對比英文加上程式語言、西班牙文、法文、德文、義大利文與日文,並於後訓練階段加入中文。

• 發佈形態 — 僅提供卡片與權重,沒有廠商端點,也沒有相對於託管端點的公告,一個 BF16 參考建置、一個 NVFP4 建置,以及三個用於推測性解碼的草稿模型。

• 過去三十天的下載次數——五次,對比光是 BF16 儲存庫就有 962,098 次,這還沒算上 NVFP4 建置版本的 901,381 次。

• 授權條款 — 兩者皆採用 NVIDIA Nemotron Open Model License,不過 Lightning 的模型卡上標示為 OpenMDW-1.1。

沒有共同的基準,就沒有比分可言。

這正是大多數比較頁面會含糊帶過的部分。Sigma-distill 的模型卡報告了 GSM8K、MATH (Minerva)、HumanEval、HumanEval+、MBPP 和 MBPP+,以十個隨機種子、兩個標準誤,外加六項任務平均 66.36。Lightning 的模型卡報告了 MMLU Pro、GPQA Diamond、HLE、SciCode、SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1、PinchBench、BrowseComp、τ³-bench Banking、GDPval-AA-V2、IFBench、AA-LCR 和 AA-Omniscience。兩者的交集是空集合。兩張模型卡上沒有任何一個基準同時出現。

這不是報導上的偶然。這兩項評測刻意測試不同的東西。Sigma 的六項任務是短答推理,以及在數百個 token 範圍內的程式碼補全;Lightning 的任務則是代理式軟體工程、長上下文檢索與專業知識。一個只有 4,096 個 token 視窗且沒有聊天模板的模型,無法接受 SWE-bench 測試框架的評測;而一個被訓練來補完函式主體的模型,也不會被要求回答 GPQA 問題。

所以唯一能誠實劃出的界線是這樣:在它自己的六項任務上,Sigma-distill nfe4 以十個種子平均為 66.36,這是在真實協定下的一個真實數字,而這完全不能說明它在任何 Lightning 受測過的項目上會表現如何。任何告訴你其中一個勝過另一個的人,都是在拿虛無做比較。

A generated chart showing that the two model cards share no benchmark: on the left, the six Nemotron-Labs-Sigma-distill-8B-nfe4 tasks with ten-seed accuracies of GSM8K 86.86, MATH 61.52, HumanEval 60.61, HumanEval+ 57.99, MBPP 57.50 and MBPP+ 73.70, mean 66.36; on the right, the Nemotron 3.5 Lightning 30B A3B evaluations including MMLU Pro 81.94, GPQA Diamond 75.44, SWE-bench Verified 51.56 and Terminal-Bench 2.1 24.58, with a divider marking that no task appears on both sides.

速度正是讓比較變得有趣的地方——也是仍懸而未決的地方。

這兩款模型都很快,但快的方式難以用單一軸線衡量,而這正是這場對決真正有實質內容的地方。

Sigma-distill 每個區塊在正好 4 次去噪評估加上 1 次讀出中生成 32 個 token。五次前向傳遞、32 個 token:每次前向傳遞 6.4 個 token。由於步數由訓練固定,這個比例不會隨提示長度或輸出長度改變——它是常數,而且模型卡的推論程式碼不允許你覆寫它。父模型的模型卡指出,在單張 H100 上、每個 64-token 區塊進行 32 步時,每秒可達 120–140 個 token;蒸餾變體則完全沒有公布任何每秒 token 數,因此「前向傳遞次數少 6.4 倍」的算術並不是實測輸送量。

Lightning 走另一條路。它是 3B 活躍參數的 MoE,因此每次前向傳遞的成本都很低;NVIDIA 將 DSpark 作為建議的推測性解碼預設方案提供,並以 DFlash 及其自家的多 token 預測頭作為替代方案。它的吞吐量數字同樣沒有以每秒 token 數列在規格卡上,但它的下載量和服務部署配方顯示它已在生產環境中運行過,而 Sigma 則沒有。

關鍵區別在於:Sigma 的加速是結構性的,且每個 token 的加速量固定;而 Lightning 的加速則是投機性的,取決於工作負載。每 32 個 token 固定呼叫 5 次的約定,具有草稿接受率永遠無法比擬的可預測性。而且目前也無法測量,因為還沒有人公佈過 nfe4 checkpoint 的任何一個吞吐量數字。

每一項運作起來要花你多少錢

Sigma-distill 是 18.06 GB 的 bfloat16 權重,分散於四個分片,透過 PyTorch eager 程式碼從儲存庫本身以 trust_remote_code 載入,在 CUDA GPU 上執行,且該系列中沒有 paged attention、沒有 continuous batching,也沒有量化版本。由於沒有端點,因此沒有按 token 計價:NVIDIA 的說明卡指出該模型在你的硬體上執行,且 NVIDIA 不提供託管服務。

Lightning 的形狀相反。BF16 權重有 31.6B 個參數;NVIDIA 自家的正式環境建議是改用 NVFP4 版本,而其顯示卡隨附一份 vLLM 配方(容器標籤 vllm/vllm-openai:v0.27.1),搭配 FlashInfer Mamba 後端、FP16 SSM 快取與前綴快取,另外還有一份適用於 Hopper 與 Blackwell 的 SGLang 映像。顯示卡上與 build.nvidia.com 上都未列出定價——該端點適用 NVIDIA 的 API 試用條款——但第三方平台將該模型列為每百萬輸入 token 約 $0.05、每百萬輸出 token 約 $0.20。此數字是市集觀察值,並非供應商定價。

這兩個模型都不在 OrcaRouter 的目錄中,若暗示它們在,那就不誠實。OrcaRouter 提供的是周邊的比較組合:200 多個模型只需一把金鑰即可存取,供應商定價原樣傳遞、不加價,因此上游降價會在同一天反映,而不是等到每季的價目表修訂。如果你讀這篇的原因,是需要挑一個基準來測試 Sigma,那麼基準就是從這裡來的。

依包絡挑選,而非依分數

四個問題能在不到一分鐘內釐清這件事,而且它們都不涉及基準測試準確度:

• 任務是否符合 4,096 個權杖?若否,Sigma-distill 即出局,問題也就結束了。Lightning 的百萬權杖視窗——單張 H100 上可達 256K——大了三個數量級。

• 任務是否需要對話、工具或結構化輸出?Sigma-distill 完全沒有這些功能:沒有聊天範本、沒有系統提示、沒有 JSON 模式,停止字串和 token 預算(token budget)是唯一的停止機制。Lightning 則隨附一個帶有思考切換功能的聊天範本。

• 你需要同時服務多個請求嗎?Sigma 沒有推論服務堆疊——受支援的做法是在單一 GPU 上執行 Python 腳本。Lightning 有兩項引擎整合,以及一份已公布的平行化方案。

• 你感興趣的是解碼機制本身——區塊擴散、少步蒸餾、自我推測?那麼 Sigma-distill 是兩者中唯一有趣的,而 Lightning 則是完全錯誤的比較對象。

其餘一切都源自那四項。一個為產品評估 Sigma 的團隊,實際上是在問研究檢查點能否轉化為服務;一個評估 Lightning 的團隊,則是在問 3B 活躍參數的混合 MoE 是否符合預算。這些是不同的對話。

這場對決將成真之處

有兩件事能讓這個頁面變成真正的正面對決,而這兩者目前都還不存在。

第一個是共用的基準測試。如果 Sigma 哪天有 MMLU Pro 或 GPQA 的分數,或者 Lightning 在可相比的提示格式下取得 GSM8K 或 HumanEval 的分數,那才有東西可以比較。在那之前,誠實的立場就是上面所說的那個:同一家廠商所報告的兩套互不相干的評測套件,而且是在無法互相應考對方測試的模型上。

第二個是服務路徑。Sigma-distill 目前還是一個要你先 clone 的儲存庫,以及一支要你自行執行的腳本;提及 Nemotron diffusion 的 SGLang 拉取請求所針對的是較舊的 Nemotron-Labs-Diffusion-8B 系列,截至 11 月 17 日仍處於開啟狀態,而 vLLM 的註冊表中完全沒有 nemotron_labs_sigma 架構。一旦具有固定步數的區塊擴散模型獲得分頁注意力與批次處理支援,其每輪 6.4 個 token 的優勢就會成為一個可以和推測解碼接受率並列比較的數字——而這項比較會值得發表。

Screenshot of the Hugging Face model card for NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the model description as a hybrid Mamba-2, mixture-of-experts and attention model with 30B total and 3B active parameters, the release date of 08/11/2026, the OpenMDW-1.1 licence, and the evaluation table beginning with MMLU Pro at 81.94 and GPQA Diamond at 75.44.

截至目前,實務上的解讀是:NVIDIA 在同一個秋天為兩類受眾推出了兩款模型,而其中只有一款是產品。Lightning 是你今天就能呼叫的模型,具備服務所隱含的快取行為、上下文視窗與引擎支援。Sigma-distill 則是你會下載的模型——如果你在意的是:8B 的連續擴散能否在每 32 個 token 進行五次前向傳遞的情況下,於六項任務上維持 66.36 的成績。這是關於解碼的問題,而非關於能力的問題,而且無論拿它與 30B MoE 做多少比較,都無法回答。

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron 3.5 Lightning 30B A3B, contrasting context of 4,096 tokens against up to 1,000,000, English only against seven languages, five downloads against 962,098, no vendor endpoint against a hosted OpenAI-compatible endpoint, no engine support against vLLM and SGLang recipes, and a fixed 6.4 tokens per forward pass against speculative decoding, with a footer noting that no benchmark is shared between the two cards.