Nemotron 3.5 Bolt 74B 對比 Nemotron 3.5 Lightning 30B-A3B：相同配方，兩種記憶體上限

這是 NVIDIA Nemotron 3.5 家族樹上唯一一個比較，其中雙方都是由同一個團隊為了同一項工作、以兩種不同規模打造，而且供應商已經自己做過正面對決。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 與 NVIDIA Nemotron 3.5 Lightning 30B-A3B 都是帶有推測解碼頭的 Mamba-2 混合專家檢查點，兩者都以 OpenMDW-1.1 釋出供商業使用，兩者都預期由正在閱讀相關資訊的人自己執行，而不是從資料中心租用。Lightning 於 2026 年 8 月 11 日推出。Bolt 的權重於 2026 年 10 月 7 日上線，NVIDIA 於 10 月 15 日宣布。

差異在於記憶體上限：一款是 24GB，另一款在其量化形式下約為 16GB，而兩者之間 Artificial Analysis Intelligence Index 的八分差距，正是這道上限所換來的。

一個配方，以兩種規模運行

Lightning 率先登場，並確立了整個 3.5 世代遵循的形態：一種混合堆疊，將 Mamba-2 狀態空間區塊與專家混合及注意力層交錯排列，具備多符元預測頭，讓模型能一次草擬數個符元並平行驗證，還有各自獨立的搭配草稿器——用於低並行資料中心部署的 DSpark、DFlash，以及後來的 LiLiCorr 草稿器——使推測解碼成為受支援的組態，而非研究上的奇技淫巧。從 N​emotron 3 Ultra 教師模型進行的蒸餾，則是這套配方的另一半。

Bolt 是同樣的配方，但針對更緊縮許多的預算。它的 74B 參數由 Star Elastic 壓縮到 24GB，這是 NVIDIA 的路由器引導架構搜尋，會取用父檢查點，並搜尋能滿足硬性部署佔用空間、同時最小化知識蒸餾損失的每層專家數與 MoE 中間寬度。在 Bolt 的情況中，搜尋範圍被限制在批次大小 1 與 128K 上下文下低於 24GB，專家 top-K 從父模型的 22 降至 9，接著專家權重被量化為 IQ2-XXS，每個元素 2.0625 位元，並以量化感知蒸餾來恢復準確度。Mamba 層採用 NVFP4，嵌入與輸出層採用 Q8_0。

Bolt 的父模型不是 Lightning。它是 Nemotron 3.5 Super VL 120B-A12B，NVIDIA 在同一天推出的 1200 億參數多模態模型，這就是為什麼 Bolt 搭載 C-RADIO v4-H 視覺編碼器，而 Lightning 沒有。

規格對比，兩邊列在同一行

• 總參數與活躍參數 — Bolt：總計 74B，每個 token 有 9B 活躍參數。Lightning：總計 30B，每個 token 約有 3B 活躍參數。

• 架構 — Bolt：Mamba-2–Transformer 混合式 LatentMoE，加上 C-RADIO v4-H 視覺編碼器。Lightning：具備注意力機制的 Mamba-2 混合式 MoE，不含視覺塔。

• 精度與佔用空間 — Bolt：IQ2 為每個元素 2.0625 位元，封裝至低於 24GB。Lightning：BF16、NVFP4 及其他量化版本另行發布。

• 背景 — Bolt：最多 256,000 個 token，個別部署配方可自由使用更少。Lightning：原則上最多 1,000,000 個 token，但單張 H100 的實際上限定義約為 256,000。

• 輸入與輸出 — Bolt：輸入文字、圖像和影片，輸出文字。Lightning：輸入文字，輸出文字。

• 授權 — 兩者皆採用 OpenMDW-1.1，並經 NVIDIA 核准可用於商業及非商業用途。

• 推測解碼 — Bolt：經由 DFlash 的 LiLiCorr 草擬器，參考配方中的七個推測符元。Lightning：MTP 頭加上 DFlash 與 DSpark 草擬器。

• 智慧指數 — Bolt：21.4，在其同級別67個中排名第四，由Artificial Analysis獨立測量。Lightning：12.9，獨立測量。

• 價格 — Bolt：各處皆無按用量計費的費率；Artificial Analysis 未列出任何輸入或輸出價格，且沒有公開的託管端點。Lightning：根據 Artificial Analysis 的追蹤，每百萬個輸入 token 為 0.06 美元，每百萬個輸出 token 為 0.20 美元，快取輸入約為 0.006 美元。

• 輸出速度 — Bolt：未公布獨立測量數據。Lightning：每秒 305 個輸出 token，首個 token 耗時 0.57 秒，兩者均經獨立測量，在該評測小組的排行榜上屬於最快的數據之一。

廠商自家的直接對比，請仔細閱讀

NVIDIA 為 Bolt 發布的模型卡中公布了一張表，其中 Lightning 是三個基準之一；這張表值得當作一篇論證來讀，而不是記分板，因為該公司挑選的基準測試，都是其新模型勝出的項目。

• Terminal-Bench 2.1 — Bolt 50.98 對上 Lightning 的 23.46。兩者皆由廠商自行執行，且皆採用 BF16 Lightning 建置版本。

• GPQA Diamond — Bolt 86.43，對比 Lightning 的 75.57。

• BrowseComp — Bolt 66.75，對比 Lightning 的 36.81。

• 不使用工具的 HLE — Bolt 25.30 對上 Lightning 的 10.47。

• PinchBench — Bolt 拿下 87.82，Lightning 則為 83.43，差距遠比其他項目來得小，這也與 NVIDIA 的說法一致：Bolt 是該基準測試中同級第一的開源模型。

• AA-Omniscience 非幻覺 — Bolt 61.27 對上 Lightning 的 68.81。這一項由 Lightning 勝出，而這仍是 N​VIDIA 選擇公布的那一列，這算是這張表的加分點。

• AA-Omniscience 準確率 — Bolt 16.90，Lightning 則是 16.63。實質上平分秋色，而且以絕對值而言，是表上最弱的一對數字。

該清單中的每一項數字，都是在模型卡上由廠商自行回報，且未經重現。Artificial Analysis 此後已獨立測得這兩項指數分數——21.4 與 12.9——而方向相符，這是目前所能說的最多。

當較小的模型是更好的選擇時

索引差距確實存在，而且它並非唯一的軸線。Lightning 在三個對特定部署至關重要的列中勝出。

在 Bolt 方面，它的速度更快，快了一個無人測量過的倍數。每秒 305 個輸出 token，且首個 token 的時間不到一秒，這是一種不同級別的回應速度，遠非目前任何未經測量的 2-bit 74B 檢查點所能被假定達到的程度，而且這是經過測量的。Bolt 自己公佈的吞吐量，在 AIPerf SPEED-Bench-Coding 上，當 LiLiCorr 草稿器啟用時為每秒 83.99 個 token，來自 N​VIDIA 研究頁面上的一台筆記型電腦級機器，與 panel 的測試平台無法相比。

它擁有四倍的脈絡。一百萬個 token 對上 256,000，而這項差異展現在獨立的長脈絡檢索分數上：在 NVIDIA 的表格中，Lightning 於 AA-LCR 拿下 49.19，Bolt 則是 64.06——Bolt 更擅長運用長脈絡，但 Lightning 是兩者中唯一宣稱具備百萬 token 視窗的，因此如果工作負載是「讀取整個儲存庫」，上限可能比其中的檢索品質更為重要。

它是這兩者中唯一有定價的。Lightning 以每百萬個 token 輸入 $0.06、輸出 $0.20 的價格提供，這讓它成為可呼叫的基礎設施，而非硬體專案。沒有人公布 Bolt 的託管費率，因此要執行它的唯一方式就是自己擁有那台機器。

Lightning 做不到的是看見。它僅支援文字，而 Bolt 透過 C-RADIO v4-H 編碼器接受圖像和影片，在 WebArena 視覺測試中得分 50.86，而 Lightning 則沒有參與。如果代理程式會讀取螢幕截圖、開啟 PDF 或操作瀏覽器，單憑這一列就能決定選擇——而這一列是來自 Bolt 的 Super VL 血統，而不是來自其參數量。

實際上運行 Bolt 要花多少成本

NVIDIA 針對 24GB 檢查點的參考服務配方，不是一條讓你直接貼上的單一指令。它會固定使用特定的 vLLM nightly 映像檔，安裝 b12x 核心套件並下載核心，另外取得 reasoning-parser 外掛檔案，然後設定 v2 模型執行器、將線性與 MoE 後端設為 b12x、將注意力與 Mamba 後端設為 FlashInfer、明確指定 Mamba 快取資料類型、設定 chunked-prefill 旗標，以及設定推測解碼設定，指向 LiLiCorr 草稿模型並使用七個草稿權杖。工具呼叫與推理剖析器都明確指名，而媒體限制將每個請求上限設為一張圖片與一支影片，影片修剪率為 0.5。

Lightning 的部署方式，就是一個 Docker 容器、一個與 OpenAI 相容的端點，以及一個你也可以向託管供應商以每百萬個 token 六美分取得的模型名稱。實際上，這個差異就是整個比較：Bolt 是一個週末的工作量，加上一台你擁有的機器；Lightning 則是一個下午，加上一張帳單。

如何選擇，以及什麼能讓這件事塵埃落定

如果你的工作負載是文字、延遲預算吃緊，而且你的情境需求很大，或者你寧可依 token 付費也不願購買硬體，那就選 Lightning。它獨立的評測概況——同級中實測輸出速度最快、首個 token 不到一秒、公開定價——讓它成為該系列中風險最低的選項，而較低的智慧分數也反映在價格上。如果你打算用小型本機執行器搭配較大型的託管規劃器，它也是正確的預設選擇，而這正是 N​VIDIA 對它的定位。

如果你的代理會接觸像素，或在沒有網路的情況下執行，就選 Bolt。視覺那一列是它獨有的，74B 規模的推理領先八個指標點，而 24GB 的上限更是這個家族中唯一能將 74B 教師蒸餾檢查點放進單一消費級加速器的。接受你是在本機執行 GPU 代管的規劃器，並為此付出你目前還無法預測的延遲代價。

就任一架構中由託管服務負責的那一半而言，OrcaRouter 會把我們確實有路由的模型放在單一金鑰之後，以供應商定價提供，且加收 0% 的加成，而且跨供應商的自動容錯移轉，意味著上游的容量問題會被重試，而不是直接浮現。我們並未託管任何 Nemotron 模型——目錄是經過查核，而非憑假設，而且該系列不在其中——因此這項比較中的本地端，不會受到我們任何作為影響。路由式設定所換來的，是在你評估期間為規劃者提供一套 B 計畫；這在這裡很重要，因為這兩個檢查點都沒有已發布的獨立延遲概況，可供你據以評估出生產路徑的規模。

能讓這個選擇塵埃落定的，是一個目前還不存在的數字：在批次大小為 1 的情況下，對 24GB 檢查點進行的一項獨立吞吐量與延遲測試。在有人公布它之前，支持 Bolt 的理由完全建立在 Lightning 無法匹敵的兩件事上——參數規模與視覺——而支持 Lightning 的理由則建立在四個獨立測得的數字上。

數字無法告訴你的是，這一切在實際運作中是否出了問題：針對此類模型有記錄的 AI 事件與代理故障，都收錄在the OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級與爭議標記。