Nemotron 3.5 Bolt vs Nemotron 3.5 Lightning：當你同時閱讀兩欄時，NVIDIA 自家表格說明了什麼

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB與NVIDIA Nemotron 3.5 Lightning 30B-A3B是同一個家族的兩個層級，相隔十週推出，而廠商已經公布了一張讓兩者正面對決的表格。這很不尋常且很有用：你讀到的大多數正面對決表格，都是記者或廠商挑選對自己有利的比較拼湊而成，而這一張則是一個實驗室公開拿自己較新的模型與自己較舊的模型做基準測試，並把較舊的那個列為基準。它仍然是廠商自行報告的，NVIDIA 之外沒有人重現過其中任何一列——但其背後的意圖無庸置疑，結果的方向也同樣無庸置疑。Bolt 拿下十三列中的十二列。值得確切了解它輸掉的是哪一列，以及為什麼那一列才是有趣的一列。

先釐清家族結構，再來看數字。Nemotron 3.5 Lightning 於 2026 年 8 月 11 日推出，作為代理堆疊的執行層——一個總參數 30B、活躍參數 3B 的混合模型，由 NVIDIA 從規模大得多的 Nemotron 3 Ultra 蒸餾而來，目的正是讓前沿模型負責規劃，而 Lightning 在單一 GPU 上埋頭處理工具呼叫。Bolt 則是完全不同的譜系：它是從 120B-A12B 的 Nemotron 3.5 Super VL 模型壓縮而來，而非來自 Ultra，其存在意義是成為一款能塞進 24GB 的視覺語言通才。兩者皆以 OpenMDW-1.1 授權開放權重，都是架構在 Mamba-2 混合骨幹上的稀疏專家混合模型，也都隨附推測解碼——Lightning 配備多詞元預測頭，加上 DFlash 與 DSpark 草稿模型，Bolt 則配備 LiLiCorr 草稿模型，透過 DFlash 驅動，一次預先提出七個詞元。

當你必須做出決定的那一刻，共同的淵源就不再有用，因為這兩個模型回答的是不同的問題。一個是低成本的執行者，另一個則是本機端的通用型模型。

依角色而非分數來閱讀表格

下方每一個數字都來自 NVIDIA 自家針對 Bolt 24GB 檢查點的模型卡，其中將 Lightning 列為基準。Bolt 欄是 IQ2，一種 2 位元量化產物。Lightning 欄是 BF16，未量化。這種不對稱是關於這張表最該知道的一件事，而且它對 Bolt 有利——它在那些列中勝出，同時相對於其母模型壓縮了約八倍。

• 通用代理式推理 — GDPVal-AA-V2：Bolt 28.47，Lightning 18.26。十分差距，也是最接近「這個模型在它被打造來處理的日常辦公室型工作上表現得多好」的一列。

• 終端機工作 — Terminal-Bench 2.1：Bolt 50.98、Lightning 23.46。這是排行榜上最大的差距，而這並不令人意外，因為 NVIDIA 自己對 Lightning 的指引就是它不應作為主要代理程式。一份獨立評估在相同基準上記錄到 Lightning 約為 24.6，這與廠商的 23.46 夠接近，顯示這個數字是真的。

• 科學與知識推理 — GPQA Diamond：Bolt 86.43，Lightning 75.57。SciCode：Bolt 41.02，Lightning 31.38。Humanity's Last Exam 不使用工具：Bolt 25.30，Lightning 10.47。在三種不同形式的難題上保持一致。

• 長上下文推理 —— AA-LCR：Bolt 64.06，Lightning 49.19。相差十五分，而在這裡，記憶體限制對兩個模型而言都不是瓶頸。

• 網頁與瀏覽代理能力——BrowseComp：Bolt 66.75，Lightning 36.81。三十分。這是表格中最大的單一差距，也是最直接與「Lightning 作為自主執行者」此一構想相牴觸的差距。

• 工具使用密度——MCP-Atlas：Bolt 52.20，Lightning 46.4。PinchBench：Bolt 87.82，Lightning 83.43。兩者的差距都比上述差距更小，這與 Lightning 實際的設計綱要一致：短促、高頻率的工具步驟。

• 視覺 — WebArena 視覺：Bolt 50.86，Lightning 沒有項目。這不是報告缺漏。Lightning 是文字進、文字出；它沒有視覺編碼器可評分。

Lightning 唯一勝出的那一列，以及為什麼它不是雜訊

AA-Omniscience 非幻覺表現：Nemotron 3.5 Lightning 68.81，Nemotron 3.5 Bolt 61.27。在同一項評估的準確度部分，兩者相差不到三分之一分——Bolt 為 16.90，Lightning 為 16.63——這使得非幻覺部分的差距成為整體關鍵，而非四捨五入的誤差。這個較小、較舊、未量化的模型，在說出自己不知道的事情上明顯更加克制。

那是一項真實的發現，而且它有合理的機制。Bolt 是透過帶有量化感知蒸餾的激進 2 位元量化達到其佔用規模；那條流程中有損的部分，正是主導校準不確定性的那一部分。Lightning 較小，但處於完整的 BF16 精度，而且它的蒸餾目標是推理模型，而非壓縮率。如果你的代理的失效模式是自信的錯誤答案並進一步傳播成行動，這就是最該加重權衡的那一列——而且再多的路由巧思也修不好一個更會憑空捏造的模型。

廠商很少會公布一份含有自家新機型落敗項目的表格。這份表格卻有這樣一列，這便是個小小的證據，說明它並非純粹的宣傳材料。

服務成本才是真正的第二個軸線

上述分數並非決定的全部依據，因為這兩個模型的執行成本並不相等。

• 活躍參數 — Bolt 每個 token 啟用 9B；Lightning 約啟用 3B。較大的模型在每個 token 上需要三倍的運算量，永遠如此。

• 記憶體需求範圍 — Bolt 是一個 24GB 檔案，所有內容都已壓縮；Lightning 則是 30B BF16 檢查點，僅需單一 GPU，且能輕鬆裝載於 RTX 5090、DGX Spark 或 Jetson 裝置上。

• 上下文 — 兩者都指定為 1M 個 token，且兩者實際上更窄。Lightning 在單一 H100 上支援 256K，之後記憶體計算就變得棘手；Bolt 公佈的視窗是 262,144，而該視窗與 KV 快取、圖像和工具結果共享相同的 24GB。

• 速度宣稱——NVIDIA 宣稱 Lightning 透過其 MTP 與 DFlash/DSpark 草稿器，相較於類似大小的模型，輸出速度最高可達 4 倍；並將 Bolt 的設計目標定為解碼速度至少每秒 80 個 token，其中在 RTX Spark 的 AIPerf SPEED-Bench 上測得 84，而在配備 128GB 的 Surface Laptop Ultra 上執行 llama.cpp 則測得 83.99。兩者都是廠商數據。NVIDIA 以外的任何人都尚未重現過。

• 計量——無論是我們或任何我們能指引你前往的平台，都沒有提供代管價格。無論哪種方式，成本都落在你的硬體上，這正是為什麼活躍參數量在此比在代管比較中更為重要。

該小組能夠測量什麼、無法測量什麼

Artificial Analysis 有 Nemotron 3.5 Bolt 74B-A9B 的收錄條目，並在其 Intelligence Index 上給予 21 分，在其同級距的 67 個模型中排名第四，該級距中位數為 8。其速度與每項任務成本欄位顯示 N/A，因為沒有可呼叫的託管端點。這兩個空白如實呈現了該模型的狀態：其智力下限已獲獨立驗證，而效能上限則尚未。

在撰寫本文時，Artificial Analysis 上還沒有 Nemotron 3.5 Lightning 的條目，這使得整場比較只能倚賴 NVIDIA 自家的說法。唯一存在的獨立資料點——LLM Stats 在 Terminal-Bench 2.1 上驗證出約 24.6 的成績，與廠商公布的 23.46 相符——支持而非反駁廠商的數字。這對該表格而言令人安心，但並不能取代第二套測試框架。

實際上該如何選擇

設計意圖在多數情況下，會比基準測試更早決定答案。Lightning 在構造上就是執行者：NVIDIA 自家的指引是讓前沿模型負責規劃、由 Lightning 跑迴圈，而它在表中表現最好的列，是高頻工具呼叫那幾列，而非自主代理那幾列。Bolt 在構造上則是通才：同一張表顯示它在瀏覽代理與終端機工作上大幅領先，而這些正是偏向規劃者性質、Lightning 從來就不該負責的任務——而且它是兩者之中唯一能看見的那一個。

這兩個模型當初被打造來組成的架構，是一個規劃者、一個執行者，以及一個在地專家。由於這兩個檢查點都不附帶託管價格，這樣的分工便落在你自己的硬體上，而置於它前方的一個端點會負責做真正有用的工作：一條路由規則，把簡短的工具呼叫迴圈送往 Lightning 部署，把具備視覺能力與驅動瀏覽器的請求送往 Bolt，並把任何需要真正前沿推理的任務送往託管模型——全都藏在同一把金鑰之後，且當託管那一段效能衰退時，可跨上游供應商進行容錯移轉。這條規則存在於設定之中，而不是存在於每一個服務裡，而這正是路由層與全面改寫之間的差別。

未解的問題在於，單一獨立執行結果。若第三方在 Bolt 上重現了 Terminal-Bench 與 BrowseComp 的差距，那麼 24GB 檢查點確實是更強的通用模型，而 30B 層級的立足點就縮窄到純粹的吞吐量經濟學。若否，誠實的解讀是：2-bit 量化的 74B 與 BF16 的 30B 之間的差距，比某家廠商的表格所暗示的更接近——而且那列非幻覺項目，也就是 Lightning 勝出的那一項，值得比它在這張卡片底部的位置所暗示的更高權重。