Nemotron 3.5 Bolt 24GB vs Nemotron 3.5 Lightning 30B-A3B：同一家族，相反的部署方向

同一家族中的兩個模型，相隔四個月發布，為同一個問題的相反兩端而打造。 N​VIDIA N​emotron 3.5 Lightning 30B-A3B於 2026 年 8 月推出，是針對資料中心服務的高輸送量文字模型。 N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB於 2026 年 10 月 15 日推出，是可裝在筆記型電腦上的多模態代理。Bolt 的總參數量是 Lightning 的兩倍，而活躍參數量則是其三倍，而且它能在 Lightning 無法啟動的硬體上執行。這才是真正區分它們的地方，也是家族相似性會造成誤導之處。

兩者都出自同一套訓練配方

NVIDIA 針對這對模型的技術報告明確指出，兩個模型都始於相同的兩個階段：先進行 1,000 億個 token 的多 token 預測頭暖身，再從次大一級的 Nemotron 3 模型蒸餾 1 兆個 token。Lightning 從 Nemotron 3 Super Base 蒸餾而來；Bolt 則從 Nemotron 3.5 Super VL 系列蒸餾而來，這就是為什麼 Bolt 能看，而 Lightning 不能。

在那之後，道路分開了，而這分離就是整個故事。

Lightning 會經歷一個 2,100 億 token 的長上下文階段，將其擴展至一百萬 token，接著再經過 SFT 與 RLVR 的後訓練流程，最終以 30B 總參數／3B 啟用參數的文字模型形式發布，具備 DSpark、DFlash 與 MTP 推測選項，以及鎖定單一 GPU 部署的目標：一張 H100 或一台 DGX Spark，搭配 NVFP4 權重。

Bolt 透過 Star Elastic 架構搜尋，從一個 1200 億參數的母模型壓縮而來，重新接回其視覺塔，經過以視覺為重的監督式階段重新訓練，接著在代理式環境中進行端到端強化學習，最後透過量化感知蒸餾，量化至每個專家權重 2.0625 位元。它隨附一個草擬器 LiLiCorr，以及一種部署形態：一個具備 24GB 記憶體、且能與其他應用程式一起運行的東西。

規格對比，並排呈現

• 參數 — Bolt：總計 74B，啟用 9B。Lightning：總計 30B，啟用 3B。

• 出貨精度 — Bolt：IQ2_XXS 專家每元素 2.0625 位元，NVFP4 Mamba 層，Q8_0 嵌入與注意力。Lightning：部署檢查點全面採用 NVFP4，並附 BF16 參考版本供自訂。

• 上下文 — Bolt：262,144 個 token。Lightning：一百萬個 token，這是專門長上下文訓練階段的成果。

• 模態 — Bolt：可輸入文字、圖像與影片。Lightning：僅限文字。Artificial Analysis 對每個模型的條目都在同一個面板上以相同措辭如此說明，這讓它成為少數幾個能讓兩者直接比較、無需但書的列之一。

• 主機硬體 — Bolt：RTX Spark 筆記型電腦、GeForce RTX PC、DGX Spark、DGX Station、RTX PRO 工作站。Lightning：DGX Spark 或 H100，或透過 W4A16 使用 Blackwell 和 Ampere。

推測解碼 — Bolt：LiLiCorr，一個 1.13B 的草稿模型，每步草擬七個 token。Lightning：DSpark 適用於低併發工作，DFlash 和 MTP 也已發布。

• 授權條款 — 兩者皆為 OpenMDW-1.1，且兩者皆已獲准用於商業用途。

唯一一個雙方都由他人來衡量的地方

這兩個模型具備大多數 N​emotron 家族成員所沒有的條件：在同一份獨立評測名單上都有條目，且以相同方式受測。這讓同家族內部的比較格外乾淨。

Artificial Analysis 在其 Intelligence Index 上為 N​emotron 3.5 Lightning 評分為 13，在 141 個模型中排名第 28，而 N​emotron 3.5 Bolt 74B-A9B 為 21，在其所屬類別的 67 個模型中排名第四。這些類別並不相同——Bolt 是中型開放權重模型，Lightning 則是小型模型——因此這些排名無法直接互相比較，但這些指數分數是由相同的方法論、在相同的評估上產生的。

速度正是差距逆轉之處，而這是關於這兩者之間最具決策相關性的單一事實。該評測平台測得 Lightning 為 每秒 307 個輸出 token，在該維度上於 63 個模型中排名第一。它回報 Bolt 的速度為無法取得，因為沒有任何公開 API 提供其服務，而該平台的速度測量需要有公開 API。Bolt 唯一存在的吞吐量數據來自 NVIDIA 自家：在 AIPerf SPEED-Bench-Coding 上為每秒 83.99 個 token，測試平台為配備 128GB 記憶體的 Surface Laptop Ultra，並附掛 drafter。

把這些放在一起讀，這個系列的故事就變得具體了。就我們手邊的數字而言，Lightning 大約比 Bolt 快三倍半，而且是以可按 token 租用的形式提供；Bolt 在同一項指標上明顯更聰明，並且跑在一台根本沒人能租到的機器上。

選擇的三種解決方式

如果工作負載是高量且僅限文字，Lightning 並非妥協，而是更好的工具。以每秒 307 個 token 運作的百萬 token 上下文，加上公佈的費率為每百萬個輸入 token 六美分、每百萬個輸出 token 二十美分，是具體且有用的優勢，而 Bolt 在任何硬體上都無法匹敵其速度或上下文。

如果工作負載屬於視覺性質，那就沒什麼好抉擇的了。Bolt 接受圖像與影片，Lightning 則不接受，而再多的上下文或吞吐量，都無法取代一個根本不存在的模態。NVIDIA 自家表格中的 WebArena 視覺那一列——Bolt 為 50.86，Lightning 則完全未列出——正是這種情況從規格表走進基準測試時的樣貌。

如果工作負載必須在沒有網路的情況下執行，在這兩者之中，只有 Bolt 已為此打包完成。Lightning 的部署目標是搭載 NVFP4 檢查點的單張 H100 或 DGX Spark，那是一台伺服器；Bolt 的部署目標則是一台同時還開著瀏覽器的筆電上的 24GB 檔案。這個區別不在於能力，而在於機器所處的位置。

這家人從同時支持兩對 CP 中能得到什麼？

這對產品有趣的地方，不在於其中一款勝過另一款，而在於 N​VIDIA 先做出便宜的那一款，然後花了四個月打造昂貴的那一款，好讓它能切入便宜款到不了的某個位置。

Lightning 是吞吐量取向的方案：活躍參數少、上下文極大，設計目標就是在單一張 GPU 上被反覆服務多次。Bolt 則是密度取向的方案：把極大的參數數量壓縮進固定的記憶體預算內，讓單一機器上的單一使用者能在本機獲得某種更接近前沿代理行為的表現。這兩者最佳化的是不同的比率——每 GPU 每秒 token 數，對上每裝置每 GB 的智能——而 Bolt 拿下 21 分、Lightning 拿下 13 分，這件事對 Lightning 而言並非敗仗，因為以 Bolt 現存的形式來說，Lightning 根本裝不進 Bolt 所針對打造的那台機器。

壓縮論點本身也有一個資料點。Bolt 的供應商表格將 Lightning 列為其基準之一，而 Bolt 在幾乎每一列代理式（agentic）項目上都勝過它：在 Terminal-Bench 2.1 上為 50.98 對 23.46，在 BrowseComp 上為 66.75 對 36.81，在 Tau3 Banking 上為 17.01 對 9.48，在 GDPVal-AA-V2 上為 28.47 對 18.26。這些是 NVIDIA 自家在同一張表格中比較自家兩個模型的數字，而誠實的解讀是：壓縮一個 120B 的母模型，勝過從頭訓練一個相同目標規模的 30B 模型。這正是 Star Elastic 被發明來支持的說法。

這讓任何正在打造代理的人處於何種境地

這樣的搭配所揭示的是一種分工形態，而非贏家。Lightning 負責代理工作中大量、長上下文、純文字的中段部分，而吞吐量與上下文正是其中的關鍵限制。Bolt 負責本機、視覺性、可容忍延遲且無法離開機器的工作。兩者都不是彼此的替代品，而 N​VIDIA 自己對這個系列的定位——Ultra 用於最艱難的推理，Lightning 用於吞吐量，Bolt 用於邊緣——等於承認這條界線真實存在。

這兩個模型都無法解決的，是堆疊中既不屬於本地、也不屬於 NVIDIA 的那一部分。我們不代管這兩個檢查點；OrcaRouter 目錄中沒有 Nemotron 項目，因此無法為這兩者提供端點或費率報價。閘道對混合堆疊的貢獻則是另一面：一組金鑰通行 200 多個代管模型、供應商定價原樣傳遞，且不額外加價，自動容錯移轉，當供應商效能降級時，以及路由 DSL，用於以設定描述跨模型升級。Bolt 與 Lightning 之間的選擇取決於你的硬體與測試框架。當任務超出兩者能力，或當請求必須觸及兩者都無法勝任的模型時，所發生的事就是端點背後的那一部分。

哪一個要先試？

如果你有一張 24GB 的 GPU，而且網路連線時有時無，Bolt 是更有意思的下載選擇：它更新、具備多模態能力，還能做到這個系列中其他版本都做不到的事。

如果你有 DGX Spark、H100，或是一個延遲本身就是產品的應用，Lightning 自八月起已正式推出，有獨立的速度量測顯示它在同級中名列第一，價格也已公布，而生態系已有兩個月時間找出它的稜角。Bolt 只有一天，它的 drafter 是強制性的第三個下載項目，且 N​VIDIA 之外沒有人量測過它的延遲。

兩句話可以同時成立。這正是家人的意義所在。

計分板衡量的項目與部署實際遭遇的狀況之間的落差，正是這份紀錄之所以重要的原因：與此類模型相關的已記錄 AI 失效與代理事件，都收錄在 OrcaRouter AI 事件檔案庫，其中每一筆條目都附有自己的來源、嚴重程度、可信度等級與爭議旗標。