Nemotron 3.5 Bolt 與 Nemotron 3 Ultra：什麼經得起 7.4 倍壓縮？

同一家廠商的兩個模型，參數量相差 7.4 倍，執行所需的硬體更相差約兩個數量級。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB於 2026 年 10 月 15 日發布，是一個 24GB 的檔案，可在 Spark 裝置或 Blackwell GPU 上與其他應用程式並行執行。NVIDIA Nemotron 3 Ultra 550B-A55B自 2026 年 6 月 3 日起已在 Hugging Face 上架，在 BF16 下最低需要十六張 H100。

有趣的問題不是哪個更強——答案顯而易見，而且差距懸殊。真正的問題是，當你把大型模型壓縮進狹小的記憶體範圍時，具體有哪些東西能保留下來，因為這會告訴你小型模型能吸納哪些工作負載，又有哪些會讓它難堪。NVIDIA 自家的研究筆記直接回答了其中一部分問題，而它沒有回答的那些部分，才是真正決策所在。

他們不是親子關係，無論名稱怎麼暗示。

顯而易見的假設是 Bolt 是縮小版的 Ultra。事實並非如此，而正確理解這一點會改變你對這個檔案的預期。Nemotron 3.5 Lightning，2026 年 8 月 11 日的 30B-A3B 等級，是從 Ultra 蒸餾而來。Bolt 則不是。Bolt 是從 Nemotron 3.5 Super VL 壓縮而來，這是一個 120B-A12B 的視覺語言模型，使用 NVIDIA 稱為 Star Elastic 的路由器引導搜尋，接著進行量化感知蒸餾，以 IQ2_XXS 格式將每個專家權重降至 2.0625 位元。

那個譜系說明了比任何基準測試列都更重要的一個差異：Bolt 有 C-RADIO v4-H 視覺編碼器，並接受圖像與影片。Ultra 是文字進、文字出，而這不是報導缺口——該檢查點沒有視覺塔可供評分。較小、較新、經過高度量化的模型看得見；家族中最大的推理模型則看不見。

壓縮保留了什麼

Bolt 在 Mamba-2 與 Transformer 混合骨幹上擁有 740 億個參數，每個 token 啟用 90 億個參數。Ultra 則擁有 5500 億個參數，啟用 550 億個。活躍參數比率為 6.1 比 1，總參數比率為 7.4 比 1，這意味著壓縮移除的總容量比例高於每 token 運算量——模型變窄的速度比變淺的速度更快。

根據現有證據，那會產生什麼：

• 獨立智慧 — Artificial Analysis 在其 Intelligence Index 上為 Nemotron 3.5 Bolt 評分 21，在其足跡篩選類別中，67 個裡排名第四，而該類別的中位數為 8。Ultra 不在同一類別，且在同一版本的指數上得分遠高。這是壓縮的可衡量成本。

• 獨立速度 — Artificial Analysis 測得 Ultra 為每秒 156.1 個輸出 token，在該頁面 74 個模型中排名第十，並落在其最高速度區間。至於 Bolt，相同欄位顯示 N/A，因為沒有可呼叫的託管端點。NVIDIA 自家的數據——在 RTX Spark 上以 AIPerf SPEED-Bench 測得每秒 84 個 token，在 Surface Laptop Ultra 上以 llama.cpp 測得 83.99——屬於廠商自行報告且未經重現。

• 指令遵循——Ultra 在 IFBench 上錄得 82.9 分。對必須遵守冗長工具政策的代理而言，這是值得留意的一列；而量化感知蒸餾對這類能力的保留往往並不平均。

• 長上下文推理 — Ultra 在 AA-LCR 上對比 1M token 規格取得 75.2 分。Bolt 公佈的視窗為 262,144 個 token，需與 KV cache、圖像及對話共用 24GB。宣稱的寬廣視窗與實際運用它的能力是兩回事；在此，較大的模型兩者都更強。

• 事實克制 — Ultra 在 AA-Omniscience 的幻覺指標上錄得 22.1，非幻覺則為 77.91。Bolt 自家的評分卡在非幻覺項目錄得 61.27，也是它唯一輸給體積小得多的 Nemotron 3.5 Lightning 的一列。兩個獨立跡象指向同一方向：這正是激進 2 位元壓縮代價最大的地方，而沒有任何路由技巧能修補一個更常憑空編造的模型。

部署包絡，也就是兩者真正分離的地方

這是比較之中無法歸結為分數的部分。

• 記憶體 — Bolt 是單一 24GB 的產物，且已完成量化，設計上可與瀏覽器和 IDE 共存於同一台機器。Ultra 在 BF16 下，依其自家模型卡需要十六張 H100、八張 H200 或八個 GB200 等級節點；NVFP4 版本則將此門檻壓低到最低八張 H100。這兩句話之間的差異，就是採購單與採購計畫之間的差異。

• 上下文配置 — Bolt 在其發布的 vLLM recipe 中直接提供 262,144 個 token。Ultra 的 recipe 預設為 256K，且需要環境旗標才能達到完整的 1,048,576，這就是為什麼儘管規格為 1M，面板仍為 Ultra 記錄 262K。先閱讀規格，再閱讀 recipe。

• 服務堆疊 — Bolt 在 Ampere、Hopper 與 Blackwell 上於 vLLM 下運行，或在 RTX Spark 與 DGX Spark 硬體上於 llama.cpp 下運行，採用允許商業使用的 OpenMDW-1.1 授權。Ultra 則在相同授權下，於資料中心級平行處理環境中運行。兩者皆為開放權重；但其中只有一個具備可攜性。

提示成本 —— Ultra 的計價方式為每百萬輸入 token 收費 0.60 美元、每百萬輸出 token 收費 2.50 美元，並享有 73% 的快取折扣，換算下來執行一項 Intelligence Index 任務約需 0.60 美元——對這種規模的模型來說確實便宜，而之所以能提供，是因為有其他人代為運作叢集。Bolt 則完全沒有價格：沒有託管端點、沒有廠商 API、沒有價目表，而且在唯一收錄它的獨立評測表中，速度與成本兩個欄位都標示為 N/A。

閱讀公告，看它說了些什麼、沒說些什麼

Bolt 的檢查點自 2026 年 10 月 7 日起就放在 Hugging Face 上，而且只附了一張模型卡。點名提到它的廠商公告——連同一個 4GB 的兄弟模型 Nemotron 3.5 Bolt E4B，鎖定遊戲角色用途、日期標為 10 月 23 日——則是在 10 月 15 日發布。權重比文字說明早八天釋出並不罕見，但這確實意味著公開紀錄中有整整一週完全沒有關於這個模型的任何說明，而在那段期間寫成的任何記述，都只能單憑那張模型卡來下筆。

這份公告同時也是尋找缺席之處的地方。沒有託管端點、沒有 API、沒有價目表、沒有第三方平台對 Bolt 進行計量——也沒有任何人對 24GB 權重執行獨立基準測試。廠商的數字真實且具體，是在配備 128GB 的 Surface Laptop Ultra 上以 llama.cpp 測得；它們只是尚未在 NVIDIA 之外被重現。

每個模型各自該放在哪裡，以及路由器該放在哪裡

這兩款模型都不在 OrcaRouter 的型錄上。我們並未託管任何 NVIDIA 檢查點，沒有 Bolt 端點，也沒有 Ultra 端點，而這裡沒有任何內容構成提供其中任一者服務的要約。如果你自己正在運行其中一個或兩個，單一端點真正能換來的，是一種把工作流程的本機端與託管端都放在同一把金鑰下的方式——我們型錄上的 200 多款模型都由同一組 API 金鑰與同一份帳單管理，以各供應商的定價原樣轉嫁，並加上 0% 的加成，因此供應商調價時，我們這邊當天就會生效，而不是等到下一次續約。需要完整百萬 token 視窗或前端規模推理器的請求，會送到託管模型；本機檔案則保留高流量、隱私敏感、根本不該離開內部環境的工作。自動容錯移轉意味著上游效能降級時，會將請求移轉，而不是讓它失敗。

部署位置的決定取決於部署計算，而不是取決於分數。當資料無法外傳、工作負載涉及影片，或用量使按權杖計費成為主要支出項目時——且當 262K 視窗與已然可見的事實克制落差都可接受時——Bolt 就該部署在工作站上。當工作需觸及百萬權杖、需要此系列中最強的指令遵循能力，以及 NVIDIA 目前公布的最低幻覺率時，Ultra 就該部署在計量端點上。

誰應該行動，誰應該等待

若工作負載是在本地執行且涉及影片，現在就行動：Bolt 是這一系列中唯一既裝得進 24GB、又具備視覺能力的模型，而在這樣的資源規模下，沒有其他開放檢查點能在獨立指數上拿到 21 分。若工作負載是大量的長上下文文字推理，現在就行動：Ultra 按用量計量收費、經過實測，換算成每項 Intelligence Index 任務的成本，便宜得完全不像這種規模的模型該有的水準。

等等——如果你的決策關鍵在於吞吐量。Bolt 的速度是唯一在任何地方都沒有獨立量測的面向，而對本地部署的模型來說，速度是你每天每分每秒都能感受到的東西。只要針對 24GB 權重做一次第三方延遲測試，就能比接下來十筆廠商基準測試數據更能定論——而在它出現之前，Bolt 的容量規劃只是在圍繞一項宣稱做規劃。