Nemotron 3.5 Bolt 問世：NVIDIA 的 24GB 2 位元檢查點究竟包含什麼

這個儲存庫是為NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB在 2026 年 10 月 7 日出現於 Hugging Face，然後靜靜地在那裡待了八天。到了 10 月 15 日，NVIDIA 才宣布它——一篇部落格文章、一篇新聞編輯室發布稿，以及一個標註該日期的研究頁面——這意味著這個故事有趣的部分不是發布，而是那段空窗期。在那八天裡，任何人能知道關於 Nemotron 3.5 Bolt 的唯一資訊，就是模型卡和一組 safetensors 所說的內容，其他一切全是推測。那道空窗期現已關閉，而值得精確說明的是：關閉它究竟真正確定了什麼，因為人們對這個模型口耳相傳的內容，有相當一部分來自那個儲存庫，而不是來自發布公告，而這兩者並不是同一份文件。

現在可以確定的是，用一段話來說，就是這樣。Nemotron 3.5 Bolt 74B-A9B 24GB 是一款 740 億參數的混合專家視覺語言模型，每個 token 啟用 90 億參數，於 2026 年 10 月 15 日以 OpenMDW-1.1 授權條款發布，其專家權重以每個元素 2.0625 位元儲存，因此整個模型能塞進 24GB。它的設計是在 RTX 與 DGX Spark 硬體上執行地端代理式工作——工具呼叫、瀏覽、終端機使用。它在 Ollama 上以 25GB 標籤提供，具備 256K 上下文視窗。它不在任何託管 API 上，也沒有價格。那句話中有一部分是獨立測量出來的，其餘則是廠商自己的說法。

兩個日期，以及要引用哪一個

這兩個日期之間確實有真正的差異，而這決定了你應該如何閱讀本文的其餘部分。

Hugging Face 儲存庫建立於 2026 年 10 月 7 日 17:50 UTC。其中的模型卡有一個發布日期欄位，顯示為 Hugging Face 10/15/2026。NVIDIA 自己針對該檢查點的研究頁面則標示為 發布日期：2026 年 10 月 15 日。宣布 Bolt 等級的廠商部落格文章日期為 2026 年 10 月 15 日，並明白表示 Super VL 和 Bolt 74B-A9B「現在已可使用」。

所以，誠實的解讀是：10月15日是發布日期，10月7日是資料夾出現的時間。任何把10月7日當作發布日引用的人，引用的是檔案時間戳；任何引用10月15日的人，引用的則是廠商。不過，這八天的差距之所以要緊，原因和日期無關。這意味著在超過一週的時間裡，這個模型所處的狀態是：該儲存庫是唯一對外曝光的管道——沒有公告、沒有定價頁面、沒有排行榜條目，NVIDIA 也沒有人出面說明它的用途。在那段窗口期內所寫的每一份關於 Bolt 的早期描述，包括現在流傳的那些，都是以那張卡為基礎寫成的。結果那張卡是準確的。這點值得直說，因為這類情況通常的結果是它並不準確。

單憑儲存庫本身所能證明的事

本節中的所有內容，早在 NVIDIA 開口之前，就能從模型卡與設定檔中讀到，而這一切至今仍然成立。

• 參數 — 總計 740 億，每個詞元啟用 90 億。稀疏混合專家，而非稠密模型。

• 架構 — 結合 Mamba-2 與 Transformer 的混合模型，採用 LatentMoE 主幹與 C-RADIO v4-H 視覺編碼器。設定檔將該類別註冊為 NemotronH_Omni_Reasoning_V3。

• 儲存精度 — 在路由與共享專家的 FC1 和 FC2 層上，IQ2_XXS 以每個元素 2.0625 位元儲存，而大部分權重正位於這些層。Mamba 線性層採用 NVFP4，嵌入、輸出頭、注意力與 LatentMoE 權重則採用 Q8_0。

• 上下文 — 最多 256K 個 token，或在部署配方中為 262,144 個。

• 輸入與輸出 — 輸入文字、圖像和影片；輸出文字。

• 授權條款 — OpenMDW-1.1，而卡片清楚寫明：「已準備好供商業或非商業使用。」

• 基礎與來源 — 模型卡宣告其基礎模型為同名的 BF16 檢查點，且其與該模型的關係為 量化，而資料集標籤指向 NVIDIA 的 Nemotron 預訓練與後訓練集合。

• 模型日期——2025 年 12 月至 2026 年 5 月，後訓練資料截止於 2026 年 5 月。如果你在意時效性，請仔細看這點：這個模型是 2026 年發布，但所依據的資料在它推出前四個半月就停止更新了。

• 執行環境 —— vLLM 支援 NVIDIA Ampere、Hopper 與 Blackwell，而 llama.cpp 則適用於 RTX Spark 與 DGX Spark。Ollama 的說明對限制更為直白：CUDA 部署已有文件記載，而 Apple Silicon 與 Metal 目前則不受支援。

該公告新增的內容

廠商資料補充了三件存放庫無法告訴你的事。

首先，是家族定位框架。Bolt 被定位為 Nemotron 家族中的邊緣層級，位在專為常時開啟伺服器代理打造的 120B Nemotron 3.5 Super VL 之下，其上方則沒有特定產品——NVIDIA 自己的說法將它們排序：Super VL 與 Bolt「涵蓋代理部署的完整範圍，從大型企業伺服器一路向下到邊緣裝置與本地硬體。」Nemotron 3.5 Bolt E4B 4GB，一款用於對話與實體代理的 40 億參數模型，將於 10 月 23 日推出。

第二，壓縮這件事，這才是這裡真正新穎的工程主張。Bolt 不是一個先訓練得小、然後再量化的模型。它是 N​emotron 3.5 Super VL——總計 120B、活躍 12B——經過 Star Elastic，N​VIDIA 的路由引導式架構搜尋，在批次大小為一且上下文為 128K 時，記憶體必須低於 24GB 的硬性限制下。專家 top-K 從母模型的 22 降到 Bolt 的 9，MoE 中間層寬度逐層搜尋，然後壓縮後的網路被量化，並經過量化感知蒸餾，以把準確度挽回。N​VIDIA 所陳述的結論才是有趣的部分，而這是一個真實的立場，不是自誇：在固定的記憶體預算下，把大型模型壓縮下來勝過從頭訓練一個小型模型。那是一個你可以測試的主張，而 N​VIDIA 以外沒有人做過。

第三，廠商所述的兩個排行榜名次：在 PinchBench 上同級別中排名第一的開放模型，以及在 BrowseComp 上排名第二的開放模型。這兩者都是 NVIDIA 對其自家模型、對照其所定義類別所作的描述。

該公告並未新增的，是一個可服務的端點。它沒有託管的 API、沒有按 token 計價的價格，也無法在不取得其運行所需硬體的情況下呼叫 N​emotron 3.5 Bolt。Artificial Analysis 曾為該模型評分，正因為如此，它將該模型的速度與成本欄位列為無法取得：沒有公開可用的 API 可供測量。

N​VIDIA 以外沒有人跑過的部分

這正是文章必須放慢腳步的地方，因為對這個規模的模型而言，已測量到的內容與所宣稱的內容之間的落差異常地大。

在實測方面，有一個數字，而且它很不錯：Artificial Analysis 將 N​emotron 3.5 Bolt 74B-A9B 在其 Intelligence Index 上列為 21，這使其在同類比較的 67 個模型中排名第四。那是對實際 2-bit 檢查點所做的獨立測量，而非 BF16 參考建置，而且它是現今在此模型上可取得的最有用單一數據。

在主張的一方，是其他所有內容。模型卡上有一張十三項基準測試的表格，共四欄——BF16 的 Qwen3.6-35B-A3B、BF16 的 Gemma 4 26B-A4B、BF16 的 Nemotron 3.5 Lightning 30B-A3B，以及 IQ2 的 Bolt——其中每一行都是由 NVIDIA 產生的，包括那三個基線欄位，NVIDIA 之所以選它們，是因為它們在 4 位元量化下能塞進 24GB。Bolt 在其中十行是粗體標示的贏家，在三行不是贏家：AA-Omniscience 準確度，Gemma 4 26B-A4B 拿下 22.17，Bolt 為 16.90；AA-Omniscience 非幻覺，Nemotron 3.5 Lightning 30B-A3B 拿下 68.81，Bolt 為 61.27；以及 PinchBench，Qwen3.6-35B-A3B 拿下 88.07，Bolt 為 87.82。公布你輸掉的那三行，是對廠商有利的一點，但並不會改變這張表格的本質：未經重現。

速度數據值得單獨用一段來說明，因為它們與行銷說法相牴觸。NVIDIA 自家的量測表格，以 llama.cpp 在 Windows 11 ARM64 上、於配備 128GB 的 Surface Laptop Ultra 執行取得，顯示 Bolt 在 AIPerf SPEED-Bench-Coding 上為每秒 83.99 個 token——落後於 Qwen3.6-35B-A3B 的 96.63 與 Gemma 4 26B-A4B 的 100.56。在同一頁上，涵蓋逼真代理軌跡的端到端重播時長，Bolt 為 600.80 秒，相較之下 Qwen3.6 為 453.97 秒、Gemma 為 480.68 秒。其訴求是每 GB 的智慧，而非速度，而廠商自家的表格與這項訴求相符，而非支持其為最快的說法。

所以證據的樣貌是：一個獨立且還算可觀的綜合分數、一份沒有人重現過的廠商基準表、一份在筆電上由廠商提供且 NVIDIA 以外沒有人跑過的速度表，以及零項獨立延遲測量。任何報導 Bolt 的 PinchBench 數字卻沒有說明是誰做出來的文章，都應視為不可靠，包括任何同意本文的文章。

什麼與它一同到來

模型發布很少只關乎權重，而對一個沒有 API 的東西來說，Bolt 的配套陣容比平常還要龐大。

LiLiCorr 推測式草稿器會隨附其中——不含共享嵌入與輸出頭在內共有 11.3 億個參數，並與目標模型聯合訓練；NVIDIA 回報，在 vLLM 中、併發數為 64 且使用七個草擬權杖時，貪婪解碼下的平均接受長度為 4.68，機率取樣下則為 4.25。該草稿器是另外可下載的檢查點，而非執行階段旗標，而它正是 RTX Spark 所引述 84 TPS 數據背後的機制。

框架支援迅速到位。Ollama 列出 nemotron-3.5-bolt的三個標籤——一個預設、一個 74B-A9B 標籤，以及一個 IQ2 標籤——每個都是 25GB，具備 256K 上下文，並支援文字與圖像輸入，還為 Claude Code、OpenCode、Hermes Agent 和 OpenClaw 提供一行啟動器。除此之外，還有來自 NVIDIA 的 GGUF 建置版本、一連串 4 位元與 8 位元的社群量化版本，以及在發布後一天內出現的 MLX 轉換版本。對於一個能在單一 24GB 裝置上運行的檢查點而言，這個生態系統在四十八小時內到位，才是真正的訊號：這是一項可用的成品，而不是展示品。

對任何打算使用它的人來說，實用的警告是：24GB 這個數字是權重的下限，而不是工作負載的上限。影像、視訊影格、對話歷史和工具結果全都共用上下文預算，而 Ollama 自己的說明也指出，可用上下文取決於可用記憶體。一個能輕鬆放得下的 25GB 下載，並不等同於一個能輕鬆放得下的 256K token 工作階段。

這會讓你處於何種境地，以及不會讓你處於何種境地

如果你的工作負載是本機且具代理性——終端機使用、瀏覽、工具呼叫、在你擁有的裝置上進行程式碼除錯——N​emotron 3.5 Bolt 74B-A9B 24GB 現在是個站得住腳的選擇，有單一獨立評分，以及一組你可以檢視的權重。它背後的壓縮論點確實很有趣，授權條款允許商業使用，而且工具在一天內就出現了。

如果你的工作負載需要由執行在你並不擁有的某處的程式碼來呼叫，那麼這個模型今天並不是一個選項；而對於「我該怎麼用它」這個問題，誠實的答案是：你得自己在 NVIDIA 硬體上跑它，不然就是等。我們是去查了自家的型錄，而不是憑假設，而上面並沒有 NVIDIA 的模型——所以我們這裡沒有東西可以路由，說有就是在說謊。OrcaRouter 真正提供的，是混合部署的另一半：當某個請求對 2-bit 本地檢查點來說太難、太長或太陌生時，你會改為呼叫的那些模型，只需一組金鑰就能取用 200 多個模型，價格就是供應商的定價，不加收任何費用，並在供應商出狀況時自動容錯移轉。把本地 Bolt 與路由式 API 配對，是合理的架構。假裝 Bolt 在路由的那一側，就不是了。

真正該關注的不是下一張基準測試表，而是 NVIDIA 以外的任何人是否會在讀者實際擁有的硬體上，公布 24GB 檢查點的延遲測試結果，以及是否根本會出現託管端點。在其中一件事發生之前，規格只是個承諾，而唯一在背後支撐它的，就是一個索引分數。

這樣的結果也提醒我們，模型錯誤早已有紀錄：這一類模型背後的 AI 事件與代理失效，都收錄在OrcaRouter AI Incident Archive，其中每一筆紀錄都附有自己的來源、嚴重程度、可信度等級與爭議標記。