Nemotron 3.5 Bolt 74B 發布日期：NVIDIA 將 74B 代理模型塞進 24GB

NVIDIA Nemotron 3.5 Bolt 74B-A9B 將於 2026 年 10 月 15 日星期四推出，NVIDIA Nemotron 3.5 Bolt E4B 則接著在 10 月 23 日星期五登場。這兩個日期，正是一則吊人胃口貼文的答案：10 月 14 日，NVIDIA 的 AI 帳號發文寫道：「本週有這麼多模型要推出！我們自己也有個要來了……⌛️」，卻沒有附上任何名稱。花兩分鐘查證那則預告是值得的，因為它的解答方式很不尋常——那則推文所指向的公告，前一天就已經完整發布，就在一篇日期為 10 月 13 日的 NVIDIA 部落格文章中，文中點出了兩款模型、兩個日期、記憶體占用以及推論執行環境。所以這不是外洩，也不是謠言。這是一場宣傳力道不足的發布，而那則預告只是推你一把的提示，不是獨家搶先。

以下內容區分了 NVIDIA 實際白紙黑字寫下的部分，以及公司外部尚未有人量測到的部分——而對一款今天就出貨的模型而言，後者正是最值得玩味的那一欄裡的大部分。

那個懸念，以及它最終揭曉的結果

有兩件事值得在任何其他內容之前先釘死，因為它們正是那種在彙整過程中最容易被抹平的細節。第一，是時間順序。NVIDIA 的部落格文章〈All Systems Go: Global PC App Ecosystem Ready for NVIDIA RTX Spark〉的時間戳記為 2026-10-13T12:00Z。那篇「one of our own coming」的貼文則是在 2026-10-14T20:29Z 出現——大約三十二小時之後。那則推文只是個指引，並非原始出處，任何把這則推文當成公告本身的報導，都是在拿錯誤的文件做文章。

其次，「自己人」這個說法確實發揮了實質作用。NVIDIA 在這裡不只是供應商；它是本週的平台供應商。同一篇 10 月 13 日的貼文預告 RTX Spark 筆電將於 10 月 16 日推出，而重建的 DLSS 5 AI 模型將於 NBA 2K27同日首次亮相、NVIDIA PAIR 脫離 beta，以及 Broadcast 2.3。Bolt 74B 是語言模型，而這一週 NVIDIA 宣布了數款性質迥異的模型。如果你是為了單一產品而來，這就是相關報導令人困惑的原因。

NVIDIA 用自己的話所承諾的內容

核心主張簡短而具體。NVIDIA 將 Nemotron 3.5 Bolt 74B-A9B 描述為「一款專為在 RTX Spark 上執行本機代理而打造的全新 LLM」，其建構形式為「一個 74B 參數、9B 活躍參數的混合專家（MoE）模型」，「透過 2 位元量化及先進的量化感知訓練技術壓縮至 24GB，以維持品質」。

那句話裡有三樣東西正在發揮作用：

• 9B 為作用中參數，而非 74B。 這是稀疏 MoE。每個 token 的路由成本取決於作用中的路徑，而非參數總數，這正是為什麼 74B 模型竟會被推銷用於筆電。

• 2 位元，而且是刻意為之。這不是社群把 BF16 版本拿來量化，而是 NVIDIA 表示以量化感知技術訓練、目標是在該位元寬度下守住品質的模型。守不守得住是要測量出來的，不是說了算——請見下方帳本。

• 24GB 是目標範圍。NVIDIA 將這項取捨定位為「速度與智慧之間的最佳平衡，比大多數熱門的稠密模型更快，同時比大多數記憶體佔用相近的熱門 MoE 模型更聰明」。這是 NVIDIA 自家的定位說法，未經任何人重現。

在取用方面，NVIDIA 明確點名了各家執行環境：llama.cpp、vLLM、Ollama、Unsloth 與 LM Studio 於推出時即支援，此外還可透過 Hermes 和 OpenClaw 等代理程式直接使用。而在授權方面，該篇文章表示 Bolt 74B「完全開源……包括訓練資料、權重與配方」——這與 NVIDIA 套用於 Nemotron 系列其餘部分的說法如出一轍。

為什麼 24GB 才是關鍵數字，而不是 74B

這裡的頭條數字是 74B。真正撐起關鍵的是 24GB，理由很直接：24GB 是桌上型等級加速器的規格範圍。這是單張高階消費級顯卡的容量，而在筆電這一側，它則是 NVIDIA 用來架構整個發表週的核心規格——RTX Spark 機種最高配備 128GB 統一記憶體與 1 petaflop 的 AI 算力，而這些筆電本身將於 10 月 16 日登場。

把這些放在一起，這個賣點就清楚易懂了。活躍參數 9B 的 MoE，權重以 2-bit 量化後落在 24GB，意味著同一份建置既能裝進工作站顯卡，也能裝進隔天出貨的筆電，還留有餘裕給應用程式和第二個小型模型。這與放在 API 背後的代管前沿模型是截然不同的部署故事，也正是 NVIDIA 自己的一句話描述裡寫的是「本機代理」而非「廉價推論」的原因。

平衡點在於：2-bit 這個目標本身就是對模型能耐的一種限制。任何與總規模相近的 BF 模型所做的比較，都是跨不同產物的比較，而 NVIDIA 是刻意選擇這個產物的。要評價 Bolt 74B，就該拿它跟其他 24GB 等級的本地部署版本比，而不是跟一個根本不可能塞得下的全精度檢查點比。

帳冊：已確認、已陳述但未衡量，以及未知

精確掌握某項事實落在哪一欄，正是在第一週而非第三週閱讀這份資料的全部價值所在。

• 由 NVIDIA 確認：模型名稱、74B 總參數／9B 啟用參數的 MoE 架構、24GB 的 2-bit 佔用空間、10 月 15 日這個日期、五個具名執行環境、透過 Hermes 與 OpenClaw 的代理存取，以及權重、訓練資料與配方皆為開放的說法。

• 已宣稱卻未經實測：品質主張本身。「在相近的記憶體佔用下，比大多數熱門 MoE 模型更聰明」以及「比大多數熱門稠密模型更快」等說法，在公告中並未附上任何基準測試表。目前似乎仍不存在針對 Bolt 74B 的獨立評估。

• 撰寫本文時仍未知：上下文視窗；所指名的授權條款（NVIDIA 在這篇文章中說開源，但未指名是哪一種）；24GB 等級下的確切推論輸送量；此次發布是僅提供可下載的權重，還是也透過 API 提供服務；2 位元是否是唯一公布的精度；以及其架構與 NVIDIA 已以 BF16 和 NVFP4 版本出貨的 Nemotron 3.5 Lightning 系列有多接近。

最後那個未知數才是真正該緊抓的關鍵。NVIDIA 自家的命名同時帶有這兩個數字——「74B-A9B」以及較早的「30B-A3B」——所以兩者在紙面上可相比：大約是 Lightning 模型總參數的 2.5 倍、活躍參數的 3 倍。這個比例能否在 2-bit 壓縮後依然成立，正是首次獨立基準測試要定奪的事。

Bolt E4B 是這個家族的另一半，而且它是一款不同的產品

Nemotron 3.5 Bolt E4B 將於 10 月 23 日推出，但它並不是命名所暗示的那種 74B 較小型同類產品。NVIDIA 稱其為「NVIDIA ACE 的第三代小型語言模型（SLM）」，ACE 是該公司用於遊戲內 AI 角色的套件——這條產品血脈可追溯至第一代在 PUBG 的 beta 測試，以及第二代在 Gamescom 的 Aniimo 預覽。

其宣稱的設計目標偏重遊戲用途，而非代理用途：4GB 佔用空間、「快速的首個 token 時間」、「一種新的對話模式〔有助於讓回應保持簡潔且適合語音〕」、推理切換開關，以及為多輪工具使用而以應用程式狀態為依據。NVIDIA 讓這項發布搭配在 SkyrimNET 中進行的試用，並自同日起展開；SkyrimNET 是支援雲端與本機推論的 Skyrim NPC 模組平台。

所以，如果你是從那則推文來的，以為只會有一個模型，那你會得到兩個，日期不同、封裝不同、用途也不同：10 月 15 日是 24GB 的本機代理，10 月 23 日是 4GB 的遊戲角色。

如何在不用把路線圖押在它上面的情況下評估它

首日推出的本地模型最尷尬的地方在於，你還無法回答唯一真正重要的問題——2-bit 檢查點在你的工作負載上是否撐得住——你也還無法回答第二個問題：有沒有可供比較的託管途徑。這兩個缺口都只是暫時的，而且兩者都不是讓你圍繞著一張不存在的基準測試表來規劃的理由。

實務上的做法是把這兩個決定分開處理。在你現有的 24GB 資源範圍內，以實驗性質在本機執行 Bolt 74B，而正式環境則維持使用今天可調用的方案。後者正是路由基礎設施發揮價值的地方：一組金鑰即可取用 200 多個模型，按供應商定價、0% 加價意味著嘗試第二或第三個候選方案的代價只是改一次設定，而不是再簽一份合約，而跨供應商的自動容錯移轉則意味著未經實證的本機建置永遠不會成為線上代理的單點故障。

這也是解讀 NVIDIA 自身表述的誠實方式。「專為在 RTX Spark 上執行本機代理而打造」這句話說的是模型在哪裡執行，而不是它得分多少。請把 10 月 15 日這個日期視為某個問題變得可以回答的時刻——而不是答案本身。

什麼會改變這篇文章？

三件事，大致依它們能多大程度改變局面來排序。

• 具名授權條款與公開的權重儲存庫。「完全開源，包含訓練資料、權重與配方」是 NVIDIA 文中力道最強、也最容易驗證的主張。在授權條款被具名、檔案可供下載之前，那項主張都只是一項承諾。

• 首份獨立基準測試。真正有意思的比較，並不是把 Bolt 74B 拿去對比一個它從未與之競爭的全精度 70B 級模型，而是在同一套測試框架下，將 2-bit 的 Bolt 74B 與每一個能塞進 24GB 的其他版本相比。

• 一個代管端點。少了它，就沒有價格可爭，也沒有途徑能將流量導向它。一旦出現已上線服務的版本，與你候選清單上既有模型之間的定價比較就會變得具體，而轉嫁式定價也值得在同一天查核。

在至少其中一項真正落地之前，正確的姿態是抱持興趣，而非做出承諾。預告是真的，日期是真的，模型也是真的。評估則不然。

值得好好回答的問題

Nemotron 3.5 Bolt 74B 與 Nemotron 3.5 Lightning 30B-A3B 是同一款模型嗎？

不是。它們是同一代中的不同型號，規格各異：依 NVIDIA 自己的命名，Bolt 總參數量為 74B、活躍參數為 9B；Lightning 總參數量為 30B、活躍參數為 3B。Bolt 也以 2-bit、24GB 的佔用空間推出，而 NVIDIA 已發布 Lightning 系列的 BF16 與 NVFP4 版本。它們是否共用架構，公告中並未說明。

你能在 24GB 的桌上型電腦顯示卡上執行 Bolt 74B，還是只能在 RTX Spark 筆記型電腦上執行？

NVIDIA 明言的限制在於記憶體佔用，而非機器——2 位元下 24GB——而點名的執行環境是 llama.cpp、vLLM、Ollama、Unsloth 與 LM Studio，這些並非 NVIDIA 專屬。RTX Spark 是 NVIDIA 行銷宣傳所指的方向，但公告中沒有任何內容讓它成為必要條件。

OrcaRouter 是否託管 Nemotron 3.5 Bolt 74B？

今天還不行，而且目前也還沒有任何東西可供託管——NVIDIA 尚未公布任何已上線的端點或價格。若情況有變，屆時即可透過與型錄上其他所有項目相同的金鑰呼叫該模型，並依供應商標價計費、不額外加價。

對於一個失敗模式仍未被記錄的模型而言，有用的對照就是其他地方已經出錯的紀錄：這類模型周遭已有文獻記載的 AI 事故與代理失效，都收錄在 OrcaRouter AI Incident Archive，其中每筆條目都各自附有來源、嚴重程度、信心等級與爭議標記。