Nemotron 3.5 Bolt 74B 對比 DeepSeek V4 Pro：兩者皆開源，其一可在 24GB 內運行

NVIDIA 的 Nemotron 3.5 Bolt 74B-A9B 24GB 與 DeepSeek V4 Pro 在開源與閉源這條分界線上站在同一側，但在硬體這條線上卻彼此天差地遠。兩者都發布了可供下載的權重，都允許商業使用，也都能在無需徵求任何人同意的情況下提供服務。其中一個是 740 億個參數、90 億個活躍參數，經量化後可塞進 24 GB，因此能在筆電等級的機器上與你的其他應用程式並行運行。另一個則是 1.6 兆個參數、490 億個活躍參數，而「部署足跡」這個詞對它來說，並不是第一個那種意思。

那個差異比指數分數更具決定性，而指數分數彼此已經相差 15 分。以下是團隊實際上必須進行的比較：不是抽象地判斷哪個模型更好，而是這兩款開放權重產品中，哪一款是你實際能夠操作、能達到什麼品質，以及要花多少錢。

兩種截然不同的「開放」形態

不過，在談這一切之前，有件事值得直說，因為這兩個開放權重的模型並非以相同方式登場。D​eepSeek 把 V4 Pro 當作產品發布，附上模型卡與費率表。N​VIDIA 則根本沒有宣布 N​emotron 3.5 Bolt 74B-A9B 24GB。檔案就這麼憑空出現：2026 年 10 月 7 日的 24GB 量化儲存庫，數小時後的 GGUF 轉換版本，10 月 9 日的 BF16 檢查點，10 月 12 日的 LiLiCorr 推測解碼草稿模型。N​VIDIA 自家管道連續十六天保持沉默，這就是現況，因此這場比較中可驗證的那一半，是儲存庫能證明的東西——授權條款、參數量、檔案格式、模型卡上的服務設定——而未經證實的那一半，則是任何一篇發布貼文原本會承載的一切。下文的吞吐量與代理能力數據出自 N​VIDIA 本身，並已如此標註，因為除了某一項指數之外，別無第三方可供核對。

先從授權條款和檢查點開始，因為開放權重的決策真正是在那裡做出的。

• 授權條款 — N​emotron 3.5 Bolt 74B-A9B 24GB：OpenMDW-1.1，一款寬鬆的模型權重授權條款，並明確納入商業使用；N​VIDIA 的模型卡指出該模型可供商業或非商業用途使用。DeepSeek V4 Pro：MIT，這幾乎是所有權重授權條款中最不受限制的一種。

• 實際上可發布的內容 — Némotron 3.5 Bolt 74B-A9B 24GB：24GB 的 IQ2 版本、量化前的 BF16 檢查點、供 llama.cpp 使用的 GGUF 版本，以及獨立的 LiLiCorr 推測式草稿模型。DeepSeek V4 Pro：完整權重檢查點及其衍生版本。

• 檢查點從何而來 — N​emotron 3.5 Bolt 74B-A9B 24GB：使用 Star Elastic（一種由路由器引導的架構搜尋）從 N​VIDIA 的 N​emotron 3.5 Super VL 120B-A12B 母模型壓縮而來，接著以量化感知蒸餾進行量化。它是一個蒸餾出的子模型，而非從零開始訓練的模型，而 N​VIDIA 自家的研究頁面明確主張，將大型模型壓縮至固定預算內，勝過從零開始訓練小型模型。DeepSeek V4 Pro：一個原生訓練的前沿規模混合專家模型。

那第三個要點，才是決定你讀到的大多數評測結果的關鍵。這兩者之間的任何基準測試比較，都是激進壓縮的設計哲學與規模化的設計哲學之間的比較，而這兩者不會在同一類工作負載上趨於一致。

每一個各自測量的是什麼

Artificial Analysis 在其指數的同一個當前修訂版本上對兩者都進行了測試，而這正是像這樣的句子之所以能寫得出來的唯一原因。

• 智慧指數 — Nemotron 3.5 Bolt 74B-A9B 24GB 21，在其開放權重同等尺寸級別中，於 67 個模型裡排名第四。DeepSeek V4 Pro 36，在 116 個模型中排名第九，係於最大配置下、以 0813 版本測得。

• 每項 Intelligence Index 任務的成本 — Nemotron 3.5 Bolt 74B-A9B 24GB：不適用，因為該面板並未記錄其公開 API，且沒有計量價格可作為除數。DeepSeek V4 Pro：0.67 美元，以該面板本身的加權基準衡量。

• 輸出速度 — N​emotron 3.5 Bolt 74B-A9B 24GB：N​VIDIA 表示，在 Surface Laptop Ultra 上，搭配其草稿模型於 AIPerf SPEED-Bench-Coding 達到每秒 83.99 個 token。DeepSeek V4 Pro：由 Artificial Analysis 對託管 API 測得每秒 96.3 個 token。這兩者並非相同的量測方式，不應互相相減；它們所確立的是，兩者都夠快，因此速度不是你的限制條件。

• 冗長度 — N​emotron 3.5 Bolt 74B-A9B 24GB 在該評測小組的索引執行期間產生了 2.3 億個 token，而同級中位數為 1 億個——該評測小組自己的註記稱它非常冗長。DeepSeek V4 Pro 產生了 1.6 億個，而同級中位數為 1.3 億個。在按用量計費的 API 上，這種差異是一筆帳目項目；在本機機器上，則是電力和實際耗時。

15 點的指數差距確實存在，而且不會因為較小的模型執行成本較低就被弭平。在那些真能弭平這道差距的工作負載中，真正弭平它的是廠商自家的基準測試集——而那套測試集值得帶著恰當的懷疑去細讀。NVIDIA 的規格卡把 Bolt 模型列在 Terminal-Bench 2.1 的 50.98 分、BrowseComp 的 66.75 分，領先旁邊印出的每一個對照欄位。那些是 NVIDIA 放在自家規格卡上的 NVIDIA 數字，而 DeepSeek 並不在那些欄位之列。

部署圖才是真正的決策

這就是 DeepSeek V4 Pro 與 N​emotron 3.5 Bolt 74B-A9B 24GB 不再互為替代品的地方。

• 有發揮空間。一個擁有 1.6 兆參數、490 億活躍參數的模型，需要一組服務叢集。即使經過重度量化，光是檢查點本身就比單一工作站所能容納的規模高出一個數量級，而活躍參數的數量意味著，無論採用何種量化方案，每個 token 都會觸及相當可觀的記憶體頻寬。Bolt 模型是針對明訂的上限所設計——NVIDIA 的架構搜尋目標是在批次大小為 1、上下文長度 128K 時，佔用空間低於 24GB——而且該搜尋在執行時已將下游量化納入考量。

• 最小可行服務堆疊。N​emotron 3.5 Bolt 74B-A9B 24GB 需要一個特定的 vLLM nightly，並啟用 v2 模型執行器、一個已下載的 reasoning-parser 外掛、b12x 核心，以及明確的 MoE、Mamba 和 attention 後端旗標；llama.cpp 則涵蓋 GGUF 路徑。DeepSeek V4 Pro 由常見的推論堆疊以分散式規模提供服務，這是一種不同類型的專案，也有不同類型的待命輪值。

• 輸入。Bolt 模型接受文字、圖像與影片，參考配方會限制影片幀數並套用剪枝率。DeepSeek V4 Pro 公布的模態清單為文字輸入、文字輸出——其混合專家規模花在推理上，而非感知。

• 上下文。Bolt 模型為 262,144 個 token，相較之下 DeepSeek V4 Pro 約為一百萬個。如果你的工作負載是一個儲存庫、一組合約，或一段冗長的 agent 逐字稿，那確實是四倍的差距，而且對 DeepSeek 有利。

直白地說：如果你有資料中心，以及需要前沿推理的工作負載，DeepSeek V4 Pro 是更好的模型，而指標也這麼顯示。如果你有筆電、Spark box 或工作站，而要求是模型能在本機與其他所有東西一起執行，Nemotron 3.5 Bolt 74B-A9B 24GB 並不是對這項要求的妥協——它是兩者中唯一能滿足這項要求的模型。

除了磁碟空間之外，較小的模型還能為你帶來什麼？

有三件事不會出現在指數分數中，但會出現在部署審查中。

• 它在拔掉網路線的情況下也能運作。放在本機儲存空間的 24GB 檢查點沒有可用性相依、沒有速率限制，也沒有供應商事故。對於在你擁有的機器上執行的代理程式而言，這正是整個設計目標，也是 NVIDIA 將 120B 母模型壓縮、而非推出全精度版本的原因。

• 推測在這裡既便宜又安全。LiLiCorr 草稿器在磁碟上增加不到 1 GB，而 NVIDIA 報告指出，在草擬七個 token 且並行度為 64 時，貪婪與機率式解碼的平均接受長度分別為 4.68 與 4.25。由於目標模型會驗證每一份草稿，錯誤猜測付出的是速度代價，而非準確度——輸出分布仍得以保留。這項特性正是讓在本機環境推出推測路徑變得合理的原因，而模型卡上也有相關記載。

• 整個堆疊都可檢視。權重、量化設定、草稿模型、服務配方與技術報告全都公開。當模型行為異常時，你可以直接閱讀設定，而不必提交工單。

誠實地計算這兩個選項的成本

價格比較並不對稱，而假裝它對稱會是這個頁面上最容易犯的錯誤。

• N​emotron 3.5 Bolt 74B-A9B 24GB 沒有每 token 價格，因為它沒有計量端點。它的成本是你購買或已擁有的硬體，加上電力，再加上架設推論服務配方的工程時數。一旦這些都付清，每個 token 的邊際成本就接近零，並會一直維持在那裡。

• DeepSeek V4 Pro 是按用量計費的。在 OrcaRouter 上，它是依 DeepSeek 公布的價目表路由，每百萬輸入 token 0.66 美元、每百萬輸出 token 1.98 美元，且不額外加價——因此供應商一調價，我們這邊當天就會生效。對於每天用量達數百萬 token 的工作負載來說，那是一條預算項目，而不是四捨五入的誤差。

• 損益兩平點不是一個 token 數量，而是一種使用型態。閒置的本地模型是純粹的資本支出；每週只跑一次請求的託管模型則幾乎免費。當你按量計費的 token 數量超過這台機器的攤銷成本時，交叉點就會出現，而要知道你的流量對應的交叉點在哪，唯一的方法就是量測一週的實際用量。

還有第三個選項，嘗試起來幾乎不花什麼成本，那就是OrcaRouter 只用一把金鑰，就能在 200 多個其他模型之外，同時路由 DeepSeek V4 Pro，並在各家供應商之間自動容錯移轉。在你把一台工作站投入 24GB 的本地部署之前，用你自己的提示集，將該部署的輸出與按用量計費的前沿模型相互比較，只需花幾美元，就能以實證方式解決品質問題，而不是單憑一張指標表的威力來斷定。

這個決定，沒有人會後悔的版本

兩者都跑，各自用在擅長的模式上。DeepSeek V4 Pro 用於推理深度或百萬 token 上下文才是重點，且計量成本可見且可接受的請求。Nemotron 3.5 Bolt 74B-A9B 24GB 則用於高流量、私密、多模態或離線流量，在這些情境中，模型必須在本機執行是需求，而不是成本最佳化。

人們一直想做的比較——拿一個索引數字去對比另一個——在這裡是最沒用的框架，因為這兩個產品並非為了互相競爭而打造。一個是在沒有資源佔用限制的情況下盡可能做到最好；另一個是在 24 GB 記憶體內盡可能做到最好。兩者都是開放的，兩者也都是正當的，而這正是為什麼選擇該由你來做，而不是由廠商替你決定。

像這樣的比較，也正是失效模式會顯現的地方：這一類模型背後有紀錄的 AI 事件與代理失敗，都收錄在 OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級，以及爭議旗標。