NVIDIA Nemotron 3.5 Super VL 正式推出：120B 開放權重、一項 5 倍宣稱，以及 249 GB 的但書

NVIDIA Nemotron 3.5 Super VL 推出了，而真正該決定你要不要採用它的規格，並不是發表公告開頭主打的那一項。這是一個 120B 參數的視覺語言系統，擁有 12B 活躍參數、100 萬 token 上下文、原生推測解碼，並支援文字、圖像、文件與影片。NVIDIA 的發布文章日期為 2026 年 10 月 15 日，並將其宣傳為同級中最快的開放式代理模型——「相較於同級其他模型，吞吐量最高快 5 倍」，此數據是在 Artificial Analysis Intelligence Index 排行榜上測得。這篇文章沒有攤在你面前的是：這個發布包含兩個檢查點，兩者之間的差異是 174 GB 的 VRAM，而較小的那個是為省下這些資源付出不平均的代價。

10 月 15 日實際上推出了什麼？

兩件事發生在不同的日子，而這個時間差，如果你正準備安排一次部署，就很重要。權重於 10 月 12 日 15:32 UTC 登上 Hugging Face。公告則在 10 月 15 日隨後發布。NVIDIA 自家的模型卡把發布日期寫成 2026 年 10 月 15 日，版本 1.0 GA，因此該廠商認為 15 日才是正式出貨日；但儲存庫的時間戳記卻不是這麼說的。這兩個日期距今都不到一週，而且都還太新，因此這個版本還沒有任何部分有時間被獨立重現。

這次發布的範圍比公告據以命名的模型更廣泛：

• Nemotron 3.5 Super VL — 旗艦型號，總參數 120B／啟用參數 12B，提供 BF16 版本與 NVFP4 版本，兩者均於 10 月 12 日發布。

• Nemotron 3.5 Super VL Base——後訓練前的檢查點，與 instruct 版本一同發布；這一點很重要，因為授權條款讓你可以自行執行後訓練。

• Nemotron 3.5 Bolt 74B-A9B 24GB — 一款透過原生 2 位元量化即可容納於 24 GB 的邊緣模型，於 10 月 7 日發布。

• Nemotron 3.5 Bolt E4B 4GB——家族中最小的一款，日期為10月23日。

架構是 Mamba-2/Transformer 混合式專家混合模型（Mixture-of-Experts），具備多詞元預測（Multi-Token Prediction），每個 MoE 層有 512 個路由專家，一個 C-RADIO 視覺編碼器與一個視覺語言連接器。多模態處理涵蓋 OCR、表格、圖表、多頁文件與視覺定位；影片以 MP4 格式接受，最長可達兩分鐘，取樣率為 2 FPS、最多 256 幀，或在 1080p 下為 1 FPS、128 幀。授權條款為 OpenMDW-1.1，模型卡指出其已準備好可供商業或非商業使用——一套真正寬鬆的條款組合，也是這次發布之所以受到關注的重要原因之一。

兩個檢查點，以及它們之間的 174 GB

這正是這個發布對任何必須為 GPU 付費的人來說變得有趣的地方。NVIDIA 以兩種精度發布了同一個模型兩次，而這兩個建置版本在大小上相差甚遠。以下兩個數字皆讀取自 Hugging Face 儲存庫的檔案清單，該清單會回報個別權重分片的檔案大小：

• BF16 檢查點 — 248.94 GB，分散於 63 個分片。safetensors 標頭顯示參數量為 1244.5 億。

• NVFP4 檢查點 — 75.06 GB，分散於 88 個分片。推論在 Blackwell 上以 W4A4 執行，在較舊的硬體上則以 W4A16 執行。

• 硬體，完整精度 — NVIDIA 的規格表列出 4× H100 或 2× GB200，用於文字、圖像與影片。

• 硬體、量化 — 1× H200、2× H100、1× GB200，或單台 DGX Spark，其中 Spark 路徑需要 LiLiCorr 草稿模型來進行推測解碼。

• 省下的部分 —— 173.88 GB，在磁碟上約縮小 3.3 倍，也正是四 GPU 節點與單一加速器之間的差距。

請把它當作經濟學問題來解讀，因為它本質上就是。從四張 H100 變成單張 H200，不是調校決策；而是你能在本季將模型放上產品，與你做不到之間的差別。NVIDIA 所用的量化配方也比一般做法更講究：視覺編碼器、連接器、Mamba 卷積與嵌入都維持在 BF16，MoE 路由器維持在 FP32，其餘部分則從 BF16 模型透過量化感知蒸餾產生，並額外加上 200 輪基於 SFT 的蒸餾。

量化建置放棄了什麼

NVIDIA 發布了一組配對表格，比較兩個檢查點，並將其他所有設定保持不變，這是進行此類比較的誠實方式，而且比應有的頻率更為罕見。下方的配對是 NVIDIA 自己的數字，來自 NVFP4 模型卡，而且它們並非全部朝同一方向。

量化建置在哪些方面落居下風：

• Terminal-Bench 2.1 — BF16 為 66.70，NVFP4 為 60.80。下降 5.9 點，是表中最大的單一退步。

• WebVoyager，離線 — 77.72 對 66.31。在瀏覽器代理任務上下降了 11.4 點。

• DeepSWE，離線 — 24.65 對 18.20。

• MMLU-ProX — 76.91，相較於 73.76。

• tau3-bench banking — 18.88 對 17.78。

在其增益或維持之處：

• GPQA-Diamond — 89.52 對比 89.90。

• APEX 入圍名單 — 88.36 對 89.36。

• AA-Omniscience 幻覺率 — 30.0 對 27.7，亦即量化版本在 NVIDIA 自家衡量標準上產生的幻覺略少。

• tau2-bench telecom — 雙方皆為 73.19，完全相同。

• OCRBench v2 EN — 68.12，相較於 68.34。

• MMLongBench-Doc — 雙方均為 62.82。

這個模式就算沒有統計學家也看得出來。文件、OCR 與知識回想工作負載幾乎沒什麼變動，其中有些甚至還會改善。長時程的代理式工作負載則變動很大。如果你的應用程式會讀取申報文件、收據或頁面影像，並回傳結構化輸出，那麼 75 GB 檢查點就是你應該部署的，而且你幾乎沒有犧牲任何東西。如果你的應用程式是一個會執行終端機或操作瀏覽器連續數十個步驟的代理，那麼你是在用大約 9% 的 Terminal-Bench 換取四分之三的 GPU 費用，而這個決定值得用你自己的評估來跑，而不是根據供應商的表格來決定。

5x，以及它的衡量基準是什麼

NVIDIA 的主打賣點是吞吐量，而這個數字值得被精確解讀，而不是被輕率否定或照單複述。其說法是「相較於同級其他模型，吞吐量最高可快上 5 倍」，但貼文中並未定義何謂「同級」。這項量測出自 NVIDIA 自己，跑在 NVIDIA 自家的服務堆疊上，所用的併發數與序列組合則取決於該配方怎麼選——模型卡本身的部署表格載明 32 條併發序列，以及依硬體而定的 5 個或 3 個推測解碼草稿詞元，而在 20 輪的代理式（agentic）代理工作負載上，吞吐量與單次提示（single-shot prompt）下的吞吐量是截然不同的數字。

這些都不會讓那項說法變成假的。它只會讓它成為一項關於廠商配置工作負載的廠商說法，而這正是標籤所說的。值得注意的是，在這個版本上並沒有制衡：這些檢查點沒有任何獨立的吞吐量測量被發表，因此流通中的唯一數字就是 NVIDIA 的。沒有具名基準模型、明確的並行數與明確硬體配置的吞吐量數字，不是你能據以規劃容量的東西。如果這個 5 倍對你的決策來說是關鍵支撐，請在簽下 GPU 預留之前，用自己的流量重現它。

依 NVIDIA 自家表格所示，模型表現強勁之處

單一模型卡也列出了 BF16 檢查點與同儕相較之下的表現，而 NVIDIA 自家欄位右側的那幾欄值得一讀，因為那些同樣出自 NVIDIA。對比 Qwen3.5-122B-A10B、Qwen3.8-Flash-Next、DeepSeek-V4-Flash、Nemotron 3 Ultra、Inkling-Small 與 GLM-5.3-Flash：

• Video-MME v2 — 32.85，對上 Qwen3.8-Flash-Next 的 45.1 與 GLM-5.3-Flash 的 14.8。位居中段，且是各列中差距最懸殊的一項。

• OCRBench v2 EN — 68.12，與 Qwen3.8-Flash-Next 的 67.9 及 Qwen3.5-122B-A10B 的 68.3 大致持平。

• CharXiv 推理 — 80.82，落後於兩個 Qwen 模型。

• MathVision — 78.16，落後於以 87.5 居先的 Qwen3.8-Flash-Next。

• MMLU-ProX — 76.91，在該列中落後於每一個同儕欄位。

• AA-Omniscience 幻覺率——30.0，相較於 Qwen3.5-122B-A10B 的 84.5 與 DeepSeek-V4-Flash 的 95.9。在此列中，數值越低越好，而差距並不小。

• Terminal-Bench 2.1 — 66.70，對上 Qwen3.8-Flash-Next 的 85.8 與 GLM-5.3-Flash 的 82.7。

• SWE-bench Verified — 71.10，相較於 GLM-5.3-Flash 的 79.10。

• OSWorld-Verified — 51.14，相較於 GLM-5.3-Flash 的 14.78。

這樣的形態與 NVIDIA 所說該模型的用途相符。它在純粹推理或程式編寫上並非領先者，也無意自稱如此——這項發表將它與自家最大的模型相比，參數量約為其五分之一，而非與最前沿的模型對比。它在幻覺控制、文件擷取與桌面代理工作方面表現強勁，在影片方面處於中等水平，而在最艱難的代理式終端機基準測試上則落後。如果你是因為公告第一行提到「影片理解」才關注這次發布，那麼影片相關的數字才是你該仔細檢視的。

運行所需的成本

沒有定價，而這並非 NVIDIA 的疏漏——而是開放權重釋出的形態。NVIDIA 並未以公開費率按 token 販售這個模型；它在 OpenMDW-1.1 之下發布權重，以及一個具備經驗證配置的 NIM 容器，而你要為 GPU 付費。所以成本問題其實是 GPU 小時的問題，而兩個可接受的答案是：BF16 用 4× H100，或 NVFP4 用一張 H200 或單台 DGX Spark。

這就是多數團隊在比較開源模型與託管 API 時最容易算錯的那部分。託管方報出的每 token 費率，本身已經包含了別人的使用率曲線。開源方報的是檢查點與最低硬體清單，而真正的數字完全取決於你能不能讓 GPU 保持忙碌。一台 H200 執行 75 GB 的檢查點，每天只服務一個內部工作流程幾百次，其每次呼叫的成本會遠高於同一個檢查點放在共用部署上的成本。先租再買，並且要用你自己的提示詞來測量每秒 token 數，而不是用代理工作負載。

在把產品押上去之前先試試看

面對一份才剛出爐一天的文件所介紹的模型，誠實的第一步是評估，而不是遷移；而這正是閘道器能發揮實質作用、而非只是嘴上說說的地方。只要一組金鑰就能跨200 多個模型，以供應商定價、0% 加價取得——這代表你真正想做的比較——Nemotron 3.5 Super VL 對上你目前使用的文字或視覺模型——只是改動一個模型字串，而不是再多建立一段供應商關係；而跨供應商的自動容錯移轉，則意味著你只是在測試的工作負載可以與正式流量並行運行，彼此互不依賴。這點在這裡比平常更為重要：這兩個檢查點在代理式工作上的行為差異大到，有用的實驗並不是「這個模型好不好」，而是「這兩個版本中，哪一個在我的哪項基準測試上、以多少 GPU 成本勝出」。

避免浪費一個 GPU-month 的順序是：先挑文件形態的工作負載，因為那是 BF16 與 NVFP4 差距最小的地方，也是模型自身數字最好的地方。拿它對較小的 checkpoint 執行。用你自己寫的 eval 來評分。只有在這之後，才決定 agentic 工作負載——也就是量化組建在 Terminal-Bench 上少 5.9 分、在 WebVoyager 上少 11.4 分的那類工作負載——是否值得 249 GB 的組建與四張 GPU。

還有什麼仍未解答

有三個落差值得留意，因為它們改變的是決策，而不是行銷話術。

首先是獨立評估。本文中每個來自 NVIDIA 的數字都標示了出處，而在這次發布中，所有數字都是如此。沒有第三方針對這兩個檢查點發表過吞吐量測量、準確率重現或評估測試框架比較。5x 吞吐量宣稱與配對的量化表在內部是一致的，且顯然製作得很謹慎，但它們仍是廠商自行報告且未經重現。在 NVIDIA 以外有人發表相同實驗之前，請將它們視為上限。

第二項是影片路徑。該模型接受 MP4，而發布公告以影片理解為主打，但在 NVIDIA 自家表格中唯一一項影片基準測試上，它落在 32.85，而 Qwen3.8-Flash-Next 則位於 45.1。訓練資料涵蓋的影片時數從 10,000 到一百萬小時，範圍很廣，卻完全無法說明密度或領域。如果影片是你的使用情境，這就是最該先測試的一列，也是最可能讓根據發布公告製作而成的採購簡報失望的一列。

第三個是基礎檢查點。它在相同授權下發布，是這次發布中尾巴最長的部分，因為它讓擁有自己資料的團隊能進行後訓練，而不是繞著供應商的模型打轉、只靠提示。NVIDIA 自己為這個系列提供的後訓練語料庫也是開放的，而在 NVIDIA 的測試框架內，NVIDIA 報告中的效應量達到數十個百分點。目前還沒有人發表過以該基礎模型為基礎、可信的獨立微調。等到有人做到時，它對這個模型真正上限的說明，會比發布貼文所說的更多。

權重現在就能下載，授權條款也允許你將它們用於商業用途。你無法下載的兩樣東西，是一份獨立基準測試，以及一項有具名基準的吞吐量數據——而這兩者正是你在把正式生產路徑押注到一個目前才問世四天的模型之前，會需要的東西。