一張標題卡以「正面交鋒:廠商所選的基準,以及它未選的那一個」為標題,並在標題「Nemotron 3.5 Super vs DeepSeek V4 Pro」下方有一行文字指出,NVIDIA 自家的評估表以 DeepSeek 的平價 flash 層級為基準來評測這個新檢查點,而 1.6 兆參數的旗艦型號並未出現在表中。四個統計面板顯示:DeepSeek V4 Pro 為 1.6T 總參數、49B 活躍參數,具備純文字輸入、1M token 上下文與 384K 最大輸出;NVIDIA 的表中約有 40 項基準測試,以 flash 層級為基準,且沒有任何一項是對上旗艦型號;每百萬 token 輸入 $0.66、輸出 $1.98,快取讀取為 $0.022;以及 V4 Pro 可接受的圖像輸入為零,而 NVIDIA 檢查點則接受文字、圖像與影片。一行來源資訊引用 NVIDIA 模型卡,以及 DeepSeek 公布的定價與 0813 修訂說明,並指出兩家廠商的基準測試資料列皆為自行提報。
Engineering & Research

Nemotron 3.5 Super 對決 DeepSeek V4 Pro:NVIDIA 未公布的基準測試表

作者

Magnus Corvin

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

打開 NVIDIA 針對 NVIDIA Nemotron 3.5 Super VL 的模型卡——這是廠商同時以 NVIDIA Nemotron 3.5 Super 列出的 1200 億參數開放檢查點,而 Ollama 則以 nemotron-3.5-super 的名稱提供——然後捲動到評估表。你會看到大約四十項基準測試與七個基線欄位。其中一個欄位是 DeepSeek:它標示為 DeepSeek-V4-Flash0731。那是 DeepSeek 自家的廉價層級。DeepSeek V4 Pro,這款在 0813 修訂版中取代四月預覽版的 1.6 兆參數旗艦模型,則完全沒有出現在表中任何地方。

那個缺席是這項比較中最有用的事實,而且它不是疏漏。V4 Pro 每個 token 會啟用 490 億個參數。把它和一個啟用 120 億參數的模型放在同一張表裡,只會得出一組既不討好任何人、也不提供任何資訊的數字,因為這兩個模型不是同一種產品。廠商改而採用的是這項做法中誠實的版本:拿你實際打算取代的那個層級來做基準測試。

所以這個頁面做了兩件事。它解讀 NVIDIA 所發布的比較——Nemotron 3.5 Super 對上 DeepSeek 的 Flash 層級——接著,在兩個模型真正相互競爭的地方,明確說明關於旗艦型號什麼可以、什麼不能夠得出結論。

這兩件文物,並排

• 總參數與活躍參數 — Nemotron 3.5 Super VL 總計 120B,每 token 啟用 12B,每 MoE 層 512 個路由專家,混合 Mamba-2 與 Transformer · DeepSeek V4 Pro 總計 1.6T,啟用 49B,僅文字。

• 上下文與輸出上限 — Super VL 具備 1,048,576 個 token 的上下文,且未公布輸出上限 · V4 Pro 具備 1,048,576 個 token 的上下文,最大輸出為 384,000 個 token。

• 模態 — 輸入文字、圖像與影片並輸出文字,透過 C-RADIO 視覺編碼器與視覺語言連接器 · 文字輸入、文字輸出。完全沒有圖像路徑。

• 權重與授權條款 — NVIDIA 檢查點採用 OpenMDW-1.1,允許商業使用 · DeepSeek 亦發布自家權重,同樣允許商業使用。

• 計量端點的價格——未公布;該模型僅供自行託管 · 每百萬輸入 token 為 $0.66、每百萬輸出為 $1.98,快取讀取為 $0.022。

• 發布足跡 — 權重於 2026 年 10 月 12 日在 Hugging Face 上發布,廠商公告於 2026 年 10 月 15 日 · V4 Pro 作為旗艦提供服務,並為需要固定版本的呼叫方提供標註日期為 0813 的修訂版。

其中兩條線決定了大多數實際部署。第一條是模態:如果你的輸入是截圖、掃描的合約、圖表或影片畫面,那麼這個比較有一半在開始前就結束了,因為 DeepSeek V4 Pro 沒有影像路徑,也沒有宣布相關計畫。第二條是價格線,它比看起來更有趣——NVIDIA 完全沒有公佈這款模型的價格,這意味著要知道你的成本,唯一的方法就是知道你的 token 用量和你的硬體帳單。

A two-column scoreboard titled 'Nemotron 3.5 Super vs DeepSeek V4 Pro'. The left column is NVIDIA Nemotron 3.5 Super VL, 120B total and 12B active with open weights uploaded 12 October 2026; the right column is DeepSeek V4 Pro, a 1.6T mixture of experts in its 0813 revision. Rows carry no published meter price for the NVIDIA side against $0.66 in, $1.98 out and $0.022 cache reads; 120B total and 12B active with 512 experts against 1,600B total and 49B active; text, image, video and page images against text only with no vision path; a 1M-token context with no stated output cap against 1M tokens and a 384,000 maximum output; a benchmark comparison run against DeepSeek-V4-Flash 0731 against a flagship that is absent from NVIDIA's table entirely; Terminal-Bench 2.1 at 66.70 vendor-run against 87.9 from DeepSeek's own notes for the 0813 revision; and a deployment floor of one 96 GB card at the 4-bit default against no single machine that holds it. A footer states that every benchmark row on both sides is vendor-reported and that the only independent number in the article is the mid-twenties index.

閱讀實際上由 NVIDIA 發布的表格

Flash 層級的比較比參數量所顯示的更接近,而且對 NVIDIA 來說也並非一概不利。在兩者最接近的列上,情況是知識方面真正打成平手,而在代理式執行方面則有實質落差。

• 研究所程度的科學題目上呈現統計上的平手——GPQA-Diamond 中,Super VL 為 89.52,DeepSeek-V4-Flash 則為 89.6。在這項數據上,0.04 分之差隔開了 120B 模型與 1e12 等級的基準線,而兩者皆由廠商自行執行。

• 在最困難推理上的落後——Humanity's Last Exam 純文字版為 31.79 對 35.8,而 MMLU-ProX 為 76.91 對 85.5。

• 在競技程式設計上的不足 — LiveCodeBench v6 為 88.22,對比 94.6。

• 代理式軟體工作上的劣勢 — SWE-bench Verified 為 71.10,對手為 75.4;Terminal-Bench 2.1 為 66.70,對手為 76.80;DeepSWE 為 24.65,對手為 42.3。

• 長脈絡檢索上的明顯落差——AA-LCR v1.1 拿下 68.62,對手則是 79.7。兩款模型都標榜百萬 token,但在這唯一一列獨立式召回測試上,flash 等級領先超過十一分。對任何打算真正用上所宣稱的脈絡、而非只是把它擺在那裡的人來說,這是整張表上最具關鍵意義的數字。

• NVIDIA 勝出的項目 — GraphWalks 89.71 對 65.4,LMArena v3 proxy 52.67 對 49.8,而 tau2-bench retail 69.24 對 73.8,差距小到在這般充滿雜訊的基準測試上已可視為雜訊。AA-Omniscience 是更具指標性的勝出:NVIDIA 的幻覺率為 30.0,對比 DeepSeek 的 95.9,而正指數為 4.03,對比負 7.8。懂得拒答的模型比一味斷言的模型更有價值,而在這一項上,差距絕非微不足道。

• 代理式工具 — tau2-bench 航空 76.50 對上 83.5、電信 73.19 對上 98.2,兩項皆落敗。在電信領域,flash 層級幾乎橫掃全勝。

這些全都是廠商透過 NVIDIA 自家的 NeMo Gym 測試框架、搭配已公開的流程所回報的結果。這比空口宣稱的標準更高,但比獨立重跑更低;而在這張特定的表上,大多數列的方向都對外發表的模型不利,這至少是個跡象,顯示該測試框架並未被調校來美化結果。

關於 V4 Pro,無法斷定的是什麼,而這又為何仍然重要?

你不能把上述任何內容解讀為對這場旗艦對決的預測,原因有三,而這些理由值得說明,而非草草帶過。

首先,基準版並不是旗艦版。DeepSeek 自己公布的 V4 Pro 0813 修訂版代理數據,完全屬於另一個量級:在 Terminal Bench 2.1 上為 87.9、Cybergym 上為 83.3、Toolathlon Verified 上為 74.1、DeepSWE 上為 62.7、NL2Repo 上為 61.5,而在 Humanity's Last Exam 上,不使用工具時為 42.7,使用工具後升至 60.0。對比 NVIDIA 在 Terminal-Bench 2.1 上的 66.70,以及 HLE 純文字模式下的 31.79,旗艦級之間的差距遠比 flash 層級的差距大得多,而且這個差距正被另一款模型的廠商持續拉大;這並不會讓它因此更值得信賴——只會讓它更顯針鋒相對。

第二,flash 層級欄位是一個快照,而這個層級本身已經變動過。今天讀起來表現不錯的一列,到了下個月可能讀起來很差,即使兩個模型都沒有改變,因為比較結果取決於供應商選擇要執行哪個檢查點。

第三,NVIDIA 檢查點的獨立概況薄弱到幾乎無法作為打破平局的依據:為這些模型評分的第三方評測小組在其指數上把它列在二十幾分的中段,每項任務的輸出 token 數異常偏高,並註記該模型略顯冗長。僅有一筆資料點,來自一個評測小組,而且是在權重發布四天後。

所以,對這個基準測試案例的誠實總結是這樣:就廠商自行跑出的數字而言,一個 12B 活躍參數的開源視覺模型在知識方面大致與 DeepSeek 的廉價層級相當,但在代理式執行與長上下文召回方面落後;那張表完全沒有談到旗艦模型,而旗艦模型自己公布的數字,在兩者能進行任何比較的每一個軸線上,都更好。

The OrcaRouter catalogue page for DeepSeek V4 Pro, with a breadcrumb reading Models, DeepSeek, DeepSeek V4 Pro, a creation date of August 13 2026 and an update one day earlier, an input modalities row reading Text, pricing of $0.66 per million input, $1.98 per million output and $0.022 per million cache reads, a 1,000,000-token context, a 384,000-token maximum output, a line reading 'Serving on 5 providers', and the per-million-token pricing table.

唯一一個比較起來輕而易舉的軸

圖片。不是因為 Nemotron 擅長視覺——沒有人發表過針對其視覺路徑的獨立評測,而且出貨的執行環境預設是以模型卡上的文字溫度進行取樣,而非其視覺溫度,這對第一個嘗試的人來說是個貨真價實的陷阱——而是因為 DeepSeek V4 Pro 不接受圖片。

這種不對稱有一個容易被忽略的成本後果。具備視覺能力的託管模型,是依 token 數量來計算掃描文件每一頁的費用,而 300 dpi 的一頁可不是一筆小數目的 token。自行託管的 120B 檢查點則以 GPU 秒數來計算同一頁的成本。在每月數千頁的工作負載下,這項差異微不足道;到了每月數十萬頁,它就成了整個預算討論的核心。NVIDIA 自家的視覺項目——MMLongBench-Doc 上的 62.82、MathVision 上的 78.16、CharXiv 推理上的 80.82、OCRBench v2 英文上的 68.12——雖是廠商公布的數字,卻確立了這項能力確實存在,而非徒具虛名。

比較結果會翻盤的另一個維度,是大家都會問、卻很少人實測的那一項:記憶體。V4 Pro 總參數量達 1.6 兆,根本連單一機器都塞不進去。Super VL 在其預設 4 位元標籤下為 82.3 GiB,能裝進一張 96 GB 的顯示卡,還留有工作上下文的空間。這不是品質優劣的論點。差別在於:一個是你的團隊今晚就能拉取並執行的模型,另一個是你得租用的模型。

The NVIDIA Newsroom announcement post, with the masthead across the top, the headline 'Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models', a 15 October 2026 dateline, and the opening section of the announcement text beneath it.

進行算術運算而非基準測試

在閱讀下一張表之前,這裡有個值得先做的計算。以一百萬個輸入詞元與十萬個輸出詞元的工作量為例——對文件處理流程而言是微不足道的一個月,對聊天產品來說則是負擔沉重的一天。

在 DeepSeek V4 Pro 公布的費率下,那是 0.66 美元的輸入加上 0.198 美元的輸出:不到一美元,而且還未計入快取折扣進一步壓低輸入端的成本。至於 NVIDIA 的檢查點,則沒有費率可言,因為根本沒有端點。成本取決於該流量消耗了多大比例的 GPU 小時,而在這樣的用量下,答案四捨五入等於零——但它背後的固定成本並非如此。四張 H100 不會因為你第一個月的流量很小就變得便宜。

那才是這場對決真正的樣貌,而這是量的問題,不是質的問題。低於某個吞吐量時,按量計費的開放權重 API 就是比硬體的電費與攤提成本更便宜,即使兩個模型都是開放的。高於某個吞吐量時,固定成本會反轉,而自行託管的檢查點在成本上勝出,不論哪一個在 Terminal-Bench 上得分更高。交叉點取決於你的使用率,而不是任何一家供應商。

那麼,路由的問題就變成:如果你根本不想自己跑叢集,DeepSeek V4 Pro 可以在 OrcaRouter 上取用,價格是供應商定價原樣轉過來的,沒有任何每 token 加成——$0.66 與 $1.98,跟 DeepSeek 公布的數字相同,因為我們不會在上面加價。供應商調價時,我們這邊當天就會生效,而不是等到下一次合約續約。Nemotron 3.5 Super 不在我們的 key 上;我們路由的模型略超過兩百個,而它不在其中,所以如果你特別需要那個檢查點,供應商自家的管道與本地拉取就是你的途徑。

實際該怎麼做

如果你的輸入是文字,而你的工作負載屬於代理式——長工具鏈、儲存庫規模的編輯、終端機工作階段——那麼 DeepSeek V4 Pro 是更好的模型,也是更便宜的那個,而 NVIDIA 檢查點在廠商自己公布的列數上,根本不是它的認真競爭對手。先在 V4 Pro 上執行這個工作負載,取得每單位工作的真實成本,然後才決定是否值得建置叢集。

如果你的輸入是圖像、影片或長篇文件,那麼比較就會簡化為一個關於數量的單一問題,因為 V4 Pro 根本無法接受這類輸入。每月在幾千頁以下,就繼續用託管方案。超過這個量,單張 96 GB 顯示卡上的 4-bit 檢查點就是一套可信的基礎設施——但有兩點值得反覆提醒:大多數人會跑的那個版本並沒有公開的評估結果,而且執行環境本身的取樣預設值,是針對廠商所宣傳的視覺模型中屬於文字的那一半調校的。

而且,如果你真的把一個四天前的檢查點放在請求路徑後面,也要在它後面放一個備援。對於一個沒有營運歷史的模型來說,最便宜的保險就是在同一次呼叫中使用第二個模型。

這一切都不是避開該模型的理由,而只是了解其歷史的理由:這一類模型背後有文獻記載的 AI 事件與代理失效,都收錄於 OrcaRouter AI Incident Archive,其中每一則條目都附有自己的來源、嚴重程度、信心等級與爭議標記。

本文中的比較1

根據本文內容識別 · 基準測試:Artificial Analysis · 每日更新