Ollama 上的 Nemotron 3.5 Super：一款在 NVIDIA 宣布前，你就能搶先運行的 120B 視覺模型

有大約二十個小時，NVIDIA Nemotron 3.5 Super的本機路徑早已存在，而宣告它存在的那則消息卻還沒發布。Ollama 於 2026 年 10 月 14 日在 v0.40.5 版中將該檢查點發布到自家函式庫，一併納入了加入 Nemotron 3.5 支援的 llama.cpp 更新，並推送了一個 1,200 億參數視覺語言模型的九個標籤——ollama run nemotron-3.5-super，你就能跑起它。NVIDIA 自家新聞室針對同一批權重、以更完整名稱NVIDIA Nemotron 3.5 Super VL所發布的文章，則於隔天下午、10 月 15 日 15:00 UTC 上線。權重本身自 10 月 12 日起就一直放在 Hugging Face 上，位於名為NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-BF16的儲存庫中，而該模型卡自己的發布日期欄位早已寫著 2026/10/15。

這些都不是醜聞。這就是現今開放權重發布的常態：成品先落地，框架爭相支援，行銷隨後跟上。但這改變了 Ollama 頁面值得一讀的地方。10 月 14 日出現的並不是附帶執行環境的產品公告——而是附帶產品的執行環境，而如果你正打算為它花上 90 GB 的磁碟空間，這兩份文件在好幾件重要的事上說法並不一致。

v0.40.5 實際發佈了什麼

Ollama 的發行說明異常具體，這點很方便。它將 Nemotron 3.5 Super 描述為一款用於程式編寫、推理、工具使用與文件理解的視覺語言模型，建構於混合 Mamba-2/Transformer 的專家混合骨幹之上，總計 120B 參數中每個 token 有 12B 活躍參數，並搭配 C-RADIO 視覺編碼器。它標榜工具呼叫、可開啟/關閉的思考模式，以及最高達 1M token 的上下文。對任何已經在執行 Ollama 的人來說，最重要的兩行藏在下方：已更新 llama.cpp（新增 Nemotron 3.5 支援）與 MLX。

那一行就是這次拉取能成功的全部原因。Ollama 會將這個檢查點透過它的 llamacpp 執行器以 GGUF 格式路由——登錄檔 manifest 明確這麼說——所以「Ollama 支援 Nemotron 3.5 Super」和「llama.cpp 支援 Nemotron 3.5 Super」是同一句話。如果你所使用的 Ollama 比 0.40.5 還舊，那你就不符合。模型的 config blob 帶有 "requires":"0.40.5"，因此版本閘門是被強制執行，而不只是建議而已。

同一份發行說明也提到一個同系列成員 Nemotron 3.5 Bolt；它將 Super 蒸餾成 74B 參數，其中 9B 為活躍參數，而且根據該說明，它經過調校，可透過內附的草稿模型進行推測解碼，以配合 24 GB 的 NVIDIA GPU。那是不同的取向，也屬於不同等級的硬體；在心裡把它分開看待，因為這個命名很容易造成混淆。

這九件文物，以及每一件實際上有多重

程式庫頁面顯示的是一條大小階梯。它背後的登錄資訊清單顯示的是實際位元組數，而這兩者四捨五入的方式不同，所以以下是取自資訊清單本身的數字，而不是四捨五入後的徽章：

• q4_K_M — 88,419,818,592 位元組，也就是 82.3 GiB（模型庫頁面標示為 80GB–90GB）。標籤名稱 :latest、:120b、:120b-a12b 以及 :120b-a12b-q4_K_M全都指向同一個層，因此這九個項目中有四個是同一個產物掛著四個名稱。

• q8_0 — 131,601,243,232 位元組，122.6 GiB，顯示為 133GB。

• bf16 — 247,403,355,232 位元組，230.4 GiB，顯示為 249GB。這是披著 GGUF 外衣的全精度檢查點，也是這裡唯一與消費級硬體毫不沾邊的標籤。

• MLX nvfp4—— 總計 79.56 GB，是這組中最小的一個，而 NVFP4 是 NVIDIA 自家顯示卡以第一級檢查點形式提供的格式，而非事後量化。

• MLX mxfp8 — 總計 129.60 GB，MLX 對應版本約為 q8_0 的佔用空間。

• MLX bf16 — 總計 248.92 GB，比 GGUF bf16 略大一些，因為 MLX 儲存張量的方式不同。

• 投影器——每個標籤，無一例外，都帶有 1,733,696,896 位元組的 mmproj-bf16.gguf 媒體層。也就是說，每次下載都附帶 1.61 GiB 的視覺編碼器，連最小的也不例外。影像路徑並非可選，也不是另外單獨拉取的。

九個項目中有三個——也就是 MLX 的那些——被標記為適用於 Apple silicon 而非 CUDA，而且在函式庫頁面上，每一個都只標示為「MLX」。如果你在 Mac 上挑選標籤，nvfp4 在 79.56 GB 時，是適合 96 GB 或 128 GB 統一記憶體機器且還有餘裕的那一個；而 mxfp8 在 129.60 GB 時，一旦把 KV 快取算進去，就完全放不進 128 GB 的機器。

函式庫頁面與 manifest 在上下文長度上不一致

GGUF 標籤宣稱具備 100 萬個 token 的上下文視窗。三個 MLX 標籤則未宣稱任何這類規格——該欄位顯示「- context window」，而其他標籤顯示「1M」。可能是 MLX 路徑尚未接上長上下文配置，也可能只是頁面沒有填寫，但從外部來看，這兩者無從分辨；而誠實的立場是：長上下文的宣稱對 GGUF 標籤而言已獲驗證，對 MLX 標籤則尚未驗證。

同一方向上還有第二個落差。預設標籤的設定資料塊宣告了 "model_type":"123.6B"，但每一處面向人類的命名都說是 120B。這並不是權重本身有出入，而是參數數量在兩套系統之間四捨五入的方式不同；而知道某個工具當下對你引述的是哪個數字，是值得留意的事。

還有第三個，也是最可能咬你一口的：params blob 出廠時就帶著 {"draft_num_predict":3,"temperature":1,"top_p":0.95}。那些取樣值是模型卡建議的設定——針對文字。模型卡為視覺工作建議了另一組搭配：temperature 0.6 對上 top_p 0.95。所以 Ollama 的預設值是為文字那一半調校的，而 Ollama 卻把這個模型宣傳成視覺模型。如果你第一次拿它處理圖表或掃描頁面的體驗令人失望，那就是你該轉的第一個旋鈕——在你對這個檢查點下任何結論之前。

這個draft_num_predict: 3 欄位本身就值得單獨用一行來說明。它是一個推測解碼（speculative-decoding）參數，而 manifest 中並未包含獨立的草稿模型層——只有模型 GGUF 與投影器。因此，執行階段所做的任何推測，都是仰賴模型內建的多詞元預測（multi-token-prediction）頭，而非 NVIDIA 規格說明中提到隨 BF16 與 NVFP4 檢查點一同提供的獨立 LiLiCorr 草稿器。這是合理的工程選擇，同時也意味著 Ollama 這條路徑並非廠商吞吐量數據所描述的確切配置。

config blob 悄悄告訴你的事

manifest 設定中的四個欄位，所提供的資訊比它們的大小所暗示的還要多。

• model_family: nemotron_h_moe — 這個 family 字串並不單純只是 nemotron。你的技術堆疊中任何會依據 model family 來切換、以挑選聊天範本或 tokenizer 的機制，都無法用單純的前綴比對來匹配。

• 渲染器：nemotron-3.5-super — 專用的渲染器，因此聊天範本確實是此模型本身的，而非繼承而來的預設值。

• parser: nemotron-3-nano——而這裡的 parser 是沿用較小的 Nano 手足。思考模式與工具呼叫的輸出格式顯然在整個系列中已足夠穩定，因此不需要新的 parser。這也意味著，如果你已經為 Nemotron 3 Nano 建好了工具呼叫的處理機制，它在這裡很可能無需修改就能沿用。

• 檔案類型：Q4_K_M——預設標籤是 4 位元量化，而這正是大多數人評斷這個模型時所依據的組態。

授權層是一個 2,618 位元組的 blob，帶有 OpenMDW 授權合約 1.1 版，這與 Hugging Face 模型卡所稱的授權相同，即 openmdw-1.1。條款寬鬆、允許商業使用，而且在假設它是 Apache-2.0 之前值得一讀，因為周遭的 Ollama 生態系大多如此。

基準測試：其中一組是廠商的，另一組則不是

NVIDIA 自行公布的表格內容龐大，且完全為自家通報數據。在表中，該模型於 GPQA-Diamond 拿下 89.52，在 Humanity's Last Exam 純文字版拿下 31.79，在 MMLU-ProX 拿下 76.91，在 LiveCodeBench v6 拿下 88.22，在 SWE-bench Verified 拿下 71.10，在 SWE-bench Multilingual 拿下 67.72，在 SWE-bench Pro 拿下 51.78，在 Terminal-Bench 2.1 拿下 66.70，在 IFBench 拿下 70.86，在 MMLongBench-Doc 拿下 62.82，在 MathVision 拿下 78.16，並在 OCRBench v2 英文拿下 68.12，相較中文為 59.15。代理型項目表現強勁：tau2-bench 零售 69.24、航空 76.50、電信 73.19。該公司也聲稱，在 Artificial Analysis Intelligence Index 排行榜上，該模型的吞吐量最高可達同級其他模型的 5 倍，而在 NVIDIA Dynamo 上運行時，可讓組織以低 85% 的延遲服務最多 8 倍的用戶。這些都是廠商數據，由廠商在其自家基礎設施上產生——把它們當成規格，而非審計。

獨立概況較單薄，卻更有用，正因為它單薄。Artificial Analysis 目前將這個檢查點放在 Intelligence Index 26，並形容這遠高於同尺寸開放權重模型的中位數 8——這是真實的差距，而且如果你一直假設硬體廠商推出的 120B 開放模型會落在同類模型的中段，這個差距就別具意義。同一頁面記錄到，執行該 Index 所消耗的輸出詞元為 1.7 億，而中位數為 1 億，並將其解讀為「略顯冗長」：這是一個具備延伸思考模式的推理模型，而冗長度是一項成本，不是附註。它確認了 1.0M 上下文、總參數 120B 搭配 12B 活躍參數、影像輸入搭配文字輸出，以及 OpenMDW-1.1 授權條款。

那頁面唯一無法告訴你的，就是每個 token 的成本是多少，因為沒有可報的託管價格。Artificial Analysis 自己對於該模型是否能透過 API 取得的回答是：它是一個可自行託管的開放權重模型。這一句話就道盡了整個經濟故事：你的邊際成本是電力和一小時的 GPU 使用費，而你的固定成本就是下載。

實際運行它需要什麼

模型卡建議為已發佈的檢查點使用四張 H100 或兩張 GB200，並附有 vLLM 配方，指定張量平行度為 4，以及推測式配置，其方法為 mtp。那是資料中心端的答案，且針對 BF16。對任何閱讀 Ollama 清單的人來說，有趣的問題在於階梯的另一端。

在 q4_K_M 下，82.3 GiB 的權重加上 1.61 GiB 的投影器，能把模型塞進單張 96 GB 顯示卡或 128 GB 統一記憶體的 Mac，而 KV 快取餘裕會隨著你提高上下文而迅速縮小。在宣稱的 1M token 下，這類硬體上的快取不可能和權重一起放得下，不管標示怎麼寫——單機上的長上下文意味著要犧牲併發數，而不是免費解鎖。請規劃一個遠低於上限的可用上下文，並把 1M 這個數字視為架構的極限，而不是你部署時的極限。

MLX nvfp4 這個 79.56 GB 的標籤是務實的 Apple 晶片選擇，而且它也是供應商原生提供的格式，這讓它成為小型標籤中最不可能在品質上讓你感到意外的一個。

如果你採用的是路由而非自架，這適合放在哪裡

NVIDIA Nemotron 3.5 Super 可透過該廠商自家的建置與發佈管道取得，也可透過上文所述的 Ollama pull 取得。它並不在 OrcaRouter 上——我們路由的模型略超過 200 個，而這並非其中之一——因此，如果你特別需要這個檢查點，在本機 pull 是你的途徑，而本文任何內容都不代表你可以用我們的 key 來呼叫它。

這個平台在這裡真正要解決的，是圍繞它的那個決策。評估像這樣的模型，有一項固定成本是任何基準測試表都消除不了的：90 GB 的下載、一整晚的設定，還得先拿出你自己的一組提示詞，否則你什麼都還不知道。更省錢的第一步，是拿你實際的工作負載，去跑那些你已經能觸及的託管模型——橫跨 200 多個模型的單一 API，搭配供應商定價原樣轉嫁、不按 token 加價，因此供應商一降價，我們這邊當天就會同步反映——讓結果告訴你，這個工作負載到底是不是 120B 推理模型能改善的那一種。然後，再把下載的力氣花在那些通過考驗的情境上。

而如果你真的在信任一個新發布的開放模型之前，就把它放進正式環境路徑中，那麼自動容錯移轉就會比價格更重要。一個在10月14日推出的模型，只經歷了兩天的全球關注；把它路由到備援機制之後，就是既能取得它的優勢，又不必把請求路徑押在它身上的做法。

關於哪些已確認、哪些尚未確認的誠實摘要

已直接從登錄庫與發行說明確認：標籤、其摘要、其位元組計數、0.40.5 最低版本、透過llamacpp 執行器支援的 GGUF 格式、共享視覺投影器、模型家族字串、渲染器、承襲的 Nano 解析器，以及 OpenMDW-1.1 授權條款。已從 NVIDIA 自家的新聞室與模型卡確認：架構、參數拆分、授權條款、建議的取樣設定、訓練規模——約 26 兆個詞元，涵蓋預訓練與持續預訓練，接著在約 380 萬個樣本上進行後訓練，並在數十個環境中進行強化學習——以及英文、西班牙文、法文、德文、義大利文與日文的語言涵蓋範圍。

未確認：每一項基準測試數字，因為這些都是供應商自行回報的，而 Artificial Analysis 的 26 分 Index 與 170M-token 冗長度讀數，是本文中僅有的獨立測量數據。未確認：MLX 標籤支援所宣稱的上下文長度，因為該函式庫頁面並未為它們如此宣稱。未確認：視覺路徑已開箱即用調校完成，因為隨附的取樣預設值是文字用的那些。還有未確認：4 位元量化如何改變已公布的分數，而這正是多數 Ollama 清單讀者真正在乎的數字，也是沒有人公布過的數字。

如果你有 96 GB 的顯卡、有理由想要一個真正具備 120B 骨幹的開放式視覺語言模型，而且不介意依賴才推出第一週的東西，那麼這是本月同量級中最強的選擇，而且拉取毫不費力。如果你需要 NVIDIA 實測的那份確切配置，或者你需要視覺功能第一次就順利運作，或者你無法花一整晚去弄清楚那兩份文件中哪一份才具權威性——那就等量化評測和社群回報出來。權重問世才四天，執行環境支援只有兩天。