Nemotron 3.5 Bolt 對決 GPT-5.6 Sol：這兩款模型中有一款要付費

你不能用成本來比較這兩個模型，而這正是這項比較最有用之處。 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一個 24GB 的檔案：下載它，第一百萬個 token 的邊際價格就是電費。 GPT-5.6 Sol 是託管的旗艦模型，計價為每百萬輸入 token 4.00 美元、每百萬輸出 token 20.00 美元，公布的 p50 首 token 時間為 1.63 秒，過去七天有 5.355 億 token 的流量。這兩者之中，一個有價目表。另一個則有硬體先決條件，那是另一種帳單，只會來一次。

這兩個模型都是真實的，而且都已推出。NVIDIA 的 Nemotron 3.5 Bolt 74B-A9B 24GB 檢查點自 2026 年 10 月 7 日起就一直放在 Hugging Face 上，除了模型卡之外別無其他附件；而廠商自己對 Bolt 系列的公告則在 10 月 15 日隨之發布——晚了八天，貼文中同時點名了這個模型與一個 4GB 的兄弟版本。GPT-5.6 Sol 自 2026 年 7 月 9 日起就一直在 OpenAI 的價目表上。如果你這週要在兩者之間做選擇，要決定的不是哪一個更聰明，而是這份工作負載能不能離開你的機器。

二十一對五十九的差距衡量的是什麼？

Artificial Analysis 將 Nemotron 3.5 Bolt 74B-A9B 在其 Intelligence Index 上評為 21 分，在其所屬的比較類別中，於 67 個模型裡排名第四。GPT-5.6 Sol 在同一版本的指數上則落在五十幾分的高段。約四十分的差距極為巨大，而這樣一說，爭論還沒開始就已經結束了。

這個差距也是兩種不同的量測，共用同一個數字。那個 21 是任何開放權重模型在這種佔用規模下所達到的最佳分數——Artificial Analysis 記錄到，可比的開放權重模型中位數為 8，並指出 Bolt「在與其他規模相近的開放權重模型相比時，智慧程度位居領先模型之列」。而大約 59 這個數字，則是前沿實驗室在記憶體不受限制時所產出的結果。這兩個數字都沒有錯。它們回答的是不同問題：24GB 裡能容納多少智慧，以及金錢能買到多少智慧。

這個評測面板無法測量的部分，比它能測量的部分更有意思。Artificial Analysis 的 Bolt 頁面將速度列為 N/A，並將每項 Intelligence Index 任務的成本列為 N/A，原因很簡單：沒有可呼叫的託管端點。這個模型所有現有的速度數據都來自 NVIDIA 自家的測試：研究筆記指出，設計目標是解碼速度至少達到每秒 80 個 token，並報告在 RTX Spark 上的 AIPerf SPEED-Bench 達到每秒 84 個 token，以及在搭載 128GB 記憶體的 Surface Laptop Ultra 上以 llama.cpp 執行時達到每秒 83.99 個 token。這些數字很可能準確。但 NVIDIA 以外沒有人重現過這些結果，在有人做到之前，你應該把它們視為廠商宣稱。

託管模型在結構上領先之處

這三項差異完全與智慧無關，而每一項都會使本機檔案無法勝任某一類工作。

• 脈絡——GPT-5.6 Sol 提供 1,050,000 個 token 的視窗，最大輸出為 128,000 個 token；Nemotron 3.5 Bolt 則支援最多 262,144 個 token。當工作是要在一次請求中處理一整個儲存庫或合約檔案庫時，寬上四倍的視窗可不是什麼奢侈功能。Bolt 的視窗還得與 KV 快取、圖像、視訊幀和對話歷史記錄共用 24GB，這意味著實際上限會比規格所暗示的更早到來。

• 輸入類型 — GPT-5.6 Sol 接受文字、圖像與檔案；Nemotron 3.5 Bolt 接受文字、圖像與影片，並回傳文字。這對 Bolt 而言是影片方面的真正優勢，也是文件方面的實際缺口，因為以檔案形式傳入的 PDF 不必經過點陣化、分頁，或逐幀推理。

• 可用性 —— GPT-5.6 Sol 只是一個網址。Nemotron 3.5 Bolt 則是 vLLM 部署，需要 Ampere、Hopper 或 Blackwell 晶片，或在 RTX Spark 或 DGX Spark 裝置上跑 llama.cpp。其中一個，你四分鐘內就能用上。

還有第四個差異，與其說關乎能力，不如說關乎計量：每一次呼叫託管模型都會產生一筆計費項目，而每一次呼叫本地模型則不會。對於高流量的分類或擷取迴圈而言，這種反轉比四十個指數點更重要。

擁有檔案實際上能換來什麼

Nemotron 3.5 Bolt 74B-A9B 是一款稀疏混合專家（MoE）模型，擁有 740 億個參數，每個 token 啟用 90 億個參數，建構於 NVIDIA 稱作 LatentMoE 的 Mamba-2 與 Transformer 混合骨幹之上，並為多模態工作加裝了 C-RADIO v4-H 視覺編碼器。它是最字面意義上的壓縮偽影：NVIDIA 拿 120B-A12B 的 Nemotron 3.5 Super VL 模型，套用其稱作 Star Elastic 的路由器引導搜尋，將其縮減至 74B-A9B，接著執行量化感知蒸餾，把每個專家權重壓縮到 2.0625 位元——一種 IQ2_XXS 格式——以塞進 24GB 之內，而無需從頭重新訓練。授權條款為 OpenMDW-1.1，允許商業與非商業用途。

隨之而來有兩個結果。第一個是，模型是在工作站上與其他應用程式並行運行，而不是取代它們；這正是本機代理之所以可行的根本原因。第二個是，它出廠即內建推測機制：由 DFlash 驅動的 LiLiCorr 草稿器會預先提出七個 token，而每秒 84 個 token 中，有相當一部分正是來自這裡。

廠商自家的基準測試表——NVIDIA 以外沒有人重現過——將 24GB 檢查點排在同一張表中每一個基線之前——Qwen3.6 35B、Gemma 4 26B，以及 NVIDIA 自家的 Nemotron 3.5 Lightning 30B-A3B——在 GDPVal-AA-V2（28.47）、Terminal-Bench 2.1（50.98）、GPQA Diamond（86.43）、SciCode（41.02）與 BrowseComp（66.75）上。應將這些解讀為關於一個壓縮後的 74B 模型如何與大小只有其三分之一的未壓縮模型相比的主張，而這正是它們設計來展示的重點，而不是拿來與託管旗艦模型比較。

誠實評估這兩半

託管的那一半有明確的價格。GPT-5.6 Sol 以 openai/gpt-5.6-sol 列於 OrcaRouter 的目錄中，採用 OpenAI 的供應商定價以 0% 加成原樣傳遞——每百萬輸入 token 為 $4.00，每百萬輸出 token 為 $20.00，我們頁面上的數字與供應商相同，這表示供應商端的變更會在同一天反映到我們這邊，而不是等到下一次合約續約。20,000 token 的輸入搭配 3,000 token 的輸出，輸入費用為 $0.08，輸出費用為 $0.60，即每次呼叫約 $0.68。

本地那一半沒有我們願意憑空捏造的價格。Nemotron 3.5 Bolt 沒有託管端點、沒有費率表，也沒有任何我們能指給你看的第三方平台在對它計量。要為它定價，就等於要為 GPU、耗電量和攤銷期定價——這種算術屬於你的試算表，不屬於我們的，因為答案完全取決於你跑了它多少。

這種不對稱，正是路由層得以發揮具體作用、而非只是裝飾的地方。Nemotron 3.5 Bolt 不在我們的目錄中，我們也不提供它；這裡沒有任何內容構成代管 NVIDIA 檢查點的提議。單一端點真正能帶來的，是讓工作流程中本地與代管這兩半維持在同一把金鑰之下的能力，因此當請求需要百萬權杖的上下文視窗或檔案輸入時，可以送往 GPT-5.6 Sol，不需要時則送往你自己的 Bolt 部署——而決定何者為是的規則只需撰寫一次，不必硬編碼進每一個服務中。若代管供應商效能衰退，自動容錯移轉會轉移請求，而不是讓請求失敗。

該選哪一個

• 當資料不能離開公司內部時、當工作負載包含影片時、當用量高到按 Token 計費成為主要成本時，或當你想讓代理程式在你已擁有的硬體上執行時，選擇 Nemotron 3.5 Bolt 74B-A9B 24GB。接受 262K 視窗，以及大約是託管模型三分之一的索引分數。在根據這些吞吐量宣稱規劃容量之前，先在你自己的裝置上驗證它們。

• 當任務需要最寬廣的上下文、檔案輸入、可取得的最強推理能力，且背後有支援合約時，就選 GPT-5.6 Sol。為此特權，每百萬個 token 需支付 4 美元和 20 美元；並請注意，128K 的最大輸出是單次回應，長度會超出 24GB 記憶體範圍所能從容容納的程度。

• 當工作流程能乾淨地拆分時，就兩者都執行；對大多數代理系統而言，確實都能如此。本機檔案負責高頻率、低風險、隱私敏感的那一半；託管模型則負責需要觸及範圍的請求。

這個懸而未決的問題，和上一款壓縮版 Nemotron 所提出、卻無人回答的問題是同一個：由不在 NVIDIA 工作的人，對 24GB 權重進行首次獨立的吞吐量與延遲測量。在這件事出現之前，這個模型的智能下限已獲外部驗證，速度上限則尚未——而對本地部署來說，速度正是你感受得到的那一半。