Nemotron 3.5 Bolt 74B 對決 Qwen3.8-Max：排行榜上最懸殊的差距

Nemotron 3.5 Bolt 系列中的每一組對比都存在落差，而這一組的落差最為懸殊。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB在 Artificial Analysis Intelligence Index 上得分 21.4；Qwen3.8-Max——阿里巴巴的旗艦模型，也是這一系列比較中得分最高的模型——在同一份獨立運行的榜單上得分 45.4。這代表 24 分的差距，比這款較小模型的整體指數得分還要高，而對於任何想問「24GB 的本機代理能否取代前沿模型」的人來說，這就是最誠實的起點。

它不能。這對模型之所以值得一寫，是因為這兩個模型是在完全不同的列上勝出，而且 N​VIDIA 自家的基準測試表拿 Bolt 跟一個並非此型號的 Q​wen 模型相比。

兩個模型除了多模態外毫無共同點

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一款 740 億參數的視覺語言模型，經壓縮後成為 2 位元檢查點，可塞進 24 GB 的記憶體中。其權重於 2026 年 10 月 7 日在 Hugging Face 上發布；NVIDIA 在 10 月 15 日的發表文章中公布了它的名稱。它專為本機代理式作業而打造——工具呼叫、網頁瀏覽、終端機操作、讀取螢幕畫面——並以下載形式而非服務形式販售，且各處均未公布按用量計價的價格。

Qwen3.8-Max 則是相反的建構方式。Alibaba 的頂級模型是稀疏混合專家模型，該公司將其直接定位為對抗其發布期間最強大的封閉模型，並透過三種 API 格式提供服務——相容於 OpenAI 的介面、相容於 Anthropic 的介面，以及 Alibaba 自家的 DashScope——涵蓋北京、新加坡、東京、法蘭克福與維吉尼亞等地區。這個託管模型於 2026 年 8 月 3 日推出，支援圖片與影片輸入、百萬 token 的上下文，以及思考模式切換開關；9 月 2 日的快照則是目前於排行榜上計分的版本。同系列中開放權重的兄弟模型 Qwen3.8-2.4T-A95B 是另一次獨立發布，並非此處所測量的模型。

一個是檔案。一個是服務。這個比較仍然有用，因為服務會公布價格，而檔案不會，而兩者之間的差異，正是地端部署實際上所買到的東西。

• 智慧指數 — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB：21.4。Qwen3.8-Max：45.4。兩者均由 Artificial Analysis 獨立測量。

• 上下文 — NVIDIA 檢查點為 262,144 個 token，相較之下 Qwen3.8-Max 約為 983,000 個，且 Alibaba 端的最大輸出為 131,072 個 token。

• 參數 — Bolt 總計 74B、啟用 9B；Alibaba 的旗艦等級則是完全不同量級的稀疏混合專家模型，在其開放權重形式中，每個 token 約啟用 95B 參數。

• 輸入 — 輸入文字、圖像和影片，兩者皆輸出文字。這是兩者真正相似的唯一一個維度。

• 價格 — Qwen3.8-Max：每百萬個輸入 token 為 $2.00，每百萬個輸出為 $6.00，快取輸入為 $0.25。Bolt：沒有，因為沒有可供購買的端點。

• 每個 Intelligence Index 任務的成本 — Qwen3.8-Max 為 $5.41，實測所得。Bolt 則無此數據，原因同上。

• 速度 — Qwen3.8-Max：每秒 39.8 個輸出 token，首個 token 耗時 3.06 秒，每次回應的推理時間中位數為 50.3 秒，以上皆為獨立測量所得。Bolt：並無獨立的吞吐量測量數據。

24 個點所來自的列

Artificial Analysis 對兩者都進行了測試。逐列閱讀細節比看綜合分數更有用，因為綜合分數掩蓋了兩個模型都沒有全面領先的事實。

• Terminal-Bench 2.1 —— Qwen3.8-Max 88.8%，經獨立實測。Bolt 在這項基準測試上沒有獨立的成績項目；NVIDIA 在其模型卡上回報 50.98。

• GPQA Diamond — Qwen3.8-Max 的 92.8% 是獨立測得的。Bolt 的 86.43 是 N​VIDIA 自家公布的數字，而評測小組並沒有針對它的獨立數據。

Humanity's Last Exam，不使用工具——Qwen3.8-Max 43.1%，對比 Bolt 的 24.7%，兩者皆為獨立測量。

• 長上下文檢索（AA-LCR）——80.3% 對比 69.7%，兩者皆為實測。

• 科學程式設計（SciCode）——52.1% 對 39.7%，兩者皆經測量。

• 多模態推理（MMMU-Pro）——Qwen3.8-Max 82.8%，經獨立測得。Bolt 沒有獨立條目，對於一個主要賣點是看得見的模型來說，這是個值得注意的遺漏。

• 職業交付成果（GDPval-AA）——Qwen3.8-Max 0.583 以 Bolt 的 0.240 為基準進行標準化，兩者均經實測。

• 代理式與 IT 營運——Qwen3.8-Max 在 APEX-Agents 上取得 42.4%，在 ITBench-SRE 上取得 40.3%，並在分析師代理評估中取得 45.0%。Bolt 在這三欄中皆無獨立評分。

• 非幻覺（AA-Omniscience）— Qwen3.8-Max 為 71.2%，對比 Bolt 的 56.3%，準確率為 31.7%，對比 17.1%。與 Bolt 對 Ultra 的比較不同，在該比較中壓縮模型贏得了校準行，而在這裡旗艦模型則兩者兼得。

• 每項索引任務成本 — Qwen3.8-Max 為 $5.41。在圍繞此模型的各項比較中，這是每項任務成本最高的數字，而正是這個數字，讓本地選項即使落後 24 個百分點，依然顯得值得考慮。

每項任務花 $5.41 能換到什麼，以及相對地 24GB 能換到什麼

Qwen3.8-Max 的經濟效益對前沿模型而言並不尋常：每 token 價格為輸入 $2.00、輸出 $6.00，屬於中等水準，但該模型會花很長時間思考。在小組測試的執行中，推理時間中位數為 50.3 秒，端到端回應時間平均為 65.9 秒。一項任務若需要模型進行一分鐘的內部思辨，就會產生大量輸出 token，而每項索引任務的成本正是能凸顯這一點的指標。這並非對該模型的批評——深度推理正是其產品價值所在——但這正是高流量代理迴圈在此層級會迅速變得昂貴的原因。

那正是 Bolt 所針對的工作負載。本機檢查點完全沒有按 token 計費的機制：工具呼叫的邊際成本是電力，固定成本則是一顆 GPU。對一個全天候運作、執行數千個細瑣程序步驟——讀取螢幕、呼叫端點、編輯檔案——的代理而言，比較的不是 21.4 對上 45.4，而是固定不變的成本對上一張不斷膨脹的帳單。N​VIDIA 自己的說法是，Bolt 的存在是為了讓日常的代理式任務能在本機執行，而不必把工作負載送到雲端；而針對正是這類任務，它回報了 WebArena 視覺測試 50.86 與 BrowseComp 66.75 的成績。

問題在於，固定成本確實存在，而延遲則不得而知。NVIDIA 的參考服務配方是多步驟的：一個釘選的 vLLM nightly 建置、b12x 核心套件、另外下載的推理解析器外掛、明確指定的 Mamba 與注意力後端，以及使用 LiLiCorr 草稿模型並搭配七個草稿 token 的推測解碼設定。NVIDIA 公布其吞吐量為每秒 83.99 個 token，是在筆電級機器上以 AIPerf SPEED-Bench-Coding 測得——這是廠商在自家基準測試上的數字，沒有獨立執行結果可供核對。

NVIDIA 選擇的基準

還有一件事值得注意，而且這更像是一堂閱讀理解的課，而非技術課。Bolt 模型卡上的基準測試表把一個 Qwen 模型列為比較點——它是 Qwen3.6-35B-A3B，比本頁所測的旗艦模型小得多。NVIDIA 的表顯示，Bolt 在 Terminal-Bench 2.1、GPQA Diamond、BrowseComp、GDPVal、Tau3 Banking、SciCode、AA-LCR 與 MCP-Atlas 上勝過該模型，但在 AA-Omniscience 準確率、AA-Omniscience 非幻覺與 PinchBench 上落敗。

那些比較很可能沒錯。但讀者若從表中得出「Bolt 勝過 Q​wen」的結論，其實是拿一個 74B 的邊緣模型去比一個 35B 的稠密級 MoE，而不是比 A​libaba 的前沿梯隊。若對上 Qwen3.8-Max，獨立紀錄在幾乎每一列共同項目上都呈現相反結果，而且在最難的基準測試上，差距是擴大而非縮小。當廠商自行挑選基準時，誠實的做法就是去查那個基準究竟是什麼。

如何決定

當正確性是限制條件時，選擇 Qwen3.8-Max。如果任務是多步驟分析、高難度多模態推理、具有實際後果的代理式工作，或任何由那些它領先 24 分的基準所衡量的項目，本地選項就不是候選方案——而且以每百萬個 token 2.00 美元與 6.00 美元計算，它的定價是基礎設施級，而不是奢侈品級。當工作流程需要在單次呼叫中具備結構化輸出、原生工具呼叫與百萬 token 上下文時，它也是應該選擇的模型；而這些全都是 A​libaba 文件記載支援的項目。

當限制條件在於工作發生的位置時，就選擇 Bolt。隱私、離線運作、不依賴網路的延遲，以及不存在單次呼叫成本，是四個各自獨立的論點，而對某些團隊來說，每一個論點本身就足以成立。這個模型擅長程序性任務，但在回憶方面較弱；請把它用在前者。

在主機託管的部分，Qwen3.8-Max 可透過 OrcaRouter 存取，使用 qwen/qwen3.8-max/ 與其他 200 多個模型共用同一把金鑰，以阿里巴巴的供應商定價提供，不額外加價——這表示供應商價格變動會當天反映在我們這邊，而不是等到帳單週期結束。這一點在這個層級比在便宜層級更重要，因為每項索引任務 5.41 美元是財務團隊會想每月重新核對的數字。路由改變決策形態的地方在於流量問題：一個 90% 是小型程序性步驟、10% 是困難推理的工作負載，可以把這 10% 送到這裡，其餘留在本地，並具備跨供應商的自動容錯移轉，讓託管層級退化成重試而非中斷。

我們不代管任何 NVIDIA 模型，也沒有 Bolt 端點——Nemotron 系列不在我們的目錄中，而這項比較中屬於本地的部分，是任何路由層都觸及不到的硬體問題。

未解決的數字

沒有人發表過的，是能讓這項比較完整的量測：在一台一般人買得到的機器上，以批次大小為一，對 24GB 檢查點進行獨立的延遲與輸送量測試。如果一個 2-bit 74B 檢查點最終能以堪用的速度執行互動式代理步驟，那麼這 24 點的差距就變成可以繞道而過的差距——程序用本地端，推論用託管端。如果不行，本地端選項就只是批次工具，這項比較就只剩價格。無論如何，答案只差一篇發表，而這正是圍繞這個模型規劃部署之前該留意的事。

像這樣的比較，也正是失效模式會顯現的地方：這一類模型背後有紀錄的 AI 事件與代理失敗，都收錄在 OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級，以及爭議旗標。