Nemotron 3.5 Bolt 74B 對上 Nemotron 3 Ultra：1.5 個指數點，七倍的參數量

N​VIDIA N​emotron 3.5 系列中最令人驚訝的數字，並不是其旗艦模型的規模，而是N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB——一個 740 億參數的檢查點，以每個權重 2 位元壓縮進 24 GB——在 Artificial Analysis 獨立運行的 Intelligence Index 上，與N​emotron 3 Ultra——該系列其餘模型蒸餾自其的 5500 億參數模型——的差距在 1.5 分以內：21.4 對 22.9。參數多七倍，每個 token 的有效運算量多六倍，而這個差距小到可能在基準測試的誤差範圍內消失。Bolt 的權重於 2026 年 10 月 7 日出現在 Hugging Face 上，N​VIDIA 隨後於 10 月 15 日發布公告；Ultra 則於 2026 年 6 月 4 日推出。

這兩個模型無法互換，而它們出現差異的地方，比總體分數更具啟發性。壓縮保留了什麼、捨棄了什麼，在公布的数字中都看得出來，而且兩者並不是相同的列。

每一項是什麼

Ultra 是上一代的旗艦，也是 N​VIDIA 蒸餾管線核心的教師。它是一個總計 550B、活躍 55B 的 Mamba-2 混合模型，具備多詞元預測，以 OpenMDW-1.1 授權發布，並附帶其訓練資料與配方，專為長時間執行的代理工作而打造，支援高達一百萬個詞元的上下文，且每次請求的輸出上限為 65,000 個詞元。N​VIDIA 自己對它的說法是，它是發布期間智慧最高的美國開放權重模型，而獨立紀錄大致支持這一點：評測小組在其推理配置中給它 22.9 分，測得每秒 156 個輸出詞元、首個詞元 1.29 秒，以及中位數 19 秒的端到端回應時間。

Bolt 是新一代的邊緣層級，且並非直接意義上的蒸餾版 Ultra。它的母模型是 N​emotron 3.5 Super VL 120B-A12B，也就是 N​VIDIA 同步推出的 1200 億參數多模態模型。壓縮作業由 Star Elastic 完成，那是 N​VIDIA 的路由器引導架構搜尋，其最佳化目標是在批次大小 1 與 128K 上下文的條件下，達成低於 24GB 硬性佔用空間的最低知識蒸餾損失——將專家 top-K 從 22 降至 9，並把專家權重量化為 IQ2-XXS、每元素 2.0625 位元，同時以量化感知蒸餾來回復準確度。它搭載 C-RADIO v4-H 視覺編碼器，因為其母模型是多模態的。

兩側的獨立列

以下所有內容均來自 Artificial Analysis，除非另有標示；而這正是讓這項比較具備可用性的原因：兩個模型都是由同一位評估者在同一套測試框架下執行。

• 智慧指數 — Bolt 21.4；Ultra 22.9。兩者皆經獨立測量。

• GDPval-AA（標準化）— Bolt 0.240；Ultra 0.257。在以真實職業交付成果建構的基準測試中，差距為 1.7 分。

• SciCode — Bolt 0.397；Ultra 0.403。實際上平分秋色。

• Humanity's Last Exam，不使用工具——Bolt 24.7%；Ultra 28.4%。這裡的四個百分點差距，就相對值而言，是這份清單上最大的。

• AA-LCR 長上下文檢索 — Bolt 69.7%；Ultra 79.3%。十個百分點的差距，也是 2-bit 壓縮代價最清楚的證據。

• AA-Omniscience — Bolt 準確率 17.1%，非幻覺率 56.3%；Ultra 準確率 22.6%，非幻覺率 70.3%。旗艦模型不僅知識更豐富，校準也更好，這是這頁面上最不令人意外的結果。

• Terminal-Bench 4.0（更難的測試集）——兩者得分皆為零。沒有任何模型能解決那個層級，連旗艦模型也不例外。

• 上下文視窗 — Bolt：根據模型卡，最高可達 256,000 個 token，而在面板紀錄上為 262,144。Ultra：根據 NVIDIA，最高可達 1,000,000，最大輸出為 65,000 個 token。

• 輸入 — Bolt：文字、圖像與影片進，文字出。Ultra：文字進，文字出。旗艦機的發布資料中，沒有任何內容聲稱配備視覺塔。

• 價格 — Bolt：無。24GB 檢查點沒有公布按量計費費率，面板也未列出其任何輸入或輸出數字。Ultra：每百萬輸入 token 為 0.60 美元、每百萬輸出為 2.50 美元，快取輸入為 0.16 美元，且每項 Intelligence Index 任務的實測支出為 0.60 美元。

• 速度 — Bolt：無獨立測量。Ultra：每秒輸出 156.1 個 token，首個 token 耗時 1.29 秒，每個回應的推理時間中位數為 14.6 秒。

• 記憶體佔用 — Bolt：IQ2 下為 24GB，可部署在單張 A100、H100 或 Blackwell 晶片上。Ultra：多加速器部署；NVIDIA 自身針對此系列中教師檢查點提出的配置方案，以四張 B200 或八張 H100 為下限，而 Ultra 是其中規模最大的成員。

為什麼索引差距比大小差距小，以及這代表什麼意思

有兩種誠實的解釋，而兩者可能都部分正確。

第一點是，Intelligence Index 這項綜合指標獎勵程序更甚於回憶。Bolt 因為 2-bit 量化而失去了儲存的事實——你可以從準確率那幾列看出來——但仍保留了足夠的思維鏈、工具呼叫和結構化輸出行為，所以能在綜合任務上得分。請注意，Ultra 的優勢正好集中在記憶重要的地方：長上下文檢索、全知準確度、幻覺率，以及需要事實而非方法的艱深科學問題。

第二點是，在強大的母模型上進行架構搜尋，比起從頭訓練小型模型，更能妥善運用固定預算，而這也是 NVIDIA 在 Bolt 文件中的明確論點。拿一個 120B 多模態教師模型，搜尋能塞進 24GB 的最寬學生模型，與預訓練一個 30B 模型是兩回事，而產生的 74B/9B 檢查點，其定位就相當於一個異常高效的 74B 模型。

那並不代表 Bolt 會取代 Ultra。一個更常承認不確定性（非幻覺率為 56.3% 對 70.3%，而且方向錯了）、且從長上下文檢索時較不可靠的模型，對於人們實際會問的問題來說，是更差的助理。但對於大多屬於程序性步驟的任務，它是更好的助理：呼叫工具、填寫表單、編輯檔案、讀取螢幕擷取畫面並點擊正確項目。

Ultra 無法做到的兩件事

Bolt 的優勢不大，而且兩者都是結構性的，而非數值上的。

這裝得下。一個 24GB 的檢查點能在個人擁有的硬體上運行，不需要網路、沒有按 token 計費的計量器，也不用進行容量協商。Ultra 的智慧只能透過 API 取得，每百萬 token 的輸入費用為 $0.60、輸出費用為 $2.50，而每項索引任務約花費 $0.60。對這個級別的模型來說，這個價格確實很低，這也是為什麼託管途徑是真正的選項，而非妥協——但它仍然是一條需要連線能力，並信任他人服務正常運行時間的途徑。

它看得見。Bolt 的 C-RADIO v4-H 視覺編碼器為它提供圖像與影片輸入，而 N​VIDIA 的模型卡報告在 WebArena 視覺上為 50.86，在 BrowseComp 上為 66.75。Ultra 是文字模型。如果代理的工作涉及螢幕截圖、PDF、儀表板閱讀或帶有視覺狀態的瀏覽器自動化，那麼較舊世代的旗艦機型無論如何都無法被用來替代。

如何選擇

如果工作負載偏重推理且僅涉及文字——多步驟分析、大量長篇文件、在大型程式碼庫上進行編碼，或任何出錯代價高昂的任務——就選擇 Ultra。它在幾乎所有方面的獨立評分都勝過 Bolt，價格屬於高智慧級距中最低的一批，而且其輸送量是實測得出，而非憑空假設。

若工作負載執行於你掌控的硬體上、需要看得見，或必須在網路不通時持續運作，就選 Bolt。那 1.5 點的指數差距確實存在，而且窄到通常取決於部署考量而非品質——而 N​VIDIA 推出了一個 24GB 檔案，分數與自家 550B 旗艦相差不到兩點，這才是這兩次發布中更值得一提的事實。

有一條值得點明的中間路線，因為這是 NVIDIA 為該系列定位的方式，而不是單一模型買家會採用的方式：由小型本機執行器負責工具呼叫與螢幕讀取，再以較大型的託管模型處理規劃與高難度推理。這種架構需要可靠的方式，跨越多個供應商觸及託管的那一半，這正是 OrcaRouter 容錯移轉的用途——在單一端點背後自動跨供應商重試，使用同一把金鑰，還能以供應商標價觸及 200 多款模型，且加收 0% 的加成。我們並未託管任何 NVIDIA 模型；Nemotron 系列不在我們的目錄中，本文也沒有任何聲稱要提供它的意思。重點只在於，兩層式代理設計需要第二層可被路由，而單一硬編碼的供應商端點正是這種設計通常失敗的方式。

什麼會改變這個頁面

兩項測量。第一項是在 24GB 檢查點上獨立進行的吞吐量與延遲測試；這會證實或徹底推翻「以互動速度將其用作本地執行器」的論據——目前唯一可得的數字，是 NVIDIA 自己在 AIPerf SPEED-Bench-Coding 上測得的每秒 83.99 個 token，而那是用筆電等級機器測出來的，無法與該小組的測試機台相比。第二項是在由第三方控制的量化設定下，針對 2 位元權重獨立重跑代理式基準測試——廠商表格顯示，Bolt 在 Terminal-Bench 2.1 上以近 27 分的差距擊敗 Ultra，而這項主張在缺乏外界確認的情況下，正承擔著極大的論證份量。

這一切都不是避開該模型的理由，而只是了解其歷史的理由：這一類模型背後有文獻記載的 AI 事件與代理失效，都收錄於 OrcaRouter AI Incident Archive，其中每一則條目都附有自己的來源、嚴重程度、信心等級與爭議標記。