Nemotron 3.5 Bolt 74B 與 Gemma 4 26B A4B：八個指數點與位元寬度不匹配

已經有一場在N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB與G​oogle Gemma 4 26B A4B之間的正面對決，而且 NVIDIA 發表了它。它放在 Bolt 模型卡上的基準測試表中，其中 Gemma 欄是該公司選定的基準。仔細閱讀那張表，是了解這兩個模型究竟是什麼的最快方式，因為這兩個檢查點並不是在競爭同一項任務，而廠商自己的表述也直言不諱：這些比較模型之所以被選中，是因為它們能夠以 4 位元量化塞進 24GB 記憶體。Bolt 則以不同途徑塞進 24GB——在其專家層上每個權重 2.0625 位元——而這兩種策略之間的差距就是整件事的關鍵。

標題中的兩個數字都是真實的。Artificial Analysis 在其 Intelligence Index 上測得 Bolt 為 21，而 Gemma 4 26B A4B 在其推理配置下為 17。這兩個數字都不是來自廠商，且截至本文撰寫時，兩者都已在該評測小組的模型頁面上線。

NVIDIA 所做的比較，以及它所選中的那一欄

NVIDIA 針對 Bolt 的表格有四欄：BF16 的 Qwen3.6-35B-A3B、BF16 的 Gemma 4 26B-A4B、BF16 的 Nemotron 3.5 Lightning 30B-A3B，以及 IQ2 的 Bolt。其中的每個數字都是由廠商自行公布，尚未經任何獨立第三方重現。以下是 Gemma 欄與 Bolt 欄的逐項基準比較。

• GDPVal-AA-V2 — Gemma 15.33，Bolt 28.47

• Terminal-Bench 2.1 — Gemma 37.22，Bolt 50.98

• Tau3 Banking — G​emma 14.02、Bolt 17.01

• 未使用工具的 HLE — G​emma 17.42、Bolt 25.30

• SciCode — Gemma 40.28，Bolt 41.02

• GPQA Diamond — Gemma 79.61，Bolt 86.43

• AA-LCR 長上下文檢索 — G​emma 57.56、Bolt 64.06

• PinchBench — Gemma 74.70、Bolt 87.82

• WebArena vision — Gemma 38.2，Bolt 50.86

• AA-Omniscience 準確度 — Gemma 22.17，Bolt 16.90。Gemma 在這一列勝出，而這是表中唯一一列它勝出的。

• AA-Omniscience 非幻覺 — G​emma 14.22，Bolt 61.27。這對 G​emma 家族產品線而言是一項重大且具體的損失，值得駐足深思：Omniscience 非幻覺指標會懲罰模型在不知道某事時仍自信作答，而這裡記錄的 G​emma 版本得分約為 Bolt 數值的四分之一。

有一點必須留意，這適用於整個區塊：N​VIDIA 全都是以 BF16 版本的 G​emma，對比自家模型的 2 位元版本來跑，包括 G​emma 那一欄，然後再把結果發表在自家的模型卡上。

兩個檢查點，兩種壓縮機制

Gemma 4 26B A4B 是一款已發佈的產品，背後已有一年的使用歷程。它於 2026 年 3 月 11 日在 Apache 2.0 授權下登上 Hugging Face，總參數達 252 億，每個 token 啟用 38 億，採用混合注意力架構，將局部滑動視窗層與全域層交錯排列，具備 256K 上下文、原生系統提示支援，且家族中每一種尺寸都支援視覺功能。這是一款你可以直接取用、自行量化為 4 位元並執行的模型，而且市面上已有龐大的現成量化版本生態系。

Bolt 是一個披著模型卡外衣的壓縮成果。NVIDIA 拿來 Nemotron 3.5 Super VL 120B-A12B——同世代的其中一個多模態檢查點——對它執行 Star Elastic，這是一種由路由器引導的架構搜尋，必須滿足嚴格的部署預算，在此例中是在批次大小為 1、128K 上下文的情況下低於 24GB。專家 top-K 從母模型的 22 降至 9。接著，專家權重被量化為 IQ2-XXS，每個元素 2.0625 位元，並以量化感知蒸餾來挽回準確率，Mamba 層維持在 NVFP4，嵌入層與輸出層維持在 Q8_0，而視覺塔則在之後重新接上。

結果是在一個 24GB 的檔案中有 740 億個參數。那不是對已發布模型所做的量化；而是一個形狀不同的網路，是在記憶體限制下搜尋出來的，然後經過訓練以恢復。

為什麼位元寬度比參數更重要

把兩者並排比較，直覺上的解讀是 74B 模型勝過 26B 模型。這種解讀在這個情況下大概是正確的，而且它也不是有意思的部分，因為這兩個模型被要求用同樣的 24GB 去做不同的事情。

• 參數 — Bolt 總計 74B，每個 token 啟用 9B。Gemma 4 26B A4B：總計 25.2B，每個 token 啟用 3.8B。

• 架構 — Bolt：Mamba-2–Transformer 混合式 LatentMoE，搭配 C-RADIO v4-H 視覺編碼器。Gemma：混合局部／全域注意力的 MoE，配備視覺塔，且在同系列其他規模的版本上還支援音訊。

• 儲存精度 — Bolt 原生以每個專家權重 2.0625 位元出貨。Gemma 的儲存庫為 16 位元，而 4 位元與量化感知訓練版本則另行發布。

• 上下文 — Bolt 最高可達 256,000 個 token。Gemma 4 26B A4B：256,000 個 token。這一列是平手，這讓那些認為 2 位元模型在這裡有所犧牲的人感到驚訝。它並沒有。

• 輸入 — Bolt 接受文字、圖像和影片。Gemma 4 26B A4B 接受文字和圖像；影片以影格形式傳入，而音訊僅限於較小的家族成員。

• 授權條款 — Bolt：OpenMDW-1.1。Gemma 4 26B A4B：Apache 2.0，並同時附有 G​oogle 的禁止使用政策。

• 推測解碼 — Bolt 內建 LiLiCorr 草稿模型，透過 DFlash 串接，並在 N​VIDIA 的參考配方中採用七個推測 token。Gemma 4 26B A4B 沒有原廠提供的草稿模型；多 token 預測出現在社群微調版本中，而非基礎發行版。

精度列的實際影響是，Bolt 的下載檔本來就已經是小尺寸的那個。沒有更進一步的 2 位元版本可找，因為 2 位元版本就是模型本身。G​emma 的 26B 是預期要由你壓縮的 16 位元檢查點，而大多數人實際上會部署的 4 位元版本，則是某人對它進行轉換後的版本。

在哪些情況下，較小型號更值得買

NVIDIA 自家的表格讓 Gemma 有兩點值得認真看待。AA-Omniscience 準確度以 22.17 對 16.90 有利於 Gemma，而誠實的解讀是，即使經過蒸餾，2 位元壓縮仍對事實回憶造成了可量測的損害。任何工作負載偏向百科全書式而非代理式的人，都應該高度重視那一列。

授權條款是第二點。Apache 2.0 是可用於商業部署的選項中限制最少的，而 OpenMDW-1.1 雖然以寬鬆為目的撰寫，且已由 NVIDIA 明確核准可用於商業用途，但它是較新的法律工具，相關文獻較少，也沒有法院判決對其作出解釋。法務團隊看過其中一種，卻沒看過另一種。

第三是成熟度。Gemma 4 26B A4B 自三月起即可下載，自春季起可從託管端點呼叫。量化版本、微調、服務配方和基準測試重現皆已存在。Bolt 的儲存庫在十月上線。關於其延遲，尚未有獨立發布的結果，而且也沒有社群量化版本可以依靠，因為根本沒有東西可量化。

第四，而且很容易被忽略：Gemma 的 21B 及以下同系列成員原生支援音訊。如果流程涉及語音，26B A4B 就是自家系列中錯誤的成員，而沒有任何 Nemotron 模型是正確的。

每一項實際持有起來要花多少成本

Bolt 沒有價格，而這並非資料上的疏漏。它在任何地方都沒有代管端點，Artificial Analysis 的模型頁面上也沒有它的計量費率，更沒有服務供應商提供它。要執行它，就意味著你得自己擁有機器，而 NVIDIA 的參考配置方案是一整個週末的工程，而非一個下午就能搞定：一個鎖定版本的 vLLM nightly 映像檔、b12x 核心套件、一個以獨立檔案形式取得的推理剖析器外掛，接著還要為 v2 模型執行器、線性與 MoE 後端、注意力與 Mamba 後端、Mamba 快取資料類型、分塊預填充，以及指向 LiLiCorr 草稿模型的推測解碼設定，逐一明確指定參數。

Gemma 4 26B A4B 的價格出現在兩個地方。在我們路由所依據的目錄中，google/gemma-4-26b-a4b-it 的定價是每百萬輸入 token 0.06 美元、每百萬輸出 token 0.33 美元，上下文為 262,144 個 token，首 token 時間的 p50 約為 2.8 秒——那是我們自己在過去七天實測的數字，不是供應商的說法。Artificial Analysis 針對同一個模型追蹤的是不同的供應商組合，列出的價格是輸入 0.10 美元、輸出 0.40 美元，這種價差正說明了價格是端點的屬性，而不是權重的屬性。兩個數字都誠實；它們是不同東西的價格。

OrcaRouter 讓我們實際路由的模型全都透過單一金鑰存取，以供應商牌價提供，加成幅度為 0%，因此當供應商調降某個已路由模型的價格時，我們這邊當天就會生效，而且 跨供應商的自動容錯移轉意味著，上游的容量問題會被重試，而不是直接暴露給你的使用者。我們不託管任何 N​emotron 檢查點——這份目錄是經過查核而非憑假設，且該系列不在其中——所以在這個頁面上，那些保證只涵蓋比較中 G​emma 的那一半，其他都不涵蓋。它們在實務上的價值，在於讓你不用簽第二份合約，就能用真實流量試用較小的模型，同時讓你決定較大的模型是否值得投入硬體。

在檔案與服務之間選擇

這個比較在能力上並不接近，而且本來就不該接近。Bolt 是更大、能力更強的模型，經過大幅壓縮，而且無法租用。Gemma 4 26B A4B 則是稍微較弱的模型，你今天就能租用，而它的弱點已由與它沒有利害關係的人記錄下來。

如果工作負載涉及螢幕截圖、PDF、視訊畫面或瀏覽器，必須在沒有網路的情況下運作，而且現場已經有一台配備 Blackwell 等級加速器的機器，那就選 Bolt。要接受一件事：它的吞吐量得由你親自實測，因為沒有人發表過。如果你想要一個今天下午就能按百萬個 token 付費使用的文字加圖像模型，如果你需要 Apache 2.0，或者如果在一大片問題集上的事實回憶比代理式任務完成更重要，那就選 Gemma 4 26B A4B。

能讓這件事塵埃落定的那項量測，是沒有人做過的那一項：在 24GB 檢查點上進行獨立的吞吐量與延遲測試，以及獨立重跑 NVIDIA 的表格，並讓 Gemma 量化到廠商聲稱所選用的相同 4 位元。在這些結果出現之前，支持 Bolt 的論據靠的是一張廠商表格和一個參數數量，而支持 Gemma 的論據靠的是其他人一整年下來的成果。

像這樣的比較，也正是失效模式會顯現的地方：這一類模型背後有紀錄的 AI 事件與代理失敗，都收錄在 OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級，以及爭議旗標。