Nemotron 3.5 Bolt 對決 Kimi K3：一個 24GB 的下載檔對上 2.8 兆參數的閱讀器

老實說，簡短的回答是：這兩個模型並不是在搶同一份工作，而原因可以用一個數字來衡量。Kimi K3 擁有 1,048,576 個詞元的上下文。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 則擁有 262,144 個。如果你的任務是「讀完整個語料庫並一次回答完畢」，那麼這個 24GB 的檢查點在其他任何條件還沒輪到發揮作用之前就先被淘汰了——而如果你的任務是「在沒有網路、沒有計量錶、也沒有供應商介入的工作站上運行」，那麼 Kimi K3 同樣不在討論範圍內。Kimi K3 是 Moonshot AI 於 2026 年 7 月 15 日發布的 2.8 兆參數混合專家模型，以專有託管 API 形式提供。Nemotron 3.5 Bolt 74B-A9B 24GB 則是一個開放權重檔案，在任何給定詞元上只動用其 740 億個參數中的 90 億個，並且能裝進 24GB 的記憶體中。

Bolt 檢查點於 2026 年 10 月 7 日上傳到 Hugging Face，但並未隨附任何公告。NVIDIA 自家點名該模型的貼文——以及其 4GB 同系列版本 Nemotron 3.5 Bolt E4B——則在 10 月 15 日出現，晚了八天。這個先後順序值得了解，因為它決定了什麼可以被查核：公開紀錄中有八天只包含一個可下載的檔案與一張模型卡，而解釋這一切的說明文字則是後來才出現。

每個模型是為了做什麼而打造的

Kimi K3 是 Moonshot 的旗艦之作，也是其迄今最強大的發布版本：一個擁有 2.8 兆參數的稀疏混合專家模型，每個 token 約有 1,040 億個參數處於啟用狀態，專為長時程程式開發與端到端知識工作而打造，可接受文字與圖像並輸出文字。它是透過服務提供，而非以封裝形式出貨。沒有可供下載的版本，沒有能在本地執行的量化版本，也沒有任何小到能裝進筆電的版本。

Nemotron 3.5 Bolt 是相反的構造。NVIDIA 將其 120B-A12B Nemotron 3.5 Super VL 模型，套用一種稱為 Star Elastic 的路由器引導壓縮，達到 74B-A9B，然後將結果量化為每個專家元素 2.0625 位元——IQ2_XXS 格式——並透過量化感知蒸餾來恢復因定價而損失的準確度。主幹是廠商稱為 LatentMoE 的 Mamba-2 與 Transformer 混合架構，並搭配用於圖像與影片輸入的 C-RADIO v4-H 視覺編碼器。它可在 Ampere、Hopper 和 Blackwell 晶片上以 vLLM 運行，也可透過 llama.cpp 在 RTX Spark 和 DGX Spark 硬體上運行，並採用允許商業使用的 OpenMDW-1.1 授權條款。

閱讀長篇語料庫，定價

這裡就是比較變成算術、而非偏好的地方。Kimi K3 在 OrcaRouter 上以 Moonshot 的定價提供路由，沒有任何加價：每百萬輸入 token 為 $3.00，每百萬輸出 token 為 $15.00，快取讀取則為 $0.30。在我們的型錄中，它產生首個 token 的 p50 時間為 7.02 秒，p95 為 10.00 秒；過去七天內，它在我們的型錄中承載了 9.906 億個 token 的路由流量——大規模的長上下文閱讀是實實在在的工作負載，而不是思想實驗。

Nemotron 3.5 Bolt 沒有價格，因為沒有東西可以定價。它沒有託管端點，沒有供應商 API，沒有價目表，而 Artificial Analysis 正是因為如此，將其速度和每項 Intelligence Index 任務的成本都列為 N/A。它取而代之的是一個一次性購買的記憶體上限，以及一個大致等同電費的邊際成本。對於每晚讀取固定語料庫的管線而言，每百萬輸入 token 3 美元與零之間的差別並不是折扣——而是一種不同的會計模型，而損益兩平點是資本支出問題，要由你的財務團隊來回答，不是這篇文章。

願景不是人們以為的那個決勝關鍵。

兩個模型都能接收圖片。相似之處僅止於此。

• 輸入 — Kimi K3 接受文字與圖像；Nemotron 3.5 Bolt 接受文字、圖像與影片。對於觀看螢幕錄影或從攝影機串流中取樣畫面的代理而言，只有其中一個能直接取得該檔案。

• 視覺路徑的精確度——Bolt 搭載專用的 C-RADIO v4-H 視覺編碼器，並從其壓縮來源 Super VL 用戶端繼承多模態行為；Kimi K3 的視覺理解雖記載為原生，但並非 Moonshot 主推的模型部分。NVIDIA 自家的表格列出 Bolt 的 WebArena 視覺分數為 50.86；應將其視為廠商自行提報的數據。

• 推理控制 — Kimi K3 不暴露 temperature、top_p 和 seed，推理深度僅由 reasoning-effort 參數設定；Bolt 的推理模式是一個聊天範本開關，enable_thinking 為 true 或 false，繼承自同一個 Super VL 用戶端。

• 推測 — Bolt 隨附一個由 DFlash 驅動的 LiLiCorr 草擬器，每一步會預先提出七個 token，這正是 NVIDIA 在 AIPerf SPEED-Bench 上宣稱每秒 84 個 token 的機制。在託管端點上沒有同等的調節槓桿；營運商配置什麼，你就只能得到什麼。

量測到的落差，以及它由什麼構成

Artificial Analysis 在其 Intelligence Index 上將 Kimi K3 評為 43.6，而 Nemotron 3.5 Bolt 則為 21。這怎麼解讀都不可能算得上接近。Kimi K3 的輔助數據列，在長上下文閱讀器需要它們的地方表現強勁——AA Coding Index 為 76.2，在受測的 138 個模型中排名第九；GPQA Diamond 分數為 93.5；以及長上下文召回數值 88.7，而這個數字告訴你，百萬 token 的上下文視窗是真正可用，而不只是空口宣稱。

Bolt 的 21 是另一種結果。在依記憶體足跡篩選的同類 67 個模型中，它是第四高的分數，而該類別的中位數為 8；Artificial Analysis 將其描述為同尺寸領先的開放權重模型之一。正確看待這兩個數字的方式是：一個衡量的是前沿實驗室在不受記憶體限制下能做到什麼，另一個衡量的是 24GB 能容納什麼。22 個指數點是這項限制的代價，而不是較小模型建得糟糕的證據。

Bolt 這邊欠缺的，是任何獨立衡量其速度的數據。NVIDIA 表示，解碼速度至少每秒 80 個 token 是設計目標，自家測試為 84，而在配備 128GB 的 Surface Laptop Ultra 上以 llama.cpp 執行時則為每秒 83.99 個 token。截至撰文時，尚無第三方公布 24GB 權重的吞吐量或延遲數據。相較之下，Kimi K3 的延遲已有實測且公開——首個 token 的 p50 為 7.02 秒、p95 為 10.00 秒——而這些才是規劃時應依據的數字，而非廠商提供的數字。

路由層在何處改變答案

Kimi K3 已收錄在我們的目錄中，型號為 kimi/kimi-k3，以 Moonshot 的定價提供，未加收任何加成費用，與其他 200 多個模型共用同一把金鑰，並具備當某個上游供應商效能下降時自動跨上游供應商容錯移轉的能力。Nemotron 3.5 Bolt 則不在我們的目錄中——我們不託管任何 NVIDIA 檢查點，也沒有可呼叫的 Bolt 端點——因此這裡的路由問題並不是我們要服務這兩者之中的哪一個，而是真實管線的兩半如何彼此溝通。

有效的模式是本地讀取器加上託管推理器。Bolt 運行在你的硬體上，處理那些資料絕不能離開機房、且資料量大到按 token 計費會令人心痛的高頻處理流程。Kimi K3 則負責需要百萬 token 視窗或前沿規模推理的請求，每百萬 token 收費 3 美元和 15 美元。在兩者前面放一條路由規則，這樣的分工就變成一行設定，而不是一次重構：超出本地上下文預算的請求送往 Kimi K3，其餘全都留在工作站上。如果昂貴的呼叫正是重要的那些，模型融合是值得了解的變體——讓多個模型一起回答同一個提示，然後取它們一致的部分。

看什麼

能為這項配對定案的具體證據範圍有限，而且迫在眉睫。首次針對 24GB Bolt 權重獨立進行的吞吐量與延遲測試，要麼會證實 NVIDIA 的每秒 84 個 token，要麼會讓這個數字下修；Bolt 已公布的代管價格，會讓這項比較中成本的那一半變成算術；而第二次針對 Kimi K3 的長上下文召回率測量，將能確認其 88.7 是模型本身的特性，而非某個測試框架的特性。

在那之前，這份摘要比兩家廠商各自的說法都更狹隘。Kimi K3 在基準測試能衡量的每一個面向上都是更好的模型，而且它是兩者中唯一一個你今天下午就能呼叫的。Nemotron 3.5 Bolt 則是兩者中唯一在沒有網路時仍能繼續運作的，也是唯一每 token 邊際成本為零的。把第二個用於那些根本不該被送到任何地方的工作，把第一個用於需要觸及範圍的工作。