Nemotron 3.5 Bolt 74B 對決 Kimi K3：一款 24GB 檔案對上 2.8 兆參數旗艦

這兩款模型並非在競爭同一個位置，而數字早在任何一家廠商開口之前就說明了這一點。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB是一款 740 億參數的視覺語言模型，NVIDIA 將其壓縮成 2 位元檢查點，小到足以與作業系統一起放進 24 GB 的記憶體中。Kimi K3則是 Moonshot AI 的 2.8 兆參數旗艦模型，一款開放權重模型，其最小可行的部署規模是一整個機櫃。前者是一個你可以複製到筆電上的檔案，NVIDIA 已於 2026 年 10 月 15 日開始出貨。後者則是一項按 token 計費租用的工作負載。把兩者的分數並排閱讀之所以有用，正是因為差距如此巨大，大到沒有人能假裝較小的那一個可以取而代之。

在這頁上真正值得做的事，是弄清楚那 22 點 Intelligence Index 分數究竟流向何處，以及其中是否有任何一點落在本地代理實際執行的任務上。

發布了什麼，以及何時發布

Bolt 儲存庫於 2026 年 10 月 7 日出現在 Hugging Face 上；NVIDIA 自家那篇點名它的發布文章〈從資料中心到桌面：NVIDIA 以最高效率的 Super VL 與 Bolt 模型擴充 Nemotron 系列〉標註的日期是 10 月 15 日。模型卡本身則載明發布日期為 2026/10/15。這樣的先後順序——權重先出現，公告晚了八天才來——對任何閱讀這款模型相關報導的人來說都很重要，因為在這段公開紀錄中，有整整一週的時間裡，內容就只有一份可下載的檢查點和一份模型卡，上頭沒有任何新聞稿。

除此之外，這兩款模型在其他各方面都截然不同。Kimi K3 於 2026 年 7 月 16 日亮相，權重隨後於 7 月 27 日發布，這使它大約早了三個月，而且第三方對它的記載也詳盡得多。

• 架構 — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一款 Mamba-2–Transformer 混合式 LatentMoE，搭載 C-RADIO v4-H 視覺編碼器。Kimi K3 是一個 2.8 兆參數的稀疏專家混合模型，每個 token 啟動 104B 參數，涵蓋 896 個專家中的 16 個，建構於 Moonshot 的 Kimi Delta Attention 之上。

• 參數 — NVIDIA 模型為 74B 總參數、9B 活躍參數；Kimi K3 為 2.8T 總參數、104B 活躍參數。較小模型每 token 啟動的運算量不到較大模型的十分之一。

• 記憶體佔用量 — 在 2 位元量化下為 24GB（專家權重採用 IQ2-XXS、每元素 2.0625 位元，Mamba 層採用 NVFP4，嵌入與輸出採用 Q8_0），對比 2.8T 參數部署所需的成本，而那並非本頁能以 GB 表示的數字。

• 上下文 — N​VIDIA 模型為 262,144 個 token；Kimi K3 為 1,048,576 個，且無論長度為何皆採均一價格。

• 輸入 — 文字、圖像和影片輸入，兩者皆輸出文字。

• 授權條款 — NVIDIA 檢查點採用 OpenMDW-1.1；Moonshot 的權重採用 Kimi K3 License，對大多數用途採寬鬆授權，但年營收超過 2,000 萬美元時需另行簽訂協議。

獨立的數字，以及不存在的那一個

Artificial Analysis 已經對這兩個模型都進行了測試，這正是讓這項比較至少能有答案的原因。排行榜上並非每一項都對兩者做過測量，而那些缺漏之處和分數一樣具有資訊價值。

• 智慧指數 — N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB 得分 21.4，在該小組自家的比較集上，於同尺寸級別的 67 個模型中排名第四。Kimi K3 在最高推理模式下得分 43.6，低模式下則為 30.1。這兩項數據皆為獨立測量所得，並非廠商自行回報。

• 每個 Intelligence Index 任務的成本 — NVIDIA 模型沒有數字，因為它沒有計量價格：Artificial Analysis 完全沒有列出它的輸入或輸出費率。Kimi K3 在每百萬輸入 token 3.00 美元與每百萬輸出 15.00 美元下，每個索引任務的 API 支出為 2.00 美元，相較之下，快取輸入為 0.30 美元。

• 輸出速度——Kimi K3 在該評測小組的測試機上每秒生成 43.8 個 token，首個 token 耗時 3.6 秒。NVIDIA 模型並無獨立的吞吐量數據；NVIDIA 自家的研究頁面公布，在啟用 LiLiCorr 草稿模型的情況下，於 AIPerf SPEED-Bench-Coding 上達到每秒 83.99 個 token，但這屬於廠商自行量測的數據，且是在不同的基準測試與不同的機器上取得。

• Terminal-Bench 2.1 — Kimi K3 拿下 85.0，由第三方獨立執行，對比 Moonshot 自家宣稱的 88.3。NVIDIA 在其模型卡上為 Bolt 模型公布 50.98，因此兩者立足點並不相同：其中一個數字已在實驗室外被重現，另一個則否。

• GPQA Diamond — Kimi K3 獨立取得 93.5；NVIDIA 模型依 NVIDIA 公布為 86.43，而該評測小組中並無獨立數據。

• 長上下文檢索（AA-LCR）——Kimi K3 為 88.7，相較之下 NVIDIA 模型為 69.7，兩者均經實測。

• 科學程式設計（SciCode）——Kimi K3 為 59.5，N​VIDIA 模型為 39.7，兩者皆經實測。

• 知識準確度與幻覺——在 AA-Omniscience 上，Kimi K3 的準確率為 47.6%，非幻覺率為 46.8%；NVIDIA 模型的準確率為 17.1%，非幻覺率為 56.3%。這組對比是榜單上最有趣的一列，也最不迎合對該指數的簡化解讀：壓縮後的模型知道得更少，卻更常承認這一點。

缺少的那項測量數據，正是買家最想要的。NVIDIA 之外沒有人發表過 24GB 檢查點的吞吐量或延遲測試，而這正是推出 24GB 檢查點的全部意義。

22 分實際上去了哪裡

22 點的指數差距聽起來像是不同類別之間的差異，而在某些任務上確實如此。Kimi K3 在科學程式設計上領先二十分，在長上下文檢索上領先十九分，在研究所程度的科學問題上領先七分以上。這些不是四捨五入誤差，也不是比較資料集所造成的假象。

但 NVIDIA 模型背後的壓縮故事已經足夠具體，足以解釋這個缺口的樣貌。該檢查點是由 NVIDIA 的路由引導架構搜尋 Star Elastic 產生的；它以 120B-A12B Super VL 母模型為起點，搜尋在批次大小為一、128K 上下文時能塞進 24GB 的每層專家數與 MoE 寬度，將專家 top-K 從 22 降到 9，然後用量化感知蒸餾把專家量化到每個元素 2.0625 位元，以恢復準確度。這是刻意用儲存的知識換取佔用空間。一個被壓縮到每個專家權重 2 位元的模型，會保留它的程序，卻失去它的事實，這就是為什麼幻覺那一列改善，而準確度那一列崩潰。

NVIDIA 自家的基準測試表反而從另一個方向佐證了同一點。該公司公布的結果顯示，Bolt 模型在 Terminal-Bench 2.1、GPQA Diamond、BrowseComp 與 WebArena vision 上擊敗 Qwen3.6-35B-A3B、Gemma4 26B-A4B 以及自家的 Nemotron 3.5 Lightning 30B-A3B——也就是在代理式與工具使用任務上取勝——但在 AA-Omniscience 準確度上敗給 Gemma4，並在 PinchBench 上輸給 Qwen3.6。代理式執行正是壓縮所保留的能力。

兩者皆為開放權重，這使得抉擇取決於電力。

這正是這場對決有別於與封閉 API 相比的地方。Kimi K3 的權重可供下載。如果你有相應的硬體，就能自行運行 2.8T 模型，且無需為每個 token 付費——這和 24GB 檔案是同樣的主張，只是規模截然不同。這裡的兩個模型都不由可能改變存取決定的供應商把關。

實際上的分界在於部署版圖。一個 24GB 的 IQ2 檢查點能在單張 A100、H100 或 Blackwell 上以 vLLM 執行，而 NVIDIA 自家的參考配方也點名了 llama.cpp 與 GGUF 轉換，這正是它最終會出現在 RTX 與 DGX Spark 機器上本地代理框架裡的原因。建議的服務指令並不是一行就能切換的開關：它會固定使用某個 vLLM nightly 版本、需要下載一個推理解析器外掛、需要 b12x 核心來支援線性與 MoE 後端、明確設定 Mamba 與 attention 後端，並啟用搭配七個 LiLiCorr 草稿 token 的推測性解碼。那是一套給打算自己掌控這台機器的人用的配方，而不是給只想要一份逐字稿的人用的。

Kimi K3 走的是相反路線。它的整體設計假設你是租用推論服務，價格也據此制定——每百萬個 token 輸入 3.00 美元、輸出 15.00 美元，這是刻意在開放權重市場頂端佔據的定位。

執行比較，而不是閱讀它

如果你想知道 22 點的指數差距對你的工作負載到底有沒有影響，最省成本的實驗方式，就是去呼叫那較昂貴的一半。 Kimi K3 已收錄在 OrcaRouter 的目錄中，代號為 kimi/kimi-k3，與我們所路由的其他 200 多個模型共用同一把金鑰，依 Moonshot 的供應商定價計費，不額外加收任何費用——因此 Moonshot 的價格若有變動，我們這邊當天就會生效，而不會等到下一個計費週期。拿一組看起來像你真實流量的提示詞去打它，再和你本地端正在跑的東西比較差異。OrcaRouter 不代管任何 NVIDIA 模型，也沒有 Bolt 端點可以提供；Nemotron 系列不在我們的目錄中，而這項比較中屬於本地端的那一半，無論如何都仍是硬體層面的問題。

路由在這裡真正能派上用場的地方，是備援路徑。Kimi K3 是單一模型的承諾，且價位偏高，而把正式環境的代理接上單一高能力模型時，其失效模式就是上游的容量問題會演變成一起事故。在單一端點背後跨供應商的自動容錯移轉，則會把它變成一次重試。

如何決定

這條規則比那道差距所暗示的還要短。

如果你的需求包含「離線」、「私密」、「裝置端」或「沒有每 token 成本」這些詞，Kimi K3 就不是候選，比較也到此為止——一個 2.8 兆參數的模型不會在你正用來讀這段文字的機器上運行，而 24GB 的檢查點則會。買下那台筆電，接受它在該指數上的 21.4 分，並把它用於工具操作，而不是用來問生物化學的問題。

如果你的需求是在困難推理上追求正確性、進行跨越數十萬個 token 的長上下文工作，或是儲存庫規模的程式開發，那麼 24GB 模型就是錯誤的工具，而指標差距正告訴你真相。付費使用 Kimi K3 吧。

兩家廠商都還沒給出定論的，是中間情境，因為它取決於一個沒有人公布過的數字：這個 2-bit 檢查點在你買得到的硬體上實際跑起來有多快。在獨立的吞吐量實測出現之前，對於「一個 24GB 檔案能否在我的 agent loop 中取代 2.8T 旗艦」這個問題，誠實的答案是：智慧差距是可量測的，而延遲方面的論證則尚未成立。

對於一個失效模式仍未被記錄的模型來說，有用的對照資料是其他地方已經出錯的紀錄：這類模型的已記錄 AI 事件與代理失效，都收錄在 OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。