Nemotron 3.5 Bolt 24GB：NVIDIA 究竟在 24GB 檔案裡放了什麼

這個頭條數字不是參數量，而是位元組數。2026 年 10 月 15 日，NVIDIA 發布了 NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB，這是一款視覺語言代理模型，其 740 億個參數在大多數人實際會下載的格式中佔用 23.75GB——即一個 22.02GB 的 GGUF 加上一個 1.73GB 的視覺投影器檔案。這兩個數字都來自已發布儲存庫本身的檔案清單，而非部落格文章，而它們正是名稱以數字結尾的原因。這就是那個數字所換來的東西、它所隱藏的東西，以及它未包含的東西。

發布了什麼，以及何時發布

NVIDIA 新聞室將 10 月 15 日定調為一次家族擴展，而非單一模型發布：Nemotron 3.5 Super VL，這款擁有 1,200 億參數、啟用參數為 120 億的多模態模型，與 Bolt 檢查點一同登場；而體型小得多的同系列成員 Nemotron 3.5 Bolt E4B 4GB，則預定於 10 月 23 日推出。Bolt 加入 Nemotron 3.5 Lightning（8 月）與 Nemotron 3 Ultra 的行列，這個家族如今涵蓋資料中心推理、高吞吐量服務與本機邊緣代理。

這次發布確實是全新的，而且它也比公告稍微早了一點。Hugging Face 儲存庫 nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB建立於 2026 年 10 月 7 日；其中的模型卡標示的發布日期是 10 月 15 日，而 NVIDIA 自家研究頁面上的「Published」也標記為同一天。檔案在公開視野中擱置了八天，卻連一句解釋都沒有，這對與硬體進行禁運協調而發布的供應商來說是正常模式——RTX Spark 筆電的日期是 10 月 16 日，也就是公告後的隔天——而值得知道的是，這個模型公開紀錄的哪一半來自行銷決策，哪一半來自檔案列表。

740 億個參數如何塞進 24 GB 中

兩種機制，而且它們是可分離的。

第一個是結構性的。Bolt 並非從頭訓練的較小模型；它是 Super 3.5 VL 母模型經由 NVIDIA 稱為 Star Elastic 的演算法壓縮而成，這是一種由路由器引導的架構搜尋，必須滿足一項限制——在批次大小為 1、128K 上下文的情況下，部署佔用低於 24GB——同時盡可能少損失知識蒸餾準確度。它所產出的是總參數 74B／活躍參數 9B 的混合專家混合模型，專家 top-K 固定為 9，而母模型使用的是 22。NVIDIA 自己對這項結果的表述直白且可驗證：在固定記憶體預算下，壓縮大型模型勝過訓練小型模型。

第二個是精確，而大部分的節省正源於此。

• 專家權重 — 路由與共享的 FC1 與 FC2 層以每元素 2.0625 位元量化為 IQ2_XXS，以參數數量計算，這佔了模型的大部分。

• Mamba 層——NVFP4，一種 4 位元浮點格式，而且僅用於額外精度值得多耗位元組的層。

• 嵌入、輸出頭、注意力與潛在 MoE 權重 — Q8_0。

• 復原 —— 採用量化感知的蒸餾，而非事後再補一次就近捨入，這正是壓縮模型與崩壞模型之間的差別。

把這些放在一起讀，「24GB」就不再是行銷摘要，而會變成一筆預算分配。2 位元專家每個位元組成本低廉且數量眾多；對穩定性至關重要的層則保留 4 或 8 位元。

24GB 這個數字，已對照檔案核對過

這項主張經得起稽核，而這並非總是成立。

• GGUF 權重 — 22,018,326,528 位元組，即十進位 22.02GB，存放於單一檔案中。

• 視覺投影器 — 1,733,692,736 位元組，或 1.73GB，以 mmproj 形式單獨提供，而這正是 llama.cpp 接收影像與視訊輸入的方式。

• Safetensors 版本——同一個模型以可直接用於 vLLM 的分片形式，總計 24.12GB，分佈於 90 個檔案，略高於標題數字。

• BF16 參考 — 149.8GB，跨 63 個分片，另行發布，供任何想微調而非推論的人使用。

在此之上，還有兩個必須誠實說明的注意事項。第一，權重並不等於一個正在運行的模型。NVIDIA 發布的 vLLM 設定配方會把 KV 快取固定為 fp8，並將服務的上下文設為 262,144 個 token，搭配max-num-seqs 1——也就是單一並行序列。這就是「塞得進 24GB」與「在 24GB 裡跑得快」之間的差別，而這正是記憶體大小這種標題數字永遠不會承載的細節。第二，24GB 是提供給架構搜尋的數字，而不是在你機器上實測出來的數字：驅動程式額外負擔、作業系統，以及筆電上其他任何東西，全都不在計算範圍內，這也正是為什麼宣傳說法是「與你的應用程式一起運行」，而不是「取代它們運行」。

速度宣稱，以及測量它的機器

NVIDIA 的設計目標是每秒至少 80 個 token，並在 AIPerf SPEED-Bench-Coding 上回報 83.99。這個數字要有三項背景資訊才有意義：它是在 Windows 11 ARM x64 上以 llama.cpp 產生，執行於配備 128GB 記憶體的 Surface Laptop Ultra，並搭配 LiLiCorr 推測性 drafter，每個步驟草擬七個 token。這個 drafter 並非可有可無的裝飾——它是一個 1.13B 的伴隨檢查點，其唯一目的就是提高接受長度（NVIDIA 回報，在 vLLM 中，貪婪解碼下的平均值為 4.68，而在並行度 64 取樣時為 4.25）。把 drafter 拿掉，你測量的就是另一個模型了。

第二個速度數字更有意思，因為它是完成時間而非速率：在 AA-AgentPerf Local 上，重播時長為 600.80 秒，相較之下 Qwen3.6 35B-A3B 為 453.97 秒、Gemma 4 26B-A4B 為 480.68 秒，而 Qwen3.8 27B 則為 1,043.28 秒——全部出自 NVIDIA 自家的表格，全部跑在相同的硬體上。Bolt 在該列勝出，因為它完成相同代理軌跡的速度比更小的模型更快，卻在吞吐量那一列以 83.99 對上 96.63 與 100.56 tokens per second 敗給另外兩者。快與迅速並非同一種量測，而這是一款以迅速換取快的模型。

獨立測量怎麼說

在關於 Bolt 的公開紀錄中，有一項數字並非由 NVIDIA 產出：Artificial Analysis Intelligence Index 給它的評分是 21，在同級 67 個模型中排名第四。該評測面板也未提供它的速度與成本，因為沒有公開 API 可供呼叫——而且它將該模型的輸入模態列為文字與圖像，而非影片，這比供應商的說法更為狹隘。

同一頁面指出，該模型在受評估期間生成了 2.3 億個 token，並將其標記為相對於 1 億中位數而言極為冗長。在相同任務上產生更多 token 的推理未必自動較差，但在本地裝置上，每個 token 都是由風扇生成，這是有代價的。

流通中的其他一切都只是廠商自行報告的數據。NVIDIA 自家的十三項基準測試表中，Bolt 在 PinchBench 上領先同記憶體等級的機型，並在 WebArena 與 BrowseComp 上位居第二；這張表所比較的模型，部分是因為能在 4 位元下塞進 24GB 而雀屏中選——而這個同儕群體，正是由一項 Bolt 在設計上本就要滿足的限制所定義的。這並非不誠實；但它同樣不是對一般代理模型的排名，而其中唯一出現相反結果的那一格則頗具啟示意義：在 AA-Omniscience 準確率上，Bolt 為 16.90，在同一張表中落後於 Gemma 4 26B-A4B 的 22.17。

什麼不在盒子裡？

沒有端點。沒有計量費率，沒有供應商提供服務，也無法在未完成部署的情況下用你自己的流量來評估它。取而代之的是在發布時就已到位、而非數個月後才出現的執行階段支援：llama.cpp 與 GGUF 檢查點、Ollama、LM Studio、用於微調的 Unsloth，以及用於 DGX Spark 上量化檢查點與其他平台上 BF16 檢查點的 vLLM。NVIDIA 自家的部落格點名列出這五項，而真正的產品其實是這樣的廣度——一個 24GB 的檔案，唯有在載入它的工具已經存在於你的機器上時才有用。

硬體涵蓋範圍比 RTX Spark 筆電上市當天的說法所暗示的更廣：GeForce RTX 電腦、DGX Spark、DGX Station 與 RTX PRO 工作站全都名列其中，而模型卡也為 vLLM 路徑列出了 Ampere、Hopper 與 Blackwell。

授權條款是 OpenMDW-1.1，它寬鬆到足以在其上建構，卻又陌生到讓法律審查成為實質的一道關卡、而非形式作業——在架構決策取決於它之前，這點值得先弄清楚。

NVIDIA 自家技術部落格中的一個複製貼上失誤，把檢查點清單放在「Nemotron 3.5 Super VL 74B-A9B 24GB」這個標題下，而不是 Bolt。這是快速發布中的筆誤，不是這個家族的分支，但它提醒了我們：廠商在發表當天寫的頁面，終究是帶有發表日期的草稿。

對於也會呼叫非自有模型的團隊

代理程式堆疊中在本機執行的那一半，與託管的那一半，通常是同一個專案，而 Bolt 只處理了其中一半。OrcaRouter 並未代管任何 Nemotron 檢查點——這一點是對照我們自家的目錄查證過的，而不是憑空假設——所以這裡的內容並不是在推銷我們所提供的模型。我們所做的是混合部署的另一半：一組金鑰即可使用 200 多個模型，並以供應商的定價計費，不加收任何加成費用，當供應商在請求進行中途出狀況時自動容錯移轉，以及一套路由 DSL，讓你用設定來描述備援鏈，而不必寫進應用程式碼。如果 Bolt 負責的是在本機執行的那一半，那正是永遠不會出現在帳單上的那一半；而路由的問題在於，其餘的部分該怎麼辦。

看什麼

有三件事將決定這個模型的名聲，而它們都不在公告中。

第一點是在真實硬體上的獨立延遲。NVIDIA 的每秒 83.99 個符元，是在附掛投機式草稿器的受控基準測試下得到的數字；終究會有人公布它在同時開著瀏覽器和編輯器的筆電上跑出什麼結果，而那個數字的重要性會超過這個數字。第二點是 10 月 23 日的 E4B 變體，它檢驗的是這套壓縮配方能否縮小規模，還是只在單一尺寸下才行得通。第三點是 NVIDIA 以外是否有人會對 BF16 檢查點進行後訓練——因為一個 24GB 的部署產物，搭配開放授權，旁邊再放一個 150GB 的客製化產物，這是刻意設計的雙軌發布，而決定這一切會成為一個平台、還是只是一個檢查點的，正是第二條軌道。

就目前而言，這個事實本身就成立。一個 740 億參數的多模態代理，能塞進一台比工作站還便宜的筆電記憶體中，在附掛草稿模型的情況下以大約每秒 84 個 token 的速度運行，在唯一一個獨立衡量過它的指標上得分 21，而且任何人都無法以 API 呼叫它。這是一個特定且不尋常的組合，值得精確釐清你需要的是其中哪一半。

這些都不是假設：像這次發布這類版本背後那些有紀錄的 AI 失效與代理事件，全都收錄在OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、信心等級與爭議標記。