Nemotron 3.5 Bolt 24GB 對比 Nemotron 3.5 Bolt 74B：一個模型，兩種產物

This is a comparison between a model and itself. N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16 are the same architecture at the same parameter count, produced in the same week, from the same parent — and N​VIDIA's own documentation says plainly that one is for running and the other is for changing. Treating them as rivals is a category error; treating them as interchangeable is an expensive one. Here is the difference, measured in bytes and in benchmark points.

這兩個產物究竟是什麼

The names describe the pipeline, not two designs. N​VIDIA took N​emotron 3.5 Super VL 120B-A12B, ran a router-guided architecture search called Star Elastic against a memory budget, and produced a 74-billion-parameter model with 9 billion active parameters. That result exists in two published forms: the BF16 weights as they came out of post-training, and the same weights with the expert layers quantised to 2.0625 bits per element and repaired with quantisation-aware distillation.

兩者的模型卡上都標註著 2026 年 10 月 15 日。兩者採用相同的 OpenMDW-1.1 授權條款、相同的 256,000 個 token 上下文視窗、相同的 Mamba-2 混合式 LatentMoE 主幹，以及相同的 C-RADIO v4-H 視覺編碼器。儲存庫的中繼資料以單一欄位明確表達了這層關係：24GB 檢查點的模型卡列出 base_model_relation: quantized，對照的是 BF16 版本。

真正不同的，是兩者各自的用途。24GB 這張卡將其用途定位為本機代理框架——工具呼叫、瀏覽、終端機操作——並將部署方式定位為在 Ampere、Hopper 或 Blackwell 上執行 vLLM。BF16 這張卡則將其用途定位為以 NeMo RL 與 NeMo Gym 進行後訓練、領域調適、蒸餾，以及產出你自己的量化變體，並在同一段中警告：若追求延遲與吞吐量最佳化的推論，你應該改用 24GB 版本。廠商叫你別跑你剛下載的檢查點，這種話值得照字面解讀。

大小差異，從檔案清單讀取

• BF16 — 總計 149.8GB，分散於 63 個 safetensors 分片，最大分片為 3.71GB，另有一個 228MB 的視覺塔。

• 24GB safetensors——在 vLLM 就緒組建中，90 個分片共 24.12GB，略高於模型名稱中的數字。

• 24GB GGUF — 單一檔案內含 22.02GB，外加一個獨立的 1.73GB 視覺投影器，總計 23.75GB。

比例——以位元組計大約是六比一，從 16 位元專家到 2 位元專家，再加上對其餘所有部分進行混合精度處理。

六十三個分片對上九十個，也是一種形狀上的差異，不只是大小不同。BF16 版本是為了讓訓練框架載入，並配合你擁有的任何平行配置；24GB 版本則是為了讓單一 GPU，或單機上的 llama.cpp 載入，而分片數量反映的是不同的任務。

在 24GB 的整體分佈中，有 3GB 值得在你規劃儲存空間之前先了解。視覺投影器在 GGUF 版本中是獨立的檔案，因為 llama.cpp 就是這樣處理多模態輸入的；任何只下載權重、然後納悶為什麼圖片無法運作的人，就是漏掉了它。在 safetensors 版本中，視覺塔位於各個分片內，總大小會跨過 24GB 這條線。

What the quantisation cost, on N​VIDIA's own numbers

BF16 卡並排公布了這兩欄，這點異常坦率：同一張基準測試表同時載有 IQ2 24GB 的數據，以及 BF16 在相同十三項評估中的數據。由廠商自行報告、未經重現，卻仍是目前關於每個專家兩個位元要付出什麼代價的最直接證據。

• Terminal-Bench 2.1 — 在 IQ2 下為 50.98，相較於 BF16 的 53.93，損失 2.95 分。

• BrowseComp — 66.75 對 70.00，落後 3.25。

• GPQA Diamond — 86.43 對 88.83，損失 2.40。

• AA-LCR 長上下文推理 — 64.06 對 67.38，低了 3.32。

• HLE 不使用工具 — 25.30 對比 28.73，損失 3.43。

• AA-Omniscience 準確度 — 16.90 對比 21.80，下降 4.90，為表中最大跌幅。

• PinchBench — 87.82 對 90.35，落後 2.53。

• GDPVal-AA-V2 — 28.47 對 31.13，落後 2.66。

有兩列打破了規律，而它們才是有意思的。在 AA-Omniscience 的非幻覺項目上，量化模型的得分更高，61.27 對 56.14——壓縮專家使模型在不知道時更不可能自信作答，而這正是會讓一張表值得完整刊出的那類發現。在 WebArena 視覺項目上，兩者不相上下，50.86 對 50.25，顯示視覺路徑大致完整地挺過了壓縮，而模型卡中描述的視覺轉接器重新訓練想必就是原因。

綜合來看：對大多數能力項目而言是二到五個百分點的成本，對視覺接地幾乎為零，並且在某一項校準指標上有所改善。對六比一壓縮來說，這是個有利的結果，但它仍然是一筆你應該計入、而非一筆帶過的成本。

你實際上能提供哪一個？

24GB 產物有一套執行階段的故事，而 BF16 那個有一套訓練階段的故事，而且它們並不是同一個故事換上不同的旗標。

這個 24GB GGUF 是為 llama.cpp 列出的，而 NVIDIA 把同一個模型指向 Ollama、LM Studio 和 Unsloth。vLLM 這條路徑比聽起來更嚴格：參考配方以 commit hash 固定 nightly 容器，需要一個在執行時才抓取的獨立 kernel 套件，明確設定 v2 model runner，為 linear 與 MoE 後端指定 b12x，並以 FlashInfer 處理 attention 與 Mamba，將 KV cache 固定為 fp8，並設定 max-num-seqs 1。最後那個旗標才是該注意的地方——已發佈的 serving 設定是單一並行序列，那是筆電形狀的設定，不是 serving 形狀的設定。

草稿模型是第三個下載項目。LiLiCorr 是一個 1.13B 的伴隨檢查點，其模型卡明確指出它不是一個獨立的語言模型，它會提出草稿詞元，並由 24GB 的目標模型進行驗證，而目標模型負責產生可見的文字。NVIDIA 在 AIPerf SPEED-Bench-Coding 上報告的每秒 83.99 詞元，假設它已附加，每個步驟有七個草擬詞元，且在貪婪解碼下的平均接受長度為 4.68，而在並行度 64 下取樣時為 4.25。

BF16 檢查點的服務方案是你得解決的問題。在任何 KV 快取之前，它所需的記憶體大約就是量化版本的六倍，這讓單張 80GB 加速器無法勝任，並使多 GPU 或多節點成為預設假設。對後訓練來說，這是正確的取捨；對推論來說，則是錯誤的取捨，而這正是那張卡所說的。

這個決定，直白地說

如果你想在自己擁有的硬體上執行 agent，現在就下載 24GB 版本，接受那二到五個百分點的代價，並為 drafter、projector 以及權重編列預算。

如果你想改變模型——用自己的資料微調、把它蒸餾成更小的東西，或針對 N​VIDIA 未最佳化的硬體以不同方式壓縮——請下載 BF16 建置版，並將 24GB 發行版視為一種可能結果的說明文件。

有趣的中間案例，正是 BF16 卡明確招手要你做的事：製作自己的量化變體。擁有不同加速器、偏好四位元權重，或是有工作負載需要比參考配方允許更高併發性的人，可以取用全精度權重，打造出 NVIDIA 沒有打造的產物。如此一來，上述的量化稅就是那個要超越的數字，而它現在是已公開的目標，而不是謎團。

閘道器在本地堆疊中的定位

這兩個檢查點都沒有託管在任何地方，包括我們自己——OrcaRouter 的型錄並未收錄任何 N​emotron 模型，因此兩者都沒有端點，也沒有價格可報。本機推論也永遠只是代理架構的一半：執行 Bolt 的機器仍需要連上它無法下載的模型，無論那是用來處理棘手案例的前沿模型、用於 Bolt 處理不佳情況的視覺模型，還是針對重要決策取得第二意見。

那就是我們所營運的這一層。一組金鑰就能以供應商的定價使用 200 多個託管模型，不額外加價；自動容錯移轉會在供應商於請求中途效能降級時啟動；一個路由 DSL，能將「先在本機試用 Bolt，當任務超出其能力時再升級至託管模型」化為設定，而非程式碼。堆疊中那 24GB 的一半，取決於你的硬體，以及你對每晚執行一個容器的容忍度。升級另一側的那一半，則取決於誰持有那把金鑰。

什麼會改變這幅景象？

兩件事，而且兩件都是可以預料到的。

第一種是來自 NVIDIA 或社群的四位元或 FP4 版 Bolt；有鑑於母系列已經推出 NVFP4 檢查點，而 BF16 版本之所以存在，正是為了能製作出這類變體。一個能彌補上述差距一半、且仍能塞進 24GB 範圍內的四位元 Bolt，會讓量化稅的論點顯得沒那麼有意思。

第二項，是對這兩個產物中任一個的獨立評估。Artificial Analysis 的評測小組在其 Intelligence Index 上測得 24GB 模型為 21 分，且未公布速度與成本，因為沒有可供衡量價格的基準。至今完全沒有人發表過 BF16 檢查點的可重現執行結果；對於一個供訓練用、大小達 150GB 的下載檔而言，這並不令人意外。在有人做到之前，上述兩欄之間的落差只是廠商對自家壓縮技術的說法，而誠實的解讀方式，是把它視為一項恰好因證據的樣態而獲得異常有力支持的宣稱。

這樣的結果也提醒我們，模型錯誤早已有紀錄：這一類模型背後的 AI 事件與代理失效，都收錄在OrcaRouter AI Incident Archive，其中每一筆紀錄都附有自己的來源、嚴重程度、可信度等級與爭議標記。