Nemotron 3.5 Bolt 74B 對決 LFM2.5 24B A2B：在 24GB 中容納代理程式的兩種方式

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

這些數字相近到令人混淆。Bolt 是一個 740 億參數的檢查點，每個 token 啟用 90 億參數，以每個專家權重約兩個位元儲存，放在一個 24GB 的檔案裡。LFM2.5-24B-A2B 是一個 240 億參數的檢查點，每個 token 啟用 24.5 億參數，採用一般精度。兩者都是混合專家模型。兩者都能在沒有網路的情況下執行。在聽起來相似的宣傳說法背後，幾乎每一項工程選擇都不同。

LFM2.5-24B-A2B 究竟是什麼

Liquid AI 的 checkpoint 是 LFM2.5 系列中規模最大、也是最後一個成員，同時是該系列中最後一個尚未推出的。它的權重於十月初上傳至 Hugging Face，公司則在 2026 年 10 月 13 日發布，因此它大致和 Bolt 一樣新，也同樣尚未累積太多獨立結果。

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

它是純文字的，而且回答前總是會先思考——推理軌跡並非可有可無。Liquid 將它定位成可與在代理任務上大上一倍半的模型較勁，並以 LiveClaw 分數 48.09 對比 Qwen3.6-35B-A3B 的 38.19 來佐證這點。那是廠商在自家挑選的基準上所做的比較，也應如此解讀；不過它拿來說嘴的活躍參數量，是可以在模型自身配置中查核的。

Bolt 究竟是什麼

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

這種壓縮的激進程度，是 Bolts 的參數數量所掩蓋的。專家 top-K 從母模型的 22 降至 9，這與 LFM2.5 的 top-4 幾乎相同，儘管該模型承載了三倍的參數。視覺塔之後從母模型重新接上，因此 Bolt 接受圖像和影片，而 LFM2.5-24B-A2B 僅接受文字，而且它繼承了 256K 上下文視窗，是 Liquid 的兩倍。

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

規格對比，兩邊列在同一行

• 總參數與活躍參數 — Bolt：總計 74B，每個 token 9B 活躍。LFM2.5-24B-A2B：總計 24.0B，每個 token 2.45B 活躍。

• 骨幹 — Bolt：Mamba-2 狀態空間區塊與專家混合及注意力交錯。LFM2.5-24B-A2B：三十個雙閘控短卷積區塊，加上十個分組查詢注意力層。

• 路由 — Bolt：壓縮後取前 9 個專家，較父模型的 22 個為少。LFM2.5-24B-A2B：每個區塊 64 個專家，取前 4 個。

• 儲存精度 — Bolt：IQ2-XXS 專家層為每個元素 2.0625 位元，Mamba 層為 NVFP4，嵌入與輸出為 Q8_0。LFM2.5-24B-A2B：全精度權重，並由廠商以同系列形式發布 GGUF、FP8、ONNX 與數種 MLX 位元寬度。

• 上下文 — Bolt：最多 262,144 個詞元。LFM2.5-24B-A2B：131,072 個詞元。

• 模態 — Bolt：輸入文字、圖片和影片，輸出文字。LFM2.5-24B-A2B：輸入文字，輸出文字。

• 授權 — Bolt：OpenMDW-1.1。LFM2.5-24B-A2B：lfm1.0，年營收低於 1,000 萬美元可免費用於商業用途，超過此門檻則須取得付費商業授權。

• 智慧指數——Bolt：21，由 {{1}}Artificial Analysis{{/1}} 測量。LFM2.5-24B-A2B：此檢查點沒有 {{2}}Artificial Analysis{{/2}} 的評測資料，因此沒有可比較的獨立分數，本文也不會憑空杜撰一個。

• 公佈價格 — Bolt：各處皆無，且沒有任何託管端點。LFM2.5-24B-A2B：每百萬輸入 token 0.10 美元，快取費率 0.05 美元，每百萬輸出 1.00 美元，於 Liquid 自家的託管端點提供，並附贈 2 美元起始額度。

最後那組對比是整份比較中最銳利的事實，而且它的走向與大多數人的預期相反：佔用空間較小的模型反而是要付費的那個，佔用空間較大的模型反而是不用付費的那個。Bolt 不買硬體就無法試用。LFM2.5 今天下午就能用一點零頭試用。

速度，以及閱讀數字時有多仔細

兩個模型都沒有獨立的資料中心量測。這是證據的誠實狀態，也限制了可以說的內容。

對於 LFM2.5-24B-A2B，Liquid 報告在 Apple M5 Max 上達到每秒 184 個 token，在 AMD Ryzen AI Max+ 395 上則為 114 個，並宣稱裝置端推論速度最高可比同級 MoE 快 1.7 倍。這些都是筆電級晶片上的廠商數據，未經任何其他人重現，也完全未說明模型在資料中心 GPU 上、同時處理大量請求時會有什麼表現。

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

結構性因素而非實測結果：Bolt 每個 token 讀取 90 億個參數，LFM2.5 則讀取 24.5 億個。在相同記憶體頻寬下，MoE 的讀取量大約與其活躍參數成正比，而低位元專家權重還能藉由縮小每個參數所搬移的位元組數進一步提供助益。LFM2.5 的活躍參數集小了 3.7 倍，而且它以更高的每權重精度運行，因此每個 token 的位元組流量才是應該關注的地方。這是一項論點，主張 Liquid 的模型應該會更快，而不是一項證明它確實更快的實測結果。

哪一個要下載

這裡的分野並不是能力對能力，因為它們嘗試的並不是同一項任務。Bolt 是一個多模態代理，會讀取螢幕截圖並操作瀏覽器，規模為 74B，經過壓縮直到塞得下。LFM2.5-24B-A2B 則是文字代理，旨在完全沒有獨立 GPU 的機器上快速回答。

當代理必須看見——WebArena、PDF、影片幀——或者當工作負載在已內建 Blackwell 等級加速器的機器上離線執行，且你接受自己將是第一個測量其吞吐量的人時，請選用 Bolt。當任務是文字、機器是筆記型電腦、延遲比推理深度更重要，而且重點在於模型能與你其餘應用程式一起放入統一記憶體時，請選用 LFM2.5-24B-A2B。

會改變答案的兩件事：對兩者進行獨立基準測試，以及 Bolt 有任何已公開的託管服務。目前兩者皆不存在。

將它們與託管模型並行執行

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

筆電上的本機 24B 代理會處理例行工作：路由、摘要、工具呼叫格式化，以及那九成從來不需要大型模型的回合。真正需要大型模型的回合仍得有去處，而這正是路由器派上用場之處。OrcaRouter 用單一金鑰提供 200 多個模型，價格是供應商的定價，且加收 0% 加成，因此供應商一降價，我們這邊當天就會同步生效，而其路由 DSL 可讓你用單一呼叫描述一組組合——第一輪先用便宜模型、升級規則、備援——而不是寫成應用程式碼。跨供應商的自動容錯移轉代表上游的容量問題會被重試，而不是直接暴露給你的使用者。

對於任何以本地執行器為基礎進行開發的人來說，這種分工正是小型檢查點仍能保持可行的原因：小模型負責處理大量工作，而無需另一份合約或另一套 SDK，就能觸及昂貴的模型。

什麼能讓它塵埃落定

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

在那之前，這個選擇取決於記憶體預算，而非基準測試。其中一個模型要求你擁有一張具備 24GB Blackwell 等級運算能力的 GPU，並回報你視覺能力與 74B 的蒸餾推理能力。另一個只要求一台筆電，在別人的伺服器上試用每小時僅需幾美分，但為了換得這點，它放棄了視覺與一半的上下文視窗。

數字無法告訴你的是，這一切在實際運作中是否出了問題：針對此類模型有記錄的 AI 事件與代理故障，都收錄在the OrcaRouter AI Incident Archive，其中每筆條目都附有自己的來源、嚴重程度、可信度等級與爭議標記。