Nemotron 3.5 Bolt 24GB 對決 LFM2.5 24B-A2B：在 24GB 內運行 Agent 的兩種方式

對任何要比較這兩者的人來說，這裡有個問題。N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB與LFM2.5-24B-A2B兩者都發布了基準測試表，其中包含相同三個基線模型——Qwen3.6 35B-A3B、Gemma 4 26B-A4B，以及 Nemotron 3.5 Lightning 30B-A3B——但這兩張表對於這些基線模型的得分並不一致。在 PinchBench 上，N​VIDIA 列出 Qwen3.6 為 88.07，Lightning 為 83.43。Liquid AI 則將相同的兩個模型列為 89.93 和 84.20。相同的基準測試、相同的具名項目、不同的數字，兩者都在本月發布。

那不是醜聞。那只是你自己執行測試框架時會看到的樣子，而這也正是為什麼這份比較是圍繞可驗證的事項來寫，而不是圍繞一對一的比分。從某種意義上說，這兩個模型也是同一個問題從相反兩端求解而得的答案。

兩個模型建構時所依據的限制條件

兩者都是 24 GB 的機型。兩個實驗室都沒有用完全一樣的說法來表明這點，而且這個數字在各自的情況中是以不同方式出現的。

Bolt 總參數量為 74B，其中啟用參數為 9B。NVIDIA 的 Star Elastic 架構搜尋只有一個必須滿足的預算——在批次大小 1、128K 上下文時低於 24GB——而最終產出的檢查點正是這個限制條件所產生的結果，專家權重為每個元素 2.0625 位元。記憶體限制是設計輸入，參數量則是輸出。

LFM2.5-24B-A2B 的總參數量為 24B，其中 2.45B 為作用中參數，而記憶體佔用取決於你選擇的檔案，而非架構本身。已發布的 GGUF 儲存庫提供 14.53GB 的 Q4_K_M、13.58GB 的量化感知 QAD-Q4_0、17.03GB 的 Q5_K_M、19.69GB 的 Q6_K，以及 25.49GB 的 Q8_0。名稱中的 24 是參數量，不是佔用空間；佔用空間是一份選單。

這個區別影響很大。Bolt 在推論方面恰好只有一種出貨配置，而且沒有什麼需要量化的，因為模型送來時就已經量化了。LFM2.5-24B-A2B 有一個 47.96GB 的原生 BF16 檢查點，你不會想在筆電上執行；另外還有一組你會採用的社群與第一方建置版本，品質則交由你自行判斷。

每個實際上是由什麼製成的

• 參數 — Bolt：總計 74B，每個 token 啟用 9B。LFM2.5-24B-A2B：總計 24B，每個 token 啟用 2.45B。

• 架構 — Bolt：Mamba-2 狀態空間層與混合專家和注意力交錯，LatentMoE 路由，以及 C-RADIO v4-H 視覺編碼器。LFM2.5-24B-A2B：40 層 — 三十個雙閘控短卷積塊和十個分組查詢注意力塊 — 每個 MoE 塊有 64 個專家，並採用 top-4 路由。

• 來源 — Bolt：由路由引導的架構搜尋從 Nemotron 3.5 Super VL 120B-A12B 壓縮而成，接著以量化感知蒸餾進行量化。LFM2.5-24B-A2B：直接訓練，從一次 33 兆詞元的預訓練開始，歷經兩階段中期訓練與五階段後訓練流程，最終在代理執行框架內進行強化學習。

• 輸入 — Bolt：文字、圖像與影片輸入，文字輸出。LFM2.5-24B-A2B：僅支援文字。這是兩者之間最難跨越的一條界線，而且這是架構上的差異，而非調校上的差異。

• 上下文 — Bolt：262,144 個權杖。LFM2.5-24B-A2B：131,072 個權杖，是前一代 32,768 的兩倍，同時詞彙量也從 65,000 擴增至 128,000 個權杖。

• 語言 — LFM2.5-24B-A2B 列出十六種，包括阿拉伯語、韓語、泰語、印地語和俄語。Bolt 的模型卡將英語和程式語言列為主要語言，同時也支援西班牙語、法語、德語、義大利語和日語。

• 授權條款 — Bolt：OpenMDW-1.1。LFM2.5-24B-A2B：LFM Open License 1.0。兩者皆非 Apache 2.0，且兩者都寬鬆到足以用於商業工作，但也陌生到值得請律師花十分鐘。

• 發佈時的執行階段支援 —— 兩者皆列出 llama.cpp、vLLM 及其各自的邊緣格式；LFM2.5-24B-A2B 另提供 MLX 與 ONNX 組建，並指名 SGLang。

基準測試表格，請仔細閱讀

Bolt 的廠商表格讓它在 Terminal-Bench 2.1 上以 50.98 勝過 Qwen3.6 35B-A3B 的 44.38 與 Gemma 4 26B-A4B 的 37.22，在 BrowseComp 上以 66.75 勝過 48.74，並在 GPQA Diamond 上以 86.43 勝過 83.40。它也列出自己落敗的列：AA-Omniscience 準確率為 16.90，低於 Gemma 的 22.17；PinchBench 為 87.82，低於 Qwen 的 88.07。NVIDIA 選擇的同儕群組是能在四位元下塞進 24GB 的模型——這個集合是由 Bolt 在設計時所針對的硬體限制所定義。

Liquid AI 針對 LFM2.5-24B-A2B 的表格顯示，LiveClaw 為 48.09，對比 Qwen3.6 35B-A3B 的 38.19；AutomationBench 為 27.69，對比 8.72；ToolSandbox 為 80.71，對比 75.02，但在 GPQA Diamond 的 74.42、HLE 的 7.40 以及 SWE-Bench Verified 的 51.00 上，則讓給了較大型的模型。其 AA-Omniscience 數值為負，即負 24.90，而在該基準的評分方式中，這表示它會因為自信地給出錯誤答案而受罰，而非僅依準確度計分。

兩份表格對結果的整體樣貌看法一致，即使數字有所不同：每個模型相對於其規模，在代理式工具使用上都表現強勁，但在知識密集型召回上則較弱。兩者都沒有 Artificial Analysis 的收錄項目，也都沒有託管端點，因此沒有第三方數字可以打破平局，也沒有辦法在不把兩者都下載下來的情況下，用你自己的流量對它們進行 A/B 測試。

對 Bolt 而言，確實存在一項獨立數據：在與其競爭的稠密模型相同的評測面板上，其 Intelligence Index 為 21，在同類 67 個模型中排名第四。Liquid AI 回報 LFM2.5-24B-A2B 在 Apple M5 Max 上達到每秒 184 個 token，而 NVIDIA 回報 Bolt 在搭載其 LiLiCorr 草稿器的 llama.cpp 的 RTX Spark 機器上達到每秒 83.99 個 token。這兩個速度是兩家實驗室所發表過最有用的數字，而且它們無法互相比較——硬體不同、格式不同、草稿器設定也不同。

每個人各自想要哪一台機器

硬體情況彼此重疊的程度，比 24GB 這個框架所暗示的還低。

Bolt 是專為 NVIDIA 自家的邊緣堆疊所打造：10 月 16 日推出的 RTX Spark 筆電、GeForce RTX PC、DGX Spark、DGX Station 與 RTX PRO 工作站，其中 Spark 上的 llama.cpp 和 DGX 上的 vLLM 使用量化檢查點，另有以 Ampere、Hopper 與 Blackwell 命名的 BF16 檢查點。drafter 是另一個 1.13B 的下載項目，而參考的 vLLM 配方固定採用 nightly 建置、來自廠商儲存庫的核心套件，以及設為 1 的服務序列數。

LFM2.5-24B-A2B 在紙面上是兩者中更具可攜性的那個，而且它也表明了這一點：針對 Apple Silicon 的 MLX 建置、用於跨平台執行環境的 ONNX、用於 CPU 推論的 GGUF、用於 GPU 服務的 FP8，以及列為即將推出的 DSpark 草擬器。13.58GB 的量化建置在 24GB 顯示卡上留下的餘裕，比 Bolt 單一 22.02GB 檔案加上其 1.73GB 視覺投影器還要多。

最後那個算術才是實務上的關鍵所在。Bolt 的權重與投影器佔用了模型名稱所指的 24GB 之中的 23.75GB，剩下的部分則留給上下文與並行數互相競爭。LFM2.5-24B-A2B 在 Q4 或 QAD-Q4 下，為相同用途留下大約十 GB。如果你的工作負載是需要大量檢索上下文的長時程代理任務，那麼更小的作用中與儲存佔用並不是安慰獎。

路由層的定位

這兩個模型都不是我們提供的，而這件事值得直說，不必加以粉飾：OrcaRouter 的型錄並未收錄 Bolt 或 LFM2.5-24B-A2B，因此這裡兩者都沒有端點，也沒有價格可比較。兩者的共同點在於，它們都是堆疊中本地的那一半，而本地的那一半幾乎從來不會單獨存在——一個在面前機器上執行 24GB 模型的代理，當任務超出其能力時，仍會伸手去取更大的東西。

那是我們確實負責處理的部分。用一把金鑰即可取用 200 多個託管模型，並以供應商定價計費，且不加收任何費用，自動容錯移轉讓供應商在請求進行到一半時不穩會重新嘗試，而不是把錯誤直接丟給正在等待的人，還有路由 DSL，讓你能用設定而非應用程式碼來表達備援鏈。如果你是在這兩個檢查點之間做選擇，那麼決定是在你自己的硬體與你自己的測試框架上做出的——而圍繞其周遭的升級處理、附帶查詢與評估，才是會經過閘道的那部分。

如何在沒有共用計分板的情況下做選擇

四個問題比任何表格都更快解決這件事。

這個代理需要看得見嗎？如果它會讀取螢幕截圖、PDF 或影片，那麼 Bolt 是這兩者中唯一辦得到的，那問題就結束了。如果它是在文字與工具呼叫中運作，那麼多模態能力就是你白白背負的重量。

一輪實際上需要多少上下文？25 萬個 token 相較於 131,072，對於儲存庫規模或文件規模的工作而言是真正的差異，而這是唯一一個層面，Bolt 的壓縮在其中換得了某樣不會出現在任何基準測試欄位裡的東西。

這台機器是什麼？一張具備 24GB 的獨立 NVIDIA GPU，而且能接受鎖定版本的 nightly vLLM，會讓 Bolt 更受青睞。Mac，或同一個組建必須在多個地方執行的混合機群，則會偏好在其 GGUF 旁同時提供 MLX 和 ONNX 的模型。

那你要相信誰的數字？兩家實驗室都發表了表格，其中自家模型在大多數橫列中勝出。誠實的立場是：各自在其所選的同儕群體中都很強；兩份表格在相同基準上的分歧，提醒了我們測試框架變異的存在；而來自打造該模型之實驗室的基準測試數字，是關於能力的宣稱，而非對能力的測量。

簡短的回答

Bolt 為你換得視覺能力、二十五萬詞元的上下文，以及這個規模下最緊實的壓縮，代價是 2.5 GB 的餘裕空間和一套強制搭配的 NVIDIA 配方。LFM2.5-24B-A2B 為你換得可攜性、更小的工作集和十六種語言，代價則是模態與上下文。

兩者都在 2026 年 10 月相隔四天內發布——LFM2.5-24B-A2B 於 10 月 13 日，Bolt 於 10 月 15 日——這意味著兩者目前都還沒有獨立的實績紀錄，也還未在共用硬體上互相比較評測，而任何宣稱誰勝出的人，看的是廠商表格，而不是基準測試。把兩者都下載下來，跑你自己的評估集，然後留下能把工作完成的那一個。這是這裡唯一尚未由這兩家實驗室之一發布過的比較。

計分板衡量的項目與部署實際遭遇的狀況之間的落差，正是這份紀錄之所以重要的原因：與此類模型相關的已記錄 AI 失效與代理事件，都收錄在 OrcaRouter AI 事件檔案庫，其中每一筆條目都附有自己的來源、嚴重程度、可信度等級與爭議旗標。