Nemotron 3.5 Bolt 74B 与 LFM2.5 24B A2B：在 24GB 中装下智能体的两种方式

The interesting thing about N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB and Liquid AI LFM2.5 24B A2B is not that one is three times bigger. It is that both are answers to the same constraint — an agent that runs on a machine you own rather than a machine you rent — and they answer it from opposite directions. One compresses a very large model until it fits. The other is designed small from the first token and spends its budget on being fast rather than on being large.

这些数字相近得让人容易混淆。Bolt 是一个 740 亿参数的检查点，每个 token 激活 90 亿参数，以每个专家权重约两比特存储在一个 24GB 文件中。LFM2.5-24B-A2B 是一个 240 亿参数的检查点，每个 token 激活 24.5 亿参数，采用普通精度。两者都是专家混合模型。两者都能在无网络情况下运行。在听起来相似的宣传背后，几乎每一个工程选择都不同。

LFM2.5-24B-A2B 实际上是什么

Liquid AI 的检查点是 LFM2.5 系列中规模最大且最终的成员，也是该系列中最后一个仍待发布的成员。其权重已于 10 月初上传到 Hugging Face，公司于 2026 年 10 月 13 日宣布了它，因此它大致和 Bolt 一样新，也尚未积累多少独立结果。

Architecturally it is a specific bet. Forty layers, of which thirty are double-gated short-convolution blocks and ten are grouped-query attention — a mostly-convolutional stack with attention used sparingly, rather than the Mamba-2/attention interleave N​VIDIA uses. Sixty-four experts per MoE block with top-4 routing, which means the model reads four experts per token out of sixty-four. 2.45 billion parameters active per token against 24.0 billion resident. A 128,000-token vocabulary, 36 trillion training tokens, and a 131,072-token context window.

它是纯文本的，而且在回答前总会先思考——推理轨迹并非可有可无。Liquid 将其与在智能体任务上规模大一半的模型进行对标，并给出 LiveClaw 得分 48.09，而 Qwen3.6-35B-A3B 为 38.19，以支持这一说法。这是厂商在厂商自选基准上进行的比较，应当据此解读，但它所夸耀的激活参数量可以在该模型自身的配置中核实。

Bolt到底是什么

Bolt is not a model that was designed small. It is N​emotron 3.5 Super VL 120B-A12B after N​VIDIA ran Star Elastic over it — a router-guided architecture search that has to satisfy a hard footprint, in this case under 24GB at batch size 1 and 128K context — and then quantised its expert weights to IQ2-XXS at 2.0625 bits per element with quantisation-aware distillation to recover what that cost.

这种压缩的激进程度被 Bolts 的参数量掩盖了。专家 top-K 从父模型中的 22 降至 9，尽管该模型参数量是后者的三倍，这仍与 LFM2.5 的 top-4 几乎相同。视觉塔随后从父模型重新接上，因此 Bolt 可接受图像和视频，而 LFM2.5-24B-A2B 仅接受文本，并且它继承了 256K 上下文窗口，是 Liquid 的两倍。

N​VIDIA's published claim for the compression is a general one worth repeating: for a fixed memory budget, compressing a large model beats training a small one from scratch. Bolt is that claim as an artifact. And N​VIDIA's own framing makes the comparison explicit — its model card states that the G​emma and Q​wen baselines were selected for fitting in 24GB at 4-bit, which is a different route to the same envelope than Bolt's 2-bit weights.

规格对比，双方在同一行

• 总参数与激活参数 — Bolt：总计 74B，每 token 激活 9B。LFM2.5-24B-A2B：总计 24.0B，每 token 激活 2.45B。

• 骨干网络 — Bolt：Mamba-2 状态空间块与混合专家及注意力交错排列。LFM2.5-24B-A2B：三十个双门控短卷积块，外加十层分组查询注意力。

• 路由 — Bolt：压缩后选取前 9 个专家，低于父模型中的 22 个。LFM2.5-24B-A2B：每块 64 个专家，取前 4 个。

• 存储精度 — Bolt：专家层使用 IQ2-XXS，每元素 2.0625 比特，Mamba 层使用 NVFP4，嵌入层与输出层使用 Q8_0。LFM2.5-24B-A2B：全精度权重，厂商还以同系列形式发布了 GGUF、FP8、ONNX 以及若干 MLX 位宽版本。

• 上下文 — Bolt：最高 262,144 个 token。LFM2.5-24B-A2B：131,072 个 token。

• 模态 — Bolt：输入文本、图像和视频，输出文本。LFM2.5-24B-A2B：输入文本，输出文本。

• 许可证 — Bolt：OpenMDW-1.1。LFM2.5-24B-A2B：lfm1.0，年收入低于 1000 万美元可免费用于商业用途，超过则需付费商业许可证。

• 智能指数 — Bolt：21，由 Artificial Analysis 测得。LFM2.5-24B-A2B：该检查点不存在 Artificial Analysis 的评测档案，因此没有可比较的独立评分，本文也不会凭空编造一个。

• 公布价格 —— Bolt：任何渠道均无，且没有托管端点。LFM2.5-24B-A2B：在 Liquid 自家托管端点上，每百万输入 token 为 $0.10，缓存费率为 $0.05，每百万输出为 $1.00，并提供 $2 起始赠金。

最后这组对比是整个比较中最犀利的事实，而且它的方向与大多数人的预期相反：占用更小的那个模型才是要收费的，而占用更大的那个模型反倒不收费。Bolt 不购买硬件就无法试用。LFM2.5 今天下午就能以几乎可以忽略不计的成本试用。

速度，以及如何仔细解读数字

两个模型都没有独立的数据中心测量。这是证据的诚实状态，也限制了所能说的话。

对于 LFM2.5-24B-A2B，Liquid 报告称其在 Apple M5 Max 上达到每秒 184 个 token，在 AMD Ryzen AI Max+ 395 上达到每秒 114 个 token，并声称在设备端的推理速度比同类 MoE 快至多 1.7 倍。这些都是在笔记本电脑级芯片上得出的厂商数据，未经任何其他方复现，也完全无法说明该模型在数据中心 GPU 上、面对大量并发请求时的表现。

For Bolt, N​VIDIA reports 83.99 tokens per second on AIPerf SPEED-Bench-Coding with the LiLiCorr speculative drafter active, on an RTX Spark-class machine. That is also vendor-reported, also unreproduced, and measured on a different benchmark against different silicon, so it cannot be set beside Liquid's 184 and treated as a comparison. The honest statement is that both companies measured their own model on their own preferred hardware and neither number transfers.

这属于结构性差异，而非实测结果：Bolt 每个 token 读取 90 亿个参数，LFM2.5 读取 24.5 亿个。在相同内存带宽下，MoE 的读取量大致与其活跃参数成正比，而低比特专家权重通过减少每个参数移动的字节数，还能进一步提供帮助。LFM2.5 的活跃参数集规模要小 3.7 倍，而且每个权重的运行精度更高，因此每个 token 的字节流量才是值得关注的地方。这是说明 Liquid 的模型理应更快的论据，而不是它确实更快的实测结果。

要下载哪一个

这里的对比并不是能力与能力的对比，因为它们尝试的并不是同一项任务。Bolt 是一个多模态智能体，能够读取屏幕截图，并在 74B 规模下驱动浏览器，经过压缩直到能够适配。LFM2.5-24B-A2B 则是一个文本智能体，旨在完全没有独立 GPU 的机器上快速作答。

当智能体必须“看见”时——WebArena、PDF 文件、视频帧——或者当工作负载在已搭载 Blackwell 级加速器的机器上离线运行时，并且当你接受自己将是第一个测量其吞吐量的人时，请选择 Bolt。当任务是文本处理、机器是笔记本电脑、延迟比推理深度更重要，而且关键在于该模型能与其余应用程序一起装入统一内存时，请选择 LFM2.5-24B-A2B。

会改变答案的有两点：在两者上分别运行的独立基准测试，以及 Bolt 的任何已公开的托管服务。这两者目前都不存在。

将它们与托管模型并排运行

Both of these checkpoints are, by design, things you run yourself. Neither is on our catalogue — the catalogue was checked rather than assumed, and neither the N​emotron nor the LFM2.5 families appear in it — so this section is not a pitch for hosting either one. It is a note about what sits beside them.

笔记本电脑上的本地 24B 智能体处理例行工作：路由、摘要、工具调用格式化，以及那百分之九十从来不需要大模型的轮次。而确实需要大模型的轮次仍得有个去处，这正是路由器发挥作用的地方。OrcaRouter 用一个密钥提供 200 多个模型，按供应商的标价、加价 0%，因此供应商一旦降价，我们这边当天就会生效，而且其路由 DSL 让你可以把一种组合——第一遍用便宜的模型、一条升级规则、一条回退方案——描述为一次调用，而不是写成应用程序代码。跨供应商的自动故障转移意味着上游的容量问题会被重试，而不是抛给你的用户。

For anyone building on a local executor, that division of labour is the reason a small checkpoint stays viable: the small model does the volume, and the expensive model is reached without a second contract or a second SDK.

什么能了结它

Two measurements are missing and both are cheap for someone with the hardware. The first is a like-for-like throughput and latency run: LFM2.5-24B-A2B against the 24GB Bolt checkpoint, same harness, same batch sizes, same context lengths, on the same accelerator. Nobody has run it. The second is a third-party evaluation of LFM2.5-24B-A2B on the benchmarks N​VIDIA used, so that the LiveClaw claim and the Bolt table can be read against each other instead of being quoted in parallel from two different marketing pages.

在那之前，这个选择是内存预算的取舍，而不是基准测试的取舍。一个模型要求你拥有一块具备 24GB 显存、Blackwell 级算力的 GPU，作为回报给你视觉能力和 74B 的蒸馏推理能力。另一个只要求一台笔记本电脑，在别人的服务器上试用每小时只要几美分，但为此放弃了视觉和一半的上下文窗口。

数字无法告诉你的是，这一切在实际应用中是否已经出了问题：围绕这一类模型的有据可查的人工智能事故和智能体故障，都收录在OrcaRouter AI 事故档案中，其中每一条记录都附有各自的来源、严重程度、置信度等级和争议标记。