Nemotron 3.5 Bolt 24GB vs LFM2.5 24B-A2B：在 24GB 内运行智能体的两种方式

Here is a problem for anyone comparing these two. N​VIDIA Nemotron 3.5 Bolt 74B-A9B 24GB and LFM2.5-24B-A2B both published benchmark tables that include the same three baseline models — Qwen3.6 35B-A3B, Gemma 4 26B-A4B, and Nemotron 3.5 Lightning 30B-A3B — and the two tables disagree about what those baselines score. On PinchBench, N​VIDIA lists Qwen3.6 at 88.07 and Lightning at 83.43. Liquid AI lists the same two models at 89.93 and 84.20. Same benchmark, same named entries, different numbers, both published this month.

那不是丑闻。那正是自己运行评测框架时的样子，也正是这次对比围绕可验证的内容、而不是围绕正面交锋的分数来写的原因。从某种意义上说，这两个模型也是从相反两端解决同一个问题后得到的答案。

两个模型构建时所依据的约束

两者都是24GB型号。两家实验室都没有用完全相同的措辞这么说，而且这个数字在每种情况下出现的方式也不同。

Bolt is 74B total with 9B active. N​VIDIA's Star Elastic architecture search was given one budget to satisfy — below 24GB at batch size 1 and 128K context — and the resulting checkpoint is what that constraint produced, with expert weights at 2.0625 bits per element. The memory limit is the design input, and the parameter count is the output.

LFM2.5-24B-A2B 的总参数量为 24B，激活参数为 2.45B，而内存占用取决于你选择的文件，而非架构本身。已发布的 GGUF 仓库提供 Q4_K_M（14.53GB）、量化感知的 QAD-Q4_0（13.58GB）、Q5_K_M（17.03GB）、Q6_K（19.69GB）和 Q8_0（25.49GB）。名称中的 24 是参数量，不是占用空间；占用空间是一份菜单。

这一区别能决定很多。Bolt 在推理方面只有一种正式发布配置，而且没有什么需要量化的，因为模型到手时就已经量化了。LFM2.5-24B-A2B 有一个 47.96GB 的原生 BF16 检查点，你不会在笔记本电脑上运行它；还有一组你会在笔记本上运行的社区和第一方构建版本，质量则留给你自行判断。

每个实际上是由什么制成的

• 参数 — Bolt：总计74B，每token激活9B。LFM2.5-24B-A2B：总计24B，每token激活2.45B。

• 架构 — Bolt：Mamba-2 状态空间层与专家混合（MoE）及注意力交替堆叠，采用 LatentMoE 路由，另加 C-RADIO v4-H 视觉编码器。LFM2.5-24B-A2B：40 层——三十个双门控短卷积块和十个分组查询注意力块——每个 MoE 块有 64 个专家，并采用 top-4 路由。

• 来源——Bolt：通过路由引导的架构搜索从 Nemotron 3.5 Super VL 120B-A12B 压缩而来，随后通过量化感知蒸馏进行量化。LFM2.5-24B-A2B：直接训练而成，从一次 33 万亿 token 的预训练运行，历经两阶段中期训练阶段和五阶段后训练流程，最终在智能体框架内进行强化学习。

• 输入 — Bolt：输入文本、图像和视频，输出文本。LFM2.5-24B-A2B：仅支持文本。这是二者之间最难跨越的一条分界线，而且这是架构上的差异，而非调优上的差异。

• 上下文 — Bolt：262,144 个 token。LFM2.5-24B-A2B：131,072 个 token，较上一代的 32,768 翻倍，同时词汇量从 65,000 扩展到 128,000 个 token。

• 语言 — LFM2.5-24B-A2B 列出了十六种，包括阿拉伯语、韩语、泰语、印地语和俄语。Bolt 的模型卡将英语和编程语言列为主要语言，同时支持西班牙语、法语、德语、意大利语和日语。

• 许可证 — Bolt：OpenMDW-1.1。LFM2.5-24B-A2B：LFM 开放许可证 1.0。两者均非 Apache 2.0，且均足够宽松，可用于商业用途，但也足够陌生，值得花律师十分钟看看。

• 发布时的运行时支持——两者均列出 llama.cpp、vLLM 及其各自的边缘格式；LFM2.5-24B-A2B 还提供 MLX 和 ONNX 构建，并提及 SGLang。

基准测试表格，请仔细阅读。

Bolt's vendor table hands it wins on Terminal-Bench 2.1 at 50.98 against 44.38 for Qwen3.6 35B-A3B and 37.22 for Gemma 4 26B-A4B, on BrowseComp at 66.75 against 48.74, and on GPQA Diamond at 86.43 against 83.40. It also prints the rows it loses: AA-Omniscience accuracy at 16.90 against G​emma's 22.17, and PinchBench at 87.82 against Q​wen's 88.07. N​VIDIA chose the peer group as models that fit in 24GB at four-bit — a set defined by the constraint Bolt was engineered against.

Liquid AI 为 LFM2.5-24B-A2B 提供的表格报告称：LiveClaw 为 48.09，而 Qwen3.6 35B-A3B 为 38.19；AutomationBench 为 27.69，而后者为 8.72；ToolSandbox 为 80.71，而后者为 75.02；同时在 GPQA Diamond（74.42）、HLE（7.40）和 SWE-Bench Verified（51.00）上让位于规模更大的模型。其 AA-Omniscience 数值为负，即 -24.90，在该基准的评分体系中，这意味着它会因自信但错误的答案而受到惩罚，而不是仅按准确率评分。

尽管数字不同，两张表在结果形态上仍是一致的：每个模型相对于其规模都在智能体工具使用方面表现强劲，而在知识密集型回忆方面较弱。二者都没有 Artificial Analysis 条目，也都没有托管端点，因此既没有第三方数字来打破平局，也无法在不把两者都下载下来的情况下，在你自己的流量上对它们进行 A/B 测试。

One independent figure does exist for Bolt: an Intelligence Index of 21, fourth of 67 models in its class, on the same panel that scores the dense models it competes with. Liquid AI reports 184 tokens per second on an Apple M5 Max for LFM2.5-24B-A2B, and N​VIDIA reports 83.99 tokens per second for Bolt on an RTX Spark machine running llama.cpp with its LiLiCorr drafter attached. Those two speeds are the most useful numbers either lab published, and they are not comparable — different hardware, different formats, different drafter setups.

每个人想要哪台机器

硬件层面的情况彼此重叠的程度，并没有 24GB 这一说法所暗示的那么高。

Bolt is built for N​VIDIA's own edge stack: RTX Spark laptops arriving 16 October, GeForce RTX PCs, DGX Spark, DGX Station and RTX PRO workstations, with the quantised checkpoint for llama.cpp on Spark and vLLM on DGX, and the BF16 checkpoint named for Ampere, Hopper and Blackwell. The drafter is a separate 1.13B download, and the reference vLLM recipe pins a nightly build, a kernel package from a vendor repository, and a served sequence count of one.

LFM2.5-24B-A2B 在纸面上是两者中更具便携性的一方，它自己也是这么说的：MLX 面向 Apple Silicon 构建，ONNX 面向跨平台运行时，GGUF 用于 CPU 推理，FP8 用于 GPU 服务，而 DSpark 草稿模型则标注为即将推出。13.58GB 的量化版本在 24GB 显卡上留出的余量，比 Bolt 单个 22.02GB 文件再加其 1.73GB 视觉投影器还要多。

最后这笔账才是真正的关键。Bolt 的权重和投影器占用了模型名称所指 24GB 中的 23.75GB，只留下剩余部分让上下文和并发去争抢。LFM2.5-24B-A2B 在 Q4 或 QAD-Q4 下会为同样用途留下大约 10GB。如果你的工作负载是需要大量检索上下文的长时程智能体任务，那么更小的活跃占用和存储占用绝不是安慰奖。

路由层所处的位置

两个模型都不是我们提供的服务，这一点值得直说，而不是加以粉饰：OrcaRouter 目录中并没有 Bolt 或 LFM2.5-24B-A2B，因此这里没有二者的端点，也没有可比较的价格。它们的共同之处在于，它们都是一个技术栈中本地的另一半，而本地的另一半几乎从不孤立存在——一个在眼前这台机器上运行 24GB 模型的智能体，当任务超出其能力时，仍会去寻求更大的模型。

那正是我们负责处理的部分。一个密钥即可按提供商的标价使用 200 多个托管模型，不额外加价，自动故障转移，因此提供商在请求中途发生抖动时会被重试，而不是直接暴露给正在等待的人；还有一套路由 DSL，它把回退链表达为配置，而不是应用代码。如果你要在这两个检查点之间做选择，那么决定是在你自己的硬件和你自己的测试框架中作出的——而围绕它的升级请求、旁路查询和评估，才是要经过网关的那部分。

如何在缺乏共享记分板的情况下做出选择

四个问题比任何表格都能更快地解决它。

智能体需要“看”吗？如果它能读取截图、PDF 或视频，Bolt 是两者中唯一能做到的，那这个问题就没有悬念了。如果它只在文本和工具调用中工作，那多模态能力就是你白白背负的无用负担。

一次对话轮次究竟需要多少上下文？25 万 token 对 131,072，对于仓库规模或文档规模的工作来说，这是实实在在的差距，而且这是唯一一个 Bolt 的压缩真正换来了某种收益的维度——而这种收益不会出现在任何基准测试的栏位里。

What is the machine? A discrete N​VIDIA GPU with 24GB and a tolerance for a pinned nightly vLLM favours Bolt. A Mac, or a mixed fleet where the same build has to run in more than one place, favours the model that ships MLX and ONNX next to its GGUF.

那你相信谁的数字呢？两家实验室都发布了表格，而在各自的表格里，自家的模型在大多数行中都胜出。诚实的立场是：各自都在自己选定的同侪组中表现强劲；两份表格在相同基线上的分歧，提醒人们注意评测框架的方差；而来自构建该模型的实验室的基准数字，是一种关于能力的宣称，而非对能力的测量。

简短的回答

Bolt buys you sight, a quarter-million-token context and the tightest compression anyone has shipped at this size, and charges for it in two-and-a-half gigabytes of headroom and a mandatory N​VIDIA recipe. LFM2.5-24B-A2B buys you portability, a smaller working set and sixteen languages, and charges for it in modality and context.

两者都在 2026 年 10 月相隔四天内发布——LFM2.5-24B-A2B 于 10 月 13 日发布，Bolt 于 10 月 15 日发布——这意味着两者都还没有独立的实绩记录，也都还没有在共享硬件上互相对比测试过，任何宣称其中一方胜出的人，看的是厂商表格，而不是基准测试。把两者都下载下来，运行你自己的评估集，然后保留能把活干完的那个。这是这里唯一尚未由这两家实验室之一发布过的比较。

记分板所衡量的内容与实际部署所面对的情况之间的那道落差，正是这份记录之所以重要的原因：围绕这一类模型已有记录在案的人工智能故障与智能体事件，都汇集在OrcaRouter AI Incident Archive，其中每一条都带有自己的来源、严重程度、置信度等级和争议标记。