Nemotron 3.5 Bolt 与 Nemotron 3.5 Lightning：当你同时阅读两列时，NVIDIA 自己的表格说明了什么

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB和NVIDIA Nemotron 3.5 Lightning 30B-A3B是同一家族的两个层级，相隔十周发布，而厂商已经发布了一张将二者正面交锋的对比表。这很不寻常，也很有用：你读到的大多数正面对比表都是由记者或厂商挑选有利比较拼凑而成的，而这一张则是一个实验室在公开场合用自己的新模型对自家的旧模型进行基准测试，并将旧模型列为基线。这仍然是厂商报告的数据，NVIDIA 之外没有人复现过其中任何一行——但其背后的意图毋庸置疑，结果的方向也同样如此。Bolt 拿下了十三行中的十二行。值得弄清楚它究竟输掉了哪一行，以及为什么那一行才是真正有意思的。

家族结构比数字更值得先说。Nemotron 3.5 Lightning 于 2026 年 8 月 11 日发布，作为智能体技术栈的执行层——一个总参数量 30B、激活参数量 3B 的混合模型，NVIDIA 专门从规模大得多的 Nemotron 3 Ultra 中把它蒸馏出来，就是为了让前沿模型负责规划，而让 Lightning 在单块 GPU 上埋头处理工具调用。Bolt 则完全是另一条血脉：它压缩自 120B-A12B 的 Nemotron 3.5 Super VL 模型，而非来自 Ultra，它的存在意义是做一款能塞进 24GB 的视觉语言通才模型。两者都以 OpenMDW-1.1 许可开放权重，都是基于 Mamba-2 混合骨干的稀疏专家混合模型，而且都自带投机解码——Lightning 配有 Multi-Token Prediction 头以及 DFlash 与 DSpark 草稿模型，Bolt 则配有 LiLiCorr 草稿模型，经由 DFlash 驱动，可提前预提出七个 token。

当你必须做决定时，共同的渊源就不再有用，因为这两个模型回答的是不同的问题。一个是廉价的执行者，另一个是本地通才。

按角色而不是按分数来解读表格

下文中的每一个数字都来自 NVIDIA 自己为 Bolt 24GB checkpoint 提供的模型卡，其中将 Lightning 列为基线。Bolt 列是 IQ2，一个 2 比特量化产物。Lightning 列是 BF16，未量化。这种不对称是关于这张表最重要的一点，而且它有利于 Bolt——它在这些行中胜出，同时相对于其父模型压缩了约八倍。

• 通用智能体推理——GDPVal-AA-V2：Bolt 28.47，Lightning 18.26。十点的差距，而这一行也最贴近那个问题：“这个模型在它被打造来处理的那种日常办公类工作上，表现究竟有多好。”

• 终端任务 — Terminal-Bench 2.1：Bolt 50.98，Lightning 23.46。这是榜单上最大的差距，而且并不令人意外，因为 NVIDIA 自己对 Lightning 的指导是，它不应作为主代理。一项独立评估在同一基准上记录到 Lightning 约为 24.6，这与厂商给出的 23.46 足够接近，足以表明该数字是真实的。

• 科学与知识推理 — GPQA Diamond：Bolt 86.43，Lightning 75.57。SciCode：Bolt 41.02，Lightning 31.38。Humanity's Last Exam 不使用工具：Bolt 25.30，Lightning 10.47。在三种不同形式的难题上保持一致。

• 长上下文推理 —— AA-LCR：Bolt 64.06，Lightning 49.19。相差十五分，而在这里，内存约束对两个模型而言都不是限制因素。

• Web 与浏览能动性——BrowseComp：Bolt 66.75，Lightning 36.81。三十分。表中最大的单项差距，也是最直接地反驳 Lightning 作为自主执行者这一想法的差距。

• 工具使用密度——MCP-Atlas：Bolt 52.20，Lightning 46.4。PinchBench：Bolt 87.82，Lightning 83.43。两者的差距比上述各差距都更小，这与 Lightning 实际的设计目标一致：短小、高频的工具步骤。

• 视觉 — WebArena 视觉：Bolt 50.86，Lightning 没有条目。这不是报告缺口。Lightning 是文本输入、文本输出；它没有可供评分的视觉编码器。

Lightning 唯一胜出的那一行，以及为何它并非噪声

AA-Omniscience 非幻觉：Nemotron 3.5 Lightning 68.81，Nemotron 3.5 Bolt 61.27。在同一评估的准确率部分，两者相差不到三分之一分——Bolt 为 16.90，Lightning 为 16.63——这使得非幻觉部分的差距成为全部关键，而不是四舍五入造成的假象。这个更小、更旧、未量化的模型，在说出自己不知道的事情时明显更为克制。

这是一个真实的发现，而且它有一个合理的机制。Bolt 通过带有量化感知蒸馏的激进 2 比特量化实现了它的占用空间；这条流水线中有损的部分正是支配校准不确定性的部分。Lightning 更小，但以完整的 BF16 精度运行，而且它的蒸馏目标是推理模型，而不是压缩率。如果你的智能体的失效模式是一个自信的错误答案并传播到行动中，那么这一行就是最应该被重点权衡的——再高明的路由技巧也修复不了一个更爱编造的模型。

厂商很少会发布一张包含自家新机型落败行的表格。这张表却做到了，这是一个小小的证据，说明该表格并非纯粹是宣传。

服务成本才是真正的第二维度

上面的分数并不是决策的全部依据，因为这两个模型的运行成本并不相同。

• 激活参数——Bolt 每 token 激活约 9B；Lightning 每 token 激活约 3B。更大的模型在每个 token 上都要消耗三倍的计算量，始终如此。

• 内存占用 — Bolt 是一个 24GB 的文件，所有内容都已压缩；Lightning 是一个 30B BF16 检查点，需要单块 GPU，可轻松容纳于 RTX 5090、DGX Spark 或 Jetson 设备上。

• 上下文——两者的标称均为 1M tokens，但实际都更窄。{{1}}Lightning 在单张 H100 上能提供 256K，再往上内存计算就变得棘手；{{2}}Bolt 公布的窗口为 262,144，而该窗口与 KV 缓存、图像和工具结果共享同样的 24GB。{{/2}}{{/1}}

• 速度宣称 — NVIDIA 声称，Lightning 通过其 MTP 和 DFlash/DSpark 草稿模型，输出速度最高可达同尺寸模型的 4 倍；而 Bolt 的设计目标是解码速度至少达到每秒 80 个 token，在 RTX Spark 上的 AIPerf SPEED-Bench 中实测为 84，在配备 128GB 内存的 Surface Laptop Ultra 上运行 llama.cpp 时测得 83.99。两项均为厂商数据。NVIDIA 之外的任何人都未曾复现其中任何一项。

• 计量 —— 无论是我们，还是我们能为你指出的任何平台，都不提供托管价格。无论哪种方式，成本都落在你的硬件上，这正是为什么活跃参数数量比在托管对比中更重要。

该小组能测量什么，不能测量什么

Artificial Analysis 已收录 Nemotron 3.5 Bolt 74B-A9B，并在 Intelligence Index 上给它打 21 分，在其同规格类别的 67 个模型中排名第四，而该类别中位数为 8。其速度和每任务成本字段显示为 N/A，因为没有可调用的托管端点。这两个空白如实反映了该模型的现状：其智能下限已获独立验证，而性能上限则没有。

截至撰写本文时，Artificial Analysis 尚无 Nemotron 3.5 Lightning 的条目，这使得整个比较只能依赖 NVIDIA 自己发布的数据卡。唯一存在的独立数据点——LLM Stats 在 Terminal-Bench 2.1 上约 24.6 的验证结果，与厂商的 23.46 一致——支持而非反驳厂商的数字。就这张表而言，这令人放心，但并不能替代第二套测试框架。

如何真正选择

设计意图在大多数情况下会先于基准测试决定结果。从构造上看，Lightning 就是一个执行者：NVIDIA 自己的指导方针是让前沿模型负责规划、由 Lightning 运行循环，而它在表中表现最好的那些行是高频工具调用的行，而不是自主智能体的行。从构造上看，Bolt 则是一个通才：同一张表显示，它在浏览器自主操作和终端工作方面遥遥领先，而这些恰恰是 Lightning 从来就不该承担的偏规划型任务——并且它是二者中唯一能“看见”的那一个。

这两个模型共同为之构建的组合架构是：规划器、执行器和本地专家。由于两个检查点都不带托管价格，这一拆分就落在你自己的硬件上，而置于其前方的单个端点承担了真正有用的工作：一条路由规则，把简短的工具调用循环送往 Lightning 部署，把涉及视觉与浏览器操控的请求送往 Bolt，而任何需要真正前沿推理的任务则交给托管模型——全都位于同一个密钥之后，并在托管环节性能下降时跨上游提供商进行故障转移。这条规则存在于配置中，而不是存在于每一个服务里，这正是路由层与重写之间的差别。

悬而未决的关键在于一次独立的运行。如果第三方在 Bolt 上复现出 Terminal-Bench 与 BrowseComp 的差距，那么 24GB 检查点就确实是更强的通用模型，而 30B 层级的理由便收窄为纯粹的吞吐经济性。如果复现不出来，那么诚实的解读是：2 比特量化的 74B 与 BF16 的 30B 之间的差距，比某家厂商的表格所暗示的更小——而 Lightning 获胜的那一行“非幻觉”，其分量也应比它在模型卡片底部的位置所暗示的更重。