Nemotron 3.5 Bolt 24GB 与 Nemotron 3.5 Lightning 30B-A3B：同一家族，截然相反的部署方式

同一家族的两款模型，相隔四个月发布，却是为同一个问题的两个相反方向而打造。NVIDIA Nemotron 3.5 Lightning 30B-A3B于 2026 年 8 月发布，是一款面向数据中心服务的高吞吐文本模型。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB于 2026 年 10 月 15 日发布，是一款能装进笔记本电脑的多模态智能体。Bolt 的总参数量是 Lightning 的两倍，激活参数量是其三倍，而且它能在 Lightning 根本无法启动的硬件上运行。这才是真正区分二者的关键，也是家族相似性最容易误导人的地方。

两者都出自同一套训练配方

NVIDIA 针对这对模型的技术报告明确指出，两个模型都从相同的两个阶段开始：先是对多 token 预测头进行 1000 亿 token 的预热，然后是从下一个更大规模的 Nemotron 3 模型中进行 1 万亿 token 的蒸馏。Lightning 从 Nemotron 3 Super Base 蒸馏而来，Bolt 则从 Nemotron 3.5 Super VL 系列蒸馏而来，这就是为什么 Bolt 能“看”而 Lightning 不能。

在那之后，道路便分岔了，而分岔本身就是全部的故事。

Lightning 会经历一个 210 亿 token 的长上下文阶段，将其扩展到 100 万 token，然后经过 SFT 和 RLVR 后训练流水线，并作为总参数 30B / 激活参数 3B 的文本模型发布，具备 DSpark、DFlash 和 MTP 推测选项，单 GPU 部署目标为一块 H100 或一台 DGX Spark，并使用 NVFP4 权重。

Bolt 通过 Star Elastic 架构搜索从拥有 1200 亿参数的父模型压缩而来，重新接回其视觉塔，经过以视觉为主的监督阶段重新训练，然后在智能体环境中进行端到端强化学习，最后通过量化感知蒸馏将每个专家权重量化至 2.0625 比特。它配备一个草稿模型 LiLiCorr，以及一种部署形态：拥有 24GB 内存，并能与其他应用程序一同运行。

规格对比，并排呈现

• 参数 — Bolt：总参数 74B，激活参数 9B。Lightning：总参数 30B，激活参数 3B。

• 出厂精度 — Bolt：IQ2_XXS 专家模块为每元素 2.0625 比特，NVFP4 Mamba 层，Q8_0 嵌入层和注意力层。Lightning：部署检查点全面采用 NVFP4，并附带用于定制的 BF16 参考版本。

• 上下文 — Bolt：262,144 个 token。Lightning：一百万个 token，这是专门的长上下文训练阶段的成果。

• 模态 — Bolt：输入支持文本、图像和视频。Lightning：仅限文本。Artificial Analysis 上每个模型的条目都在同一面板中以相同的措辞如此说明，这使其成为少数几个无需附加说明即可直接对两者进行比较的行之一。

• 主机硬件 — Bolt：RTX Spark 笔记本电脑、GeForce RTX PC、DGX Spark、DGX Station、RTX PRO 工作站。Lightning：一台 DGX Spark 或 H100，或通过 W4A16 使用 Blackwell 和 Ampere。

• 投机解码 — Bolt：LiLiCorr，一个 1.13B 的起草模型，每步起草七个 token。Lightning：DSpark 面向低并发场景，此外还发布了 DFlash 和 MTP。

• 许可证 — 两者均为 OpenMDW-1.1，且均可用于商业用途。

唯一一个两者都由别人来衡量的地方

这两个模型具备大多数 Nemotron 家族成员所缺乏的一点：在同一个独立评测组中的记录，且测量方式相同。这使得这次家族内部的对决对比异常清晰。

Artificial Analysis 给 Nemotron 3.5 Lightning 的评分为 13，在其 Intelligence Index 上，于 141 个模型中排名第 28 位；Nemotron 3.5 Bolt 74B-A9B 的评分为 21，在其所属类别的 67 个模型中排名第四。这两个类别并不相同——Bolt 是中等规模开放权重模型，Lightning 则是小型模型——因此排名无法直接比较，但这些指数分数是基于相同的评测、采用相同的方法得出的。

速度正是差距发生反转的地方，而这是关于这两者最具决策相关性的一项事实。该评测面板测得 Lightning 的速度为 每秒 307 个输出 token，在该维度上位列 63 款模型之首。它报告 Bolt 的速度为不可用，因为没有公开 API 提供该模型的服务，而面板的速度测量需要依赖 API。关于 Bolt 唯一存在的吞吐量数据来自 NVIDIA 自己：在配备 128GB 内存的 Surface Laptop Ultra 上、挂载 drafter 的情况下，于 AIPerf SPEED-Bench-Coding 上为每秒 83.99 个 token。

把这些放在一起读，这个家族的故事就变得具体了。就我们掌握的数字来看，Lightning 大约比 Bolt 快三倍半，而且可以按 token 租用；在同一个指数上，Bolt 则明显更聪明，却运行在一台谁也租不到的机器上。

选择得以解决的三种方式

如果工作负载是高吞吐量且仅限文本，Lightning 就不是一种妥协，而是更合适的工具。百万级 token 的上下文，每秒 307 个 token 的速度，加上每百万输入 token 六美分、每百万输出 token 二十美分的公开费率，这是一件具体而有用的事，而 Bolt 在任何硬件上都无法在速度或上下文方面与之匹敌。

如果工作负载是视觉类的，那就没什么可权衡的。Bolt 支持图像和视频，而 Lightning 不支持，再多的上下文长度或吞吐量也无法替代一种根本不具备的模态。在 N​VIDIA 自己的表格中，WebArena 视觉那一行——Bolt 为 50.86，而 Lightning 根本没有列出——正是这种差异从规格表走进基准测试时的样子。

如果工作负载必须在无网络环境下运行，那么这两者中只有 Bolt 已经为此完成了打包适配。Lightning 的部署目标是单台 H100 或搭载 NVFP4 检查点的 DGX Spark，这属于服务器；而 Bolt 的目标，则是一台同时还开着浏览器的笔记本电脑上的 24GB 文件。这一区别并不关乎能力，而在于机器所处的位置。

这家人从同时嗑这两对CP中能收获什么

这对产品有意思的地方并不在于谁胜过谁，而在于 NVIDIA 先造出了便宜的那款，然后又花了四个月时间打造昂贵的那款，只为了让它能进入便宜那款去不了的地方。

Lightning 主打吞吐：激活参数少、上下文极长，设计目标就是在单块 GPU 上被反复并发服务。Bolt 主打密度：把庞大的参数规模压缩进固定的内存预算，让单机单人也能在本地获得更接近前沿水平的智能体行为。两者优化的是不同的比率——前者是每块 GPU 每秒能产出多少 token，后者是每台设备每 GB 能承载多少智能——而 Bolt 拿到 21 分、Lightning 只有 13 分，并不代表 Lightning 落败，因为以 Bolt 现有的形态，Lightning 根本无法装进 Bolt 所针对的那台机器。

压缩这一论点本身也有一个数据点。Bolt 的厂商表格将 Lightning 列为其基线之一，而 Bolt 在几乎每一行智能体指标上都胜过它：在 Terminal-Bench 2.1 上是 50.98 对 23.46，在 BrowseComp 上是 66.75 对 36.81，在 Tau3 Banking 上是 17.01 对 9.48，在 GDPVal-AA-V2 上是 28.47 对 18.26。这些是 NVIDIA 自己给出的数字，是在同一张表中比较其自家两个模型得出的，而诚实的解读是：在相同目标规模下，压缩一个 120B 父模型胜过从零训练一个 30B 模型。这正是 Star Elastic 被发明出来所要支持的主张。

这让任何构建智能体的人处于何种境地

这种配对表明的是一种形态，而非赢家。Lightning 处理智能体工作中高流量、长上下文、纯文本的中间部分，在那里吞吐量和上下文是硬约束。Bolt 处理本地的、视觉的、可容忍延迟且无法离开本机的工作。两者都不能替代对方，而 NVIDIA 自己对这一产品系列的定位——Ultra 用于最困难的推理，Lightning 用于吞吐量，Bolt 用于边缘——等于承认这条边界是真实存在的。

两个模型都解决不了的，是技术栈中既非本地、也不属于 NVIDIA 的那部分。我们并不托管这两个检查点；OrcaRouter 目录中没有 Nemotron 条目，因此这两个模型既没有可引用的端点，也没有可报价的费率。网关为混合技术栈所贡献的，是另一面：一个密钥即可访问 200 多个托管模型，按提供商标价透传且不加任何加价，自动故障转移在某个提供商服务降级时生效，以及一套路由 DSL，用于以配置的方式描述跨模型的升级。Bolt 与 Lightning 之间的选择，取决于你的硬件和你的测试框架。当任务超出两者的能力范围，或某个请求必须触达两者都无法胜任的模型时，那部分就存在于端点之后。

先试哪一个

如果你有一块 24GB 的 GPU，而且网络连接时断时续，那么 Bolt 是更有意思的下载选择：它更新、支持多模态，并且能做一些这个系列中其他任何版本都做不到的事。

如果你有 DGX Spark、H100，或者一个延迟本身就是产品的应用，那么 Lightning 自 8 月起已全面可用，有一项独立速度测评显示它在同类中排名第一，已公布价格，并且已经有两个月时间让生态系统去发现它的毛刺。Bolt 才只有一天，其 drafter 是必须进行的第三次下载，而且 N​VIDIA 之外还没有人测量过它的延迟。

两种说法可以同时成立。这正是家庭的意义所在。

记分板所衡量的内容与实际部署所面对的情况之间的那道落差，正是这份记录之所以重要的原因：围绕这一类模型已有记录在案的人工智能故障与智能体事件，都汇集在OrcaRouter AI Incident Archive，其中每一条都带有自己的来源、严重程度、置信度等级和争议标记。