Nemotron 3.5 Bolt 74B 与 Nemotron 3.5 Lightning 30B-A3B：相同的配方，两种内存上限

这是 N​VIDIA N​emotron 3.5 家族树上唯一一次比较，双方都由同一团队为同一任务、以两种不同规模打造，而且厂商自己已经做过正面对比。N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB和N​VIDIA N​emotron 3.5 Lightning 30B-A3B都是带有推测解码头的 Mamba-2 混合专家检查点，均在 OpenMDW-1.1 下发布以供商业使用，且都旨在由阅读相关信息的人自行运行，而不是从数据中心租用。Lightning 于 2026 年 8 月 11 日发布。Bolt 的权重于 2026 年 10 月 7 日上线，N​VIDIA 于 10 月 15 日宣布。

差异在于内存上限：一个是24GB，另一个在量化形式下约为16GB，而两者在Artificial Analysis Intelligence Index上相差的8分，正是这一上限所换来的。

一个配方，两种规模运行

Lightning 最先问世，它确立了整个 3.5 代所遵循的形态：一种混合堆栈，将 Mamba-2 状态空间块与专家混合层、注意力层交错排布；多 Token 预测头让模型能够一次性草拟多个 token 并并行验证；以及各自独立的配套草拟器——面向低并发数据中心部署的 DSpark、DFlash，以及后来的 LiLiCorr 草拟器——它们使投机解码成为一种受支持的配置，而非研究中的小把戏。从 N​emotron 3 Ultra 教师模型进行蒸馏，则是这套配方的另一半。

Bolt 是同一套方案，但面向更紧张的预算。其 74B 参数通过 Star Elastic 压缩至 24GB，这是 NVIDIA 的路由引导架构搜索，它接受一个父检查点，并搜索能够满足硬性部署占用限制、同时最小化知识蒸馏损失的每层专家数量和 MoE 中间宽度。在 Bolt 的情况下，搜索被限制在批大小 1 和 128K 上下文下低于 24GB，专家 top-K 从父模型的 22 降至 9，随后专家权重被量化为 IQ2-XXS，每个元素 2.0625 比特，并通过量化感知蒸馏来恢复精度。Mamba 层使用 NVFP4，嵌入层和输出层使用 Q8_0。

Bolt 的父模型不是 Lightning，而是 Nemotron 3.5 Super VL 120B-A12B——NVIDIA 在同一天发布的 1200 亿参数多模态模型，这也是为什么 Bolt 出厂即搭载 C-RADIO v4-H 视觉编码器，而 Lightning 没有。

规格对比，双方在同一行

• 总参数与激活参数 — Bolt：总计 74B，每个 token 激活 9B。Lightning：总计 30B，每个 token 约激活 3B。

• 架构 — Bolt：Mamba-2–Transformer 混合 LatentMoE，外加 C-RADIO v4-H 视觉编码器。Lightning：带注意力的 Mamba-2 混合 MoE，无视觉塔。

• 精度与占用 —— Bolt：IQ2 每元素 2.0625 比特，打包后低于 24GB。Lightning：BF16、NVFP4 及其他量化版本另行发布。

• 上下文 — Bolt：最多 256,000 个 token，各个部署方案可自由使用更少。Lightning：原则上最多 1,000,000 个 token，但在单块 H100 上实际上限约为 256,000。

• 输入与输出 — Bolt：输入文本、图像和视频，输出文本。Lightning：输入文本，输出文本。

• 许可证 — 两者均适用 OpenMDW-1.1，已获 NVIDIA 批准用于商业和非商业用途。

• 推测解码 —— Bolt：通过 DFlash 的 LiLiCorr 草稿模型，参考配方中为七个推测词元。Lightning：MTP 头加上 DFlash 和 DSpark 草稿模型。

• 智能指数 — Bolt：21.4，在其规模类别中 67 个模型里排名第四，由 Artificial Analysis 独立测评。Lightning：12.9，独立测评。

• 价格 — Bolt：任何地方都没有按量计费的费率；Artificial Analysis 未列出输入或输出价格，也没有公开的托管端点。Lightning：根据 Artificial Analysis 的追踪，每百万输入 token 为 0.06 美元，每百万输出 token 为 0.20 美元，缓存输入约为 0.006 美元。

• 输出速度 — Bolt：未发布独立测量数据。Lightning：每秒输出 305 个 token，首个 token 用时 0.57 秒，两项均为独立测量，这在该评测组的榜单上属于最快的数值之一。

供应商自家的头对头对比，请仔细阅读

NVIDIA 为 Bolt 发布的模型卡公布了一个表格，其中 Lightning 是三个基线之一；它值得被当作一种论证而不是记分牌来读，因为该公司挑选的基准测试都是其新模型能获胜的。

• Terminal-Bench 2.1 — Bolt 50.98，Lightning 为 23.46。两者均由厂商运行，且都基于 BF16 Lightning 构建版本。

• GPQA Diamond — Bolt 86.43，而 Lightning 为 75.57。

• BrowseComp — Bolt 66.75，而 Lightning 为 36.81。

• 无工具情况下的 HLE —— Bolt 25.30 对比 Lightning 的 10.47。

• PinchBench —— Bolt 为 87.82，而 Lightning 为 83.43，差距远比其他几项小，这与 N​VIDIA 所称 Bolt 是该基准测试中同类第一的开源模型的说法相符。

• AA-Omniscience 非幻觉——Bolt 61.27 对 Lightning 的 68.81。Lightning 赢下了这一项，而 N​VIDIA 仍然选择公布这一行，这也算是该表格的一个加分点。

• AA-Omniscience 准确率 — Bolt 16.90 对 Lightning 的 16.63。实际上不相上下，而且就绝对值而言，也是表中最弱的一对数字。

那份清单上的每一个数字都是厂商在模型卡中自行报告的，且未经复现。Artificial Analysis 此后独立测得了这两项指数得分——21.4 和 12.9——方向相符，而这是如今所能说的最大限度。

在较小的模型反而是更好答案的情况下

索引差距确实存在，而且它并不是唯一的维度。Lightning 赢下了对特定部署至关重要的三行。

在 Bolt 这一侧，其速度提升的倍数无人测量过。每秒 305 个输出 token、首 token 时间低于一秒，这种响应能力与任何未经测量的 2-bit 74B 检查点目前所能被假定达到的水平完全不在一个层级，而且这是实测结果。Bolt 自己公布的吞吐量为每秒 83.99 个 token，是在 LiLiCorr 草稿模型启用的情况下于 AIPerf SPEED-Bench-Coding 上测得的，出自 N​VIDIA 针对笔记本电脑级机器的研究页面，与评测组的设备不可同日而语。

它的上下文长度是四倍。100 万 token 对 256,000，而这一差异体现在独立的长上下文检索分数上：在 N​VIDIA 的表格中，Lightning 在 AA-LCR 上得到 49.19，Bolt 为 64.06——Bolt 更善于利用长上下文，但两者之中只有 Lightning 宣称提供百万 token 窗口，所以如果工作负载是“读取整个仓库”，上限可能比其内部的检索质量更重要。

它是两者中唯一有定价的。Lightning 的价格为每百万 token 输入 0.06 美元、输出 0.20 美元，这使它成为可调用的基础设施，而不是一个硬件项目。没有人公布 Bolt 的托管费率，因此运行它的唯一方式就是自己拥有那台机器。

Lightning 做不到的是“看”。它仅支持文本，而 Bolt 通过 C-RADIO v4-H 编码器接受图像和视频，在 WebArena 视觉任务上得分 50.86，而 Lightning 在此没有参与记录。如果智能体需要读取屏幕截图、打开 PDF 或驱动浏览器，仅凭这一项就能决定选择——而这一项来自 Bolt 的 Super VL 血统，而非其参数规模。

实际运行 Bolt 到底需要多少成本

NVIDIA 针对 24GB 检查点的参考服务配方并不是一条可以直接粘贴的命令。它会固定一个特定的 vLLM nightly 镜像，安装 b12x 内核包并下载内核，单独获取一个 reasoning-parser 插件文件，然后设置 v2 模型运行器，将线性和 MoE 后端设为 b12x，将注意力和 Mamba 后端设为 FlashInfer，指定显式的 Mamba 缓存 dtype，启用 chunked-prefill 标志，并配置一个投机解码配置，指向带有七个草稿 token 的 LiLiCorr drafter。工具调用和推理解析器都被显式命名，媒体限制将请求上限设为一张图像和一个视频，视频剪枝率为 0.5。

Lightning 的部署方案是一个 Docker 容器、一个 OpenAI 兼容端点，以及一个你也能从托管服务商那里以每百万 token 六美分获得的模型名称。实际上，这一差异就是全部对比：Bolt 是一个周末的工作量加上一台你拥有的机器，Lightning 则是一个下午加上一张账单。

如何选择，以及什么能一锤定音

如果你的工作负载是文本、延迟预算紧张，并且要么上下文需求很大，要么宁愿按 token 付费而不是购买硬件，那就选择 Lightning。其独立表现——同类中最快的实测输出速度、亚秒级首个 token、公开的价格——使其成为该系列中风险最低的选择，而较低的智能得分也已相应体现在定价上。如果你计划将小型本地执行器与更大的托管规划器配对，它也是合适的默认选择，而这正是 N​VIDIA 对它的定位。

如果你的智能体需要处理像素，或者要在没有网络的情况下运行，就选 Bolt。视觉这一行仅它独有，74B 级推理领先八个指数点，而 24GB 的内存上限是本系列中唯一能把 74B 教师蒸馏检查点装进单块消费级加速卡的。要接受这一点：你是在本地运行由 GPU 托管的规划器，并为此付出你目前还无法预测的延迟代价。

对于这两种架构中托管的那一半，OrcaRouter 会让我们实际路由的模型通过单一密钥调用，按提供商的标价计费，加价为 0%，而跨提供商自动故障转移意味着上游的容量问题会被重试，而不是直接暴露出来。我们不托管任何 Nemotron 模型——该目录是经过核查而非假设得出的，这个系列并不在其中——因此本次对比中的本地一侧不会受到我们所做任何事情的影响。路由式方案所换来的是在你评估期间为规划者准备的备选方案，这一点在这里很重要，因为这两个检查点都没有已发布的独立延迟概况，可供你据此来确定生产路径的规模。

能最终决定该选哪个的，是一个尚不存在的数字：在批大小为 1 时，对 24GB 检查点进行的独立吞吐量与延迟测试。在有人公布它之前，支持 Bolt 的理由完全建立在 Lightning 无法匹敌的两点上——参数规模和视觉能力——而支持 Lightning 的理由则建立在四个独立测得的数字上。

数字无法告诉你的是，这一切在实际应用中是否已经出了问题：围绕这一类模型的有据可查的人工智能事故和智能体故障，都收录在OrcaRouter AI 事故档案中，其中每一条记录都附有各自的来源、严重程度、置信度等级和争议标记。