Nemotron 3.5 Bolt 与 Nemotron 3 Ultra：7.4倍压缩下什么能存活

同一厂商的两款模型，参数量相差 7.4 倍，而运行所需的硬件则相差约两个数量级。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB于 2026 年 10 月 15 日发布，是一个 24GB 的文件，可在 Spark 设备或 Blackwell GPU 上与你的其他应用一同运行。NVIDIA Nemotron 3 Ultra 550B-A55B自 2026 年 6 月 3 日起已在 Hugging Face 上架，最低要求在 BF16 下使用十六块 H100。

有趣的问题不是哪个更强——答案显而易见，而且毫无悬念。真正的问题是，当你把一个大模型压缩进很小的内存包络时，具体有哪些东西能保留下来，因为这能告诉你小模型能承接哪些工作负载，以及哪些会让它难堪。NVIDIA 自己的研究笔记直接回答了其中一部分问题，而它没有回答的那些部分，才是真正做决策的地方。

无论命名如何暗示，它们都不是父子关系。

显而易见的假设是，Bolt 是缩小版的 Ultra。事实并非如此，而把这一点弄对，会改变你对这个文件的预期。Nemotron 3.5 Lightning，即 2026 年 8 月 11 日的 30B-A3B 层级，是从 Ultra 蒸馏而来的。Bolt 则不是。Bolt 是从 Nemotron 3.5 Super VL——一个 120B-A12B 视觉语言模型——压缩而来，采用 NVIDIA 称为 Star Elastic 的路由器引导搜索，随后进行量化感知蒸馏，降至 IQ2_XXS 格式下每个专家权重 2.0625 比特。

这一谱系解释了那个比任何基准测试行都更重要的差异：Bolt 拥有 C-RADIO v4-H 视觉编码器，可接受图像与视频。Ultra 是文本输入、文本输出，而这并非报告缺口——该检查点根本没有可供评分的视觉塔。更小、更新、经过高度量化的模型能“看见”，而这个家族中最大的推理模型却不能。

压缩保留的内容

Bolt 在 Mamba-2 与 Transformer 混合骨干网络上承载 740 亿参数，每个 token 激活 90 亿。Ultra 承载 5500 亿参数，其中 550 亿处于激活状态。激活参数比为 6.1 比 1，总参数比为 7.4 比 1，这意味着压缩所削减的总容量在比例上多于每个 token 的计算量——模型变窄的速度快于变浅的速度。

根据现有证据，那会产生什么：

• 独立智能 — Artificial Analysis 在其智能指数上给 Nemotron 3.5 Bolt 打出 21 分，在按占用空间筛选的类别中于 67 个模型里排名第四，而该类别的中位数为 8。Ultra 并不属于同一类别，在同一指数版本上的得分要高得多。这就是压缩所付出的可量化代价。

• 独立速度——Artificial Analysis 测得 Ultra 的输出速度为每秒 156.1 个 token，在该页面的 74 款模型中排名第十，处于其最高速度区间。对于 Bolt，相同字段显示为 N/A，因为没有可调用的托管端点。NVIDIA 自身的数据——在 RTX Spark 上通过 AIPerf SPEED-Bench 测得每秒 84 个 token，在 Surface Laptop Ultra 上 llama.cpp 中为 83.99——属于厂商自报，且未获复现。

• 指令遵循——Ultra 在 IFBench 上取得 82.9。对于必须遵守冗长工具策略的智能体来说，这是值得关注的一项，而这类能力正是量化感知蒸馏会不均衡地保留的。

• 长上下文推理——在 1M token 规格下，Ultra 在 AA-LCR 上录得 75.2 分。Bolt 公布的窗口为 262,144 个 token，还要与 KV 缓存、图像和对话共享 24GB。宣称的窗口很宽泛与能否真正用上它是两回事；在这里，更大的模型在这两方面都更胜一筹。

• 事实克制——Ultra 在 AA-Omniscience 幻觉上录得 22.1，非幻觉为 77.91。Bolt 自己的模型卡在非幻觉上录得 61.27，这是它唯一输给规模小得多的 Nemotron 3.5 Lightning 的一行。两个独立迹象指向同一方向：这正是激进 2-bit 压缩代价最大的地方，而且没有任何路由技巧能修复一个编造更多的模型。

部署包络，也就是两者真正分离的地方

这是比较中无法归结为分数的那部分。

• 内存 — Bolt 是一个单一的 24GB 制品，已经过量化，旨在与浏览器和 IDE 在同一台机器上共存。Ultra 在 BF16 下，按其自己的模型卡要求十六块 H100、八块 H200 或八个 GB200 级节点；NVFP4 构建版则将这一最低门槛收窄至八块 H100。这两句话之间的区别，就是一张采购订单与一个采购计划之间的区别。

• 上下文配置——Bolt 在其已发布的 vLLM 配置方案中直接提供 262,144 个 token。Ultra 的配置方案默认使用 256K，并且需要设置一个环境标志才能达到完整的 1,048,576；因此，尽管规格为 1M，面板仍会为 Ultra 记录 262K。请先阅读规格说明，再阅读配置方案。

• 服务栈——Bolt 在 Ampere、Hopper 和 Blackwell 上依托 vLLM 运行，或在 RTX Spark 和 DGX Spark 硬件上依托 llama.cpp 运行，采用允许商用的 OpenMDW-1.1 许可证。Ultra 则在同一许可证下以数据中心级并行能力运行。两者均为开放权重；但只有其中之一是可移植的。

• 提示词成本——Ultra 按每百万输入 token 0.60 美元、每百万输出 token 2.50 美元计量，并享有 73% 的缓存折扣，因此运行一项 Intelligence Index 任务大约只需 0.60 美元——对于这种规模的模型来说确实便宜，而它之所以可用，是因为集群由别人运营。Bolt 则完全没有价格：没有托管端点，没有厂商 API，没有价目表，并且在唯一列出它的独立评测榜单中，速度和成本两项均显示为 N/A。

细读公告，看它说了什么、没说什么

Bolt 的 checkpoint 从 2026 年 10 月 7 日起就挂在 Hugging Face 上，随附的只有一张模型卡。厂商直到 10 月 15 日才发布公告正式点名它——同时提到的还有一个 4GB 的同门型号 Nemotron 3.5 Bolt E4B，面向游戏角色，定档 10 月 23 日。权重比文字说明早八天落地并不罕见，但这确实意味着在这一周里，公开记录中完全没有对该模型的任何解释，而任何在这段时间内写就的记述，都只能依据那张模型卡。

公告同时也是寻找缺失之处的地方。没有托管端点，没有 API，没有费率卡，没有第三方平台对 Bolt 进行计量——也没有任何人在 24GB 权重上运行过独立基准测试。厂商的数字真实且具体，是在配备 128GB 的 Surface Laptop Ultra 上用 llama.cpp 测得的；只是它们尚未在 NVIDIA 之外得到复现。

每个模型适合放在什么位置，以及路由器适合放在什么位置

这两个模型都不在 OrcaRouter 的目录中。我们不托管任何 NVIDIA checkpoint，既没有 Bolt 端点，也没有 Ultra 端点，本文中的任何内容都不构成提供其中任一模型服务的要约。如果你自己运行其中一个或两个，那么单一端点确实能带来的好处，就是让工作流中本地与托管的两部分共用同一把密钥——我们目录中的 200 多款模型都位于同一把 API 密钥和同一份账单之下，按各提供商的标价原样透传，加价 0%，因此供应商调价当天我方即同步生效，而不必等到下次续费。需要完整百万 token 上下文窗口或前端规模推理能力的请求，会发往托管模型；本地文件则承载那些高吞吐、隐私敏感、本就不该离开本机构的工作负载。自动故障转移意味着当上游性能退化时，请求会被转移，而不是直接失败。

放置位置取决于部署计算，而非评分。当数据无法外传、工作负载涉及视频，或用量规模使按 token 计费成为主要成本项时——并且当 262K 窗口和已显现的事实约束差距可以接受时——Bolt 属于工作站。当工作需要百万 token 的处理范围、该系列中最强的指令遵循能力，以及 NVIDIA 目前公布的最低幻觉率时，Ultra 属于按量计费的端点。

谁该行动，谁该等待

如果工作负载是本地运行且涉及视频：现在就行动——Bolt 是该系列中唯一既能装进 24GB、又能“看见”的模型，而在这一体量下，没有任何其他开放检查点能在独立指数上拿到 21 分。如果工作负载是大规模的长上下文文本推理：现在就行动——Ultra 按量计费、经过实测，且每项 Intelligence Index 任务的成本，远比同等规模的模型按理说能做到的要低。

等一下——如果你的决定取决于吞吐量。Bolt 的速度是唯一一个在任何地方都没有独立测量数据的维度，而对于本地部署的模型来说，速度恰恰是你每时每刻都能切身感受到的东西。对 24GB 权重做一次第三方延迟测试，其价值胜过接下来十行厂商基准数据——而在这样的测试出现之前，为 Bolt 做容量规划，就是在围绕一句说法做规划。