Nemotron 3.5 Bolt 74B 对比 Nemotron 3 Ultra：1.5 个指数点，七倍的参数量

NVIDIA Nemotron 3.5 家族中最令人意外的数字，并不是其旗舰的体量，而在于NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB——一个 740 亿参数的检查点，以每权重 2 比特的精度被压缩进 24 GB，仅以 1.5 分以内的差距落后于NVIDIA Nemotron 3 Ultra——也就是家族其余成员蒸馏自的那个 5500 亿参数模型——在 Artificial Analysis 独立运行的智能指数上，二者为 21.4 对 22.9。参数量是它的七倍，每 token 的激活算力是它的六倍，换来的差距却足以淹没在基准测试的误差棒里。Bolt 的权重于 2026 年 10 月 7 日现身 Hugging Face，NVIDIA 的公告随后于 10 月 15 日发布；Ultra 则于 2026 年 6 月 4 日发布。

这两个模型不可互换，而它们存在差异的那些地方，比头条分数更有启发意义。压缩保留了什么、丢弃了什么，在公布的数值中都能看到，而它们并不是同一批行。

每一个是什么

Ultra 是上一代的旗舰，也是 NVIDIA 蒸馏流水线核心的教师模型。它是一个总参数量 550B、激活参数量 55B 的 Mamba-2 混合模型，具备多 Token 预测能力，以 OpenMDW-1.1 发布，并附带训练数据和配方，专为长时间运行的智能体任务构建，支持最多一百万个 Token 的上下文，以及每个请求 65,000 个 Token 的输出上限。NVIDIA 自己声称它是其发布窗口期内智能水平最高的美国开放权重模型，而独立记录在很大程度上支持了这一说法：评测小组在其推理配置下给它打出 22.9 分，实测每秒输出 156 个 Token，首 Token 时间 1.29 秒，端到端响应时间中位数为 19 秒。

Bolt 是新一代中的边缘档位，直接意义上并非蒸馏版 Ultra。它的父模型是 NVIDIA Nemotron 3.5 Super VL 120B-A12B，即 NVIDIA 随之一同推出的 1200 亿参数多模态模型。压缩由 Star Elastic 完成，这是 NVIDIA 的路由器引导架构搜索，其优化目标是实现最低的知识蒸馏损失，同时满足批大小为 1、128K 上下文下低于 24GB 的硬性占用限制——将专家 top-K 从 22 降至 9，并将专家权重量化至 IQ2-XXS、每个元素 2.0625 比特，同时通过量化感知蒸馏来恢复精度。它搭载 C-RADIO v4-H 视觉编码器，因为其父模型是多模态的。

两侧的独立行

以下所有内容除非另有标注，均来自 Artificial Analysis，这正是该对比具有可用性的原因：两个模型均由同一评估者在同一测试框架下运行。

• 智能指数 — Bolt 21.4；Ultra 22.9。两者均经独立测量。

• GDPval-AA（归一化）—— Bolt 0.240；Ultra 0.257。在一个基于真实职业交付物构建的基准上，二者相差 1.7 分。

• SciCode — Bolt 0.397；Ultra 0.403。基本持平。

• Humanity's Last Exam，无工具 — Bolt 24.7%；Ultra 28.4%。这里的四个百分点差距是这份列表中相对而言最大的。

• AA-LCR 长上下文检索 — Bolt 69.7%；Ultra 79.3%。十个百分点之差，也是 2 比特压缩代价最清楚的证据。

• AA-Omniscience — Bolt 准确率为 17.1%，非幻觉率为 56.3%；Ultra 准确率为 22.6%，非幻觉率为 70.3%。旗舰模型既知识更丰富，校准也更好，这是该页面上最不令人意外的结果。

• Terminal-Bench 4.0（更难的集合）——两者得分均为零。两个模型都解不出这一层级，包括旗舰模型在内。

• 上下文窗口 — Bolt：根据模型说明卡，最高可达 256,000 个 token，而面板记录为 262,144。Ultra：据 NVIDIA 称最高可达 1,000,000 个 token，最大输出为 65,000 个 token。

• 输入 — Bolt：输入文本、图像和视频，输出文本。Ultra：输入文本，输出文本。旗舰产品的发布材料中没有任何内容声称有视觉塔。

• 价格 — Bolt：无。24GB 检查点没有公布按量计费费率，面板也未列出其输入或输出数据。Ultra：每百万输入 token 0.60 美元，每百万输出 2.50 美元，缓存输入为 0.16 美元，实测每个 Intelligence Index 任务花费 0.60 美元。

• 速度 — Bolt：无独立测量数据。Ultra：每秒输出 156.1 个 token，首 token 延迟 1.29 秒，每次响应推理时间中位数为 14.6 秒。

• 资源占用 — Bolt：在 IQ2 下为 24GB，可部署在单块 A100、H100 或 Blackwell 芯片上。Ultra：多加速器部署；NVIDIA 自己为这一系列中的教师检查点给出的方案中，将四块 B200 或八块 H100 列为最低配置，而 Ultra 是该系列中规模最大的成员。

为什么索引差距小于大小差距，以及这意味着什么

有两种诚实的解释，而二者可能都部分属实。

第一点是，Intelligence Index 是一个更偏重流程而非记忆召回的综合指标。Bolt 因 2 比特量化丢失了其存储的事实——你可以在准确率各行中看到这一点——但仍保留了足够的思维链、工具调用和结构化输出行为，从而在综合任务上得分。请注意，Ultra 的优势恰恰集中在记忆至关重要的地方：长上下文检索、全知准确率、幻觉率，以及需要事实而非方法的困难科学问题。

第二点是，在强大的父模型上进行架构搜索，比从小模型从头训练更能有效利用固定预算，这正是 NVIDIA 在 Bolt 文档中明确提出的论点。拿一个 120B 的多模态教师模型，去搜索能塞进 24GB 的最大学生模型，与预训练一个 30B 模型是两回事，而由此得到的 74B/9B 检查点，其定位相当于一个异常高效的 74B 模型所处的位置。

这并不意味着 Bolt 会取代 Ultra。一个更频繁地承认不确定性的模型（非幻觉率为 56.3%，而对比对象为 70.3%，并且是朝着错误的方向），加上从长上下文中检索的可靠性更低，对于人们实际提出的问题来说，是一个更差的助手。对于主要由流程组成的任务——调用工具、填写表单、编辑文件、读取屏幕截图并点击正确的位置——它则是一个更好的助手。

Ultra 做不到的两件事

Bolt 的优势很有限，而且这两点都是结构性的，而非数值上的。

它跑得起来。一个 24GB 的检查点能在个人拥有的硬件上运行，无需网络、没有按 token 计量的计价器，也不需要容量协商。Ultra 的智能只能通过 API 获取，价格为每百万 token 输入 0.60 美元、输出 2.50 美元，每个索引任务大约花费 0.60 美元。对于它这一档的模型来说，这个价格确实很低，这也是为什么托管方案是真正可行的选择，而不是一种妥协——但它仍然是一条需要联网、并且要信任别人服务正常运行时间的路径。

它具备视觉能力。Bolt 的 C-RADIO v4-H 视觉编码器为它提供图像和视频输入，NVIDIA 的模型卡显示其在 WebArena 视觉上达到 50.86，在 BrowseComp 上达到 66.75。Ultra 是一个文本模型。如果智能体的工作涉及截图、PDF、仪表盘读取或带视觉状态的浏览器自动化，那么无论出什么价，都无法用老一代旗舰来替代它。

如何选择

如果工作负载以推理为主且仅涉及文本——多步骤分析、大批量文档、在大型代码仓库上编码，或任何出错代价高昂的场景——就选 Ultra。它的独立评分几乎在各方面都胜过 Bolt，价格在高智能档次中属于最低之列，而且其吞吐量是实测得出的，而非凭空假设。

如果工作负载运行在你掌控的硬件上、需要查看数据，或者必须在网络不可用时仍持续运行，那就选 Bolt。1.5 个百分点的指数差距真实存在，而且足够小，以致决策通常取决于部署方式而非质量表现；而在两次发布中，更值得报道的事实是：N​VIDIA 交出了一个 24GB 的文件，其得分与自家 550B 旗舰模型相差不到两个点。

有一条值得点明的中间路线，因为这是 NVIDIA 对产品系列的定位方式，而不是单模型买家会采用的方式：一个小型本地执行器负责工具调用和屏幕读取，一个更大的托管模型负责规划和困难推理。这种架构需要一种可靠的方式，跨不止一个提供商访问托管的那一半，这正是 OrcaRouter 的故障转移的用途——在一个端点背后跨提供商自动重试，使用一个密钥还能以提供商标价访问 200 多个模型，且附加 0% 的加价。我们不托管任何 NVIDIA 模型；Nemotron 系列不在我们的目录中，这里也没有任何内容声称要提供它。重点只是，双层智能体设计需要第二层可路由，而单个硬编码的供应商端点正是这种设计通常失败的方式。

什么会改变这个页面

两项测量。第一项是在 24GB 检查点上独立进行的吞吐量与延迟测试，它将要么证实、要么彻底推翻将其用作交互速度下本地执行器的理由；如今唯一可获得的数字是 NVIDIA 自己在 AIPerf SPEED-Bench-Coding 上给出的每秒 83.99 个 token，那是在笔记本电脑级机器上测得的，无法与评测小组的测试平台相比。第二项是在由第三方控制的量化方案下，对 2 比特权重上的智能体基准测试进行独立重跑——厂商的表格显示，Bolt 在 Terminal-Bench 2.1 上以近 27 分的优势击败 Ultra，而这一说法在没有外部证实的情况下正承担着巨大的论证分量。

这一切都不构成回避该模型的理由，而只是一个了解其历史的理由：这一类模型背后有据可查的 AI 事件与智能体故障，均收录于 OrcaRouter AI 事故档案，其中每一条目都附有自己的来源、严重程度、置信度评级以及争议标记。