Nemotron 3.5 Bolt 74B 发布日期：NVIDIA 将 74B 智能体模型塞进 24GB

NVIDIA Nemotron 3.5 Bolt 74B-A9B 将于2026年10月15日（星期四）发布，NVIDIA Nemotron 3.5 Bolt E4B 则紧随其后，于10月23日（星期五）发布。这两个日期解答了一个预热悬念：10月14日，NVIDIA 的 AI 账号发帖称“本周有这么多模型发布！我们自己也有一个即将到来……⌛️”，却没有点名。查证那条预热值得花上两分钟，因为它的揭晓方式很不寻常——这条推文所暗示的公告，前一天就已经完整发布了，就在一篇日期为10月13日的 NVIDIA 博客文章中，文中点明了两个模型、两个日期、内存占用和推理运行时。所以，这不是泄密，也不是传闻。这是一次宣传不足的发布，而那条预热只是提醒，并非独家爆料。

以下内容要做的，是把 NVIDIA 真正白纸黑字写明的东西，与公司外部尚无人测量过的部分区分开来——而对一款今天就发布的模型而言，后者恰恰构成了那些真正有看头的栏目中的大部分。

挑逗，以及它最终变成了什么

在把其他任何事定下来之前，有两件事值得先敲定，因为它们恰恰是那种会在汇总过程中被抹平的细节。第一，时间顺序。NVIDIA 的博文《一切就绪：全球 PC 应用生态已为 NVIDIA RTX Spark 做好准备》的时间戳为 2026-10-13T12:00Z。那篇“我们中的一员即将到来”的帖子发布时间为 2026-10-14T20:29Z——大约三十二小时后。这条推文只是一个指向，而非一手来源；任何把这条推文当作公告的报道，都是在依据错误的文件来写。

其次，"自己人"这个说法在这里绝非虚言。NVIDIA 在此不只是供应商，它还是本周的平台供应商。同一篇 10 月 13 日的文章带来了 10 月 16 日上市的 RTX Spark 笔记本、同日首次亮相于 NBA 2K27 的重新构建的 DLSS 5 AI 模型、结束 beta 测试的 NVIDIA PAIR，以及 Broadcast 2.3。Bolt 74B 是这一周里的一款语言模型，而这一周 NVIDIA 要发布好几款类型迥异的模型。如果你是冲着某一款产品而来的，那这就是相关报道令人困惑的原因。

用他们自己的话说，NVIDIA承诺了什么

核心主张简短而具体。NVIDIA 将 Nemotron 3.5 Bolt 74B-A9B 描述为“一款专为在 RTX Spark 上运行本地智能体而打造的全新 LLM”，它以“一个 740 亿参数、90 亿激活参数的混合专家（MoE）模型”形式构建，并“借助先进的量化感知训练技术，通过 2 比特量化压缩进 24GB 显存，从而保持质量”。

那个句子中有三样东西在起作用：

• 激活 9B，而非 74B。这是一个稀疏 MoE。每个 token 的路由开销取决于激活路径，而不是总参数量，这正是 74B 模型居然会被宣传可用于笔记本电脑的原因。

• 2 比特，刻意为之。这不是对 BF16 版本的社区量化，而是 NVIDIA 称其采用量化感知技术训练、力求在该位宽下保持质量的模型。能否真的保持，要靠测量而非声称——见下文台账。

• 24GB 是目标容量上限。NVIDIA 将这一取舍表述为“速度与智能之间的最佳平衡：比大多数流行的稠密模型更快，同时在相近的内存占用下比大多数流行的 MoE 模型更聪明”。这是 NVIDIA 自家的定位，无人复现。

在接入方面，NVIDIA 明确点名了这些运行时：发布时即支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio，此外还可通过 Hermes、OpenClaw 等 agent 直接调用。而在许可方面，该文章称 Bolt 74B 是"完全开源……包括训练数据、权重和配方"——这与 NVIDIA 对 Nemotron 系列其他模型所采用的说法如出一辙。

为什么关键数字是 24GB，而不是 74B

这里的头条数字是 74B。而真正挑大梁的数字是 24GB，理由很直接：24GB 是桌面级加速器的容量规格。它是一块高端消费级显卡的容量，而在笔记本这边，它正是 NVIDIA 这一周所围绕搭建的框架——RTX Spark 机型的统一内存最高可达 128GB、AI 算力可达 1 petaflop，而这些笔记本本身将于 10 月 16 日到来。

把这些放在一起，这个卖点就一目了然了。一个激活参数为 9B 的 MoE，其权重在 2-bit 下仅占 24GB，这意味着同一套构建既能装进工作站显卡，也能装进第二天就要出货的笔记本电脑，而且还能为应用程序和第二个小模型留出余量。这与藏在 API 背后的托管式前沿模型有着本质不同的部署逻辑，也正是为什么 NVIDIA 自己的一句话描述里写的是“本地智能体”，而不是“廉价推理”。

制衡之处在于：2-bit 量化目标本身就是对模型所能达到水平的一种约束。任何与总规模相近的 BF16 模型进行的质量对比，都是在比较不同的产物，而 NVIDIA 是有意选择了这种产物。评价 Bolt 74B，应该拿它与其他 24GB 级别的本地构建版本比，而不是与一个根本装不下的全精度检查点比。

账簿：已确认、已声明但未测量，以及未知

在第一周而非第三周读到这一点，其全部价值就在于精确弄清一个事实究竟归在哪一列。

• NVIDIA 已确认：模型名称、74B 总参数 / 9B 激活参数的 MoE 结构、24GB 的 2-bit 占用、10 月 15 日这一日期、五个具名运行时、通过 Hermes 和 OpenClaw 实现的智能体访问，以及权重、训练数据和配方均开源的断言。

• 已声明但未经衡量：质量主张本身。公告中声称"在相近内存占用下比大多数主流 MoE 模型更智能"，以及"比大多数主流稠密模型更快"，却未附上任何基准测试表。目前似乎尚不存在针对 Bolt 74B 的独立评估。

• 截至撰稿时仍未知：上下文窗口；所指定的许可证（NVIDIA 称其开源，但本文中并未指明是哪一种）；在 24GB 档位下的确切推理吞吐量；此次发布是仅提供可下载的权重，还是也通过 API 提供服务；2-bit 是否是唯一公布的精度；以及该架构与 NVIDIA 已在 BF16 和 NVFP4 构建中发布的 Nemotron 3.5 Lightning 系列之间的血缘有多近。

最后那个未知数才是值得盯住的。NVIDIA 自己的命名同时带着这两个数字——“74B-A9B”以及更早的“30B-A3B”——所以两者在纸面上是可比的：总参数量大约是 Lightning 模型的 2.5 倍，激活参数量则是 3 倍。这个比例能否在 2 比特压缩下依然成立，正是一次独立基准测试才能定论的事。

Bolt E4B 是该家族的另一半，它是一款不同的产品。

Nemotron 3.5 Bolt E4B 将于 10 月 23 日发布，它并不像其命名所暗示的那样，是 74B 的小型同门。NVIDIA 称其为"面向 NVIDIA ACE 的第三代小型语言模型（SLM）"，ACE 是该公司的游戏内 AI 角色套件——这条血脉，公司可追溯至第一代在 PUBG 中的测试版，以及第二代在 Gamescom 上的 Aniimo 预览。

其公布的设计目标是游戏导向而非智能体导向：4GB 的占用、“快速的首 token 时间”、“一种新的对话模式，有助于让回复保持简洁且适合语音输出”、一个推理开关，以及为了多轮工具使用而将应用状态作为依据。NVIDIA 在发布的同时，还安排了一场在 SkyrimNET 中的试用，这是一个支持云端和本地推理的 Skyrim NPC 模组平台，从同一天开始。

所以，如果你是从那条推文过来的，以为只有一个模型，那你实际上会得到两个：它们日期不同、信封不同、任务也不同——10月15日是24GB本地代理，10月23日是4GB游戏角色。

如何在不把路线图押在它上面的情况下评估它

本地模型刚发布时，尴尬之处在于：你还没法回答唯一真正重要的问题——这个 2-bit 检查点在你的工作负载上是否经得起考验——也没法回答第二个问题：有没有可供对比的托管路线。这两个缺口都是暂时的，而且两者都不是围绕一张并不存在的基准表来做规划的理由。

务实的做法是把这两个决策分开。把 Bolt 74B 作为实验，在你已有的 24GB 上限内本地运行，而生产路径继续使用当下任何可调用的方案。后半部分正是路由基础设施发挥价值的地方：一个密钥即可按供应商标价、以 0% 加价访问 200 多个模型，这意味着尝试第二个或第三个候选模型只需改一下配置，而不是再签一份合同；而跨供应商的自动故障转移则意味着未经检验的本地构建永远不会成为在线智能体的单点故障。

这也是解读英伟达自身表述的诚实方式。“专为在 RTX Spark 上运行本地智能体而打造”陈述的是模型在哪里运行，而不是它得分多少。把 10 月 15 日这个日期视为一个问题变得可回答的时刻——而不是答案本身。

什么会改变这篇文章？

三件事，大致按它们会多大程度改变局面来排序。

• 一个有明确名称的许可证和一个公开的权重仓库。“完全开源，包括训练数据、权重和配方”是 NVIDIA 这篇博文中力度最强的说法，也最容易被验证。在许可证被明确点名、文件可供下载之前，这个说法还只是一个承诺。

• 首个独立基准测试。真正有意思的对比，并不是拿 Bolt 74B 去比一个它从未与之竞争的全精度 70B 级模型，而是把 2-bit 的 Bolt 74B 与所有同样能装进 24GB 的其他构建放在同一套测试框架下比较。

• 一个托管端点。没有它，就没有可争论的价格，也没有可供路由的目标。如果出现了可对外服务的版本，那么与已列入你候选名单的模型之间的定价对比就会变得具体，而透传定价当天就值得核对。

至少在其中一个真正落地之前，正确的姿态是保持兴趣，而不是做出承诺。预告是真的，日期是真的，模型也是真的。评估则不是。

值得认真回答的问题

Nemotron 3.5 Bolt 74B 和 Nemotron 3.5 Lightning 30B-A3B 是同一个模型吗？

不。它们是同一代中形态不同的不同条目：按照 NVIDIA 自己的命名，Bolt 总参数为 74B、激活 9B，Lightning 总参数为 30B、激活 3B。Bolt 还以 2-bit、24GB 的占用发布，而 NVIDIA 已发布 BF16 和 NVFP4 版本的 Lightning 系列。它们是否共享同一架构，公告并未说明。

你能在 24GB 的台式机显卡上运行 Bolt 74B 吗，还是只能在 RTX Spark 笔记本上运行？

NVIDIA 明确的限制条件是占用空间，而非机器——2 比特下的 24GB——而所提及的运行时是 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio，它们并非 NVIDIA 专属。RTX Spark 是 NVIDIA 营销所指向的方向，但公告中没有任何内容将其列为必需条件。

OrcaRouter 是否托管 Nemotron 3.5 Bolt 74B？

今天还不行，而且目前也还没有可供托管的东西——NVIDIA 尚未为其公布任何可用端点或价格。如果情况有变，该模型即可通过与目录中其他所有模型相同的密钥调用，按供应商的标价计费，不额外加价。

对于一个失效模式尚未被记录在案的模型来说，有用的对照物是别处已经出错的记录：这类模型周围已有记录的 AI 事件和智能体故障，都收录在OrcaRouter AI Incident Archive中，其中每条条目都带有自己的来源、严重程度、置信度等级和争议标记。