Nemotron 3.5 Bolt 发布：NVIDIA 的 24GB 2-Bit Checkpoint 究竟包含什么

的代码仓库NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB于2026年10月7日出现在 Hugging Face 上，然后安安静静地在那里待了八天。10月15日，NVIDIA 宣布了它——一篇博客文章、一份新闻编辑室稿件，以及一个标注着该日期的研究页面——这意味着这个故事中有意思的部分不是发布本身，而是那段空白期。在这八天里，任何人关于 Nemotron 3.5 Bolt 所能知道的，只有模型卡和一组 safetensors 所说明的内容，其他一切都只是推断。如今这段空白期已经结束，而值得精确说明的是，它的结束究竟澄清了什么，因为人们关于这个模型反复传播的许多说法来自那个代码仓库，而不是来自官方公告，而这两者并不是同一份文件。

现在可以确定的是，用一段话概括，就是这样。N​emotron 3.5 Bolt 74B-A9B 24GB 是一个 740 亿参数的混合专家视觉语言模型，每个 token 激活 90 亿参数，于 2026 年 10 月 15 日以 OpenMDW-1.1 许可证发布，其专家权重以每元素 2.0625 比特存储，因此整个模型能装进 24GB。它旨在 RTX 和 DGX Spark 硬件上运行本地智能体工作——工具调用、浏览、终端使用。它在 Ollama 上是一个 25GB 的 tag，带有 256K 上下文窗口。它不在任何托管 API 上，也没有价格。那句话中有一部分是独立测得的，其余则是厂商自己的说法。

两个日期，以及该引用哪一个

这两个日期之间确实存在实质性的差别，而它决定了你应该如何阅读本文的其余部分。

Hugging Face 仓库创建于 2026 年 10 月 7 日 17:50 UTC。其中的模型卡带有一个 Release Date 字段，其值为 Hugging Face 10/15/2026。NVIDIA 自己针对该检查点设立的研究页面标注着 发布于：2026 年 10 月 15 日。宣布 Bolt 档位的厂商博客文章日期为 2026 年 10 月 15 日，并毫不含糊地表示 Super VL 和 Bolt 74B-A9B“现已可用”。

所以，诚实的解读是：10月15日是发布日期，10月7日则是那个文件夹出现的时间。任何把10月7日说成发布日的人，引用的是一个文件时间戳；任何说10月15日的人，引用的是厂商。不过，这八天间隔之所以重要，原因并不在日期本身。它意味着，在超过一周的时间里，这个模型一直处于这样一种状态：仓库是唯一的公开界面——没有公告，没有定价页面，没有排行榜条目，也没有NVIDIA的人说明它是做什么用的。在那段时间里写下的每一份关于Bolt的早期描述，包括现在流传的那些，都是根据那张模型卡写出来的。事实证明，那张模型卡是准确的。这一点值得直说，因为这类情况通常的结果并非如此。

仅凭仓库本身能证明什么

本节中的所有内容早在NVIDIA开口之前就能从模型卡和配置文件中读到，而这一切至今仍然属实。

• 参数规模——总计 740 亿，每个 token 激活 90 亿。属于稀疏专家混合架构，而非稠密模型。

• 架构 — 采用 LatentMoE 主干与 C-RADIO v4-H 视觉编码器的 Mamba-2 与 Transformer 混合模型。配置中将该类注册为 NemotronH_Omni_Reasoning_V3。

• 存储精度——在路由专家和共享专家的 FC1 与 FC2 层上采用 IQ2_XXS，每个元素 2.0625 比特，绝大部分权重都集中在这里。Mamba 线性层采用 NVFP4，而嵌入、输出头、注意力以及 LatentMoE 权重则采用 Q8_0。

• 上下文 — 最多 256K 个 token，在部署配方中则为 262,144。

• 输入和输出 — 输入文本、图像和视频；输出文本。

• 许可 — OpenMDW-1.1，并且卡片明确写道：“可商用或非商用。”

• 基座与来源——模型卡声明其基座模型为同名的 BF16 检查点，并声明其与基座模型的关系为量化，且数据集标签指向 NVIDIA 的 Nemotron 预训练与后训练数据集集合。

• 模型日期——2025年12月至2026年5月，后训练数据截止于2026年5月。如果你在意新鲜度，请仔细读这一点：该模型是2026年发布的，而其依据的数据在发布前四个半月就已停止更新。

• 运行时 — 在 N​VIDIA Ampere、Hopper 和 Blackwell 上使用 vLLM，RTX Spark 和 DGX Spark 则使用 llama.cpp。Ollama 的说明对限制更为直白：CUDA 部署已有文档记录，而 Apple Silicon 和 Metal 目前不受支持。

公告补充了什么

供应商资料补充了三件代码仓库无法告诉你的事。

首先，是家族定位。Bolt 被定位为 N​emotron 家族中的边缘层级，位于面向常驻服务器代理、拥有 120B 参数的 N​emotron 3.5 Super VL 之下，而在它之上则没有明确的对应产品——N​VIDIA 自己的表述对它们做了排序：Super VL 和 Bolt“覆盖了从大型企业服务器到边缘设备与本地硬件的全部代理部署范围。”面向对话式代理与物理代理的 40 亿参数模型 N​emotron 3.5 Bolt E4B 4GB 将于 10 月 23 日发布。

第二，是压缩这件事，这才是这里真正新颖的工程主张。Bolt 并不是一个先按小规模训练、再做量化的模型。它是 Nemotron 3.5 Super VL——总参数 120B、激活 12B——经过 Star Elastic 处理后的产物，也就是 NVIDIA 的路由引导式架构搜索，其硬性约束是在批大小为 1、上下文为 128K 的情况下占用内存低于 24GB。专家 top-K 从父模型的 22 降到了 Bolt 的 9，MoE 的中间层宽度按层逐一搜索，随后压缩后的网络被量化，并经过量化感知蒸馏来把精度夺回来。NVIDIA 给出的结论才是最有趣的部分，而且这是一个真实的立场，不是自夸：在固定的内存预算下，把一个大模型压缩到目标规模，胜过从零训练一个小模型。这是一个可以验证的主张，而 NVIDIA 之外还没有人验证过。

第三，厂商给出了两个排行榜名次：在 PinchBench 上，其同类开源模型中排名第一；在 BrowseComp 上，开源模型中排名第二。这两者都是 NVIDIA 对自家模型相对于其自行定义的类别所作的描述。

公告所没有补充的是：一个对外提供服务的端点。没有托管 API，没有按 token 计费的价格，也没有办法在不获取其运行所依赖的硬件的情况下调用 N​emotron 3.5 Bolt。已对该模型进行评分的 Artificial Analysis 正是出于这个原因，将其速度和成本字段列为不可用：没有可公开获取的 API 可供测量。

NVIDIA 外部无人运行过的那部分

这正是文章必须放缓节奏的地方，因为对于一个如此规模的模型而言，已被测量出的内容与已被断言的内容之间的差距异常之大。

在实测方面，有一个数字，而且是个好数字：Artificial Analysis 将 Nemotron 3.5 Bolt 74B-A9B 在其 Intelligence Index 上评为 21 分，这使其在同类比较的 67 个模型中排名第四。这是对实际 2-bit 检查点的独立测量，而非 BF16 参考构建，也是目前关于该模型所能获得的最有用的单一数字。

在断言的一方，是其余的一切。模型卡包含一个十三项基准测试的表格，共有四列——BF16 的 Qwen3.6-35B-A3B、BF16 的 Gemma 4 26B-A4B、BF16 的 Nemotron 3.5 Lightning 30B-A3B，以及 IQ2 的 Bolt——其中每一行都由 NVIDIA 生成，包括三个基线列，NVIDIA 选择它们是因为它们在 4 比特量化下能放进 24GB。Bolt 在十行中是加粗的胜出者，在三行中不是胜出者：AA-Omniscience 准确率，其中 Gemma 4 26B-A4B 得分为 22.17，而 Bolt 为 16.90；AA-Omniscience 非幻觉，其中 Nemotron 3.5 Lightning 30B-A3B 得分为 68.81，而 Bolt 为 61.27；以及 PinchBench，其中 Qwen3.6-35B-A3B 得分为 88.07，而 Bolt 为 87.82。公布你输掉的三行，是对厂商有利的一点，并不会改变这张表的实质：未经复现。

这些速度数字值得单独成段，因为它们与营销宣传相抵触。NVIDIA 自己的测量表——在配备 128GB 内存的 Surface Laptop Ultra 上，于 Windows 11 ARM64 环境中用 llama.cpp 测得——显示 Bolt 在 AIPerf SPEED-Bench-Coding 上为每秒 83.99 个 token，落后于 Qwen3.6-35B-A3B 的 96.63 和 Gemma 4 26B-A4B 的 100.56。在同一页面上，跨真实智能体轨迹的端到端回放时长为 Bolt 600.80 秒，而 Qwen3.6 为 453.97 秒，Gemma 为 480.68 秒。其卖点是每 GB 的智能，而不是速度，而厂商自己的表格与这一卖点相符，而非与“速度最快”的说法相符。

所以证据的格局是这样的：一个独立的综合评分，还算体面；一张没人复现过的厂商基准测试表；一张厂商在笔记本上跑出来的速度表，N​VIDIA 之外没人跑过；以及零个独立的延迟测量数据。任何报道 Bolt 的 PinchBench 数字、却不说这数字是谁做出来的文章，都应视为不可靠——包括任何与本文结论一致的文章。

与它一同到来的是什么？

模型发布很少只是权重而已，而对于一个没有 API 的东西来说，Bolt 的配套阵容比寻常更庞大。

LiLiCorr 推测式草稿模型随它一同发布——不包括共享嵌入和输出头，它有 11.3 亿个参数，并与目标模型联合训练；NVIDIA 报告称，在 vLLM 中，当并发度为 64、草拟七个 token 时，贪心解码的平均接受长度为 4.68，概率采样下为 4.25。该草稿模型是一个单独的可下载检查点，而非运行时标志，它正是 RTX Spark 所引用的 84 TPS 数字背后的机制。

框架支持落地得很快。Ollama 在三个标签下列出了nemotron-3.5-bolt——一个默认标签、一个 74B-A9B 标签和一个 IQ2 标签——每个都是 25GB，具备 256K 上下文以及文本加图像输入，并为 Claude Code、OpenCode、Hermes Agent 和 OpenClaw 提供一行式启动器。除此之外，还有来自 NVIDIA 的 GGUF 构建、一连串社区 4-bit 与 8-bit 量化版本，以及在公告发布后一天内就出现的 MLX 转换。对于一个能在单台 24GB 设备上运行的检查点而言，这套生态在四十八小时内到位，才是真正的信号：说明它是一件可用的成品，而非演示品。

对于任何打算使用它的人来说，实际的警告是：24GB 这个数字是权重的下限，而不是工作负载的上限。图像、视频帧、对话历史和工具结果都会共享上下文预算，而 Ollama 自己的说明指出，可用上下文取决于可用内存。一个能轻松放下的 25GB 下载，并不等同于一个能轻松放下的 256K-token 会话。

这让你处于什么境地，又没让你处于什么境地

如果你的工作负载是本地且具智能体性质的——在你自己的设备上使用终端、浏览网页、调用工具、调试代码——那么 Nemotron 3.5 Bolt 74B-A9B 24GB 如今是一个站得住脚的选择，它有一个独立评分，还有一组你可以自行检查的权重。其背后的压缩论证确实很有趣，许可证允许商业使用，而且配套工具在一天之内就出现了。

如果你的工作负载需要从你不拥有的某处运行的代码中调用，那么这个模型目前不是一个选项，而“我该如何使用它”的诚实答案是：你要么自己在 N​VIDIA 硬件上运行它，要么就等着。我们没有想当然，而是检查了我们自己的目录，上面没有 N​VIDIA 模型——所以这里没有什么可供我们路由的，说别的就是在撒谎。OrcaRou​ter 确实提供的是混合部署的另一半：当请求对于 2 比特本地检查点来说太难、太长或太陌生时，你会调用的那些模型，通过一个密钥即可访问 200 多个模型，按提供商的标价计费，不加任何加价，并在提供商出现波动时自动故障转移。将本地 Bolt 与路由 API 配对是一种合理的架构。假装 Bolt 在路由侧则不是。

值得关注的不是下一张基准测试表。而是 NVIDIA 之外的任何人，是否会在读者实际拥有的硬件上，发布针对 24GB 检查点的延迟测试；以及托管端点是否真的会出现。在这两者之一发生之前，这份规格说明只是一个承诺，而一个指数得分是唯一在背后支撑它的东西。

这样的结果也提醒我们，模型出错早已有记录：此类模型背后的 AI 事件和智能体故障，均收录于OrcaRouter AI Incident Archive，其中每个条目都附有自己的来源、严重程度、置信度等级和争议标记。