Nemotron 3.5 Bolt 24GB：NVIDIA 究竟在一个 24GB 文件里放了什么

标题上的数字不是参数量，而是字节数。2026年10月15日，NVIDIA 发布了NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB，一款视觉语言智能体模型，其740亿参数在大多数人实际会下载的格式中占用23.75GB——一个22.02GB的GGUF文件加一个1.73GB的视觉投影器文件。这两个数字都来自已发布仓库自身的文件清单，而非博客文章，它们也正是该名称以数字结尾的原因。这就是那个数字所换来的东西、它所掩盖的东西，以及它并不包含的东西。

发布了什么，以及何时发布

NVIDIA 的新闻编辑室将 10 月 15 日定位为一次家族扩展，而非单一模型的发布：Nemotron 3.5 Super VL——一款拥有 1200 亿参数、激活参数为 120 亿的多模态模型——与 Bolt 检查点一同亮相，而体量小得多的同门产品 Nemotron 3.5 Bolt E4B 4GB 则定于 10 月 23 日发布。Bolt 加入了 Nemotron 3.5 Lightning（8 月）和 Nemotron 3 Ultra 的行列，这个家族如今已覆盖数据中心推理、高吞吐量服务以及本地边缘智能体。

这次发布确实是全新的，同时它也比公告本身略微更早一些。Hugging Face 仓库nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB创建于 2026 年 10 月 7 日；其中的模型卡标注的发布日期是 10 月 15 日，而 NVIDIA 自家研究页面也正是在这一天被打上“已发布”的印记。文件在公众视野中静静搁置了八天，期间没有一句解释，这对于与硬件配套、在保密协议下协调发货的厂商来说是一种常态——RTX Spark 笔记本电脑的日期是 10 月 16 日，即公告发布的次日——而值得弄清楚的是，这个模型公开记录中的哪一半源自营销决策，哪一半源自文件列表本身。

740亿个参数如何装进24GB

两种机制，而且它们是可以分离的。

首先是结构性的。Bolt 并非从零开始训练的较小模型，而是通过 NVIDIA 称为 Star Elastic 的算法对 Super 3.5 VL 父模型进行压缩的产物，这是一种由路由器引导的架构搜索，必须满足一个约束——在批大小为 1、上下文为 128K 时，部署占用低于 24GB——同时尽可能少地损失知识蒸馏精度。它产生的是一个总参数 74B / 激活 9B 的混合专家模型，专家 top-K 固定为 9，而父模型使用的是 22。NVIDIA 自己对这一结果的表述直白且可验证：在固定内存预算下，压缩一个大模型胜过训练一个小模型。

第二个是精度，而大部分节省正源于此。

• 专家权重——路由和共享的FC1和FC2层量化为IQ2_XXS，每个元素2.0625位，按参数数量计算，这构成了模型的大部分。

• Mamba 层 — NVFP4，一种 4 位浮点格式，并且仅用于额外精度值得多占字节的那些层。

• 嵌入、输出头、注意力以及潜在 MoE 权重 — Q8_0。

• 恢复——量化感知蒸馏，而非事后最近邻舍入处理，这正是压缩模型与损坏模型之间的区别。

把这些放在一起读，“24GB”就不再是一句营销总结，而变成了一项预算分配。2 比特专家每字节成本低廉且数量众多；对稳定性至关重要的层则保留 4 或 8 比特。

24GB 这个数字，已对照文件核对过

该主张经得起审计，而情况并非总是如此。

• GGUF 权重 — 22,018,326,528 字节，即十进制 22.02GB，位于单个文件中。

• 视觉投影器 — 1,733,692,736 字节，即 1.73GB，作为 mmproj 单独发布，llama.cpp 正是通过它接收图像和视频输入。

• Safetensors 构建 — 同一模型以可直接用于 vLLM 的分片形式总计 24.12GB，分布在 90 个文件中，略高于标称值。

• BF16 参考模型 —— 149.8GB，分布于 63 个分片，单独发布，供希望微调而非推理的用户使用。

在此基础上，还有两个需要坦诚说明的注意事项。首先，权重并不等于一个正在运行的模型。NVIDIA 发布的 vLLM 方案将 KV 缓存固定为 fp8，并将服务上下文设为 262,144 个 token，且max-num-seqs 1——即单个并发序列。这正是“能塞进 24GB”与“能在 24GB 里跑得快”之间的差别，而这类细节从来不会出现在以内存大小为卖点的标题里。其次，24GB 是架构搜索所依据的数字，而不是在你的机器上测得的数字：驱动开销、操作系统以及笔记本电脑上其他所有东西都不包含在这个数字内，这正是为什么宣传语是“与你的应用一起运行”，而不是“取代它们运行”。

速度声明，以及用于测量它的机器

NVIDIA 的设计目标是至少每秒 80 个 token，并在 AIPerf SPEED-Bench-Coding 上报告了 83.99。这个数字要有意义，需要三部分背景信息：它是在 Windows 11 ARM x64 上用 llama.cpp 生成的，运行于一台配备 128GB 内存的 Surface Laptop Ultra，并挂接了 LiLiCorr 推测性草稿模型，且每步草拟七个 token。草稿模型并非可有可无的点缀——它是一个 1.13B 的伴随检查点，其全部目的就是提高接受长度（NVIDIA 报告称，在 vLLM 中并发数为 64 时，贪心解码下的均值为 4.68，采样下为 4.25）。把草稿模型去掉，你测量的就是另一个模型了。

第二个速度数字更有意思，因为它衡量的是完成时间而非速率：在 AA-AgentPerf Local 上，回放时长为 600.80 秒，而 Qwen3.6 35B-A3B 为 453.97 秒，Gemma 4 26B-A4B 为 480.68 秒，Qwen3.8 27B 为 1,043.28 秒——这些全部出自 NVIDIA 自己的表格，且都运行在同一硬件上。Bolt 在这一行胜出，因为它比更小的模型更快跑完相同的智能体轨迹，却在吞吐量这一行输给另外两者，为 83.99 token/秒，对比 96.63 和 100.56。「快」（fast）与「迅速」（quick）并不是同一种度量，而这是一款用后者换取前者的模型。

独立测量说明了什么

关于 Bolt 的公开记录中，有一个数字并非出自 NVIDIA：Artificial Analysis Intelligence Index 给它的评分为21，这让它在同类 67 款模型中位列第四。该评测面板也没有给出它的速度和成本，因为没有可调用的公开 API——而且它把该模型的输入模态列为文本和图像，而非视频，这一解读比厂商的说法范围更窄。

同一页面还指出，该模型在接受评估时生成了 2.3 亿个 token，相比之下中位数仅为 1 亿，页面因此将其判定为极其啰嗦。在同一个任务上产生更多 token 的推理并不一定就更差，但在本地设备上却要付出代价，因为那里的每一个 token 都是靠风扇转出来的。

其他所有在流传的内容均为厂商自报。NVIDIA 自己的十三项基准测试表——Bolt 在其中于 PinchBench 上领跑其内存级别，并在 WebArena 和 BrowseComp 上位列第二——所对比的模型，部分是因能在 4 位量化下装进 24GB 而选出的，而这个同行群体是由一项 Bolt 被设计来满足的约束所定义的。这并非不诚实；它也不是对一般智能体模型的排名，而其中唯一一个结果相反的单元格颇具启发性：在同一张表中，Bolt 在 AA-Omniscience 准确率上为 16.90，落后于 Gemma 4 26B-A4B 的 22.17。

什么不在盒子里？

没有端点。没有按量计费的费率，没有提供它的服务商，也没有办法在你自己的流量上评估它，除非完成部署。取而代之的是随发布而非数月之后才落地的运行时支持：{{1}}llama.cpp{{/1}}和{{2}}GGUF{{/2}}检查点、{{3}}Ollama{{/3}}、{{4}}LM Studio{{/4}}、用于微调的{{5}}Unsloth{{/5}}，以及用于{{6}}DGX Spark{{/6}}上量化检查点和其他地方{{7}}BF16{{/7}}检查点的{{8}}vLLM{{/8}}。{{9}}NVIDIA{{/9}}自己的博客逐一点名了这五项，而这里的真正产品正是这种广度——一个{{10}}24GB{{/10}}的文件，只有当加载它的东西已经存在于你的机器上时才有用。

硬件覆盖范围比发布日围绕 RTX Spark 笔记本电脑的说法所体现的更广：GeForce RTX PC、DGX Spark、DGX Station 和 RTX PRO 工作站均有提及，而模型卡在 vLLM 路径下列出了 Ampere、Hopper 和 Blackwell。

该许可证是 OpenMDW-1.1，它的宽松程度足以让人在其之上进行构建，而它的陌生程度又足以让法律审查成为一道实打实的步骤、而非走个形式——在架构决策依赖于它之前，这一点值得了解。

NVIDIA 自家技术博客中的一处复制粘贴失误，把检查点列表放在了标题“Nemotron 3.5 Super VL 74B-A9B 24GB”下，而不是 Bolt 下。这是快速发布中的一处笔误，而不是该系列分出了分支，但它及时提醒人们：厂商在发布当天写好的页面，不过是盖上了发布日期的草稿。

面向也会调用非自有模型的团队

agent 技术栈中本地运行的那一半与托管的那一半通常属于同一个项目，而 Bolt 只解决其中一半。OrcaRouter 并不托管任何 Nemotron 检查点——这一点是比对我们自己的目录核实过的，而不是想当然——所以这里没有任何内容是在推销我们所服务的模型。我们所做的，是混合部署的另一半：一个密钥即可覆盖 200 多个模型，按提供商的标价计费，不额外加价，自动故障转移——当提供商在请求进行中出现波动时——以及一套路由 DSL，用于把回退链描述为配置，而不是应用代码。如果 Bolt 负责本地那一半，那一半永远不会出现在账单上；路由问题在于其余部分会怎样。

看什么

有三件事将决定这款模型的口碑，而它们都不在公告中。

第一项是真实硬件上的独立延迟。NVIDIA 的 83.99 tokens/s 是一个附加了投机解码草稿模型的受控基准测试；总有一天会有人公布它在同时开着浏览器和编辑器的笔记本电脑上的表现，而那个数字会比这个数字更重要。第二项是 10 月 23 日的 E4B 变体，它检验的是这套压缩配方能否向下缩放，还是只在某一个尺寸上有效。第三项是 NVIDIA 之外是否有人会对 BF16 checkpoint 进行后训练——因为一个附带开放许可证的 24GB 部署产物，旁边再摆上一个 150GB 的定制产物，是一种刻意的双轨发布，而决定这究竟会成为一个平台还是一个 checkpoint 的，正是第二条轨道。

就目前而言，这个事实本身就足以说明问题。一个拥有740亿参数的多模态智能体，能装进一台比工作站还便宜的笔记本电脑的内存里，挂上一个草稿模型后大约以每秒84个token的速度运行，在唯一一个对它进行过测量的独立指数上得分为21，而且任何人都无法将它作为API调用。这是一个具体且不寻常的组合，值得弄清楚你需要的到底是它的哪一半。

这一切都并非假设：像本次这样的发布背后那些有据可查的 AI 故障与智能体事件，均收录于 OrcaRouter AI 事件档案库中，其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。