Nemotron 3.5 Bolt 24GB 与 Nemotron 3.5 Bolt 74B：一个模型，两种产物

这是模型与自身的比较。 N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB 和 N​VIDIA N​emotron 3.5 Bolt 74B-A9B BF16是相同架构、相同参数量，在同一周、来自同一父模型——而 N​VIDIA 自己的文档明确表示，一个用于运行，另一个用于更改。把它们当作竞争对手是范畴错误；把它们当作可互换则是代价高昂的错误。以下是按字节和基准分数衡量的差异。

这两个人工制品实际上是什么

这两个名称描述的是同一条流水线，而不是两种设计。N​VIDIA 拿 N​emotron 3.5 Super VL 120B-A12B，在内存预算约束下运行了一次名为 Star Elastic 的路由器引导架构搜索，最终产出了一个总参数量 740 亿、激活参数量 90 亿的模型。该成果以两种已发布的形式存在：一是后训练完成后直接产出的 BF16 权重，二是同一组权重，其专家层被量化至每个元素 2.0625 比特，并通过量化感知蒸馏进行了修复。

两者的模型卡上标注的日期均为 2026 年 10 月 15 日。两者采用相同的 OpenMDW-1.1 许可、相同的 256,000 token 上下文窗口、相同的 Mamba-2 混合 LatentMoE 主干，以及相同的 C-RADIO v4-H 视觉编码器。仓库元数据仅用一个字段就明确了这种关系：24GB 检查点的模型卡中列出了base_model_relation: quantized，对应 BF16 版本。

区别在于各自的用途。24GB 显卡将其使用场景命名为本地 agent harness——工具调用、浏览、终端操作——其部署方式为在 Ampere、Hopper 或 Blackwell 上运行 vLLM。BF16 显卡将其使用场景命名为使用 NeMo RL 和 NeMo Gym 进行后训练、领域适配、蒸馏，以及产出你自己的量化变体，并在同一段落中警告：若要进行延迟和吞吐优化的推理，你应该改用 24GB 版本。厂商告诉你不要运行你刚下载的检查点，这话值得字面理解。

大小差异，从文件列表中读出

• BF16 — 总计 149.8GB，分布在 63 个 safetensors 分片中，最大分片 3.71GB，另加一个 228MB 的视觉塔。

• 24GB safetensors——在 vLLM-ready 构建中，90 个分片共 24.12GB，略高于模型名称中的数字。

• 24GB GGUF — 单个文件 22.02GB，外加一个单独的 1.73GB 视觉投影器，总计 23.75GB。

• 比例——按字节计算约为六比一：从 16 位专家模型到 2 位专家模型，其余部分则全部采用混合精度处理。

63 个分片对 90 个分片，也是一种形态差异，而不仅仅是大小差异。BF16 版本是为由训练框架加载而构建的，可适配你拥有的任何并行布局；24GB 版本是为由单个 GPU 加载，或在单台机器上由 llama.cpp 加载而构建的，分片数量反映了不同的任务。

在规划存储之前，值得了解 24GB 分布中的 3GB。视觉投影器在 GGUF 构建中是一个单独文件，因为 llama.cpp 就是这样处理多模态输入的；任何只下载权重、随后又纳闷图像为什么无法工作的人，都跳过了它。在 safetensors 构建中，视觉塔位于各个分片内部，总量会越过 24GB 这条线。

What the quantisation cost，按N​VIDIA自己给出的数字

BF16 卡把两列并排公布，这种坦诚异乎寻常：同一张基准表列出了相同十三项评估的 IQ2 24GB 数据和 BF16 数据。厂商自报、未经复现，却仍是目前关于每个专家两比特究竟要付出什么代价的最直接证据。

• Terminal-Bench 2.1 — IQ2 下为 50.98，相较 BF16 下的 53.93，损失 2.95 分。

• BrowseComp — 66.75 对比 70.00，落后 3.25。

• GPQA Diamond — 86.43 相较于 88.83，下降了 2.40。

• AA-LCR 长上下文推理 — 64.06 对 67.38，下降 3.32。

• 无工具 HLE — 25.30 对 28.73，损失 3.43。

• AA-Omniscience 准确率 —— 16.90 对 21.80，损失 4.90，为表格中最大。

• PinchBench —— 87.82 对比 90.35，下降了 2.53。

• GDPVal-AA-V2 — 28.47 对比 31.13，低了 2.66。

有两行打破了这个规律，而它们恰恰是最值得关注的。在 AA-Omniscience 非幻觉指标上，量化模型的得分更高，为 61.27 对 56.14——压缩专家模块让模型在不知道答案时更不容易自信作答，这类发现正是让一张表格值得完整发表的原因。在 WebArena 视觉任务上，两者持平，50.86 对 50.25，说明视觉路径基本完好地经受住了压缩，而模型卡中描述的视觉适配器重训练想必就是原因所在。

综合来看：对大多数能力项要征收两到五个点的“税”，在视觉接地方面接近于零，并在一项校准指标上有所提升。对于六比一的压缩而言，这是一个有利的结果，但它仍然是一笔你应该计入、而非挥手抹去的“税”。

哪一个是你实际能提供的？

24GB 制品讲的是运行时那一套叙事，BF16 制品讲的是训练那一套叙事，而它们并不是同一个故事只换了个标志位而已。

24GB 的 GGUF 是为 llama.cpp 列出的，而 NVIDIA 将同一模型指向 Ollama、LM Studio 和 Unsloth。vLLM 路径比听起来更严格：参考配方通过提交哈希固定了一个 nightly 容器，需要在运行时获取单独的内核包，显式设置 v2 模型运行器，为线性和 MoE 后端指定 b12x，注意力与 Mamba 使用 FlashInfer，将 KV 缓存固定为 fp8，并设置max-num-seqs 1。最后一个标志值得注意——公布的 serving 配置是单个并发序列，这是笔记本形态的配置，而不是服务形态的配置。

草稿模型是第三个下载项。LiLiCorr 是一个 1.13B 的配套检查点，其模型卡明确说明：它不是独立的语言模型，它提出草稿 token，由 24GB 的目标模型来验证，并且由目标模型生成可见文本。NVIDIA 在 AIPerf SPEED-Bench-Coding 上报告的每秒 83.99 个 token 假设它已挂载，每步起草七个 token，并且在贪心解码下平均接受长度为 4.68，在并发度为 64 的采样下为 4.25。

BF16 检查点的服务方案是你需要解决的问题。在考虑任何 KV 缓存之前，它所需的内存大约是量化版本的六倍，这使得单块 80GB 加速卡无法胜任，也让多 GPU 或多节点成为默认假设。对于后训练来说，这是正确的取舍；对于推理来说，则是错误的取舍，而这正是卡片上所说的。

这个决定，直白地说

如果你现在想在自己拥有的硬件上运行智能体，那就下载 24GB 版本，接受两到五个点的损耗，并且除了权重之外，还要为草稿模型和投影器预留预算。

如果你想改动这个模型——用自己的数据做微调、把它蒸馏成更小的版本，或者针对 NVIDIA 未做优化的硬件以不同方式加以压缩——那就下载 BF16 版本，并把 24GB 的发布版本当作对其中一种可能结果的说明文档来看待。

那个有趣的中间情形，正是 BF16 卡明确邀请你去做的：制作你自己的量化变体。拥有不同加速器的人，或者想要 4 位权重的人，或者工作负载需要的并发度高于参考配方所允许的人，都可以拿全精度权重，去构建 N​VIDIA 没有构建的产物。这样一来，上文中的量化税就是要超越的数字，而且它现在是一个公开的目标，而不是一个谜。

网关在本地技术栈中的定位

这两个检查点都没有在任何地方托管，包括我们这边——OrcaRouter 目录没有收录任何 Nemotron 模型，因此两者都没有可用的端点，也没有可报价的价格。本地推理也始终只是智能体架构的一半：运行 Bolt 的机器仍然需要访问它无法下载的模型，无论是用于处理困难情况的前沿模型、用于 Bolt 处理不佳之处的视觉模型，还是针对重要决策的第二意见。

这就是我们所运营的那一层。一把密钥通行 200 多个托管模型，按提供商的标价，不额外加价；自动故障转移，当某个提供商在请求中途性能下降时自动切换；还有路由 DSL，把"先在本地试 Bolt，当任务超出其能力时升级到托管模型"变成配置，而不是代码。技术栈中 24GB 的那一半，取决于你的硬件，以及你对每晚跑一个容器的容忍度。而升级线另一侧的那一半，则取决于谁手里握着那把密钥。

什么会改变这幅画面

两件事，而且都是可以预料到的。

第一种是 Bolt 的 4 位或 FP4 构建，来自 NVIDIA 或社区，鉴于其所属系列已经提供 NVFP4 检查点，而 BF16 版本的存在正是为了让此类变体得以制作。一个能弥补上述差距一半、同时仍能塞进 24GB 范围的 4 位 Bolt，会让量化税这一论点变得无趣得多。

第二项，是对任一产物的任何独立评估。Artificial Analysis 的评测小组在其 Intelligence Index 上测得 24GB 模型为 21 分，且未公布速度与成本，因为没有可供衡量价格的对象。完全没有人公布过 BF16 检查点的可复现运行，这对于一个用于训练、大小为 150GB 的下载文件来说并不令人意外。在有人做到之前，上表两列之间的差距只是厂商对自家压缩的自述，而诚实的解读方式是把它视为一项恰好得到证据形态异常有力支持的主张。

这样的结果也提醒我们，模型出错早已有记录：此类模型背后的 AI 事件和智能体故障，均收录于OrcaRouter AI Incident Archive，其中每个条目都附有自己的来源、严重程度、置信度等级和争议标记。