Nemotron 3.5 Bolt 对比 GPT-5.6 Sol：这两款模型中有一款有价格

你无法在成本上比较这两个模型，而这恰恰是这次比较最有价值的地方。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB是一个 24GB 的文件：下载它，第一百万个 token 的边际价格就是电费。GPT-5.6 Sol是一款托管式旗舰模型，定价为每百万输入 token 4.00 美元、每百万输出 token 20.00 美元，公布的 p50 首 token 时间为 1.63 秒，过去七天的流量为 5.355 亿 token。这两者之中，一个有一张价目表。另一个有硬件前提条件，那是另一种账单，只会来一次。

两款模型都是真实存在的，而且都已正式发布。英伟达的 Nemotron 3.5 Bolt 74B-A9B 24GB 检查点自 2026 年 10 月 7 日起就一直挂在 Hugging Face 上，除了一张模型卡之外，什么也没有附带；而厂商自己对 Bolt 产品线的发布公告则在 10 月 15 日——也就是八天之后——才出现，那篇帖子同时提到了这款模型和一个 4GB 的兄弟型号。GPT-5.6 Sol 自 2026 年 7 月 9 日起就一直列在 OpenAI 的价目表上。如果你这周要在这两者之间做选择，那么决定因素并不是哪个更聪明，而是你的工作负载能否离开你自己的机器。

二十一比五十九的差距衡量的是什么

Artificial Analysis 给 Nemotron 3.5 Bolt 74B-A9B 在其 Intelligence Index 上打出 21 分，在它被归入的对比类别中，于 67 个模型里排名第四。GPT-5.6 Sol 在同一版本的指数上则处于五十多分、接近六十的高位。相差近四十分是巨大的，而这样一表述，争论还没开始就已经结束了。

这个差距也是两种不同的测量结果共用一个数字。21 是任何开放权重模型在这一规模下取得的最佳得分——Artificial Analysis 将可比的开放权重模型的中位数记为 8，并指出，与规模相近的其他开放权重模型相比，Bolt 在智能水平上“处于领先模型之列”。大约 59 则是前沿实验室在内存不受限制时产出的成绩。这两个数字都没有错。它们回答的是不同问题：24GB 里能装下多少智能，以及金钱能买到多少智能。

评测面板无法测量的内容，比它能测量的内容更有意思。Bolt 的 Artificial Analysis 页面将速度列为 N/A，并将每个 Intelligence Index 任务的成本列为 N/A，原因很简单：没有可调用的托管端点。这个模型现有的所有速度数据都来自 NVIDIA 自己的基准测试：研究笔记称其设计目标为解码速度至少每秒 80 个 token，并报告在 RTX Spark 上的 AIPerf SPEED-Bench 中达到每秒 84 个 token，以及在配备 128GB 的 Surface Laptop Ultra 上运行 llama.cpp 时达到每秒 83.99 个 token。这些数字可能确实准确。NVIDIA 之外没有人复现过它们，在有人复现之前，你应将其视为厂商声称。

托管模型在结构上领先的方面

有三处差异与智能毫无关系，而每一处都让本地文件在一类工作中失去资格。

• 背景 — GPT-5.6 Sol 提供 1,050,000 token 的窗口，最大输出为 128,000 token；Nemotron 3.5 Bolt 最高支持 262,144 token。当任务是在一次请求中处理一个代码仓库或一份合同档案时，宽四倍的窗口并非奢侈功能。Bolt 的窗口还必须与 KV 缓存、图像、视频帧和对话历史共享 24GB，这意味着实际上限会比规格所暗示的更早到来。

• 输入类型——GPT-5.6 Sol 接受文本、图像和文件；Nemotron 3.5 Bolt 接受文本、图像和视频，并返回文本。这在视频方面是 Bolt 的真正优势，在文档方面则是其真实短板，因为以文件形式传入的 PDF 无需被栅格化、分页或逐帧推理。

• 可用性 — GPT-5.6 Sol 是一个 URL。Nemotron 3.5 Bolt 是一种 vLLM 部署，需要 Ampere、Hopper 或 Blackwell 芯片，或者是在 RTX Spark 或 DGX Spark 设备上运行的 llama.cpp。其中一种你四分钟内就能用上。

还有第四个差异，它与其说关乎能力，不如说关乎计量：每次调用托管模型都会产生一条计费明细，而每次调用本地模型则不会。对于高吞吐量的分类或抽取循环来说，这种反转比四十个指数点更重要。

拥有该文件究竟能换来什么

Nemotron 3.5 Bolt 74B-A9B 是一个稀疏混合专家模型，拥有 740 亿参数、每个 token 激活 90 亿参数，构建在 NVIDIA 称为 LatentMoE 的 Mamba-2 与 Transformer 混合骨干之上，并外挂了 C-RADIO v4-H 视觉编码器以支持多模态工作。从最字面的意义上说，它是一个压缩产物：NVIDIA 拿来 120B-A12B 的 Nemotron 3.5 Super VL 模型，应用其称为 Star Elastic 的路由器引导搜索，将其缩小到 74B-A9B，然后运行量化感知蒸馏，把每个专家权重降到 2.0625 比特——即 IQ2_XXS 格式——从而在不从头重新训练的情况下塞进 24GB 以内。许可证为 OpenMDW-1.1，允许商业和非商业用途。

由此产生两个结果。第一个是，模型在工作站上与其他应用程序并行运行，而不是取代它们，这正是本地智能体能够成立的根本原因。第二个是，它内置了推测机制：由 DFlash 驱动的 LiLiCorr 起草器会向前提出七个 token，而那每秒 84 个 token 中有相当一部分正来源于此。

供应商自家的基准测试表——NVIDIA 之外无人复现过——将那个 24GB 检查点置于同一张表中所有基线之上——Qwen3.6 35B、Gemma 4 26B 以及 NVIDIA 自家的 Nemotron 3.5 Lightning 30B-A3B——在 GDPVal-AA-V2（28.47）、Terminal-Bench 2.1（50.98）、GPQA Diamond（86.43）、SciCode（41.02）和 BrowseComp（66.75）上。请把这些理解为关于一个压缩后的 74B 模型与规模仅为其三分之一、未经压缩的模型相比表现如何的说法——这正是它们被设计来展示的内容——而不是与托管旗舰模型的对比。

诚实地为两半定价

托管的那部分价格毫无歧义。GPT-5.6 Sol 以 openai/gpt-5.6-sol 的形式出现在 OrcaRouter 的目录中，采用 OpenAI 的供应商标价以 0% 加价原样透传——每百万输入 token 4.00 美元、每百万输出 token 20.00 美元，我们页面上的数字与供应商页面上的完全相同，这意味着供应商一侧的变更当天就会落到我们这边，而不用等到下一次合同续签。20,000 token 的输入加上 3,000 token 的输出，费用为输入 0.08 美元、输出 0.60 美元，即每次调用约 0.68 美元。

本地这一半没有我们愿意凭空编造的价格。对于 Nemotron 3.5 Bolt，没有托管端点，没有价目表，也没有我们可以指给你看的、对它进行计量的第三方平台。给它定价，意味着给一块 GPU、一项功耗和一段摊销期定价——这套算术属于你的电子表格，而不是我们的，因为答案完全取决于你运行它的规模。

这种不对称正是路由层发挥具体作用、而非装饰性作用的地方。Nemotron 3.5 Bolt 不在我们的目录中，我们也不提供它；这里没有任何内容构成托管 NVIDIA 检查点的要约。单一端点真正带来的，是让工作流的本地与托管两半共用一个密钥的能力，这样当请求需要百万 token 窗口或文件输入时，可以将其发送给 GPT-5.6 Sol；当不需要时，则发送给你自己的 Bolt 部署——而决定何时用哪个的规则只需编写一次，而不是硬编码到每个服务中。如果托管提供商性能下降，自动故障转移会转移请求，而不是让请求失败。

该选哪一个

• 当数据不能离开本地场所时，当工作负载涉及视频时，当用量高到按 token 计费成为主要成本时，或者当你希望智能体运行在你已经拥有的硬件上时，请选择 Nemotron 3.5 Bolt 74B-A9B 24GB。接受 262K 窗口，以及大约只有托管模型三分之一的索引得分。在围绕这些吞吐量声明进行容量规划之前，请先在你自己的设备上验证它们。

• 当任务需要最宽的上下文、文件输入、可用的最强推理能力，并且背后有支持合同作保障时，请选择 GPT-5.6 Sol。为此需要支付每百万 token 4 美元和 20 美元的费用，同时请注意：128K 的最大输出是一次单次响应，其长度超出了 24GB 内存空间所能轻松容纳的范围。

• 当工作流能够干净利落地拆分时——对大多数智能体系统而言确实如此——就两者都运行。本地文件负责高频、低风险、隐私敏感的那一半；托管模型则处理那些需要触及范围的请求。

那个悬而未决的问题，和上一版压缩 Nemotron 提出却无人回答的是同一个：对 24GB 权重进行的首次独立吞吐量与延迟测量，而且要由不在 NVIDIA 任职的人来跑。在这件事实现之前，这个模型的智能下限已得到外部验证，速度上限却没有——而对本地部署来说，速度正是你能切身感受到的那一半。