Nemotron 3.5 Bolt 对比 Kimi K3：24GB 下载对决 2.8 万亿参数阅读器

诚实的简短回答是：这两个模型并不是在争夺同一项任务，而原因可以用一个数字来衡量。Kimi K3 拥有 1,048,576 个 token 的上下文。NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 拥有 262,144 个。如果你的任务是“读完整个语料库并一次性作答”，那么这个 24GB 的检查点在它其他任何方面起作用之前就已经出局了——而如果你的任务是“在无网络、无计量、无厂商介入的工作站上运行”，Kimi K3 同样不在考虑之列。Kimi K3 是 Moonshot AI 于 2026 年 7 月 15 日发布的一款 2.8 万亿参数的混合专家模型，通过专有的托管 API 提供。Nemotron 3.5 Bolt 74B-A9B 24GB 是一个开放权重文件，对任意给定 token 只动用其 740 亿参数中的 90 亿，并且能装进 24GB 内存。

Bolt 检查点于 2026 年 10 月 7 日出现在 Hugging Face 上，没有任何附带公告。NVIDIA 自己那篇点名该模型的文章——以及它的 4GB 姊妹型号 Nemotron 3.5 Bolt E4B——直到 15 日才出现，也就是八天之后。这个先后顺序值得了解，因为它决定了什么可被核查：这八天的公开记录由一份可下载的文件和一张模型卡组成，而解释它的文字则是后来才出现的。

每个模型被构建来做什么

Kimi K3 是 Moonshot 的旗舰模型，也是其迄今为止能力最强的发布版本：一个 2.8 万亿参数的稀疏混合专家模型，每个 token 约激活 1040 亿参数，专为长跨度编程和端到端知识工作打造，接受文本和图像输入并返回文本。它通过服务提供，而非打包发售。没有下载，没有可在本地运行的量化版本，也没有小到能在笔记本电脑上运行的版本。

Nemotron 3.5 Bolt 则是相反的构造。NVIDIA 拿其 120B-A12B 的 Nemotron 3.5 Super VL 模型，应用了一种它称为 Star Elastic 的路由器引导压缩，将其缩减到 74B-A9B，随后把结果量化到每个专家元素 2.0625 比特——即 IQ2_XXS 格式——并通过量化感知蒸馏来挽回量化所付出的精度代价。其主干是厂商称为 LatentMoE 的 Mamba-2 与 Transformer 混合架构，并配备用于图像和视频输入的 C-RADIO v4-H 视觉编码器。它可在 Ampere、Hopper 和 Blackwell 芯片上通过 vLLM 运行，也能通过 llama.cpp 在 RTX Spark 和 DGX Spark 硬件上运行，采用允许商用的 OpenMDW-1.1 许可证。

阅读长语料库，已定价

在这里，比较就变成了算术问题，而不是偏好问题。Kimi K3 在 OrcaRouter 上按 Moonshot 的标价路由，没有附加任何费用：每百万输入 token 3.00 美元，每百万输出 token 15.00 美元，缓存读取为 0.30 美元。它在我们的产品目录中首 token 时间的 p50 为 7.02 秒，p95 为 10.00 秒，并且在过去七天里，它在我们产品目录中承载了 9.906 亿个 token 的路由流量——大规模长上下文读取是真实的工作负载，而不是思想实验。

Nemotron 3.5 Bolt 没有价格，因为没有什么可定价的。它没有托管端点、没有厂商 API、没有费率表，而 Artificial Analysis 正是因此将其速度和每项 Intelligence Index 任务的成本都列为 N/A。它取而代之的，是你一次性购买的内存上限，以及四舍五入后基本就是电费的边际成本。对于每晚读取固定语料库的流水线来说，每百万输入 token 3 美元与零之间的差异并不是折扣——而是一种不同的核算模式，而盈亏平衡点是一个资本支出问题，要由你的财务团队来回答，而不是本文。

愿景并非人们以为的决胜因素

两个模型都接受图像。相似之处仅此而已。

• 输入 — Kimi K3 接受文本和图像；Nemotron 3.5 Bolt 接受文本、图像和视频。对于一个要观看屏幕录制或从摄像头画面中抽帧的智能体来说，这两者中只有一个能直接拿到文件。

• 视觉路径的精度——Bolt 搭载了专门打造的 C-RADIO v4-H 视觉编码器，并从其被压缩来源的 Super VL 客户端继承了多模态行为；Kimi K3 的视觉理解被记录为原生能力，但这并不是 Moonshot 主推的模型部分。NVIDIA 自己的表格列出了 Bolt 在 WebArena 上的视觉得分为 50.86；应将其视为厂商报告的数据。

• 推理控制 — Kimi K3 不暴露 temperature、top_p 和 seed，推理深度仅由 reasoning-effort 参数设定；Bolt 的推理模式是一个聊天模板开关，enable_thinking 为 true 或 false，继承自同一个 Super VL 客户端。

• 推测 —— Bolt 随附一个通过 DFlash 驱动的 LiLiCorr 草拟器，每步向前提出七个 token，这正是 NVIDIA 在 AIPerf SPEED-Bench 上宣称每秒 84 个 token 背后的机制。托管端点上没有同等的手段；运营商配置什么，你就得到什么。

实测差距，以及它由什么构成

Artificial Analysis 在其 Intelligence Index 上将 Kimi K3 评为 43.6，将 Nemotron 3.5 Bolt 评为 21。这绝不可能被解读为接近。Kimi K3 的支撑数据在长上下文阅读器需要它们的地方表现强劲——AA Coding Index 为 76.2，在 138 个被测模型中位列第九，GPQA Diamond 得分为 93.5，长上下文召回率为 88.7，这个数字告诉你百万 token 窗口是可用的，而不仅仅是宣称的。

Bolt 的 21 分是另一种结果。在按占用空间筛选后的同类 67 个模型中，它的得分位列第四，而该类别的中位数是 8，Artificial Analysis 将其描述为同规模领先开放权重模型之一。正确的理解方式是：一个数字衡量的是前沿实验室在不受内存限制时能做到什么，另一个衡量的是 24GB 能容纳什么。22 个指数点是这一限制的代价，而非较小模型构建不佳的证据。

Bolt 这边缺少的是对其速度的任何独立测量。NVIDIA 报告称，解码速度至少达到每秒 80 个 token 是设计目标，其自家基准测试中为 84，而在配备 128GB 的 Surface Laptop Ultra 上运行 llama.cpp 时达到每秒 83.99 个 token。截至撰写本文时，尚无第三方公布 24GB 权重的吞吐量或延迟数据。相比之下，Kimi K3 的延迟是经过测量且公开的——首个 token 的 p50 为 7.02 秒，p95 为 10.00 秒——这些才是应作为规划依据的数字，而不是厂商提供的数字。

路由层在何处改变答案

Kimi K3 在我们的目录中列为 kimi/kimi-k3，按 Moonshot 的标价提供，附加 0% 加价，与 200 多个其他模型共用同一把密钥，并在某个上游提供商性能下降时，自动在多个上游提供商之间进行故障转移。Nemotron 3.5 Bolt 不在我们的目录中——我们不托管任何 NVIDIA 检查点，也没有可调用的 Bolt 端点——所以这里的路由问题不是我们提供这两者中的哪一个，而是一条真实管线的两半如何相互通信。

可行的模式是本地读取器加托管推理器。Bolt 运行在你的硬件上，处理高频的调用，这些场景中数据不能离开本地，而且数据量会让按 token 计费变得难以承受。Kimi K3 处理需要百万 token 窗口或前沿规模推理的请求，价格为每百万 token 3 美元和 15 美元。在两者前面放一条路由规则，这种分工就变成一行配置，而不是一次重构：超出本地上下文预算的请求交给 Kimi K3，其余的都留在工作站上。如果昂贵的调用才是关键的，那么值得了解的一种变体是模型融合——多个模型一起回答同一个提示，然后你取它们一致的结果。

看什么

能最终裁定这一对比的具体证据既有限又迫在眉睫。对 24GB Bolt 权重进行的首次独立吞吐量与延迟测试，要么会证实 NVIDIA 的每秒 84 个 token，要么会使其缩水；Bolt 已公布的主机托管价格会让这一对比中的成本部分变成简单的算术；而针对 Kimi K3 的第二次长上下文召回率测量，则将证实其 88.7 是该模型本身的特性，而非某一种评测框架的特性。

在此之前，这份总结的覆盖范围比两家厂商各自的表述都要窄。Kimi K3 在基准测试能够衡量的每一个维度上都是更好的模型，而且它是这两者中唯一一个你今天下午就能调用的。Nemotron 3.5 Bolt 是这两者中唯一一个在没有网络时仍能继续工作的，也是唯一一个每个 token 的边际成本为零的。对于那种本就不该被发送到任何地方的工作，选第二个；对于需要向外触达的工作，选第一个。