Nemotron 3.5 Bolt 74B vs Kimi K3：24GB 文件对决 2.8 万亿参数旗舰

本次对比中的这两款模型并不在争夺同一个位置，而在两家厂商开口之前，数字就已经把这一点说得明明白白。N​VIDIA N​emotron 3.5 Bolt 74B-A9B 24GB是一个拥有 740 亿参数的视觉语言模型，N​VIDIA 将其压缩为 2 位精度的检查点，小到足以与操作系统一同放进 24 GB 内存里。Kimi K3是 M​oonshot AI 的 2.8 万亿参数旗舰模型，一个开放权重的模型，其最小可行部署规模是一个机架。前者是一个可以复制到笔记本电脑上的文件，N​VIDIA 自 2026 年 10 月 15 日起开始发布它。后者是一项按 token 租用的工作负载。把两者的分数并排来看之所以有用，恰恰是因为差距如此之大，没人能假装较小的那个是它的替代品。

在这个页面上真正值得做的是弄清楚那 22 个 Intelligence Index 分数都流向哪里，以及其中是否有任何分数落在本地智能体实际执行的任务上。

发布了什么，以及何时发布

Bolt 仓库于 2026 年 10 月 7 日出现在 Hugging Face 上；NVIDIA 自己那篇点名它的发布文章《从数据中心到桌面全面开放：NVIDIA 以最高效的 Super VL 和 Bolt 模型扩展 Nemotron 家族》日期为 10 月 15 日。模型卡本身标注的发布日期为 10/15/2026。这个先后顺序——权重先出现，公告在八天后——对任何阅读该模型报道的人来说都很重要，因为公开记录中有整整一周时间，所包含的只是一个可下载的检查点，以及一张没有附带任何新闻稿的模型卡。

除此之外，这两个模型在方方面面都截然不同。Kimi K3 于 2026 年 7 月 16 日发布，权重随后于 7 月 27 日发布，这使其大约早了三个月，并且第三方对其的记录也完善得多。

• 架构 — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 是一款 Mamba-2–Transformer 混合架构的 LatentMoE，配备 C-RADIO v4-H 视觉编码器。Kimi K3 是一个拥有 2.8 万亿参数的稀疏专家混合模型，每个 token 从 896 个专家中激活 16 个、共激活 104B 参数，基于 Moonshot 的 Kimi Delta Attention 构建。

• 参数 — NVIDIA 模型总计 74B、激活 9B；Kimi K3 总计 2.8T、激活 104B。较小模型激活的计算量不到较大模型每 token 计算量的十分之一。

• 内存占用 —— 2 位量化下为 24GB（专家权重采用 IQ2-XXS，每元素 2.0625 位；Mamba 层采用 NVFP4；嵌入和输出采用 Q8_0），而 2.8T 参数部署的成本则另当别论，这不是本页能够以 GB 为单位说明的数字。

• 上下文 — NVIDIA 模型为 262,144 个 token；Kimi K3 为 1,048,576 个，无论长度如何均采用统一价格。

• 输入 — 文本、图像和视频输入，两者均输出文本。

• 许可证 — NVIDIA 检查点采用 OpenMDW-1.1；Moonshot 的权重采用 Kimi K3 许可证，对大多数用途均宽松，年收入超过 2000 万美元时则需另行签订协议。

独立的数字，以及那个不存在的

Artificial Analysis 对这两个模型都进行了测试，这才使这一比较有可能得到答案。榜单上并非所有项目都针对两者进行了测量，而这些空白与分数一样能说明问题。

• 智能指数 — NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB 得分为 21.4，在该评测面板自有的对比集上，位列其规模级别 67 款模型中的第四名。Kimi K3 在最高推理模式下得分为 43.6，在低模式下为 30.1。这两项数据均为独立测量所得，而非厂商自报。

• 每项 Intelligence Index 任务的成本——NVIDIA 模型没有数据，因为它没有按量计费的价格：Artificial Analysis 完全没有列出它的输入或输出费率。Kimi K3 每项索引任务的 API 支出为 $2.00，输入 token 每百万 $3.00，输出每百万 $15.00，而缓存输入为 $0.30。

• 输出速度——在评测方的机器上，Kimi K3 每秒生成 43.8 个 token，首 token 耗时 3.6 秒。NVIDIA 的模型没有独立的吞吐量数据；NVIDIA 自己的研究页面公布，在启用 LiLiCorr drafter 的情况下，于 AIPerf SPEED-Bench-Coding 上达到每秒 83.99 个 token，但这是厂商自己在不同基准、不同机器上测得的数值。

• Terminal-Bench 2.1 —— Kimi K3 得分 85.0，由独立运行得出，而 M​oonshot 自己声称的分数为 88.3。N​VIDIA 在其模型卡上公布 Bolt 模型为 50.98，因此两者并不处于同等基础之上：一个数字已在实验室之外得到复现，另一个则尚未复现。

• GPQA Diamond —— Kimi K3 独立测得 93.5;NVIDIA 模型为 NVIDIA 公布的 86.43,该面板上没有独立数据。

• 长上下文检索（AA-LCR）——Kimi K3 为 88.7，N​VIDIA 模型为 69.7，两者均为实测结果。

• 科学编程（SciCode）——Kimi K3 为 59.5，N​VIDIA 模型为 39.7，两者均为实测结果。

• 知识准确性与幻觉——在 AA-Omniscience 上，Kimi K3 的准确率为 47.6%，非幻觉率为 46.8%；N​VIDIA 模型的准确率为 17.1%，非幻觉率为 56.3%。这一组合是榜单上最有趣的一行，也最不利于对该指数作简单解读：被压缩的模型知道得更少，却更常承认这一点。

缺失的测量数据正是买家最想要的。在20GB检查点之外，N{{1}}VIDIA{{/1}}没有任何人发布过吞吐量或延迟运行结果，而这正是发布24GB检查点的全部意义所在。

22分实际去向哪里

22 分的指数差距听起来像是类别上的差异，而在某些任务上确实如此。Kimi K3 在科学编程上领先 20 分，在长上下文检索上领先 19 分，在研究生水平的科学问题上领先超过 7 分。这些不是四舍五入的误差，也不是对比集造成的假象。

但 NVIDIA 模型背后的压缩故事足够具体，足以解释这一缺口的形态。该检查点由 Star Elastic 生成——这是 NVIDIA 的路由器引导架构搜索，它从 120B-A12B Super VL 母模型出发，搜索在批大小为 1、上下文为 128K 时能够塞进 24GB 的每层专家数量与 MoE 宽度，把专家 top-K 从 22 降到 9，随后用量化感知蒸馏将专家量化到每个元素 2.0625 比特，以恢复精度。这是有意用存储的知识换取占用空间。被压缩到每个专家权重 2 比特的模型会保留其流程，却丢失其事实，这正是为什么幻觉那一行有所改善，而准确率那一行却崩塌了。

N​VIDIA 自己的基准测试表从相反方向得出了同样的论点。该公司公布的数据显示，Bolt 模型在 Terminal-Bench 2.1、GPQA Diamond、BrowseComp 和 WebArena vision 上击败了 Qwen3.6-35B-A3B、Gemma4 26B-A4B 以及自家的 N​emotron 3.5 Lightning 30B-A3B——也就是说，在智能体与工具使用任务上——但在 AA-Omniscience 准确率上输给 Gemma4，在 PinchBench 上输给 Qwen3.6。压缩所保留的正是智能体执行能力。

两者皆为开放权重，选择便关乎电力

这正是将这场对决与针对封闭 API 的对比区分开的地方。Kimi K3 的权重可供下载。如果你有相应的硬件，你可以自己运行这个 2.8T 模型，且无需为每个 token 付费——这与那个 24GB 文件的理念相同，只是规模完全不同。这里的两个模型都没有被任何可能对访问权限改主意的厂商所把持。

实际的区分点在于部署位置。一个 24GB 的 IQ2 检查点可在单块 A100、H100 或 Blackwell 器件上通过 vLLM 运行，而 NVIDIA 自己的参考方案也提到了 llama.cpp 和 GGUF 转换，这正是它能进入 RTX 和 DGX Spark 机器上的本地智能体框架的原因。推荐的推理服务命令并不是一行开关：它固定使用某个 vLLM nightly 构建，需要下载一个推理解析器插件，需要用于线性和 MoE 后端的 b12x 内核，显式设置 Mamba 和注意力后端，并启用带七个 LiLiCorr 草稿 token 的投机解码。这是给打算拥有这台机器的人准备的方案，而不是给只想要一份转录文本的人。

Kimi K3 走的是另一条路。它的整体设计假定你是在租用推理能力，定价也据此设定——每百万 token 输入 3.00 美元、输出 15.00 美元，这是在开放权重市场顶端的一次刻意卡位。

运行对比，而不是读取它

如果你想知道 22 个点的指数差距对你的工作负载是否有影响，成本最低的实验就是去调用更贵的那一半。Kimi K3 已在 OrcaRouter 的目录中，挂名为 kimi/kimi-k3，与我们路由的其余 200 多个模型共用同一把密钥，按 Moonshot 的供应商标价计费，不加任何加价——因此 Moonshot 一旦调整价格，我们这边当天即生效，而不必等到下一个计费周期。用一组贴近你真实流量的提示词去打它，再把测得的结果与你本地正在运行的方案对比。OrcaRouter 不托管任何 NVIDIA 模型，也没有 Bolt 端点可提供；Nemotron 系列不在我们的目录内，而这场比较中本地那一半无论如何都仍是一个硬件问题。

路由在这里真正能占一席之地的地方，是回退路径。Kimi K3 是在高价位上对单一模型的承诺，而将生产环境中的智能体接到单一高能力模型上，其失效模式就是上游的容量问题演变成一次事故。在一个端点背后实现跨提供商的自动故障转移，就能把它变成一次重试。

如何决定

这条规则比差距所暗示的更短。

如果你的需求包括离线、私密、设备端运行或没有按 token 计费这些字眼，那么 Kimi K3 就不是候选，比较也到此为止——一个 2.8 万亿参数的模型不可能在你正在阅读这段话的这台机器上运行，而 24GB 的检查点则可以。买下那台笔记本电脑，接受它在指数上的 21.4 分，并把它用于工具调用，而不是用在生物化学问题上。

如果你需要的是在困难推理、跨数十万 token 的长上下文工作，或仓库级编程上的正确性，那么 24GB 模型就是错误的工具，而指数差距正在告诉你真相。为 Kimi K3 付费吧。

两家厂商都尚未敲定的是中间那种情况，因为它取决于一个没人公布过的数字：2 比特检查点在你能买到的硬件上究竟跑得多快。在出现独立的吞吐量测试之前，对于“一个 24GB 的文件能否在我的智能体循环中取代 2.8T 旗舰模型”这个问题，诚实的回答是：智能上的差距可以衡量，而延迟方面尚无定论。

对于一个失效模式尚未被记录的模型来说，有用的对照物是别处已经出错的记录：这一类模型的已记录 AI 事故与智能体故障，都收录在OrcaRouter AI 事故档案库中，其中每条条目都带有自己的来源、严重程度、置信度评级和争议标记。