Nemotron 3.5 Bolt 74B 对比 DeepSeek V4 Pro：两者均开源，其一可装入 24GB

NVIDIA 的 Nemotron 3.5 Bolt 74B-A9B 24GB 和 DeepSeek V4 Pro 站在开源与闭源分界线的同一侧，但在硬件这条线上却相距甚远。两者都发布可下载的权重，都允许商业使用，且都无需征得任何人的许可即可提供服务。其中一个是 740 亿参数、90 亿活跃参数，经过量化后可塞进 24GB，因此能在一台笔记本级机器上与你其他应用程序并排运行。另一个则是 1.6 万亿参数、490 亿活跃参数，而“部署占用”这个词用在它身上时的含义，与用在第一个身上时并不相同。

这个差异比指数分数本身更重要，而指数分数之间已经相差15分了。下面是一个团队实际必须进行的比较：不是抽象地看哪个模型更好，而是这两个开放权重产品中，你实际上能运行哪一个，以什么质量，花多少钱。

两种截然不同的“开放”形态

不过，在这一切展开之前，还是值得直说：这两个开放权重部分并非以相同方式到来。DeepSeek 将 V4 Pro 作为产品发布，配有模型卡和价目表。NVIDIA 则压根没有宣布 Nemotron 3.5 Bolt 74B-A9B 24GB。文件就这样凭空出现：2026 年 10 月 7 日出现 24GB 量化仓库，数小时后出现其 GGUF 转换版本，10 月 9 日出现 BF16 检查点，10 月 12 日出现 LiLiCorr 投机草稿模型。NVIDIA 自家渠道连续十六天沉默，这就是现状，因此这场对比中可核实的那一半，是仓库能证明的内容——许可证、参数数量、文件格式、模型卡上的服务配方——而未确认的那一半，则是一篇发布公告本会承载的全部内容。下文的吞吐量和智能体数据来自 NVIDIA 自己，并已如此标注，因为除了一个索引之外，没有第三方可以拿来核对它们。

先从许可证和检查点入手，因为真正决定是否采用开放权重就在这两点上。

• 许可证 — N​emotron 3.5 Bolt 74B-A9B 24GB：OpenMDW-1.1，这是一款宽松的模型权重许可证，明确将商业使用纳入授权范围；N​VIDIA 的模型卡标明该模型可用于商业或非商业用途。DeepSeek V4 Pro：MIT，这几乎是权重许可证中最不设限的一种。

• 实际可发布的内容 —— N{{1}}emotron 3.5 Bolt 74B-A9B 24GB{{/1}}：24GB IQ2 构建版本、量化前的 BF16 检查点、适用于 llama.cpp 的 GGUF 构建版本，以及独立的 LiLiCorr 投机草稿模型。DeepSeek V4 Pro：完整权重检查点及其衍生版本。

• 检查点的来源 —— Nemotron 3.5 Bolt 74B-A9B 24GB：借助 Star Elastic（一种由路由器引导的架构搜索）从 NVIDIA 的 Nemotron 3.5 Super VL 120B-A12B 父模型压缩而来，随后通过量化感知蒸馏进行量化。它是一个蒸馏出的子模型，而非从零开始训练的模型，并且 NVIDIA 自己的研究页面明确指出，将大模型压缩到固定预算内，要优于从零开始训练一个小模型。DeepSeek V4 Pro：一个原生训练的前沿规模专家混合模型。

第三条才是决定你将读到的大多数评测结果的那一条。这两者之间的任何基准测试比较，本质上都是激进的压缩设计哲学与规模设计哲学之间的比较，而这两者在相同的工作负载上并不会趋于一致。

每一个分别在什么数值上测量

Artificial Analysis 对两者都进行了测试，且是在其指数当前的同一版本上进行的，这正是这样一句话能够被写出来的唯一原因。

• 智能指数 — N​emotron 3.5 Bolt 74B-A9B 24GB 21，在其开放权重规模级别中位列 67 个模型的第四。DeepSeek V4 Pro 36，在 116 个模型中排名第九，基于 0813 构建版本以最高配置测得。

• 每项 Intelligence Index 任务的成本——N​emotron 3.5 Bolt 74B-A9B 24GB：不适用，因为该面板未记录其公开 API，也没有可用来相除的计量价格。DeepSeek V4 Pro：根据该面板自身的加权基准测得为 0.67 美元。

• 输出速度 — N​emotron 3.5 Bolt 74B-A9B 24GB：N​VIDIA 报告称，在 Surface Laptop Ultra 上，使用其草稿模型在 AIPerf SPEED-Bench-Coding 上达到每秒 83.99 个 token。DeepSeek V4 Pro：Artificial Analysis 针对托管 API 测得每秒 96.3 个 token。这两者并非同一种测量，不应相互相减；它们所证明的是，两者的速度都足够快，速度并非你的瓶颈。

• 冗长程度 — Nemotron 3.5 Bolt 74B-A9B 24GB 在该小组的索引运行中生成了 2.3 亿个 token，而其同类模型的中位数为 1 亿个 — 该小组自己的备注称其非常冗长。DeepSeek V4 Pro 生成了 1.6 亿个，而中位数为 1.3 亿个。在按用量计费的 API 上，这种差异只是一项明细费用；在本地机器上，它却意味着电耗和实际耗时。

15 个点的指数差距确实存在，而且并不会因为较小模型的运行成本更低就被抹平。在确实能弥合它的那些工作负载中，真正弥合它的是厂商自家的基准测试集——而这套测试集值得带着适当的怀疑去读。N​VIDIA 的卡片上，Bolt 模型在 Terminal-Bench 2.1 上为 50.98，在 BrowseComp 上为 66.75，领先于旁边印出的每一个对比列。那些都是 N​VIDIA 在自己卡片上给出的数字，而 D​eepSeek 并不在这些列之中。

部署图才是实际的决策

这正是 DeepSeek V4 Pro 与 N​emotron 3.5 Bolt 74B-A9B 24GB 不再互为替代品的地方。

• 运行空间。一个1.6万亿参数、490亿激活参数的模型需要一个服务集群。即使经过高度量化，仅检查点本身就已经比一台工作站所能容纳的高出一个数量级，而且激活参数数量意味着，无论采用何种量化方案，每个token都会触及相当大一部分内存带宽。Bolt模型是针对一个明确的上限设计的——NVIDIA的架构搜索目标是在批量大小为1、上下文为128K时占用空间低于24GB——并且搜索运行时已经将下游量化考虑在内。

• 最小可行服务栈。N​emotron 3.5 Bolt 74B-A9B 24GB 需要特定版本的 vLLM nightly，并启用 v2 模型运行器、一个已下载的推理解析器插件、b12x 内核，以及显式的 MoE、Mamba 和注意力后端标志；llama.cpp 负责 GGUF 路径。DeepSeek V4 Pro 由常见的推理栈以分布式规模提供服务，这是另一种类型的项目，也需要另一种类型的值班轮换。

• 输入。Bolt 模型可接受文本、图像和视频，参考配方会对视频帧数设上限并施加剪枝率。DeepSeek V4 Pro 公布的模态列表为文本输入、文本输出——其混合专家规模用于推理，而非感知。

• 上下文。Bolt 模型为 262,144 个 token，而 DeepSeek V4 Pro 约为一百万。如果你的工作负载是一个代码仓库、一套合同文件，或一段很长的智能体对话记录，那就是实实在在的四倍差距，而且这对 DeepSeek 有利。

直白地说：如果你有一个数据中心，以及一个需要前沿推理能力的工作负载，那么 DeepSeek V4 Pro 是更好的模型，指数也表明了这一点。如果你有一台笔记本电脑、一台 Spark 设备或一台工作站，并且要求模型能与其他所有东西一起在本地运行，那么 Nemotron 3.5 Bolt 74B-A9B 24GB 在这一要求上并非妥协——它是两者中唯一满足这一要求的。

除了磁盘之外，更小的模型还能给你带来什么

有三件事不会出现在索引评分中，却会出现在部署评审里。

• 它在拔掉网线的情况下也能运行。本地存储上的 24GB 检查点没有可用性依赖、没有速率限制，也没有提供商事故。对于在你自己的机器上运行的智能体来说，这就是全部的设计目标，也是 NVIDIA 压缩 120B 父模型而不是发布全精度版本的原因。

• 推测在这里成本低廉且安全。LiLiCorr 草稿模型在磁盘上增加的占用不到 1 GB，而 NVIDIA 报告称，在草拟 7 个 token、并发数为 64 时，平均接受长度为 4.68（贪心）和 4.25（概率性）。由于目标模型会验证每一份草稿，一次糟糕的猜测付出的是速度代价，而非准确性代价——输出分布得以保持。正是这一特性，使得在本地机器上部署一条推测路径是合理的，并且这一点已在模型卡上有文档说明。

• 整个技术栈都可检查。权重、量化配置、草稿模型、服务方案和技术报告全部公开。当模型行为异常时，你可以直接查看配置，而不必提交工单。

诚实地计算这两种选择的成本

价格比较并非对称的，假装它是对称的将是这个页面上最容易犯的错误。

• N​emotron 3.5 Bolt 74B-A9B 24GB 没有按 token 计价的价格，因为它没有按量计费的端点。它的成本是你购买或已经拥有的硬件，加上电力，再加上搭建服务配方所需的工程工时。一旦这些费用付清，每 token 的边际成本就接近于零，并会一直保持在该水平。

• DeepSeek V4 Pro 按用量计费。在 OrcaRouter 上，它按照 DeepSeek 公布的价目表进行路由：每百万输入 token 0.66 美元，每百万输出 token 1.98 美元，不额外加价——因此供应商一调价，我们这边当天就会生效。对于每天消耗数百万 token 的工作负载来说，这是一笔实实在在的预算项，而不是可以忽略的零头。

• 盈亏平衡点不是 token 计数，而是一种利用率特征。闲置不用的本地模型纯粹是资本支出。每周只运行一个请求的托管模型几乎免费。当你要计量的 token 超过这台机器的摊销成本时，就会出现交叉点；而要知道你的流量对应的交叉点在哪里，唯一的办法就是测量一周的流量。

还有第三种几乎不用花什么钱就能尝试的方案，那就是OrcaRouter 用一个密钥即可路由 DeepSeek V4 Pro，同时还能调用 200 多个其他模型，并支持跨供应商自动故障转移。在把一台工作站投入到 24GB 本地部署之前，用你自己的提示词集，把该部署的输出与按量计费的前沿模型做一次对比，只需花几美元，就能以实证方式解决质量疑问，而不是仅凭一张指数表的说服力来下结论。

这个决定中没有人会后悔的版本

两者都运行，按各自擅长的模式来。DeepSeek V4 Pro 用于那些关键在推理深度或百万 token 上下文的请求，以及按量计费成本可见且可接受的场景。N​emotron 3.5 Bolt 74B-A9B 24GB 用于高流量、私有、多模态或离线流量，在这些场景中，模型本地部署是硬性要求，而不是成本优化。

人们不断试图进行的这种比较——拿一个指数数值去比另一个——在这里是最没用的框架，因为这两个产品并非为了相互竞争而打造。一个是在没有占用空间限制的前提下尽可能做到最好。另一个则是在 24 GB 以内尽可能做到最好。两者都是开放的，也都是正当合理的，而这正是为什么选择该由你来做，而不是由供应商替你决定。

像这样的对比，也正是失效模式暴露出来的地方：这一类模型背后有据可查的 AI 事件和智能体故障，都收录在OrcaRouter AI Incident Archive中，其中每一条记录都带有自己的来源、严重程度、置信度评级和争议标记。