NVIDIA Nemotron 3.5 Super VL 发布：1200 亿开放权重、5 倍性能宣称，以及 249 GB 的隐忧

NVIDIA Nemotron 3.5 Super VL 已发布，而真正应该决定你是否上手它的规格，并不是公告开篇所主推的那一项。该模型是一个 120B 参数的视觉语言系统，拥有 12B 激活参数、1M token 上下文、原生推测解码，并支持文本、图像、文档和视频。NVIDIA 的发布文章日期为 2026 年 10 月 15 日，将其宣传为同类中最快的开放智能体模型——“与同类其他模型相比，吞吐量最高可快 5 倍”，该数据在 Artificial Analysis Intelligence Index 排行榜上测得。这篇文章没有明确告诉你的是：此次发布包含两个检查点，二者之间的差异是 174 GB 显存，而较小的那个为这一节省付出的代价并不均衡。

10月15日实际发布了什么

有两件事发生在不同的日子，如果你要给一次部署定日期，这个时间差就很关键。模型权重于 10 月 12 日 15:32 UTC 上线到 Hugging Face。公告随后于 10 月 15 日发布。NVIDIA 自己的模型卡给出的发布日期是 10/15/2026，版本 1.0 GA，因此厂商认为 15 日是发布日；而仓库时间戳却表明并非如此。这两个日期距今都不超过一周，而且都足够新，因此关于这次发布的任何内容都还没有时间得到独立复现。

此次发布的覆盖范围比公告所冠名的模型更广：

• Nemotron 3.5 Super VL —— 旗舰型号，总参数 120B / 激活参数 12B，提供 BF16 和 NVFP4 两种构建版本，均于 10 月 12 日发布。

• Nemotron 3.5 Super VL Base——后训练前的检查点，与指令版一同发布；这一点很重要，因为该许可证允许你自行运行后训练。

• Nemotron 3.5 Bolt 74B-A9B 24GB—— 一款通过原生 2 比特量化即可塞进 24 GB 的端侧模型，于 10 月 7 日发布。

• Nemotron 3.5 Bolt E4B 4GB——该系列中最小的一款，日期为10月23日。

Mamba-2/Transformer 混合专家（MoE）架构，具备多词元预测，每个 MoE 层有 512 个路由专家，并配有 C-RADIO 视觉编码器和视觉-语言连接器。多模态处理涵盖 OCR、表格、图表、多页文档和视觉定位；视频以 MP4 格式接受，时长最多两分钟，以 2 FPS 采样、最多 256 帧，或在 1080p 下以 1 FPS 采样、128 帧。许可证为 OpenMDW-1.1，模型卡称其可用于商业或非商业用途——这是一组真正宽松的条款，也是此次发布备受关注的一个实实在在的原因。

两个检查点，以及它们之间的174 GB

对于任何需要为 GPU 付费的人来说，这个版本的有趣之处就在这里。NVIDIA 把同一个模型发布了两次，分别采用两种精度，而这两个构建版本的体量相差并不小。下面两个数字均取自 Hugging Face 仓库的文件列表，其中列出了各个权重分片的大小：

• BF16 checkpoint — 63 个分片共 248.94 GB。safetensors 文件头显示参数量为 1244.5 亿。

• NVFP4 检查点 — 共 75.06 GB，分布在 88 个分片中。在 Blackwell 上推理以 W4A4 运行，在较旧的硬件上则以 W4A16 运行。

• 硬件，全精度 — NVIDIA 的规格卡列出 4× H100 或 2× GB200，适用于文本、图像和视频。

• 硬件，已量化 — 1× H200、2× H100、1× GB200，或单台 DGX Spark，其中 Spark 路径需要 LiLiCorr 草稿模型进行推测解码。

• 节省量——173.88 GB，在磁盘上约小 3.3 倍，也正是四 GPU 节点与单块加速器之间的差距。

要把这当作一个经济学问题来读，因为它本来就是。从四个 H100 换成一个 H200，这不是一个调优决策；它决定的是这个模型能否在本季度内落地到产品里，还是不能。NVIDIA 所用的量化方案也比常规做法更为审慎：视觉编码器、连接器、Mamba 卷积和嵌入保持 BF16，MoE 路由器保持 FP32，其余部分则通过对 BF16 模型进行量化感知蒸馏生成，并在其上叠加 200 轮基于 SFT 的蒸馏。

量化构建放弃了什么

NVIDIA 发布了一张配对表格，在其余所有设置保持不变的情况下对这两个检查点进行比较，这才是进行这种比较的诚实做法，而且比应有的更少见。下面的配对数据来自 NVFP4 模型卡，是 NVIDIA 自己的数字，而且它们并非全都方向一致。

量化构建的劣势在哪里：

• Terminal-Bench 2.1 —— BF16 下为 66.70，而 NVFP4 下为 60.80。下降 5.9 分，是表中单项退步最大的一项。

• WebVoyager，离线 — 77.72 对 66.31。在浏览器智能体任务上下降了 11.4 个百分点。

• DeepSWE，离线——24.65 对比 18.20。

• MMLU-ProX — 76.91，相较 73.76。

• tau3-bench banking — 18.88 对比 17.78。

增长或保持之处：

• GPQA-Diamond — 89.52 对比 89.90。

• APEX 入围名单——88.36 对 89.36。

• AA-Omniscience 幻觉率——30.0 对 27.7，也就是说，按 NVIDIA 自己的衡量标准，量化版本的幻觉反而略少一些。

• tau2-bench telecom——双方均为 73.19，完全一致。

• OCRBench v2 EN — 68.12 对比 68.34。

• MMLongBench-Doc — 双方均为 62.82。

这个规律即使没有统计学家也清晰可辨。文档、OCR 和知识回忆类工作负载几乎纹丝不动，其中一些甚至还有所改善。长时程的智能体工作负载则变化很大。如果你的应用需要读取申报文件、收据或页面图像并返回结构化输出，那么 75 GB 的检查点就是你应该部署的，而你几乎什么都不会失去。如果你的应用是一个需要连续执行数十步、运行终端或驱动浏览器的智能体，那么你是在用大约百分之九的 Terminal-Bench 得分，换取四分之三的 GPU 开销，而这个决定值得基于你自己的评测来做，而不是依据厂商的表格。

5倍，以及它是相对于什么来衡量的

NVIDIA 的主打卖点是吞吐量，它值得被精确解读，而不是被轻率否定或简单重复。其宣称是“相比同类其他模型，吞吐量最高可提升 5 倍”，而文中并未定义“同类”指什么。测量数据来自 NVIDIA，跑在 NVIDIA 自己的服务栈上，并发度和序列组合则听凭该方案选择——模型卡自身的部署表指定了 32 个并发序列，并根据硬件不同指定 5 个或 3 个推测性草稿 token；而 20 轮智能体代理上的吞吐量，与单次提示下的吞吐量是完全不同的数字。

这一切都不能证明该说法是假的。它反而使其成为一项关于厂商配置工作负载的厂商声明，而这正是标签所写的。值得注意的是，在这个版本中没有任何制衡因素：这些检查点的独立吞吐量测量结果尚未发布，因此目前流传的唯一数字就是 NVIDIA 的。一个吞吐量数字如果没有指明基线模型、说明并发量，也没有说明硬件配置，就无法用来做容量规划。如果这个 5 倍对你的决策至关重要，那么在签署 GPU 预留协议之前，请在你自己的流量上复现它。

根据NVIDIA自己的表格，该模型在哪些方面表现强劲

单模型卡片还列出了 BF16 检查点与同类模型相比的表现，而 NVIDIA 自己那一列右边的几列也值得一读，因为它们同样是 NVIDIA 的。对比对象包括 Qwen3.5-122B-A10B、Qwen3.8-Flash-Next、DeepSeek-V4-Flash、Nemotron 3 Ultra、Inkling-Small 和 GLM-5.3-Flash：

• Video-MME v2 — 32.85，而 Qwen3.8-Flash-Next 为 45.1，GLM-5.3-Flash 为 14.8。处于中游水平，且是所有行中差距最大的一项。

• OCRBench v2 EN——68.12，与 Qwen3.8-Flash-Next 的 67.9 和 Qwen3.5-122B-A10B 的 68.3 大致持平。

• CharXiv 推理 — 80.82，落后于两款 Qwen 模型。

• MathVision — 78.16，落后于87.5的Qwen3.8-Flash-Next。

• MMLU-ProX——76.91，落后于该行上的每一个同类列。

• AA-Omniscience 幻觉率——30.0，而 Qwen3.5-122B-A10B 为 84.5，DeepSeek-V4-Flash 为 95.9。在这一项上，数值越低越好，而且差距并不小。

• Terminal-Bench 2.1 — 66.70，相比之下 Qwen3.8-Flash-Next 为 85.8，GLM-5.3-Flash 为 82.7。

• SWE-bench Verified — 71.10，而 GLM-5.3-Flash 为 79.10。

• OSWorld-Verified——51.14，而 GLM-5.3-Flash 为 14.78。

这一形态与 NVIDIA 所描述该模型的用途相符。它在纯粹的推理或编程方面并非领先者，也并未声称自己是——公告将其与自家最大的模型对标，参数量约为后者的五分之一，而不是与前沿模型对标。它在幻觉控制、文档抽取和桌面智能体工作方面表现强劲，在视频方面处于中游，在最难的智能体终端基准测试中则落后。如果你关注这次发布，是因为“视频理解”出现在公告的第一行，那么视频相关数字才是值得仔细看的。

运行成本是多少

没有目录价，而这并非 NVIDIA 的疏漏——这正是开放权重发布的形态。NVIDIA 并不按公布的价格按 token 销售这个模型；它根据 OpenMDW-1.1 发布权重，并提供一个带有经过验证配置的 NIM 容器，而你为 GPU 付费。所以成本问题就是 GPU 小时数问题，两个可接受的答案是：BF16 用 4× H100，NVFP4 用一块 H200 或一台 DGX Spark。

这就是大多数团队在将开放模型与托管 API 对比时算错的那部分算术。托管方报出的每 token 费率里，已经包含了别人的利用率曲线。开放模型这一方给出的则是一个检查点和一份最低硬件清单，而真实数字完全取决于你能否让 GPU 保持忙碌。单台 H200 运行一个 75 GB 的检查点，每天只为某个内部工作流服务几百次，其每次调用成本会远高于同一检查点放在共享部署上。先租后买，并且要在你自己的提示词上测量每秒 token 数，而不是在代理工作负载上测量。

在押注一款产品之前先试用一下

对于一个文档才发布一天的模型，诚实的第一步是评估，而非迁移，而这正是网关发挥实际作用、而非空谈作用的地方。一个密钥即可访问200 多款模型，按提供商标价、0% 加价，这意味着你真正想要的对比——Nemotron 3.5 Super VL 与你当前运行的文本或视觉模型之间的对比——只是更改一个模型字符串，而无需再建立第二个供应商关系；跨提供商的自动故障转移意味着，你仅用于测试的工作负载可以与生产流量并行运行，而两者互不依赖。这一点在这里比通常更为重要：这两个检查点在智能体任务上的表现差异足够大，以至于有用的实验不是“这个模型好不好”，而是“这两个构建中哪一个、在我哪个基准测试上、以何种 GPU 成本表现更优。”

避免浪费一个 GPU 月的顺序是：先选择文档形态的工作负载，因为正是在这里，BF16 与 NVFP4 之间的差距最小，模型自身的数字也最好。让它针对较小的检查点运行。用你自己编写的评估给它打分。只有到那时，再决定智能体工作负载——也就是量化构建在 Terminal-Bench 上低了 5.9 分、在 WebVoyager 上低了 11.4 分的那些工作负载——是否值得使用 249 GB 的构建和四块 GPU。

还有什么仍未得到解答？

三个差距值得关注，因为它们改变的是决策，而非营销。

第一点是独立评估。本文中每一个来自 NVIDIA 的数字都标明了这一点，而在本次发布中，所有数字都是如此。没有任何第三方针对这两个检查点中的任何一个发布过吞吐量测量、精度复现或评估工具套件比较。5 倍吞吐量声明和配套的量化表内部一致，显然是经过精心制作的，但它们仍然是厂商自报且未经复现的。在 NVIDIA 以外的机构发布相同实验之前，请将它们视为上限。

第二项是视频路径。该模型支持 MP4，公告也以视频理解作为主打，但在 NVIDIA 自己表格中唯一一项视频基准上，它只有 32.85，而 Qwen3.8-Flash-Next 达到 45.1。训练数据覆盖的视频时长从 1 万小时到 100 万小时，跨度很大，却无法说明数据密度或领域。如果视频是你的用例，这就是最该先测试的一行，也最可能让依据公告制作的采购演示材料失望。

第三个是基础检查点。它以相同许可证发布，是本次发布中长尾最长的部分，因为它让拥有自己数据的团队能够进行后训练，而不是只能围绕厂商的模型做提示工程。NVIDIA 自己针对该系列的后训练语料库也是开放的，而且在 NVIDIA 的评测框架内，其报告中报告的效应量达到了数十个百分点。目前还没有人发布过基于该基础模型的可信独立微调。等有人做到时，它揭示出的关于这个模型真实上限的信息，会比发布文章更多。

权重今天就能下载，许可证也允许你将其用于商业用途。而你下载不到的两样东西，是一份独立基准测试，以及一个标明基线的吞吐量数据——而这两样，恰恰是你在把生产路线押注到一个目前才问世四天的模型上之前所必需的。