NVIDIA Nemotron 3.5 Super VL：比自家博客文章先发布的 120B 开放模型

这些权重N​VIDIA N​emotron 3.5 Super VL，在 N​VIDIA 撰文介绍它们的三天前就已出现在 Hugging Face 上。全精度仓库，nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16创建于 2026-10-12T15:32:06Z。它的量化版本，nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4则在 24 秒后上线。N​VIDIA 自己那篇解释该模型的开发者博客文章标注日期为 2026 年 10 月 15 日——同一天，其模型卡片上写着“Hugging Face - 10/15/2026”。因此，公开产物和公开公告是在不同日期出现的，而间隔小到两个日期都不算错，且都值得了解。

以下是代码仓库和 NVIDIA 的帖子对这个 120B 参数、12B 激活的视觉语言模型实际所披露的内容：架构、部署测算、其自己公布的表格显示它落败之处，以及那篇博客文章从未提及的许可陷阱。

Nemotron 3.5 Super VL 到底是什么

NVIDIA 在其自家的博文中将其描述为“一个开放、可定制的多模态模型”，专为专门的智能体工作流而打造——将推理、指令遵循和工具使用，与对文本、图像、文档和视频的理解融合在同一套权重之中。用 NVIDIA 的话来说，这种结合的意义在于，团队“无需部署单独的文本模型和视觉语言模型，也无需在二者之间传递任务上下文，就能处理文本和视觉任务”。

架构，依据模型卡：

• Shape — 总参数量 120B，每个 token 激活 12B。一种混合专家模型，每个 MoE 层有 512 个路由专家。

• 主干——交错排列的 Mamba-2、注意力与 MoE 层，这是从 Nemotron 3 系列延续而来的 Nemotron 混合架构设计。

• 视觉 — 一个 C-RADIO 视觉编码器加上视觉语言连接器。transformers 架构字符串为 NemotronH_Omni_Reasoning_V3，模型类型为 nemotron_h_omni。

• 上下文 —— 最多 100 万 token，提示词、图像、对话历史、工具结果和生成的回复都共享这一窗口。

• 推测解码——原生多Token预测头，因此 NVIDIA 发布的 vLLM 和 SGLang 方案无需单独下载草稿模型。

• 推理模式 — 可通过聊天模板中的 enable_thinking来切换，中间还有一个 medium_effort设置。推理 token 与答案共用同一个 max_tokens 预算，卡片明确指出了这一点，因为它通常是导致智能体输出被截断的原因。

• 输入 — 文本、RGB 图像（JPEG、PNG）以及最长两分钟的 MP4 视频。vLLM 方案中推荐的视频采样为 2 FPS、256 帧，剪枝率为 0.5；对于 1080p，模型卡上建议降至 1 FPS、128 帧。

• 语言——卡片前置元数据中包括英语、西班牙语、法语、德语、意大利语和日语。NVIDIA 还表示，训练语料库涵盖英语以及另外 19 种口语和 43 种编程语言。

两个精度等级，以及它们换来的内存

{{1}}NVIDIA{{/1}}两次发布了这款模型，而两次之间的{{2}}内存跃升{{/2}}是本次发布中与决策最相关的一个数字。

• BF16—— 全精度参考基准。该仓库包含 64 个 safetensors 分片，总计约 231.8 GiB。NVIDIA 官方的部署方案为--tensor-parallel-size 4，运行在 4× H100 上，或在 2× GB200 上使用 TP2。

• NVFP4——4 位权重与激活，结合量化感知蒸馏，NVIDIA 称其“弥合了量化所引入的精度差距”。同一检查点可在非 Blackwell 硬件上以 4 位权重和 16 位激活运行，而 QAD 还允许 KV 缓存以 NVFP4 而非 FP8 存储。由于量化在训练期间而非训练之后进行，NVIDIA 表示它不会带来任何额外的推理开销。NVFP4 规格卡片列出了在 1× DGX Spark、1× H200、2× H100 或 1× GB200 上的部署方案。

最后一行才是真正实用的一点。一个 120B 模型能以 FP4 跑在两块 H100 上，而不是以 BF16 跑在四块上，这是完全不同的一场采购对话，也正是 N​VIDIA 把量化版仓库列为高效推理首选的原因。N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr这第三个同门成员比主力那两款早一天出现在 Hugging Face 上，且没有附带任何公告；N​VIDIA 的博客后来将 LiLiCorr 解释为一种开放的投机解码技术，并称其为 DGX Spark 上“N​emotron 3.5 Super VL 低延迟推理的推荐草稿模型”。它的仓库比这番解释早了四天，这相当形象地说明了此次发布是如何浮出水面的。

那个跳跃背后确实有一个正当的问题——相比 BF16 基准，NVFP4 这一档放弃了什么——但 N​VIDIA 自己的回答只是一项关于训练方法学的说法，而不是针对这两个检查点发布的并排精度对比表。如果你的决定取决于精度选择，那么这项对比并不在仓库里。

在它自己的基准测试表显示它落败的地方

模型卡包含一张由厂商运行的大型基准测试表——大约 40 行——涵盖推理、编程、智能体任务、长上下文、多语言和多模态工作。N​VIDIA 在这里异常坦率：它列出了对比项，而其中几项并不利于该模型。它自己的数据与同形态下最接近的开源竞品 Qwen3.5-122B-A10B 相比：

• GPQA-Diamond — N​emotron 3.5 Super VL 89.52 对比 Qwen3.5-122B-A10B 86.7（N​emotron 领先）

• HLE，纯文本 — 31.79 对比 24.2（Nemotron 领先）

• MMLU-ProX — 76.91 对 83.2（Qwen 领先六分以上）

• CritPt — 10.86 対 1.1（Nemotron 遥遥领先）

• LiveCodeBench v6 — 88.22 对 76.7（Nemotron 在该测试框架上领先）

• SWE-bench Verified — 71.10 对 71.9（持平，属于噪声范围）

• SWE-bench Pro — 51.78 比 44.9（Nemotron 领先）

• tau2-bench 零售 — 69.24 对比 55.4（Nemotron 领先）

• tau2-bench telecom — 73.19 对 87.2（Qwen 领先 14 分）

• AA-LCR v1.1 — 68.62 vs 75.1（Qwen 在长上下文方面领先）

• BabyVision — 29.60 vs 35.7（Qwen 领先）

• MathVision — 78.16 对 83.3（Qwen 领先）

• OCRBench v2，英语 — 68.12 对 68.3（基本持平）

• OCRBench v2，中文 — 59.15 对 67.3（Qwen 领先八分）

• V* — 85.60 对比 91.1（Q​wen 领先）

• IFBench — 70.86 对比 67.6（N​emotron 领先）

• AA-Omniscience 指数 — 4.03 对比 -36.1（两者均偏弱；N​emotron 的负值小得多）

关于这张表，有三点值得说明，而不是让那些胜绩替它说话。

首先，其中的每一个数字——Nemotron 的以及每一个基线的——都是由厂商自行报告的，并通过 NVIDIA 自家评测框架收集。模型卡上直接写明了这一点："Nemotron 3.5 Super 和基线的所有评估结果均通过 NeMo Gym 收集"，可复现性说明也已发布在 NeMo Gym 仓库中。这样的披露比大多数实验室做得更到位，但它仍然不是一个独立的评分。请把这些列读作某一家实验室对若干模型的测量结果，而不是一个中立的排行榜。

其次，N​VIDIA 自己列出了那些未被纳入其开放工具链的基准测试——BabyVision、CharXiv-RQ、MathVision、MMLongBench-Doc、OCR-Reasoning、OCRBench-v2、V* 和 Video-MME-v2——并表示这些测试使用了官方实现或“一个我们计划在未来开源的内部脚手架”。表格中的每一行多模态数据都附有这一说明。

第三，这些失利中的规律是一致的，而非随机的。差距出现在中文 OCR、长上下文推理以及视觉数学和图表阅读方面。优势则集中在工具调用基准和短周期智能体任务上——CritPt、tau2-bench 零售和航空、APEX、Terminal-Bench 2.1 的 66.70 对比 Q​wen 的 48.70、SWE-bench Pro。对于 N​VIDIA 将其定位为多模型智能体栈中执行器的模型来说，这是一个站得住脚的画像。如果你的工作负载是中文文档解析或超长分析上下文，同一张表则在告诉你另一件事。

后训练胜过基座，NVIDIA在这方面领先

NVIDIA 博文中最具体的准确率声明并不是一项基准测试分数，而是一则关于定制化的声明：对基础版 Nemotron 3.5 Super VL 进行后训练，可以让某一专门化工作负载超越 Claude Opus 5。NVIDIA 举的例子是医疗保险理赔，其中提到后训练带来了 44% 的提升。

关于英伟达如何公布这一结果，有两点值得注意。这个数字被归因于所宣称的后训练带来的提升，而非在公开基准测试上进行的模型间对比——后者是另一种且更弱的证据。而且英伟达自己的帖子也谨慎地指出，这些提升是有前提的：“基础模型本身并未超越专有前沿模型”才是这句话的诚实版本，而其框架是：开放权重的优势在于企业可以用自己的数据进行后训练，并在自己的基础设施上运行结果。

同一件事的供应商一侧内容单薄。N​VIDIA 将 Scale AI、Ramp 和 AI21 列为对该模型进行后训练的组织；Ramp 被引述称，对于收据到 JSON 的提取，预计“吞吐量最高提升 50%，延迟降低至原来的十分之一”，Scale AI 则称，供应商信贷处理可实现推理成本降低 40 倍、延迟改善 5 倍。这些是客户自述的预期和结果，由供应商发布，背后没有独立测量支持。这些说法很可能成立。但这些公司之外没有人核实过。

NVIDIA 确实发布且真正有用的，是配方层面的东西：用于 SFT 和 LoRA 的 NeMo AutoModel，用于强化学习和基于环境的评估的 NeMo RL 与 NeMo Gym，用于多模态数据生成的 NeMo Data Designer，以及 Hugging Face 上的 45 个视觉语言数据集和一组智能体工具使用、金融推理与指令遵循数据集。针对已发布基准的可复现性教程位于 NeMo Gym 仓库中。最后一部分确实很有用——这意味着你可以尝试重新运行 NVIDIA 自己的评估，而不是只相信那张表格。

该许可证并不像营销宣传所暗示的那样。

这个细节才是值得读仓库而不是博客文章的原因。

NVIDIA 的帖子将该模型称为“一个开放的、可定制的多模态模型”，并提到“该模型的开放权重”。这两句话就权重而言都是准确的。但二者都不是关于许可证的表述。模型卡的前置元数据写的是 license: other，并带有 license_name: openmdw-1.1，而适用的条款是 OpenMDW 许可证协议 1.1 版，见 openmdw.ai/license/1-1/。模型卡直言该模型“已可供商业或非商业使用”，而 NVIDIA 自己的部署表述也提到可在“受支持的本地、数据中心或云环境”中运行它。

所以：按 NVIDIA 的说法，可作商业用途。但这里的"开放"指的是 OpenMDW-1.1，不是 Apache 2.0，也不是 MIT。如果你的组织有一份预先批准的开源许可清单，那首先该核对的就是这份清单——而"开放权重"与具名许可之间的实际差别，恰恰属于那种发现晚了就要赔上一个发布周期的落差。这不是对模型的批评，OpenMDW 也并非限制性许可。这只是提醒：博客文章里那个形容词所起的作用，不如模型卡的 frontmatter 大。

在不把生产路径押在它上面的前提下试用一下

已发布的部署配方明确针对单机，这也决定了它会被如何评估。两张卡中 NVIDIA 的 vLLM 命令均以 TP4 在 4× H100 上运行，或以 TP2 在 2× GB200 上运行，并带有 --trust-remote-code——该模型附带自定义建模代码——而 SGLang 配方使用 lmsysorg/sglang:v0.5.20 在两块 GB200 上运行。对于 DGX Spark，有一个专用的 LiLiCorr 草稿模型检查点，NVIDIA 建议在所有 Spark 场景中使用它；该公司声称，与无推测解码相比，token 生成速度最高可提升 2.3 倍。在采用 Dynamo 的 16 块 B200 上，NVIDIA 称在每用户每秒 50 token 的情况下，可为多达 8 倍的用户提供服务，且首 token 延迟降低 85%。这些都是厂商内部测量结果。

对一个发布才三天、没有独立排行榜、且其多模态成绩还带着“脚手架未公开”这一注脚的模型来说，这确实是一笔实打实的评测成本。而想低成本地看看它，并不需要先架起四块 H100。

要评估一个刚发布不久的新版本，最省钱的方式是通过单一网关，而不是再下一笔硬件订单。在 OrcaRouter 上，这意味着一个密钥即可调用 200 多个模型，按服务商标价计费，零加价，无需单独签约，也无需改动代码，并且可跨服务商自动故障转移，这样一个你尚未验证的模型就不会成为生产路径中的单点故障。这款特定模型尚未上架目录——N​VIDIA 几天前才发布——所以目前只能通过厂商自己的 API 或提供该模型的第三方平台获取。它带来的价值在于你现在就能实际进行的对比：把它声称要超越的候选模型放在同一个密钥之下，用你自己的任务跑一遍它们，并与你已经在用的模型对比，再让路由层把切换变成改配置，而不是做迁移。到那时，4× H100 还是 2× GB200 才成为一个采购决策，而不是一场猜测。

关键不在于路由会取代基准测试，而在于你今天就能做出决定：这个模型应该在你的技术栈中负责哪些任务，而这个决定并不需要硬件订单。

尚未确立的是什么

这份诚实的未知事项清单很短，但影响重大，而且它是应当作为工作依据的清单，而不是营销说辞：

• 不存在独立评估。上文引用的所有分数均来自 NVIDIA 的 NeMo Gym 运行结果。NVIDIA 的博客引用了 Artificial Analysis 的基准测试以及 EXO Labs 的一项独立评估，该评估将模型置于 DGX Spark 上准确率与任务完成度的帕累托前沿，但该模型卡本身并未发布任何第三方评分，且在撰写本文时，各大聚合平台上都没有它的独立模型页面。

• BF16 与 NVFP4 之间的精度差异尚未量化。NVIDIA 对 NVFP4 的论证，建立在量化感知蒸馏能够弥合这一差距之上。这是一种方法论上的主张，而非针对你实际能够下载的那两个检查点所发布的精度对比。

• 该基准测试项目部分使用了 NVIDIA 自家的工具。有八项多模态基准测试采用了官方实现或内部脚手架，而 NVIDIA 称其“计划在未来开源”——这意味着这些结果原则上可复现，但只是将来某天，而非现在。

• 后训练的收益由供应商和客户自行报告。44%的声称提升幅度以及Ramp和Scale AI的数据，均为NVIDIA就其自身客户所作出的表述。没有任何独立方对这些数字进行过测量。

• 在完整的 1M 窗口下的长上下文行为尚未在厂商之外得到验证。其架构正是为此而设计的，NVIDIA 也为此发布了部署方案。至于在真实文档上跨越整整一百万个 token 时召回能力是否依然可靠，恰恰是那种会在独立测试中显现、却不会出现在厂商表格里的问题。

你现在应该对此采取行动吗？

如果你在构建文档、图表、视频或多工具智能体，并且已经为 120B 级别的推理做好了预算，那么这周这值得认真看一看：NVFP4 量化层级让它能跑在两块 H100 上，许可证允许商业使用，而 NVIDIA 表格中工具调用那几行是它最亮眼的部分。12B 激活参数的结构也意味着它的单 token 成本比 120B 总量所暗示的更低——而且，在 OrcaRouter 这边，供应商对它的价格变动当天即生效，而不必等到一个计费周期之后，因为供应商标价是原样透传、不额外加价的。

如果您的负载依赖中文 OCR、超长分析上下文或可视化数学，N​VIDIA 自己的表格给出了三个具体理由，说明为什么应等待独立数据，而不是根据营销宣传进行推断。

无论哪种情况，真正值得关注的都不是又一篇厂商发布。而是第一次独立评测，在相同测试框架下把 NVFP4 检查点与 BF16 检查点进行对比；以及第一个并非通过 NeMo Gym 收集的第三方评分。在这些出现之前，这只是一个文档齐全、许可条款舒适、确实高效的开放模型，其最有力的说法完全建立在自家厂商自己的测量之上——而这家厂商自己也足够坦诚，把那些它落败的行都公布了出来。

记分板所衡量的内容与实际部署所面对的情况之间的那道落差，正是这份记录之所以重要的原因：围绕这一类模型已有记录在案的人工智能故障与智能体事件，都汇集在OrcaRouter AI Incident Archive，其中每一条都带有自己的来源、严重程度、置信度等级和争议标记。