一张自动生成的标题卡,以四个面板对比 NVIDIA Nemotron 3.5 Super VL 与 NVIDIA Nemotron 3.5 Lightning 30B-A3B:参数量为总计 120B、激活 12B 对总计 30B、激活 3B;部署为 4xH100 或 2xGB200 对单台 DGX Spark 或单块 H100;输入模态为文本、图像和视频对仅文本;许可证双方均为 OpenMDW-1.1。页脚注明,文中所有基准数据均由厂商提供,来自 NVIDIA 自家的 NeMo Gym 测试框架。OrcaRouter 标志合成于右下角。
Guides & Insights

Nemotron 3.5 Super VL 与 Nemotron 3.5 Lightning:同一家族的两个层级,以及决定选哪个的 Token

作者

Magnus Corvin

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

这两个模型并非竞争对手,把它们混为一谈,正是规格表诱使人犯下的错误。NVIDIA Nemotron 3.5 Super VL是一个 120B 参数、12B 激活的视觉语言模型,需要四块 H100 或两块 GB200 才能以全精度运行。NVIDIA Nemotron 3.5 Lightning 30B-A3B则是一个 30B 参数、3B 激活的文本模型,可在一台 DGX Spark 或一块 H100 上运行。二者共享同一许可证——OpenMDW-1.1,可商用,开放权重与开放配方——也共享一种设计理念:用 Mamba-2 和稀疏专家来压低每 token 的计算开销。它们并不共享输入模态、硬件门槛或任务定位。Lightning 比另一款早约两个月,于 2026 年 8 月 11 日发布;Super VL 的权重于 2026 年 10 月 12 日上线,NVIDIA 的公告则在 10 月 15 日跟进,所以这两者中,一个是已经尘埃落定的发布,另一个才刚问世一天。

通俗地说,这道门

两个模型均以可下载检查点的形式提供,并配有已发布的评估方案。两者均由厂商自行评估:下表中的每一个数字都来自 NVIDIA 自家的 NeMo Gym 或 NeMo Evaluator 测试框架,而非第三方,且两者背后都没有独立的吞吐量或准确性审计。这一说明适用于整个对比,故不在每一行重复。

Lightning 在哪方面更占优势:NVIDIA 表示,Lightning 30B-A3B NVFP4 检查点在 Hugging Face 上已被拉取约 907,000 次,而发布仅一天的 BF16 Super VL 检查点大约只有 142 次。这并不是一个质量信号——而是能在笔记本级加速器上运行的模型与无法运行的模型之间的差别。

A screenshot of the Hugging Face model card for nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, showing the repository header, the Model Card, Files and Community tabs, and a Model Summary describing NVIDIA Nemotron 3.5 Lightning 30B-A3B as a hybrid Mamba-Transformer and a 30B text-generation model with 3B activated parameters, noting the model is ready for commercial use.

两个检查点包含什么

Nemotron 3.5 Lightning 30B-A3B 是一种混合式专家混合(MoE)模型,由交错的 Mamba-2 层与 MoE 层以及少量注意力层构成,总参数量为 30B,每个 token 激活 3B,上下文长度达 1M token,且仅接受文本输入。NVIDIA 使用 NVFP4 预训练方案,在超过 20 万亿 token 上训练了它,并加入了多 token 预测头,随后用合成代码、数学、科学、工具调用和指令遵循数据进行微调,最后经过 GRPO 强化学习阶段。它随附三种独立的投机解码策略——面向低并发数据中心和 DGX Spark 工作负载的 DSpark,以及 MTP 和 DFlash——对于 30B 模型而言,这样的推理工程投入并不寻常,也说明了目标用户是谁:在本地运行智能体并盯着墙上时钟的人。

NVIDIA Nemotron 3.5 Super VL 共享同一骨架,并加上了眼睛。同样采用交错式 Mamba-2、MoE 和注意力混合架构,但每个 MoE 层有 512 个路由专家,配有 C-RADIO 视觉编码器和视觉-语言连接器,总参数 120B、激活参数 12B,支持文本、图像和视频输入。其语言主干从 Nemotron 3 Super Base 初始化,随后在继续预训练之前,从 Nemotron 3 Ultra Base 蒸馏了一万亿个 token,接着进行了将上下文扩展到 1M 的 350 亿 token 扩展、软件工程中期训练以及长上下文恢复阶段。这两个发布版本还共享一份技术报告——NVIDIA 将 Super 和 Lightning 的工作一起发布。

• 激活参数——Super VL 每 token 为 12B,而 Lightning 为 3B。在把视觉编码器算进去之前,每生成一个 token 的计算量就是 Lightning 的四倍。

• 模态 — 文本、图像和采样视频帧输入到 Super VL;Lightning 为文本输入、文本输出。Lightning 支持的语言包括英语、西班牙语、法语、德语、意大利语和日语。

• 硬件最低要求 — Super VL 在 BF16 下需 4×H100 或 2×GB200,生产环境另需 NVFP4 构建和 NIM 微服务;Lightning 则需一台 DGX Spark、一块 H100、一块 RTX 5090,或通过 W4A16 使用 Ampere 级芯片。

• 上下文——两者均为 1M tokens,且都提供了公开的方案,而不是单一宣传的最大值。

• 推测解码 — Super VL 原生使用自己的 MTP 头,无需下载草稿模型;Lightning 将 DSpark、MTP 和 DFlash 变体作为单独的检查点发布。

• 许可证 — 两者均采用 OpenMDW-1.1,允许商业使用,并在 Hub 上提供开放数据集和 RL 环境。

数字能说明什么,不能说明什么

在 NVIDIA 自家的评测框架上,两者差距并不接近,而这也在意料之中:一个激活参数量为 12B 的模型本就应当胜过激活参数量为 3B 的模型。用 NVIDIA 公布的表格来量化这一差距:GPQA-Diamond 上 Super VL 为 89.52,Lightning 为 75.44;HLE 纯文本为 31.79 对 11.72;SWE-bench Verified 为 71.10 对 51.56;Terminal-Bench 2.1 为 66.70 对 24.58;AA-LCR 为 68.62 对 52.00。

这些行内部的模式比这些行本身更有用。Super VL 在长上下文和智能体执行基准测试上的领先幅度巨大,而在通用知识上则相对温和——MMLU-Pro 为 76.91,而 Lightning 为 81.94,这是较小的模型赢得一行的罕见情况。这正是那种被刻意用软件工程数据做中期训练、并接受了长上下文恢复阶段的模型的形态:它更擅长把任务持续推进下去,而不是回忆事实。如果你的工作负载是在短文本上进行事实性问答,那么 30B 模型的劣势基本就消失了,而且其每 token 计算量只有四分之一。

A generated two-column scoreboard for NVIDIA Nemotron 3.5 Super VL against NVIDIA Nemotron 3.5 Lightning 30B-A3B across six dimensions. The Super VL column reads: parameters 120B total and 12B active; modalities text, image and video; hardware floor 4x H100 or 2x GB200; context window 1M tokens; GPQA-Diamond 89.52; MMLU-Pro 76.91. The Lightning column reads: parameters 30B total and 3B active; modalities text in and text out; hardware floor 1x DGX Spark or 1x H100; context window 1M tokens; GPQA-Diamond 75.44; MMLU-Pro 81.94. A footer states that all figures are NVIDIA-reported from NVIDIA's own NeMo Gym harness, measured on the official NVFP4 checkpoints and unaudited by any third party. The OrcaRouter logo is composited in the bottom-right corner.

NVIDIA 在 Lightning 的模型卡上列出了一条注意事项,其内容值得在实质上原样复述:这些数字是用官方 NVFP4 检查点测得的,并且仅适用于该检查点,同时 NVIDIA 指出,其自己的评估可能与竞争模型厂商报告的数字不同。这是一句异常诚实的说明,同样适用于 Super VL 的表格。

A screenshot of NVIDIA's own launch blog page for the Nemotron 3.5 family, showing the announcement that the release covers NVIDIA Nemotron 3.5 Super VL and NVIDIA Nemotron 3.5 Lightning 30B-A3B, together with the vendor's stated framing around always-on agents and the efficiency claims discussed in this article.

选择层级,以及高于该层级时会发生什么

决策规则取决于模态和成本下限,而不是排行榜上的名次。凡是需要“读”页面的任务——发票、图表、扫描表单、应用截图、视频帧——都只能交给 Super VL,因为 Lightning 根本没有处理像素的通道。凡是文本进、文本出、持续运行、且部署在你已有硬件上的任务,都属于 Lightning,因为单张加速卡上以 NVFP4 运行的 3B 激活参数模型,与跨四块 GPU 的 120 亿激活参数,其成本结构完全不同。

在两者之上的是 NVIDIA Nemotron 3 Ultra 550B-A55B,Super VL 卡直接以它为基准进行测试,而它需要八块 GB200 或十六块 H100。三个层级,三种硬件等级,一个许可证。该系列的设计目标是让单个组织能够部署全部三款,并在它们之间迁移工作负载;而真正有趣的工程问题不在于挑选其中一款——而在于决定每个请求去向的路由器。

路由层才是平台(而非某个检查点)真正体现价值的地方,因此有必要精确说明我们在这里做什么、不做什么。OrcaRouter 不提供 NVIDIA Nemotron 3.5 Super VL、Nemotron 3.5 Lightning 30B-A3B 或 Nemotron 3 Ultra 550B-A55B;这三者都不在我们的目录里,而自托管的检查点按定义就不是 API 提供商能直接交给你的东西。我们提供的,是围绕本地与托管混合模型集群的那部分能力:将多个模型组合成单次调用的路由 DSL,让流水线可以把机械性的页面交给小而便宜的模型,只把难处理的升级出去,以及跨上游提供商的自动故障转移,使某个托管依赖退化时不至于把整条流水线一起拖垮。这个等式中的目录侧——目前一个密钥背后有两百多个模型,在提供商标价基础上 0% 加价——正是升级分支所调用的对象。由自托管的 Lightning 承担流量、由路由后的托管模型处理例外,这样的系统比任何单独一半都更小、也更安全。

看什么

Lightning 的相对成熟度是一个被低估的变量。它自八月起就已公开,有第三方量化版本,支持 llama.cpp、Ollama、LM Studio 和 vLLM,而且下载基数足够大,失败模式已为人所知。Super VL 有一张模型卡、一份技术报告、一个 vLLM 首日方案,以及才一天的下载量。这个月就把它投入生产,意味着你要成为那个发现各种粗糙之处的人。

真正需要关注的是,NVFP4 Super VL 构建版本能否把硬件差距缩小到足以产生实际影响的程度。如果量化后的 120B-A12B 模型能在少量加速器上有效运行——不是一块,而是少于四块——那么层级边界就会移动,整个三模型家族作为整体部署的成本也会随之降低。在那之前,划分依据是模态:Lightning 用于在自有硬件上处理大批量文本,Super VL 用于任何涉及像素的内容,Ultra 则用于任务确实需要 NVIDIA 所售最大模型的情况。