
NVIDIA Nemotron 3.5 Lightning 30B A3B:Nvidia 开源智能体主力模型详解
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 89 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 97 tok/s
- orca新Orca: OrcaC2 1.02026-11-079 tok/s
- Orca新OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 88 tok/s
- Orca新OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 133 tok/s
- Orca新OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 每百万 tokens · 88 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 123 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 194 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 123 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百万 tokens · 138 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百万 tokens · 189 tok/s
英伟达于2026年8月11日发布了Nemotron 3.5 Lightning,并随附了一个大多数模型发布都不包含的东西:一个路由器。NeMo Switchyard是一个开源库,用于决定在代理循环中应由哪个模型处理下一个调用。它与一个300亿参数、仅30亿激活参数的混合专家模型同日发布——这正是关键所在。这篇解析文章主要介绍英伟达率先发布的检查点:NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16,即未经对话调优的原始预训练基础模型,而非聊天调优参考版,以及整个模型家族如何揭示开放模型服务的未来发展方向。
在给出数据之前先说明资料来源:本文中的每一项基准测试、跑分声明和合作伙伴数据均出自英伟达自己,而且至今尚未被任何第三方独立复现——毕竟这个模型发布才几个小时。请把这些性能数据当作厂商口径来对待:有参考价值、有方向性,但还算不上最终成绩单。
Nemotron 3.5 Lightning 究竟是什么
Nemotron 3.5 Lightning 是 Nvidia 开放 Nemotron 3 系列中最新且最小的成员。它是一个 30B 参数的 MoE 模型,每个 token 仅激活 3B 参数,基于混合 Mamba-2 与 MoE 架构构建,并带有选择性注意力层和多 token 预测(MTP)头,这些是在专门的预训练阶段集成进去的。Nvidia 表示,该模型是从其前沿的 Nemotron 3 Ultra 模型蒸馏而来,并在超过 20 万亿个 token 上完成训练,支持高达 100 万 token 的上下文窗口。
{{1}}设计目标是规模化下的延迟与成本,而非前沿通用性。{{2}}Nvidia将Lightning定位为常驻代理的“执行层”——即代理持续产生的高频、低难度调用:工具调用、代码审查、安全告警分流、账单问题、子代理委派。{{3}}这类工作,你不希望在每一步都动用前沿模型;你需要的是一个便宜、快速且足够好的模型。{{4}}速度方面的宣称源于其架构:根据Nvidia的测量,输出速度比同类规模的模型快至多4倍,代理任务完成速度约快30%。{{5}}两个草稿模型DSpark和DFlash提供了针对中高并发服务调优的推测解码。
三个检查点 — 以及你想要哪一个
这次发布实际上是三个下载,而将“Nemotron 3.5 Lightning”视为单一模型的报道,忽略了开发者最看重的区别。
本文的主题NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16是未经任何处理的原始预训练检查点——未经过监督微调、强化学习或蒸馏。这是一个严格意义上的基座模型:开箱即不具备对话功能,其定位是作为继续预训练、自定义SFT、强化学习或蒸馏的起点。如果你想在Nvidia预训练的基础上构建自己的模型,这个文件正是你需要的。
姊妹版本,NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16,是运行完整流水线(预训练、MTP 续训、SFT 和 RL)的参考权重。它是一个通用推理和聊天模型,但 Nvidia 仍将其定位为定制起点,而非生产环境服务产物。在服务方面,NVFP4 检查点(随附发布,共享 Nvidia 用于 Nemotron 3 Ultra 的量化内核)才是面向延迟和吞吐量的版本。
实用指南:每个检查点一行。
• Base-BF16 — 继续预训练、领域后训练、从零开始蒸馏。接下来由你接手。
• BF16 参考 — 具备聊天和推理能力,但旨在作为您自行进行 SFT 或 RL 的基础,而非托管端点。
• NVFP4——面向 Nvidia GPU 部署的服务优化检查点。
大多数使用生产 API 的读者想要的是调优后的模型,而不是基础模型。但基础模型仍然重要,因为 Nvidia 以开放许可证(OpenMDW-1.1)发布了它,该许可证涵盖权重、训练数据和配方——原始预训练是你无法从封闭供应商那里获得的部分,也正是这部分让整个系列归你所有。

基准账本,如实标注
以下是Nvidia在其自身评估中对基础检查点的报告:MMLU 78.59、MMLU-Pro(5-shot)67.94、GSM8K 91.28、HumanEval 77.44、MBPP 78.59、ARC-Challenge 92.66、HellaSwag 85.55、WinoGrande 79.95,以及在1M token下的长上下文RULER得分69.62。经过调优的参考模型如预期般带来了显著变化:MMLU-Pro 81.94、GPQA Diamond(无工具)75.44、SWE-bench Verified 51.56、Terminal-Bench 2.1 24.58。
这些宣传中的速度数字同样来自厂商自报:相比同类模型,输出速度最高可提升4倍,智能体任务完成速度提升30%;此外,PinchBench在10,000项任务运行中的准确率达到86%,在相似准确度下比Qwen3.6-35B快约30%。Nvidia还引用了Artificial Analysis Intelligence Index(人工智能分析智能指数)24分的成绩,与gpt-oss-120b持平——但请注意这一数据的出处:这是Nvidia引用了一个截至8月11日尚未出现在Artificial Analysis公开排行榜上的模型的得分。独立实验室尚未公布Lightning的相关数字。
为了了解 24 在该家族中的位置,Nvidia 其他开放模型的 AA 测量指数分别为:Nemotron 3 Ultra 和 Nemotron 3 Super 均为 25.4,Nemotron 3 Nano 为 14.2。Lightning 并非前沿模型,Nvidia 也没有声称它是;这是对帕累托前沿速度和成本一侧的押注。

用途:智能体的执行层
Nvidia的策略是一种分工:前沿模型负责规划和推理,而廉价的执行器处理数千个常规调用,使智能体能够全天候实际运行。这就是为什么同一公告中包含了一个路由库——Lightning旨在成为更大系统中的一个层级,而不是整个系统。
这些合作伙伴案例研究由Nvidia提供,因此应将其视作附有数字的营销材料。最能体现该模型用途的是CodeRabbit,它声称在不到三小时内、花费不足100美元便完成了对Lightning的代码审查后训练,相比GPT级别的基准模型,准确率提升了约4%,而推理成本大约只有其一半。无论你是否相信这些精确数字,其形态本身就已说明一切:一个3B激活参数的模型,成本之低足以让你用自己的数据进行微调并大规模部署,这正是其全部价值所在。
成本计算
Nemotron 3.5 Lightning 没有标价,因为没有什么可购买的——权重在 OpenMDW-1.1 许可下免费提供,训练数据和配方也同样免费。价格取决于服务商收取的托管费用,而一旦第三方 API 开始提供该系列,价格的波动将远大于质量的差异。对于原型开发,Nvidia 在其 build.nvidia.com 平台上以 NIM 微服务的形式提供服务,可免费试用,有限速要求,无需信用卡。
在评估之前,有两个成本现实需要先弄清楚。首先,“总参数量30B,激活参数量3B”意味着每个token的推理成本很低,但完整的30B权重仍然必须驻留在每块GPU的内存中——服务并非免费,而批次并发度决定了实际运行速度。其次,当开放权重模型上架多个托管API时,各提供商之间的每token价格可能相差数倍,而这种差异并非质量信号。这正是直通网关的价值所在:OrcaRouter以0%加价直接透传提供商的列表价格,因此提供商的降价当天即可生效,而价格差异则留给了市场。Nemotron 3.5 Lightning尚未上线OrcaRouter——权重几小时前才发布——但安全采用“一天龄”模型的模式是将其置于自动故障转移之后,这样某个主机上的冷启动问题就不会拖垮生产路径。
随它一起发货的路由器
NeMo Switchyard 值得了解,因为它是 Nvidia 对开放式智能体 AI 该如何运行的押注:不是一个单一的大模型,而是一个将每个步骤交给当前最有能力且最高效的模型去处理的系统。它是一个开源库,你可以集成到自己的框架中,并配有可针对质量、延迟或成本进行调优的旋钮。Nvidia 自家的基准测试声称,其准确率接近前沿水平,而成本仅为单独运行一个前沿模型的大约三分之一。
合作伙伴的结果同样由英伟达(Nvidia)报告,方向上保持一致:Boomi 表示,它把 59% 的流量路由到速度提升 5 倍的专用模型,后续轮次延迟降低了 21%;Cognition 报告平均成本降低 28%;Ramp 表示在自家 SWE-bench 上追平了前沿模型性能,成本降低 58%。最诚实的数据点是 LangChain:在 145 个多步智能体任务上成本降低 74%,而只有 7% 的调用流向前沿模型——代价是 6% 的准确率损失。路由并非免费;它是一场刻意的权衡。
Switchyard 是一个库,这意味着它是一条自行构建之路:由你定义策略、集成它、运营它。托管替代方案是托管的路由 API,一个密钥即可覆盖 200 多个模型的目录,故障转移是默认行为,而非需要你自行配置的东西,路由 DSL 则允许你将多个模型组合成一次调用。Nvidia 自己的测试数据——59%、74%、58%——是该模式最有力的论据,无论你在哪一层运行它。
今天如何运行它
首日支持覆盖面很广。这些检查点可在本地 RTX PC、DGX Spark、DGX Station 和 Jetson 硬件上运行,也可在数据中心的 Hopper 和 Blackwell GPU 上运行。公布的生态系统涵盖 vLLM、SGLang、llama.cpp、Ollama、LM Studio、Unsloth 和 TensorRT-LLM,外加用于 Nvidia 基础设施的 NIM 容器。在后训练方面,Nvidia 还发布了一个开放的 RL 数据集 Nemotron-RL-Agentic-Terminal-Pivot,旨在提升编码智能体能力——如果你打算在基础模型之上自行执行 RL 步骤,这会很有用。

现在谁该采取行动
三个群体能从这次发布中各取所需,但他们应该做不同的事情。如果你构建模型——继续预训练、领域后训练、蒸馏——Base-BF16 检查点是有价值的下载,它确实是全新的:Nvidia 此前从未在如此许可下开放过原始的 30B 级预训练模型。如果你提供模型服务,NVFP4 检查点和 NIM 路径值得与你现有的代理工作负载进行基准测试;3B 激活配置就是全部卖点。如果你是应用开发者,诚实的答案是稍等片刻:调优模型尚未以任何稳定形式出现在托管 API 上,独立评测数据还需数周,而一旦市场为开源的 30B MoE 定价,成本图景就会更加清晰。
接下来看什么:首次在 Artificial Analysis 上的独立运行,将证实或戳破 Index-24 的说法;首批托管服务商为调优检查点设定的价格;以及 Nvidia 自家的 Switchyard 数字出现在其他人基准测试中的频率。这次发布关乎效率和路由,而非新前沿——而这一点,而非规格表,才是重点。
常见问题
我可以直接使用 Base-BF16 检查点进行聊天吗?
编号:NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Base-BF16是未应用SFT或RL的原始预训练检查点——它未经过指令微调。具备对话和推理能力的选项是其姊妹版本NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16参考发布版,该版本经过了完整的四阶段流水线训练;基础模型的存在是为了进一步后训练,而非直接部署。
Artificial Analysis Index 的 24 分是独立评分吗?
不——还没有。这个数字是 Nvidia 引用的某个模型的分数,而截至 2026 年 8 月 11 日,该模型尚未出现在 Artificial Analysis 的公开排行榜上。独立实验室尚未公布 Nemotron 3.5 Lightning 的结果,因此在第三方跑分出现之前,请将发布材料中的每个数字都视为供应商报告的数据。
