NVIDIA Nemotron 3.5 Super VL Base BF16：NVIDIA 列出却从未提供链接的 249 GB 检查点

nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16是N​VIDIA N​emotron 3.5 Super VL发布中的产物，NVIDIA 从未提供该发布的链接。该公司 10 月 15 日的公告文章用一句话称：“该发布包含基础、后训练和 NVFP4 量化检查点，以及训练配方、数据和强化学习环境。”该页面上的每个仓库链接都指向nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4。“Base-BF16”这个字符串在该公告文章中完全没有出现。

该仓库真实且公开。Hugging Face 记录其初始提交时间为 2026-10-12T15:31:49Z，其权重分片上传于 2026-10-13T04:55Z，而模型卡自身的发布日期字段显示为“Hugging Face - 10/15/2026”。它没有访问限制，下载无需令牌，并且其体积与后训练的 nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16 构建版本完全相同：248.9 GB，分布在 63 个 BF16 分片中，而后训练构建版本为 248.9 GB，分布在 64 个分片中，两个索引文件相差 16 字节。权重上线三天后，它被下载了 4 次，而后训练全精度仓库为 142 次，NVFP4 兄弟版本为 81 次。这些都是 Hugging Face 自己的下载计数，读取于 10 月 16 日。

所以这不是泄密，也不是传闻。权重是最不该弄错的东西——它们不过是这次发布中宣传最少的一件产物，而这场发布在其他方面都很高调；它们背后的模型卡还自相矛盾，如果你是那种会下载 249 GB 后训练前检查点的人，这种矛盾就很重要。那处矛盾如下。

什么落地了，以及提及它的那句话

三个主仓库和一个草稿模型在同一时间窗口内上线，全部为 NVIDIA 第一方，全部采用 OpenMDW-1.1 许可证，均未设门控：

• Base BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16，仓库创建于 2026-10-12T15:31:49Z，权重发布于 2026-10-13T04:55Z，README 最后更新于 2026-10-15T15:22:08Z。

• 后训练 BF16 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-BF16，创建于 2026-10-12T15:32:06Z，比基础仓库晚十七秒。

• 后训练 NVFP4 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4，创建于 2026-10-12T15:32:30Z，总大小为 75.1 GB，而非 248.9 GB。

• 一个 NVFP4 草稿模型 — nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-NVFP4-LiLiCorr，仍是在一天前创建的，时间为 2026-10-11T20:20:59Z。

那些仓库与 NVIDIA 的说明文字之间的对应关系，正是在这里变得参差不齐，而这值得去核实，而不是想当然。公告里的部署锚点全都指向 NVFP4 构建。基础模型卡自己的开头说明就向外指向另外两个——“想要后训练模型？如需定制，请见 BF16 版本；如需优化部署，请见 NVFP4 版本”——所以基础仓库会在第一行就告诉你该去哪里。反之则不成立。后训练的 BF16 模型卡在任何地方都没有指向基础仓库的链接，NVFP4 模型卡也没有。基础检查点是该发布中唯一一个 NVIDIA 自己的文档从不引导你前往的产物；你得通过阅读公告里那个九个词的从句，然后浏览该组织的文件列表才能找到它，这里也正是这样找到的。NVIDIA 的文案中没有任何内容解释，为什么基础检查点会以与实际经过后训练的模型相同的 249 GB 发布，也没有解释你拿它该做什么，是后训练模型做不到的。

这种缺失本身就是故事。一次开放权重发布，如果厂商只链接了三个检查点中的两个，并用九个词描述第三个，那并不是在隐瞒什么——权重就在那里——但这确实意味着你需要的文档不在公告里。它在仓库里。

在这个版本中"base"是什么意思

两张模型卡回答了这个问题，而它们之间的差异清晰地说明了后训练在这里带来了什么。

基础模型卡记录了三个训练阶段。阶段 1 在 N​emotron 3 Super Base 之上构建语言主干，并在主干冻结的情况下，用 100B token 训练一个共享的 MTP 头，然后从 N​emotron 3 Ultra Base 蒸馏 1T token。阶段 2 包括 100B token 的印度语系继续预训练、将上下文扩展到 1M 的 35B token 扩展、在 256K 上下文下进行 67B token 的软件工程中期训练，以及一个 9B token 的长上下文恢复阶段。阶段 3 接入了 C-RADIO 视觉编码器和视觉-语言连接器。

后训练卡片记录了六项，而基础卡片缺少的三项，正是让模型真正可用的三项：阶段 4，在视觉、推理、代码、工具、聊天、安全和长上下文数据上进行监督微调，使用最长 524,288 个 token 的打包序列；阶段 5，带可验证奖励的强化学习，加上 RLHF，再加上多教师同策略蒸馏；以及阶段 6，针对冻结的后训练主干增强 MTP 头，让投机解码真正带来收益。

基础模型卡本身在推理部分就这么写道：“基础模型旨在作为进一步训练的起点。对于聊天、推理和工具调用应用，请使用经过后训练的 BF16 或 NVFP4 版本及其部署说明。”其所述用例是“通过持续预训练、监督微调、强化学习和蒸馏来构建自定义视觉语言模型的开发者和研究人员。”

这是一条异常直接的免责声明，同时也是对该产物的正确解读。这里以“base”名义发布的东西，并不是一个更弱的聊天模型。它是第 4 阶段到第 6 阶段所依托运行的基础，并与这些阶段一同发布，以便其他人能够在自己的数据上、按自己的许可条款，运行一套不同的第 4 到第 6 阶段，而无需重新进行 20 万亿 token 的预训练。

配置并未体现的 1M token 说法

这就是那个值得你倾注 249 GB 注意力的差异。

基础模型卡在其 Description 中声明，该模型“支持的上下文长度最高可达1M tokens”，并在 Model Design 部分重复了这一说法：“该模型最多支持 1M tokens 的上下文。”其训练方法也印证了这一意图——Stage 2 明确包含“向 1M 上下文进行的 35B token 扩展，随后是一个 9B token 的长上下文恢复阶段。”

随附的 config.json说的却是另一回事。它的 max_position_embeddings为 262,144——是 256K，而不是 1M。没有 rope_scaling 块，也没有 original_max_position_embeddings 字段，因此该位置方案也没有声明扩展。相比之下，经后训练的仓库的配置声明了 max_position_embeddings 为 1,048,576。两个同源检查点，架构字符串相同，层布局相同，但位置上限却相差四倍，而基础卡片中的文字说明并未提及这一点。

把这三个事实放在一起看，最站得住脚的结论并不是基础模型是短上下文的。而是基础仓库附带了一个保守的声明限制，并期望你去修改它。1M 扩展已经训练过。但已发布的配置并未将其暴露出来。如果你的继续预训练计划假定开箱即用就是 1M token 的序列长度，那么这个假定来自模型卡，而不是运行时实际会读取的文件——而修复办法就是一次你必须知道要去做的配置修改。

出于同样的原因，这也值得指出：基础卡片的模型摘要表根本不存在。后训练卡片则有一张——总参数量、架构、精度、上下文长度、部署目标、推测解码、推理模式、推荐采样、最适合用途、许可证。基础卡片从描述直接跳到许可证，然后是基准测试表。任何地方都没有推荐采样这一行，也没有部署这一行，因此基础卡片上没有任何内容告诉你它需要什么硬件。

从随附配置中读出的架构

因为供应商对基础架构的描述只有一段话，而真正的形态在文件里，下面就是文件所给出的内容。所有这些都直接来自config.json，它位于基础仓库中，而非来自任何摘要。

• 深度与构成 — 语言主干网络中有88个模块。其中40个是Mamba-2层，40个是专家混合层，8个是完整注意力层，分别位于第7、16、25、36、47、58、69和78个索引处。大约每九层设置一个注意力模块，这便是整个长上下文机制。

• MoE——每个 MoE 层有 512 个路由专家，每个 token 从中选择 22 个，另有 1 个共享专家；潜在大小为 1024，共享专家的中间大小为 5376，而路由专家的中间大小为 2688。这就是“总计 120B、激活 12B”这一说法背后的算术。

• 注意力 — 头维度为 128，32 个查询头对应 2 个键值头，因此是比例为 16:1 的分组查询注意力。隐藏层大小为 4096。

• MTP — 一个下一词元预测层，其本身由注意力模块和 MoE 模块组成，风格类似 D​eepSeek 的多词元预测头。只进行一次预测步骤，而非多次。

• Vision —— 一个 C-RADIO ViT-H 塔：32 层，隐藏维度 1280，16 个注意力头，patch 大小 16，7 个寄存器 token，3 个类别 token，最大图像尺寸 2048，patch 预算在 1024 到 13312 之间。连接器投影到 20,480，随后 0.5 的下采样比例和强制指定的 512 图像尺寸又把 token 数量削了回来。

• 视频 —— 时序补丁大小为 2，标称剪枝率为 0.7。

• 两个异常之处——配置声明了一个 <audio> 上下文 token，而其 sound_config 为 null，因此音频相关的管线在这种架构中存在，但这个检查点不包含其中任何部分。并且 tie_word_embeddings 为 false，这对于这种规模的模型来说是标准配置，如果你打算调整词表大小，也值得了解一下。

为便于理解规模：仓库自身的 safetensors 元数据总计 124,453,395,974 个参数，按张量逐字节计数，而 NVIDIA 的宣传口径为总计 120B / 激活 12B。这两个数字基于不同口径报告——厂商数字是语言模型的路由加共享的计算量，文件数字是仓库中存储的所有内容，包括视觉塔和 MTP 头。不要把这一差距视为不一致；要为文件预留预算。

基准表实际衡量的究竟是什么

基础卡公布了 24 行基准测试，而且值得称赞的是，NVIDIA 还提供了一列，说明每一行分别是什么：

• MMLU 84.14 精确匹配 · MMLU-Pro 76.25 · AGIEval-En 75.65 CoT · SuperGPQA 47.65 CoT · GPQA Diamond 66.16（5-shot CoT 精确匹配）

• GSM8K 91.74（8-shot CoT）· Minerva MATH 87.66 · MATH-500 81.56（采样 pass@1 n=32）· HumanEval 81.31（EvalPlus 净化版）· MBPP-Sanitized 79.06 · LiveCodeBench CodeGen 47.61 · BigCodeBench 48.42 complete 和 49.39 instruct

• ARC-Challenge 95.99 · HellaSwag 88.96 · TruthfulQA MC2 71.18 · WinoGrande 79.08 · PIQA 85.09 · CommonsenseQA 85.26 · OpenBookQA 48.80 · SocialIQA 49.03 · RACE 91.39

• Global MMLU 在 8 种语言上的平均分为 86.56 · MGSM 在 6 种语言上采用 8-shot 原生 CoT 达到 87.53

关于那张表，有两件事容易被人忽略，而这两件事都很重要。

首先，卡片自身的说明句称，这些结果"评估的是 N​emotron 3.5 Super 纯文本基础主干，此时尚未进行视觉-语言训练"。无论这句话还有什么别的含义，它都意味着这些数字并非多模态评分卡——基础卡片上根本没有 OCR 基准测试、没有文档理解那一行，也没有视频那一行，尽管视频和文档输入在前两节中已有描述。如果你想要基础检查点的理由在于它的视觉塔，那么这张卡片没有提供任何可供你据以规划的实证依据。

第二，表中没有基线列。后训练模型卡的表格宽达七列——Nemotron 3.5 Super GA 对阵 Qwen3.5-122B-A10B、Qwen3.8-Flash-Next、DeepSeek-V4-Flash0731、Nemotron 3 Ultra、Inkling-Small 和 GLM-5.3-Flash。基础模型卡则恰好只有一列。而所跑评测的搭配很能说明问题：后训练模型卡完全舍弃 MMLU，转而采用 MMLU-ProX，而基础模型卡同时跑了 MMLU 和 MMLU-Pro，却既没有 MMLU-ProX，也没有后训练模型卡所倚重的 agentic 与 harness 级套件。你无法仅凭模型卡回答“这个基础模型是不是比那个基础模型更好”。你得把两者都跑一遍。

上面每一个数字都是 N​VIDIA 的，均出自 N​VIDIA 自家的 NeMo Gym 评测框架——后训练模型卡对此有明确说明，而基座模型卡则完全没有给出任何评测框架的说明。两张表上的内容都没有经过独立复现。

基础模型与后训练模型，在它们唯一共享的基准测试中

这两款显卡并没有共享的基准测试表，但它们恰好有一行可以并排比较，而这一行恰恰是最重要的。

• GPQA Diamond —— 基础模型卡片上为 66.16，基于 5-shot 思维链精确匹配。后训练卡片上为 89.52。23.36 个百分点的差距，出自 NVIDIA 自己的两份文档，而基础数值被明确标注为纯文本主干。

这就是对第 4 至第 6 阶段在研究生水平科学推理上价值的诚实概括：后训练不是对这个模型的润色收尾，而是大约再添一半的能力。它也告诉你这笔权衡的方向。如果你计划自己后训练基础检查点，那么你一开始就比 NVIDIA 正在出售的模型落后 23 个百分点，并押注你的数据和奖励信号能在你的领域内弥合这一差距——而这正是 NVIDIA 自家客户数据所描述的押注：Scale AI 报告称供应商信用处理实现了 40 倍的推理成本降低，Ramp 预计收据到 JSON 提取的吞吐量最高提升 50%、延迟降低 10 倍。这些是供应商和客户自述的结果，没有独立测量，而且它们是证明弥合差距可实现的唯一已公布证据。

注意将这两张卡片放在一起解读时的陷阱。基础卡片上的“MMLU-Pro”为 76.25，后训练卡片上的“MMLU-ProX”为 76.91，看起来相差 0.66 分，但二者不可比较——基准不同，其中之一还标明了 TigerLab 提取方法。基础卡片上的“MMLU”为 84.14，而后训练卡片上完全没有对应项。如果你想要同一基准上的差值，GPQA Diamond 是你能得到的那个，而 LiveCodeBench 则不是：基础卡片报告的是 CodeGen 47.61，后训练卡片报告的则是 LiveCodeBench v6 88.22，这是同一基准家族的不同版本，而不是一个差值。

249 GB 能买到什么，买不到什么

下载本身就是一个命令，而且它是整个基础模型卡中唯一的命令：

• hf download nvidia/N​VIDIA-N​emotron-3.5-Super-VL-120B-A12B-Base-BF16 --local-dir ./models/super-vl-base-bf16

这就是整个快速开始。基础卡片包含一个代码块；后训练卡片包含二十二个。其中没有vllm serve 行，没有 SGLang 启动，没有张量并行指导，没有--max-num-seqs，没有推理解析器标志，没有用于推测解码的 MTP 配置，也没有 API 客户端示例。后训练卡片包含所有这些内容，包括一个 4×H100 配方，使用--enable-mamba-shared-prefix-checkpoint，以及一个 TP2 下的 2×GB200 配方。

• 运行时引擎——基础模型卡列出了 PyTorch、Megatron-LM 和 NeMo，而其 Inference 部分只列出了 PyTorch。后训练模型卡列出了 vLLM 和 SGLang。一边是训练框架名称，另一边是服务运行时名称，这种区分是有意为之，而非偶然。

• 测试硬件 — Hopper H100 和 H200、Grace Blackwell GB200 和 GB300、Blackwell B200 和 B300。用于部署的后训练显卡则缩减为 4×H100 或 2×GB200。

• 磁盘——分布于 63 个分片、共 248.9 GB，与后训练的全精度版本相同。NVFP4 版本为 75.1 GB。如果你下载基础版本是为了检查或改编它，而不是为了运行它，那么你付出了 NVFP4 下载量的 3.3 倍，换来的却是拿不到任何部署方案。

你确实能得到真正可用的内容：该仓库附带了一个完整的 chat_template.jinja，大小为 12,513 字节，并且其中包含 enable_thinking 开关，包括中等强度变体。它还附带了一个 generation_config.json，其中 temperature 为 1.0，top_p 为 0.95，并且 do_sample 为 true。将那个模板与后训练版本进行 diff，会得到 414 字节的差异，全部都是图像和视频占位符周围的空白处理——除此之外，这两个模板是同一个文件。

所以，用来把基础检查点当作聊天模型来对话的管线已经存在，并且与已发布的聊天模型几乎完全相同。缺少的是任何表明你应该这样做的说明。基础模型卡上没有推荐采样这一行，没有推理模式这一行，聊天配置中也没有针对它的基准测试。你可以在大约十分钟内把它作为聊天模型来提供服务。输出是否值得离开测试框架则是另一个问题，而模型卡的回答是：不值得。

无人谈论的语料库披露

这是基础版发布中可以说比权重更有用的那部分，但它几乎没有受到关注，因为它存在于一个从未被链接过的仓库里的表格中。

基础卡片详细公布了训练语料，而后训练卡片并未包含这些内容：一个超过 20 万亿个 token 的基础语料库，收集于 2013 年至 2025 年 12 月期间，并按来源逐项列出——N​emotron-CC-v2 和 v2.1 为 9.1T，N​emotron-CC-Code-v1 为 427.9B，N​emotron-Pretraining-Code 各数据集合计 1.7T，N​emotron-CC-Math-v1 为 133.3B，专用及 SFT 合成数据集为 660B，法律数据集为 4.3B。英语、其他 19 种口语语言、43 种编程语言。

接着是两张大多数开放权重发布根本不会公开的表格。其中一张列出由第三方拥有的、非公开可访问的私有数据集，并点名了为其生成标签的模型——Qwen3.5-122B-A10B 用于一大批 OCR 和视觉问答重标注任务，DeepSeek-OCR 用于一个经过筛选的中文 OCR 子集，Qwen3.5 用于一个经核验正确的子集，Gemini 3 和 GPT-5 用于搜索的 RL 数据。另一张列出 NVIDIA 自家的私有数据集，同样点名了生成者：Kimi K3 用于数学思维链 SFT 数据，DeepSeek-V4-Pro 用于竞赛编程 OCR，gpt-oss-120b 用于结构化输出 RL，GLM-5.2 用于精炼，MiniMax-M2 用于搜索图遍历，以及一长串其他模型。

接着是两张大多数开放权重发布根本不会公开的表格。一张列出由第三方拥有的私有、非公开可访问数据集，并点名了为其生成标签的模型——在大量 OCR 和视觉问答重标注任务中使用了 Qwen3.5-122B-A10B，在筛选后的中文 OCR 子集上使用了 DeepSeek-OCR，在经验证正确的子集上使用了 Qwen3.5，在用于搜索的 RL 数据上使用了 Gemini 3 和 GPT-5。另一张列出 NVIDIA 自家的私有数据集，同样点名了生成方：用于数学思维链 SFT 数据的 Kimi K3，用于竞赛编程 OCR 的 DeepSeek-V4-Pro，用于结构化输出 RL 的 gpt-oss-120b，用于精炼的 GLM-5.2，用于搜索图游走的 MiniMax-M2，以及一长串其他模型。这两张成对的表格提醒人们这个行业实际上是如何运作的——前沿模型的训练信号中常常包含竞争对手模型的输出，而 NVIDIA 是极少数愿意说明是哪些模型、用于何种用途的实验室之一。

该仓库还附带了一份 Nemotron_3.5_Super_VL_EU_Training_Content_Summary.pdf，于 10 月 15 日添加，这是面向欧盟的训练内容披露文件。中期训练混合数据的披露粒度与之相同，而且如果你打算针对软件工作进行微调，其中有一行内容与你直接相关：670 亿 token 的软件工程阶段由 20% 的完整仓库、41% 的 issue 与 pull request 配对、3% 的提交差异、1% 的构建与 CI 日志、10% 的智能体轨迹、20% 的预训练回放和 5% 的长上下文数据构成，其来源已针对 SWE-bench 和 Terminal-Bench 仓库做了去污染处理。这条去污染声明正是模型卡中唯一一行能告诉你，在这两个基准测试上取得的分数究竟价值几何的内容。

许可证，以及基础检查点的适用对象

OpenMDW-1.1，与后训练构建版本相同的许可证，模型卡明确写明：“本模型可用于商业或非商业用途。”该仓库不设门禁，下载无需 Hugging Face 令牌，尽管该系列中其他地方的 N​VIDIA 自有容器配方假定需要一个。

把许可证和用例放在一起，目标受众就明确无误。没人会为了省推理的钱去下载一个 249 GB 的后训练前检查点——NVFP4 构建版体积小 3.3 倍、速度更快，在 GPQA Diamond 上还高出 23 分。基础检查点面向的是打算掌控后训练阶段的团队：与 NVIDIA 所运行的不同的领域、不同的奖励信号或不同的数据策略。在允许商业使用、权重不设门控的 OpenMDW-1.1 下，拿它来构建产品是正当合理的，而这恰恰正是缺失文档会带来代价的原因。

这里有必要区分两类读者。如果你的问题是“本周文档解析或视频理解该调用什么”，那么基础检查点不是你的答案，从来都不是；经过后训练的模型才是，而那里的未决问题是基准验证，而不是可用性。如果你的问题是“我能否获得一个 120B 级别的混合 Mamba-MoE 视觉语言主干，并采用宽松许可证，作为我自己训练运行的起点”，那么这个仓库就是答案，而它从 10 月 12 日起就一直未被链接。

如果你打算评估它的话

对这样的检查点来说，代价高昂的错误是把下载当成测试。其实并不是：249 GB、63 个分片，以及在第一次前向传播之前修改配置，这些都无法告诉你视觉塔是否能迁移到你的文档类别上。

成本最低的验证方式是先在已部署的模型上把能力问题弄清楚，之后再去花磁盘。路由网关在这件事上有用，而在这个决策里别的方面都没用——一个密钥、一个端点，覆盖两三百个模型，按提供商标价、0% 加价原样透传意味着你可以拿自己手上的图片，把经过后训练的 Nemotron 3.5 Super VL 版本和你现在已经在用的任何视觉模型做对比，一个下午就能完成，成本只有 token 的费用。跨提供商自动故障转移在这里之所以重要，原因很具体：一次评测跑到 5,000 个请求中的第 4,000 个时挂了，会让你损失整轮运行；而网关在提供商报错时能转到别处重试，就是一下午和两个下午的区别。

直说一件本来会有歧义的事：N​VIDIA N​emotron 3.5 Super VL 不在我们的目录里。我们今天不提供这个模型，而且具体到基础检查点（base checkpoint），它根本不是托管端点可能提供的东西，因为基础检查点不是推理产品。网关给你的，是这项实验里便宜的那一半——那项告诉你为此付出 249 GB 是否值得的对比。

什么仍然未确立

四件事，以差距而非风险的形式陈述。

• 哪个上下文限制才是真实的。规格卡上写的是 1M，随附配置声明的是 262,144，而训练说明则称已进行过 1M 的扩展。目前没有任何已发布的声明能够厘清这三者的矛盾。任何计划进行长上下文继续预训练的人，都应把配置中的数值视为默认值，并依据自己的运行时环境加以验证，而不是依据规格卡。

• 视觉塔能做什么。基础版模型卡没有发布任何形式的多模态评估。没有 OCR，没有文档，没有图表，没有视频项——而这个系列中恰恰只有这一个检查点，其全部用途就是在这些模态上进行微调。这是已发布证据中最大的空白。

• 基座模型与任何其他模型相比表现如何。 单列基准测试表，没有基线，也没有测试框架说明。66.16 的 GPQA Diamond 分数原则上可通过 NeMo Gym 复现，但 N​VIDIA 之外尚无任何人复现过。

• 基础模型是否在任何地方提供 1M 部署方案。后训练版卡片为整个窗口提供了 4×H100 和 2×GB200 的启动命令。基础版卡片只提供了一个 hf download。目前尚不清楚这是文档上的疏漏，还是表明在 1M 上下文下服务基础模型并非 NVIDIA 有意支持的事项。

这一切都没有让这次发布变得不那么有意思。它反而让基础检查点成为该系列中记录最少的产物，而对一类狭窄且特定的团队来说，却是其中最有用的一项——区别在于你的下一步是调用 API，还是进行一次训练运行。

对于一个失效模式尚未被记录的模型来说，有用的对照物是别处已经出错的记录：这一类模型的已记录 AI 事故与智能体故障，都收录在OrcaRouter AI 事故档案库中，其中每条条目都带有自己的来源、严重程度、置信度评级和争议标记。