Nemotron 3.5 Super VL 的开放后训练数据集：你实际可以微调什么

NVIDIA Nemotron 3.5 Super VL 于 2026 年 10 月 12 日将其权重发布到 Hugging Face，并于 10 月 15 日正式对外宣布。这次发布中，大多数报道都一笔带过的那一半，恰恰是你真正能拿来构建东西的部分：在 10 月 12 日至 15 日之间，nvidia 组织发布了十一个全新的后训练数据集——它们正是模型卡中六阶段训练描述背后的监督微调与强化学习语料库。这十一个数据集无一例外都将 OpenMDW-1.1 列为其管辖条款，但一致性也就到此为止。其中两个在 Hub 上显示为 license: other；另外两个因为内含之物而附带第二份许可证；而那两张从未写明“已准备好用于商业或非商业用途”的卡片，并不是你会猜中的那两张。下面将说明每个数据集里有什么、这些卡片公布与未公布哪些信息，以及整批发布与 99.62% 的中位准确率恢复数字之间的关系——这个数字会因你打开的是哪一份 NVIDIA 文档而读出截然不同的含义。

上线了什么，以及何时上线

Hugging Face 记录创建时间戳，因此这是读取到的，而不是估算的。全部十一个仓库都出现在一个 61 小时的窗口内：

• Nemotron-RL-litmus-bench-v0.2 — 10月12日，16:37 UTC。化学推理，47,118 道训练题和 2,056 道测试题，64 MB，基于 ChEMBL、OpenADMET ExpansionRx 挑战赛数据以及 Biogen ADME 数据集构建。采用 CC-BY-SA-4.0 和 OpenMDW-1.1 双重许可，因为源自 ChEMBL 的问题带有相同方式共享条款。

• Nemotron-SFT-Agentic-v4 — 10月14日 17:54 UTC。单轮与多轮工具使用轨迹，共 634,664 条对话记录，分为 tool_calling 子集（549,707 条）和 knowledge_agent 子集（84,957 条），18.88 GB。由 Qwen3.5-397B-A17B 和 GLM-5.2 生成。

• Nemotron-SFT-Instruction-Following-Chat-v4 — 10月14日 17:55 UTC。聊天、多轮指令遵循与回复长度控制，3,850,582 条对话记录，80.74 GB。由 Kimi-K2.6、Gemma4-E4B-it 和 Qwen3.5-397B-A17B 生成。

• Nemotron-SFT-Agentic-Finance-v1 — 10月14日 18:54 UTC。7,878 条多轮工具调用示例，涵盖基于公开 SEC 文件的数值推理、财务建模、市场分析、调整以及超预期或不及预期的问题，28 MB。

• Nemotron-RL-Agentic-Finance-v1 — 10月14日，18:55 UTC。10,185 个 RL 任务，同样是五个任务族，166 MB，并刻意隐去了申报文件上下文，因此智能体必须使用 sec_filing_search、parse_html_page 和 retrieve_information 来检索它。

• Nemotron-SFT-Long-Context-Transduction-v1 — 10月14日，19:47 UTC。10,000 个指令–答案对，1.22 GB，用于位置跟踪与序列转换。没有任何模型生成这些数据：卡片明确说明，没有任何语言模型产出这些示例或答案，四个任务族分别为算术求值、十六进制词元排序、变量展开和 CSV 转换。

• Nemotron-SFT-Long-Context-Translation-PG19-v1 — 10 月 14 日 20:14 UTC。4,335 条英语到多语种的翻译示例，2.22 GB，源文本取自 PG-19 语料库中的公共领域书籍，并使用 DeepSeek V4 Flash 翻译。

• Nemotron-RL-Finance-Tool-Calling-v1 — 10 月 14 日，22:46 UTC。90,307 条金融记录——81,397 个核心推理样本外加 8,910 个更广泛的金融智能体样本——共 1.23 GB，在 NeMo Gym 中针对 Finance SEC Search 环境驱动。

• Nemotron-SFT-Finance-Document-Grounded-Reasoning-v1 — 10月14日 22:46 UTC。1.01 GB 中包含 63,056 个示例，基于 S&P 500 公司 2017–2024 年的 10-K、10-Q 和 8-K 申报文件构建。

• Nemotron-RL-Agentic-Conversational-Tool-Use-Seed-v1 — 10月14日 23:45 UTC。100,000 条记录，3.86 GB：conversation_tool_use_simulation 资源服务器的种子策略、工具定义与场景，涵盖酒店、电子商务、银行与保险领域，用于强化学习期间的模拟智能体对话。

• Nemotron-SFT-BBQ-v1——10月15日 05:22 UTC。覆盖年龄、外貌与残障的英语公平性数据——每类 2,000 条记录，共 6,000 条，8.0 MB——依据 QA 偏见基准（Bias Benchmark for QA）分类体系构建，其中的对话由虚构参与者展开，旨在鼓励给出基于证据的答案，而非凭主观臆断作答。

关于那份清单，有两点比行数更重要。第一点是，许可范围并不像标题标签所暗示的那样统一；第二点是，这些产出究竟属于谁。

许可证标签并非完整的许可证

所有十一个仓库都将 OpenMDW-1.1 列为其管辖条款。不同之处在于这些条款如何传达给你，而在基于它们构建任何商业项目之前，这些差异值得一读。

• 标签与具名许可证——十一个中有九个以 license: openmdw-1.1 的形式携带许可证，作为可直接从 API 读出的普通标签。Nemotron-SFT-Agentic-Finance-v1 和 Nemotron-RL-Agentic-Finance-v1 则呈现为 license: other，并带有 license_name: openmdw-1.1 以及指向该协议的链接。条款内容完全相同；但一个按许可证标签筛选仓库的工具会看到两个不同的值。

• 因上游数据而需的第二项许可 — Nemotron-SFT-Long-Context-Translation-PG19-v1 在 OpenMDW-1.1 之外还附带 Apache-2.0，因为其源语料为 PG-19，且其模型卡补充说明：所依据的英文作品在美国属于公有领域，但在其他司法管辖区版权状态可能有所不同，因此用户在再分发前应查阅当地法律。Nemotron-RL-litmus-bench-v0.2 在 OpenMDW-1.1 之外还附带 CC-BY-SA-4.0，其中相同方式共享条款专门适用于源自 ChEMBL 的问题。

• 商业用途声明——九张卡片写明"该数据集可用于商业或非商业用途"。未如此声明的是 Nemotron-SFT-Long-Context-Transduction-v1 和 Nemotron-SFT-Long-Context-Translation-PG19-v1——即长上下文那一对，而非金融数据集。

• 内容除外条款的记录位置 — 金融。这份基于文档的卡片指出，本次发布仅保留 10-K、10-Q 和 8-K 表格正文中获准的有限语境摘录，而完整的 SEC 语料库、所有附件以及任何带有第三方版权声明的内容均被排除，并列举了顾问报告、演示文稿、公允意见书和分析师研究报告。卡片还指出，摘录内容仍由各自的发行人负责。

所以，实际解读与直觉解读正好相反。金融类数据集是许可证徽章最显眼的那批——在基于文档和工具调用的数据集上有着干净的 openmdw-1.1——也是对其内部内容有最多书面限制的那批。长上下文数据集则是 Hub 元数据与文字说明彼此最不一致的那批。这两者都不是让人转身离开的理由；两者都意味着要读四张卡片，而不是只看一个许可证字段。

谁的输出训练了 NVIDIA 的旗舰？

贯穿整个发布的另一条线索是生成模型，而模型卡在列出它们时毫不含糊。旗舰级 agentic SFT 数据集使用 Qwen3.5-397B-A17B 和 GLM-5.2 生成。指令遵循数据集增加了 Kimi-K2.6 和 Gemma4-E4B-it。基于文档的金融数据集标明使用 Qwen3.5-397B-A17B 进行问题生成，使用 DeepSeek-V4-Pro 生成答案，并使用 gpt-oss-120b 进行过滤与筛选。RL 金融工具调用数据集在上游列出了 Qwen3.5-397B-A17B 和 Qwen3-235B-A22B-Instruct-2507，使用 DeepSeek-V4-Pro 生成答案，使用 gpt-oss-120b 进行过滤，并使用 NVIDIA Nemotron 本身在八次 rollout 中进行 RL 难度画像分析。PG-19 翻译使用 DeepSeek V4 Flash 生成。

这是一个发布决定，而非偶然，对于任何试图推断质量的人来说，它是这次发布中最有用的东西。它告诉你，你正在微调进入的行为先验在很大程度上并非 NVIDIA 的——它是两个中国前沿开放权重系列、一个 OpenAI 开放权重模型和一个 Google 小模型的混合。如果你对其中任何一个在金融文本或工具选择上的表现有看法，那么这种看法就适用于你在这里的起点，而且你现在有了可核查的来源信息，而不是靠猜。

为什么数据是你可以采取行动的部分

数据集发布之所以是这次发布中有意思的那一半，从厂商自己的数字里就能看出来。NVIDIA 的新闻室文章点名了对该模型进行后训练的组织，并引用了它们的结果：Scale AI 在 Skydance 的供应商署名工作中，实现了“推理成本降低 40 倍”和“延迟降低 5 倍”；Ramp 将收据图像转换为结构化 JSON，预期“吞吐量提升最高 50%，延迟降低 10 倍”；AI21 和 Alice 在威胁情报方面，实现了“准确率提高 41%”。把开发者博客和新闻室文章放在一起读，同样的客户结果就坍缩成“推理成本降低 40 倍、延迟降低 10 倍、准确率提高 40%”——新闻室说 41 的地方成了 40，说 5 倍的地方成了 10 倍，而这看起来像是同样的两个部署。这些是客户对自己工作负载的预期，不是基准测试，而且两个版本都不是你能复现的。

可复现的是那份凭证。新闻编辑室表示，该模型使用了约 380 万个样本进行后训练，并在数十个环境中进行了强化学习，且开放数据集涵盖智能体工具使用、金融、指令遵循、长上下文、公平性以及视觉-语言理解。上述十一个仓库就是该语料库，而模型卡所指向的 NeMo Gym 环境就是这套训练框架。想要打造文档智能体的团队，现在可以在同一处获得模型、推理服务方案、微调库和训练数据。这些仓库所弥合的，正是“这个模型可以专门化”与“这里有一个你今天就能下载的专门化版本”之间的差距。

关于那份类别清单，有一点需要说明：NVIDIA 的新闻稿把视觉-语言理解也列入了已发布的数据集之中，而在这个时间窗口内新建的十一个 nvidia 数据集仓库，都是文本与工具使用类语料。这批发布里最接近视觉数据集的是基于文档的金融数据集，但它在格式上只是纯文本。如果你是冲着图像和视频那一块来的，那么这里并没有你要的数据——Hub 上最新的 NVIDIA 视觉数据集比这个时间窗口还要早五天。

信用卡不会公布的内容，以及这会让你付出什么代价

有一个数字没人会写进发布帖，而在这次发布中，它是一个缺失的数字。十一张数据集卡片没有一张公布 token 数量。它们只公布记录数和存储大小，仅此而已。所以那个规模估算问题——在指令遵循数据集上跑一个 epoch 需要多少 GPU 小时——无法从这次发布中得到回答，只能通过用字节数除以一个假定的每 token 字节比来估算，而这类数字恰恰会像实测数据一样进入报道。

你可以依据的是已公布的存储用量：Nemotron-SFT-Instruction-Following-Chat-v4 为 80.74 GB，Nemotron-SFT-Agentic-v4 为 18.88 GB，对话式工具使用种子集为 3.86 GB，接着是一条长尾——2.22 GB、1.23 GB、1.22 GB、1.01 GB、166 MB、28 MB、8.0 MB、64 MB。两个最大的数据集比这次发布中的其他所有内容都大一到两个数量级，这就告诉你后训练的重心实际上落在哪里，完全不需要 token 计数。

• Nemotron-SFT-Instruction-Following-Chat-v4 — 80.74 GB 和 3,850,582 条记录。正是这个数据集，让全参数运行变成了一项工程，而不是一个下午就能完成的事。

• Nemotron-SFT-Agentic-v4 — 18.88 GB，634,664 条记录。体积大约只有四分之一，单节点即可运行。

• Nemotron-SFT-BBQ-v1——8.0 MB、6,000 条记录。它小到可以在几分钟内完成一轮迭代，因此在你把整整一周的 GPU 时间投入到真正在意的任务之前，这是验证微调流程是否已打通的最省钱方式。

• Nemotron-SFT-Long-Context-Transduction-v1——1.22 GB，但仅有 10,000 个示例，其公布的每示例目标 token 数范围为 2,048 至 131,072。此处的成本由序列长度而非数据量驱动，而模型卡指出，这些预算是使用 cl100k_base 估算的生成目标，并非训练后实测的计数。

在模型规模方面，模型卡公布了各阶段预算：针对冻结骨干网络的 1000 亿 token MTP 预热、从次大的 Nemotron 进行的 1 万亿 token 蒸馏、1000 亿 token 的印度语言持续预训练、将上下文扩展到 1M 的 350 亿 token 扩展、256K 下的 670 亿 token 软件工程中期训练，以及 90 亿 token 的长上下文恢复阶段。这些是 NVIDIA 在整个发布中唯一说明的 token 预算，而且它们适用于基础模型的训练，而非在这些数据集上进行微调。

这也是为什么 LoRA 路径在这里很重要，而不是一个脚注。NVIDIA 引导开发者使用 NVIDIA NeMo AutoModel 进行监督微调和低秩适配，而适配器正是改变模型少数行为与重新推导 249 GB 权重之间的区别。两条路径都是真实存在的，而它们之间的选择，取决于你打算改变基础模型多少行为。一个追求狭窄模式或遵循策略行为的金融团队，属于 LoRA 的领域。而一个希望模型在其每一次交互中都遵循新操作规程的团队，则不是。

两份文档，同一个基准，答案截然相反

随本新闻稿一同发布的技术报告日期为10月14日，其中包含一个脱离上下文后传播得最远的数字。NVIDIA报告称，所发布的NVFP4检查点实现了99.62%的中位精度恢复，相对于BF16，在36项基准测试中，这一结果是在采用激进的后训练量化方案并随后进行200轮基于SFT的量化感知蒸馏之后取得的——根据报告的分模块表格，C-RADIO视觉编码器、VL连接器、Mamba卷积和嵌入保持为BF16，路由器计算保持为FP32。

“中位数准确率恢复”是比率的中位数，而非最小值。为了得出 99.62%，报告会为每个基准测试计算一个得分比率，再取 36 个中的中间值，因此这个头条数字告诉你的是：典型基准测试大约比全精度低百分之零点四，而对尾部情况则只字未提。报告自身的表格展示了尾部：Tau3 Banking 为 94.20%，SciCode 的问题求解分项为 93.63%，MMLU-ProX 为 95.90%——而在另一个方向上，GDPVal 达到 111.53%，Terminal-Bench v2.1 为 103.47%，因为量化在单次运行中可能落在 BF16 参考值之上。

接着对比一下模型卡，故事就变得比尾巴更有意思了。NVIDIA 自家的 NVFP4 模型卡为同一个检查点公布了一张 BF16 对 NVFP4 的表格，其中 Terminal-Bench 2.1 显示为 66.70 对 60.80——量化版本低了百分之九。在技术报告的完整套件表中，同一基准显示为 60.67 对 62.78，量化版本领先。同一个模型，同一个基准，同一类评测框架，两份 NVIDIA 文档，方向却相反。模型卡还显示 WebVoyager 从 77.72 降至 66.31，DeepSWE 从 24.65 降至 18.2，而这两个都不是你从 99.62% 这个标题数字中得到的故事版本。

这算不上什么丑闻——不同的表格可能采用不同的测试框架配置，而且报告里的表格在每一行旁边都给出了恢复百分比——但这确实意味着，对于“NVFP4 会让我损失精度吗”这个问题，诚实的回答是：在大多数已公布的行上，几乎不会；在确实会损失的那些行上，损失幅度超过中位数所暗示的程度；而厂商的两份文档对于哪些是这些行意见不一。如果你的工作负载是智能体式终端任务，那就自己去重新测量，而不是挑一张表来看。

相比之下，部署方面的算术则毫不含糊，也是支持量化版本的最有力论据。BF16 仓库的检查点文件总计 248.9 GB，其自带的快速入门指南即在 4× H100 上提供服务。NVFP4 仓库总计 75.06 GB，报告称其含缩放因子在内为每参数 4.82 比特，而这可装入一块 H200、一块 GB200 或单台 DGX Spark。在单块 GB200 上，报告称最高可达 4,856 输出 token/s/GPU，对应 20 轮智能体代理工作负载，同时保持至少 50 token/s/用户，NVFP4 达到2.43×同一工作负载下 BF16 的吞吐量，而该模型则是2.34×和1.90× Qwen3.5-122B-A10B 与 Qwen3.8 Flash-Next 的吞吐量。以上数据均由 NVIDIA 实测，基于 NVIDIA 自家的服务栈，并发度由该方案自行选择。

发布的另外四分之一内容很容易被忽略，但如果之后有人要就你的微调展开争论，它就很重要。报告描述了对训练后数据进行的一轮污染清理：共移除 20,671 个样本——约占 0.09%，分为 14,793 个 SFT 样本和 5,878 个 RL 样本——在被检查的 30 个基准中的 22 个里匹配到 1,808 道基准题目，占 6.0%，其中约 3% 的被判定候选对（candidate pairs）被标记为严重污染。大多数开放权重发布根本不公布任何清洗方法。当客户问你微调的评测数字为什么是那样时，有一份你可以引用的方法，其价值比听起来要大得多。

这将如何改变你本周能做的事情

现在有三件具体的事情成为可能，而在10月12日之前它们是不可能的。

第一个是无需进行数据许可谈判就能构建的金融申报智能体——但附带一个注意事项。这些金融资源库覆盖了完整闭环：七年 S&P 500 申报文件上的 63,056 个基于文档的 SFT 样本、针对实时 SEC 搜索环境的 90,307 条 RL 工具调用记录、用于行为层的 7,878 个多轮工具调用样本，以及 10,185 个隐去申报上下文、使检索成为任务一部分的 RL 任务。注意事项就是上文记录的例外条款：仅限摘录，不包含附件，已剥离第三方版权材料，相关问题仍由发行人负责。这是一个有充分文档记录的立场，而不是一个干净利落的立场，在这个数据集上，你应当先读卡片，再看代码。

第二项是智能体工具使用，这是本次发布中支持最充分的垂直领域。从 Nemotron-SFT-Agentic-v4 的 634,664 条记录，到包含酒店、电商、银行和保险场景的 100,000 条对话式工具使用种子集，再到模型卡所指的 NeMo Gym 环境，整条流水线都被端到端地描述出来：生成轨迹、运行模拟对话、用可验证奖励进行训练、在厂商自己使用过的测试框架中评估。无论你怎么看待这个模型，这都是一份完整的公开配方，说明如何把通用视觉语言模型变成工具调用智能体，而这部分过去只属于口耳相传的内部经验。

第三个是一个真正可以迭代的公平性基线。Nemotron-SFT-BBQ-v1 有 6,000 条记录、8.0 MB，在年龄、外貌和残障三个类别上以 2,000/2,000/2,000 均衡分布，其对话的写法使基于证据的答案和基于假设的答案都显得合情合理。在这个规模下，你可以在一个下午内运行它、给它打分并重新运行，这把"你们是如何测试这一点的"从一个采购难题变成了一个实验。

在不把生产路径押在它上面的前提下试用一下

这次发布最棘手的地方是部署，而不是数据。BF16 检查点需要四块 H100，量化版本则只需要单块 H200 或 GB200，开放权重放在 Hugging Face 上，而厂商自己通往托管端点的路径是 NVIDIA NIM，新闻稿里还提到了第三方平台。我们并不提供这个模型的服务，所以如果你想要托管端点，厂商自己的 API 和几个第三方平台才是该看的地方；路由器在这里的用处，是决策的其余部分。

一个密钥即可覆盖 200 多个模型，按供应商标价计费，0% 加价意味着将 NVFP4 构建版本与你目前运行的任何文本模型进行对比，只需改动一行代码，而无需再签一份供应商合同；而 跨供应商自动故障转移意味着你仅用于测试的工作负载可以与生产流量并存，彼此互不依赖。这正是那种你可以随时回退的决策形态——对于一个文档才发布两天、自身基准测试表格还彼此矛盾的模型来说，这正是你想要的。

实际可行的顺序是：取 Nemotron-SFT-BBQ-v1，或者 agentic 数据集的一个切片，在租来的 H200 上跑一个 LoRA 来验证你的流程，用你自己的评测给它打分，然后才决定 249 GB 全精度版本和四块 GPU 是否值得。这些数据集可以免费下载，其中较小的那些可以免费运行。这个计划完全不需要你相信 99.62% 的中位数。

还缺少什么

有三个差距值得关注，因为它们改变的是根本判断，而非营销话术。

首先是独立评估微调后的结果。本次发布中的每一个训练后数字——通过并行智能体执行与自我验证实现的 Terminal-Bench 从 62.7 到 71.9 的提升、同一实验中 DeepSWE 从 24.6 到 34.5 的提升、AI21 上 41% 的准确率提升、Scale AI 上 40 倍的成本降低——都来自 NVIDIA 的测试框架或客户自己的测量。没有任何第三方在这些数据集上复现过 Nemotron 3.5 Super VL 的微调并公布结果。在有第三方做到之前，请将这些效应量视为上限。

第二个是视频路径。该模型接受时长最多两分钟的 MP4，2 FPS 和 256 帧，或者对于 1080p 为 1 FPS 和 128 帧，剪枝率为 0.5——而本次发布中没有公开的视频后训练数据集。上述每个仓库都是文本，翻译和转导数据集是长上下文文本，而非任何视觉内容。如果你的用例正是模型卡所宣传的视频理解，那么 NVIDIA 已经交付了这一能力，却没有提供将其特化所需的数据。

第三点是，没有人公布过这些数据集对并非 Nemotron 的模型会产生什么影响。这十一个数据集都是为了产出某一个模型的后训练混合数据而构建的——数据集卡片明确说明，其中一些数据集整合了更早的 Nemotron 专用版本，而对话种子集被描述为某个 pivot set 的种子数据，而不是全新生成的数据。智能体语料库能否迁移到不同的 120B 骨干模型仍是一个未解的问题，而这正是已有微调技术栈的团队最想先得到答案的问题。

这三个缺口都属于要靠别人的工作、而非 NVIDIA 自己的工作来填补的那一类，这也是开源发布的常见轨迹。权重今天就能下载，数据今天就能下载，而第一个可信的独立微调，才是能告诉你这一切是否值得占用 GPU 时间的关键。