一张生成的标题卡,内容为 Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma,副标题为同一谱系、两种解码约定,并配有四个统计卡片:基础版为 8.49B 参数,DDIM 步数可配置;蒸馏版为 9.03B,每个块固定进行 4 次去噪评估;基础版下载量为 106,蒸馏版为 5;页脚注明所有数据均来自 NVIDIA 模型卡,且二者均无独立基准测试。
Guides & Insights

Nemotron-Labs-Sigma-distill-8B-nfe4 与 Nemotron-Labs-Sigma:同一权重谱系,两种解码契约

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

Nemotron-Labs-Sigma-distill-8B-nfe4 令人困惑之处在于,它并不是一个更好的 Nemotron-Labs-Sigma-8B。它是一个不同的文件,有着不同的约定,由同一谱系中的教师模型产出,而两者之间的差别不在于准确率,而在于网络为输出一个词要运行多少次。基础版 8B 于 2026 年 10 月 5 日作为预训练研究模型发布:8.49B 参数、可配置的去噪步数、需要手动调优的无分类器引导,而且其模型卡完全没有公布任何分数,只是指向 arXiv:2610.02665。蒸馏版 nfe4 于 2026 年 11 月 12 日到来,拥有 9.03B 参数、固化在检查点中的步数,以及 NVIDIA 在 Sigma 模型卡上唯一给出过的逐基准表格。两者都仅支持英语,上限都是 4,096 个 token,且采用同一许可证。在两者之间做选择,就是选择你希望模型如何花费其算力。

逐文件来看,实际差异究竟是什么

两个仓库都附带相同的 model_type——nemotron_labs_sigma——并且都以相同的方式加载,使用 trust_remote_code 以及仓库中一个 40 KB 的建模文件。这些配置的差异在推理时很重要,而在主干网络中几乎完全没有影响:

• 主干网络——两者的结构完全相同:34 层,隐藏维度为 4,096,FFN 为 14,336,32 个查询头与 8 个键值头,使用 SwiGLU 和 RoPE,词表包含 131,072 个词元。

• 参数 — 基础版为 8.49B(8,489,947,136 个 BF16 加 2,097,186 个 F32),蒸馏版为 9.03B(9,026,818,048 个 BF16 加相同数量的 F32)。多出的 537M 是蒸馏版在扩散头之外保留的辅助自回归读出头。

• 磁盘上的权重 — 16.99 GB 对 18.06 GB,每个各含四个分片。

• 上下文——基础版和蒸馏版均为 4,096 个 token。同一集合中的 instruct 变体将其提升至 8,192,并添加了聊天模板;这里的两个模型都没有。

• 步骤——基座在调用时暴露 steps 和 block_length,其卡片会发布一张按预算划分的表;蒸馏则完全不接受任何覆盖。

• 引导——基础模型需要无分类器引导(在 32 步和 16 步时为 3.0,在 4 步时为 2.0)以及经过调优的分数温度;蒸馏模型在 CFG 1 和分数温度 1 下运行,也就是说,没有引导,也没有调优。

• 采样器 — 文档中说明,基础模型默认在 log_snr 网格上使用 DDIM,块大小为 64 个 token;蒸馏模型使用 fresh_x0,并在步骤之间传递自条件,块大小为 32 个 token。

步数不是蒸馏模型上的设置。

模型卡中这句话重新界定了整个比较:“去噪步数由训练固定:该变体仅针对 NFE=4 进行训练,随附的推理代码有意不提供任意步数覆盖(其他步数会评估未训练的相位端点)。”

Phased DMD 会蒸馏一条轨迹,而蒸馏后的轨迹在特定噪声水平上具有阶段端点。让一个四步学生模型走八步,并不是为了更高质量而放慢运行——而是在要求它在从未训练过的噪声水平上进行评估。卡片上写着输出会退化。没有调节旋钮。

基础模型则恰恰相反。它的模型卡给出了这张表——DDIM-32 配 CFG 3 和分数温度 0.3,DDIM-16 配 CFG 3 和 0.4,DDIM-8 配 CFG 3 和 0.6,DDIM-4 配 CFG 2 和 0.8——随后又补充了一条警告:低于约 16 步时,预训练模型的质量会明显下降,少步数生成应改用蒸馏变体。

放在一起看,同一家机构的这两句话就是一种分工:基座是你去调的东西,蒸馏版是你不去调的东西。想要一个可调旋钮,就选基座;想要一个常量,就选蒸馏版。

A generated diagram comparing the decoding contracts of the two models: the base Nemotron-Labs-Sigma-8B shown as a configurable path of 32, 16, 8 or 4 denoising steps per 64-token block with classifier-free guidance of 3, 3, 3 or 2 and score temperatures of 0.3, 0.4, 0.6 and 0.8, against the distilled nfe4 shown as a single fixed path of 4 denoising evaluations plus one readout per 32-token block at guidance 1 and temperature 1.

区分二者的算术

把这两份合约换算成相同的单位,蒸馏文件存在的原因就一目了然了。

{{1}}Base 在其推荐设置下{{/1}}——每 64 个 token 的块进行 33 次去噪器调用(32 步加上一次读出),即每次前向传递 1.9 个 token。

• Base 在 4 步时——每 64 个 token 的块进行 5 次调用,每轮 12.8 个 token,但模型卡警告说,低于 16 步时质量会明显下降。

• 蒸馏 nfe4 —— 每 32 个 token 的块调用 5 次,每次传递 6.4 个 token,达到卡片所公布的质量。

• 蒸馏 nfe8 —— 每个 32 个 token 的块进行 9 次调用,每轮 3.6 个 token,并且在六项任务的平均值上高出 4 个百分点。

因此,蒸馏版 nfe4 位于基础模型的安全工作点与不安全工作点之间:每个 token 的前向传播次数仅为推荐基础配置的三分之一,并且所用步数正是模型实际训练时采用的步数。这就是此次发布的全部前提,而这是一个关于算力的前提,并非关于智能的前提。

这并不是实测吞吐量。基础版模型卡报告:在单张 H100 上使用 DDPM、每 64 个 token 的块执行 32 步时,生成 256 个 token 的吞吐量约为每秒 120–140 个 token。蒸馏版模型卡未公布每秒 token 数。上述调用次数比率是对已公布步数进行算术运算得出的;请按此理解。

哪一个有数字,它们值多少钱

在这里,两张卡出现了明显分化,而且分化的方向对基础版来说很不舒服。

Nemotron-Labs-Sigma-8B 没有发布基准测试表。其评估部分只有两句话,称结果“已在技术报告中报告”。关于其准确率,你能了解到的一切都必须来自 arXiv:2610.02665——这篇论文涵盖 3B 和 8B 系列,包括基础版和蒸馏版,其摘要声称这些模型优于掩码扩散语言模型和自回归基线,并且在编码任务上取得了最大且持续的提升。

蒸馏版 nfe4 的模型卡确实公布了数值,基于十个随机种子并给出两个标准误:GSM8K 86.86 ± 0.28,MATH 61.52 ± 0.20,HumanEval 60.61 ± 1.43,HumanEval+ 57.99 ± 1.20,MBPP 57.50 ± 0.61,MBPP+ 73.70 ± 1.07,六任务平均值 66.36 ± 0.46。十个种子值中有九个位于 42 到 51 的区间内,因此该协议的描述足够精确,可以复现。

因此,这两张模型卡合在一起也无法告诉你蒸馏的代价。这是本次比较中最有用的单一数字,但它缺失了,因为教师模型的卡片没有可供相减的表格。论文是这一说法唯一存在的地方,而且其措辞具有方向性:通过分布匹配蒸馏,在数学上大约加速 8×,在编程上加速 4×,“仅有轻微精度损失”。这些倍数由论文报告,而非模型卡报告,并且它们指的是该系列自身的实验,而不是对如今 Hub 上确切的那两个检查点进行的受控比较。

蒸馏产品线本身还有一个更麻烦的细节:nfe16 同级项被标记为 pending_ten_seed_six_task_validation。它的三项任务均值 74.50 来自单次 seed-42 运行,而卡片说明指出,不要将其与其他变体的十种子均值进行比较。因此,“最大的就是最好的”是卡片明确拒绝支持的一种解读。

没人提及的第三种选择

这个集合中包含一个变体,它既不是本次比较中两个模型中的任何一个,也可以说是其中最有意思的文件:Nemotron-Labs-Sigma-distill-spec-8B。它使用同一个 MS-SUSReg-8B 教师模型,并通过额外的接受目标进行蒸馏;它不作为一个纯少步采样器运行,而是用其扩散头起草一个 32-token 块,并用自身的自回归头进行验证。每轮只需一次扩散调用,被接受的 token 无需额外前向传播即可输出。模型卡说明,返回的文本正是贪婪自回归输出——接受与否只改变吞吐量,绝不改变内容。

已发布的接受数据,单次快照:HumanEval 上平均接受长度为 7.91,GSM8K 上为 11.86,MBPP 上为 13.37,包含奖励 token,不包括 bootstrap 轮次。这些是吞吐量指标,不是准确率指标,并且它们不能与 nfe4 的准确率表相提并论——卡片用粗体标出了这一区别。

实际上,如果问题是“扩散头能否在不改变模型输出内容的情况下加速模型”,那么这就是值得关注的变体。它不能即插即用地替代本次比较中的任一模型:它需要启用 generate_speculative 和两个头,并关闭自条件化。

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-8B, showing the description of an 8-billion-parameter continuous diffusion language model that denoises in a 16-dimensional continuous token-embedding space and decodes in parallel blocks using DDPM or DDIM samplers, the note that this is the base pretrained model rather than an instruction follower, and the NVIDIA Nemotron Open Model License.

在实践中如何选择

这个决定归结为四项检查,而对大多数读者来说,第一项检查会直接排除其中一方:

• 你是在研究采样过程本身吗——引导调度、步数、轨迹操控、无分类器引导行为?基础模型就是这个模型,因为只有它才具备这些可调项和按预算划分的表。

• 你正在构建一个以每个 token 固定成本生成文本、并且不希望有调参面的东西吗?nfe4 distill 就是这样的模型,因为 CFG 1 和 score temperature 1 就是一个完整配置。

• 你需要助手吗?两者都不需要。这两个仓库里都没有对话模板,没有系统提示词,也没有工具调用,而且基础模型卡明确说明它并非指令遵循模型。上下文长度为 8,192 token 的 instruct 变体才是用于这一用途的。

• 你需要一个可供引用的基准测试吗?只有蒸馏版才有,而且那是 NVIDIA 自家的。

这四个问题中没有一个是问参数量的,这正是它并非规模比较的迹象。537M 参数的差异,是把自回归头保留在文件中的代价,而它对 nfe4 的纯扩散路径毫无益处——它之所以存在,是因为同一架构也是 spec 变体的基础。

这对组合的意义

NVIDIA 构建了一个主干模型,并把它发布了两次:一次作为可供研究的东西,一次作为可供运行的东西。这是一个连贯的策略,也正是这两张模型卡读起来如此不同的原因——基础版模型卡是为会修改采样器的研究者写的,蒸馏版模型卡则是为不会修改采样器的开发者写的。

这对模型仍然缺少的,是能让你诚实地核查这一取舍的东西:一个教师分数。在基础 8B 模型卡带上与蒸馏模型卡相同的六项任务表之前,任何关于蒸馏换来了什么的主张,都是关于论文中家族级实验的主张,而不是关于这两个文件的主张。如果 NVIDIA 加上那张表——而且基础模型卡在 11 月 16 日的最后一次编辑表明这些仓库仍在维护——那么这种比较就会变成一次减法,而不是一次重建。

就目前而言,实用的解读范围很窄,但很有用:如果你想探究连续扩散语言模型在不同步数预算下的表现,就选 base;如果你想要在已公布的准确率下每次前向传播固定 6.4 个 token,就选 nfe4;如果你需要聊天模型,或需要比长篇备忘录更长的上下文窗口,就两者都跳过。今天 OrcaRouter 的目录里没有这两者,而且在块扩散架构有可用的服务路径之前也不会有——OrcaRouter 确实提供的是 200 多个自回归模型,你可以用它们来对这两者中的任何一个做基准测试,只需一个密钥,按 供应商标价,无加价;如果你想让实验与生产路径隔离,还提供自动故障转移。

A generated two-column scoreboard titled Nemotron-Labs-Sigma-distill-8B-nfe4 vs Nemotron-Labs-Sigma, contrasting the distill at 9.03B parameters and 18.06 gigabytes, a fixed 4 denoising evaluations per 32-token block, guidance 1 and no tuning, a published six-task mean of 66.36, five downloads and a 12 November 2026 release, against the base at 8.49B and 16.99 gigabytes, configurable steps from 4 to 32, guidance 3 and tuned score temperature, no published benchmark table, 106 downloads and a 5 October 2026 release, with a footer noting all figures are NVIDIA-reported.