
Nemotron-Labs-Sigma-distill-8B-nfe4 与 Nemotron-Labs-Sigma:同一权重谱系,两种解码契约
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 90 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 97 tok/s
- orca新Orca: OrcaC2 1.02026-11-0717 tok/s
- Orca新OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 88 tok/s
- Orca新OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 133 tok/s
- Orca新OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 每百万 tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百万 tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百万 tokens · 218 tok/s
Nemotron-Labs-Sigma-distill-8B-nfe4 令人困惑之处在于,它并不是一个更好的 Nemotron-Labs-Sigma-8B。它是一个不同的文件,有着不同的约定,由同一谱系中的教师模型产出,而两者之间的差别不在于准确率,而在于网络为输出一个词要运行多少次。基础版 8B 于 2026 年 10 月 5 日作为预训练研究模型发布:8.49B 参数、可配置的去噪步数、需要手动调优的无分类器引导,而且其模型卡完全没有公布任何分数,只是指向 arXiv:2610.02665。蒸馏版 nfe4 于 2026 年 11 月 12 日到来,拥有 9.03B 参数、固化在检查点中的步数,以及 NVIDIA 在 Sigma 模型卡上唯一给出过的逐基准表格。两者都仅支持英语,上限都是 4,096 个 token,且采用同一许可证。在两者之间做选择,就是选择你希望模型如何花费其算力。
逐文件来看,实际差异究竟是什么
两个仓库都附带相同的 model_type——nemotron_labs_sigma——并且都以相同的方式加载,使用 trust_remote_code 以及仓库中一个 40 KB 的建模文件。这些配置的差异在推理时很重要,而在主干网络中几乎完全没有影响:
• 主干网络——两者的结构完全相同:34 层,隐藏维度为 4,096,FFN 为 14,336,32 个查询头与 8 个键值头,使用 SwiGLU 和 RoPE,词表包含 131,072 个词元。
• 参数 — 基础版为 8.49B(8,489,947,136 个 BF16 加 2,097,186 个 F32),蒸馏版为 9.03B(9,026,818,048 个 BF16 加相同数量的 F32)。多出的 537M 是蒸馏版在扩散头之外保留的辅助自回归读出头。
• 磁盘上的权重 — 16.99 GB 对 18.06 GB,每个各含四个分片。
• 上下文——基础版和蒸馏版均为 4,096 个 token。同一集合中的 instruct 变体将其提升至 8,192,并添加了聊天模板;这里的两个模型都没有。
• 步骤——基座在调用时暴露 steps 和 block_length,其卡片会发布一张按预算划分的表;蒸馏则完全不接受任何覆盖。
• 引导——基础模型需要无分类器引导(在 32 步和 16 步时为 3.0,在 4 步时为 2.0)以及经过调优的分数温度;蒸馏模型在 CFG 1 和分数温度 1 下运行,也就是说,没有引导,也没有调优。
• 采样器 — 文档中说明,基础模型默认在 log_snr 网格上使用 DDIM,块大小为 64 个 token;蒸馏模型使用 fresh_x0,并在步骤之间传递自条件,块大小为 32 个 token。
步数不是蒸馏模型上的设置。
模型卡中这句话重新界定了整个比较:“去噪步数由训练固定:该变体仅针对 NFE=4 进行训练,随附的推理代码有意不提供任意步数覆盖(其他步数会评估未训练的相位端点)。”
Phased DMD 会蒸馏一条轨迹,而蒸馏后的轨迹在特定噪声水平上具有阶段端点。让一个四步学生模型走八步,并不是为了更高质量而放慢运行——而是在要求它在从未训练过的噪声水平上进行评估。卡片上写着输出会退化。没有调节旋钮。
基础模型则恰恰相反。它的模型卡给出了这张表——DDIM-32 配 CFG 3 和分数温度 0.3,DDIM-16 配 CFG 3 和 0.4,DDIM-8 配 CFG 3 和 0.6,DDIM-4 配 CFG 2 和 0.8——随后又补充了一条警告:低于约 16 步时,预训练模型的质量会明显下降,少步数生成应改用蒸馏变体。
放在一起看,同一家机构的这两句话就是一种分工:基座是你去调的东西,蒸馏版是你不去调的东西。想要一个可调旋钮,就选基座;想要一个常量,就选蒸馏版。

区分二者的算术
把这两份合约换算成相同的单位,蒸馏文件存在的原因就一目了然了。
{{1}}Base 在其推荐设置下{{/1}}——每 64 个 token 的块进行 33 次去噪器调用(32 步加上一次读出),即每次前向传递 1.9 个 token。
• Base 在 4 步时——每 64 个 token 的块进行 5 次调用,每轮 12.8 个 token,但模型卡警告说,低于 16 步时质量会明显下降。
• 蒸馏 nfe4 —— 每 32 个 token 的块调用 5 次,每次传递 6.4 个 token,达到卡片所公布的质量。
• 蒸馏 nfe8 —— 每个 32 个 token 的块进行 9 次调用,每轮 3.6 个 token,并且在六项任务的平均值上高出 4 个百分点。
因此,蒸馏版 nfe4 位于基础模型的安全工作点与不安全工作点之间:每个 token 的前向传播次数仅为推荐基础配置的三分之一,并且所用步数正是模型实际训练时采用的步数。这就是此次发布的全部前提,而这是一个关于算力的前提,并非关于智能的前提。
这并不是实测吞吐量。基础版模型卡报告:在单张 H100 上使用 DDPM、每 64 个 token 的块执行 32 步时,生成 256 个 token 的吞吐量约为每秒 120–140 个 token。蒸馏版模型卡未公布每秒 token 数。上述调用次数比率是对已公布步数进行算术运算得出的;请按此理解。
哪一个有数字,它们值多少钱
在这里,两张卡出现了明显分化,而且分化的方向对基础版来说很不舒服。
Nemotron-Labs-Sigma-8B 没有发布基准测试表。其评估部分只有两句话,称结果“已在技术报告中报告”。关于其准确率,你能了解到的一切都必须来自 arXiv:2610.02665——这篇论文涵盖 3B 和 8B 系列,包括基础版和蒸馏版,其摘要声称这些模型优于掩码扩散语言模型和自回归基线,并且在编码任务上取得了最大且持续的提升。
蒸馏版 nfe4 的模型卡确实公布了数值,基于十个随机种子并给出两个标准误:GSM8K 86.86 ± 0.28,MATH 61.52 ± 0.20,HumanEval 60.61 ± 1.43,HumanEval+ 57.99 ± 1.20,MBPP 57.50 ± 0.61,MBPP+ 73.70 ± 1.07,六任务平均值 66.36 ± 0.46。十个种子值中有九个位于 42 到 51 的区间内,因此该协议的描述足够精确,可以复现。
因此,这两张模型卡合在一起也无法告诉你蒸馏的代价。这是本次比较中最有用的单一数字,但它缺失了,因为教师模型的卡片没有可供相减的表格。论文是这一说法唯一存在的地方,而且其措辞具有方向性:通过分布匹配蒸馏,在数学上大约加速 8×,在编程上加速 4×,“仅有轻微精度损失”。这些倍数由论文报告,而非模型卡报告,并且它们指的是该系列自身的实验,而不是对如今 Hub 上确切的那两个检查点进行的受控比较。
蒸馏产品线本身还有一个更麻烦的细节:nfe16 同级项被标记为 pending_ten_seed_six_task_validation。它的三项任务均值 74.50 来自单次 seed-42 运行,而卡片说明指出,不要将其与其他变体的十种子均值进行比较。因此,“最大的就是最好的”是卡片明确拒绝支持的一种解读。
没人提及的第三种选择
这个集合中包含一个变体,它既不是本次比较中两个模型中的任何一个,也可以说是其中最有意思的文件:Nemotron-Labs-Sigma-distill-spec-8B。它使用同一个 MS-SUSReg-8B 教师模型,并通过额外的接受目标进行蒸馏;它不作为一个纯少步采样器运行,而是用其扩散头起草一个 32-token 块,并用自身的自回归头进行验证。每轮只需一次扩散调用,被接受的 token 无需额外前向传播即可输出。模型卡说明,返回的文本正是贪婪自回归输出——接受与否只改变吞吐量,绝不改变内容。
已发布的接受数据,单次快照:HumanEval 上平均接受长度为 7.91,GSM8K 上为 11.86,MBPP 上为 13.37,包含奖励 token,不包括 bootstrap 轮次。这些是吞吐量指标,不是准确率指标,并且它们不能与 nfe4 的准确率表相提并论——卡片用粗体标出了这一区别。
实际上,如果问题是“扩散头能否在不改变模型输出内容的情况下加速模型”,那么这就是值得关注的变体。它不能即插即用地替代本次比较中的任一模型:它需要启用 generate_speculative 和两个头,并关闭自条件化。

在实践中如何选择
这个决定归结为四项检查,而对大多数读者来说,第一项检查会直接排除其中一方:
• 你是在研究采样过程本身吗——引导调度、步数、轨迹操控、无分类器引导行为?基础模型就是这个模型,因为只有它才具备这些可调项和按预算划分的表。
• 你正在构建一个以每个 token 固定成本生成文本、并且不希望有调参面的东西吗?nfe4 distill 就是这样的模型,因为 CFG 1 和 score temperature 1 就是一个完整配置。
• 你需要助手吗?两者都不需要。这两个仓库里都没有对话模板,没有系统提示词,也没有工具调用,而且基础模型卡明确说明它并非指令遵循模型。上下文长度为 8,192 token 的 instruct 变体才是用于这一用途的。
• 你需要一个可供引用的基准测试吗?只有蒸馏版才有,而且那是 NVIDIA 自家的。
这四个问题中没有一个是问参数量的,这正是它并非规模比较的迹象。537M 参数的差异,是把自回归头保留在文件中的代价,而它对 nfe4 的纯扩散路径毫无益处——它之所以存在,是因为同一架构也是 spec 变体的基础。
这对组合的意义
NVIDIA 构建了一个主干模型,并把它发布了两次:一次作为可供研究的东西,一次作为可供运行的东西。这是一个连贯的策略,也正是这两张模型卡读起来如此不同的原因——基础版模型卡是为会修改采样器的研究者写的,蒸馏版模型卡则是为不会修改采样器的开发者写的。
这对模型仍然缺少的,是能让你诚实地核查这一取舍的东西:一个教师分数。在基础 8B 模型卡带上与蒸馏模型卡相同的六项任务表之前,任何关于蒸馏换来了什么的主张,都是关于论文中家族级实验的主张,而不是关于这两个文件的主张。如果 NVIDIA 加上那张表——而且基础模型卡在 11 月 16 日的最后一次编辑表明这些仓库仍在维护——那么这种比较就会变成一次减法,而不是一次重建。
就目前而言,实用的解读范围很窄,但很有用:如果你想探究连续扩散语言模型在不同步数预算下的表现,就选 base;如果你想要在已公布的准确率下每次前向传播固定 6.4 个 token,就选 nfe4;如果你需要聊天模型,或需要比长篇备忘录更长的上下文窗口,就两者都跳过。今天 OrcaRouter 的目录里没有这两者,而且在块扩散架构有可用的服务路径之前也不会有——OrcaRouter 确实提供的是 200 多个自回归模型,你可以用它们来对这两者中的任何一个做基准测试,只需一个密钥,按 供应商标价,无加价;如果你想让实验与生产路径隔离,还提供自动故障转移。

