一张为 Nemotron-Labs-Sigma-distill-8B-nfe4 生成的标题卡,注明发布日期为 2026 年 11 月 12 日、80 亿参数、每个 32 词元块固定进行 4 次去噪评估、过去一个月有五次下载和零个点赞,页脚则说明所有数据均来自 NVIDIA 的模型卡,且未经独立验证。
Engineering & Research

Nemotron-Labs-Sigma-distill-8B-nfe4 悄然上线,没有任何公告,仅五次下载

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

截至本文撰写时的 2026 年 11 月 17 日,Hugging Face 统计到 nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4 在过去三十天内仅有五次下载、零个点赞。这就是 NVIDIA 六天前发布的一款 80 亿参数语言模型迄今获得的全部反响。没有博客文章,没有 build.nvidia.com 上的条目,没有发布帖,新闻稿中也没有基准测试表。该检查点自带的模型卡将发布日期标为 11/12/2026;该仓库的首次提交是在 11 月 9 日 05:47 UTC,最后一次编辑是在 11 月 16 日,这次编辑重写了转换逻辑,以保留 fp32 几何张量。下文所有内容均读取自该仓库、其配置文件及其引用的技术报告;未经确认的部分会被明确标注为未确认,而不是被补全。

该仓库是唯一的一手来源,而且它异常明确。

大多数静默发布都会留下一张占位卡片,这次却没有。它附带一个来源文件、一份带 SHA-256 的检查点完整性清单、一个分词器完整性哈希、四个 Model Card++ 子卡片,以及一个固定采样器的生成配置。这种程度的记录工作,正是模型经历过内部发布流程、却只是没有被正式公告时会出现的情况——发布帖本会总结的那些产物全都存在,只少了那篇帖子。

其背后的论文是真实存在且标注了日期的:arXiv:2610.02665,《大型语言连续扩散模型》,这是一篇由十七位作者撰写的 NVIDIA 论文,其 v2 于 11 月 12 日发布,而模型卡称权重也是同一天上线。该论文将 Nemotron-Labs-Sigma 描述为首个 3B 和 8B 规模的大型连续扩散语言模型系列。模型卡的评估部分将其数据归因于“11 月 10 日受限发布交接中经核实的十种子、六任务统计数据”——这句话告诉你,该文件在公开仓库启用之前,至少已经私下流传了两天。

Screenshot of the Hugging Face model card for nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4, showing the model overview describing an 8-billion-parameter continuous diffusion language model distilled with Phased Distribution Matching Distillation, the native 4-NFE 32-token block generation contract, the NVIDIA Nemotron Open Model License, and the release date line reading Hugging Face 11/12/2026.

检查点里实际包含什么?

去掉那些文字说明,规格表其实很短。下面每一行都来自 config.json、generation_config.json 或卡片:

• 骨干网络——一个 Ministral 风格的仅解码器 Transformer:34 层,隐藏维度 4,096,FFN 14,336,头维度为 128 的 32 个查询头和 8 个键值头,SwiGLU,RoPE,并在配置中包含一个 YaRN 缩放模块。

• 生成头——一个16维连续 token 嵌入扩散头,辅助自回归读出头保留在检查点中,而非被剪枝。

• 参数量——按模型卡命名是 8.0B,而按 safetensors 统计是 9.03B(9,026,818,048 个 BF16 张量加 2,097,186 个 F32),四个分片共 18.06 GB。两个数字之间的差距来自辅助头。

• 解码约定——32 个 token 的块,恰好 4 次去噪函数评估加 1 次读出,因此每个块有 5 次去噪器调用,即每次前向传播生成 6.4 个 token。

• 采样器 — 原生的 fresh_x0 路径,在步骤之间保持自条件,无分类器引导固定为 1,分数温度固定为 1。

• 上下文 — 提示词加生成共 4,096 个 token。仅限英文。不采用 token-ID EOS 停止;而是按字符串或 token 预算停止。

• 运行时 — PyTorch 2.4 或更高版本,Transformers 4.55 或更高版本,trust_remote_code,bfloat16 的 CUDA GPU。明确不支持 CPU,卡片给出了原因:采样器在 CPU 上数值退化,会产生无法使用的输出。

• 许可证 — NVIDIA Nemotron Open Model License,模型卡称其允许商业和非商业用途。模型卡还在用例部分指出,该模型可在你的硬件上离线运行,且 NVIDIA 不托管任何服务。

最后那句话对任何以为某处存在 Sigma 端点的人来说都很重要。事实并非如此。build.nvidia.com 上没有 Nemotron-Labs-Sigma 条目,该模型与 Nemotron 系列的其他成员一样,也不在 OrcaRouter 目录中——所以目前没有什么可以调用的,只有可以下载的东西。

四个检查点,四个不同的模型

这种命名方式让这些变体看起来像是同一个模型在四种设置下的版本。但它们并非如此:每个 NFE 值都是一个单独蒸馏出来的学生模型,而且模型卡直言不讳地指出,步数是固化在其中的。“此变体仅针对 NFE=4 训练,并且随附的推理代码有意不提供任意步数覆盖”——因为其他步数会让评估触及学生模型从未训练过的阶段端点。因此,你不能在推理时把 nfe4 调低到两步;你要下载 nfe2。

已发表的六项任务均值——全部基于十个随机种子并附有两个标准误——首次让这一系列中的权衡变得清晰可辨:

• NFE 2 — GSM8K 80.17,MATH 55.72,HumanEval 48.17,MBPP 37.52;六项任务平均值 53.02。每个块进行 3 次去噪器调用,每次调用 10.7 个 token。

• NFE 4 — GSM8K 86.86,MATH 61.52,HumanEval 60.61,MBPP 57.50;六项任务均值 66.36。每块 5 次调用,每次调用 6.4 个 token。

• NFE 8 — GSM8K 88.44,MATH 64.40,HumanEval 65.18,MBPP 62.60;六任务均值 70.34。每块 9 次调用,每次调用 3.6 个 token。

• NFE 16 — GSM8K 89.61,HumanEval 67.68,MBPP 66.20,三项任务均值 74.50。每个块 17 次调用,每次调用 1.9 个 token。还有一项其他三个检查点没有的注意事项:此检查点被标记为 pending_ten_seed_six_task_validation,其数值是在 seed 42 下对三项任务进行的单次运行结果,模型卡说明应将其视为暂定值,且不可直接比较。

这条阶梯的形状才是有意思的地方。把步数从 2 翻倍到 4,能换来六项任务均值上 13.3 分的提升;再翻倍到 8,只换来 4.0 分;继续提到 16,在已跑的那三项任务上还能再换来约 4 分——但这来自另一套更弱的评估。换句话说,蒸馏曲线恰好在模型变得有竞争力之处急剧变平,而 nfe4 检查点就位于拐点刚过去一点的位置。

A generated bar chart of the Nemotron-Labs-Sigma-distill-8B checkpoints, plotting six-task mean accuracy against denoising evaluations per 32-token block: NFE 2 at 53.02, NFE 4 at 66.36 and NFE 8 at 70.34 as ten-seed figures, with NFE 16 shown separately at a three-task mean of 74.50 and marked as a single seed-42 run pending validation.

数字从何而来,又止于何处

上面每一个数字都是 NVIDIA 的,由 NVIDIA 在 NVIDIA 自己的评估框架上产生,并且报告时所用的种子数量让它看起来比实际更独立。十个种子、两个标准误是一套严肃的协议——它告诉你 nfe4 HumanEval 得分 60.61 的区间为 ±1.43,这个区间足够宽,以至于你不应把与任何对象之间的两分差距当作真实差异。但同一评估框架的十个种子并不等于十个实验室。

截至11月17日尚不存在以下内容:任何 Sigma 模型的 Artificial Analysis 页面、任何公开模型价格目录中的条目、任何 vLLM 或 SGLang 支持,以及任何第三方复现。检查很快,结果为空。vLLM 主分支上的模型注册表没有 nemotron_labs_sigma 架构;提到 Nemotron diffusion 的 SGLang 拉取请求针对的是较旧的 Nemotron-Labs-Diffusion-8B 谱系,且仍处于打开状态。Transformers 没有原生的 nemotron_labs_sigma 模块,这就是为什么模型卡要求你使用 trust_remote_code 加载,并随权重一起提供仓库中 40 KB 的建模文件。

所以,诚实的现状是:一个已发布的检查点,配有公开的评估协议,但没有任何外部验证。对于 2026 年 11 月的扩散语言模型而言,这是常态,而且这并不是对模型的批评——它只是描述了你所能依据这张卡片进行规划的程度。

运行它只需一个 Python 脚本,而不是一整套服务栈

模型卡的快速开始只有十一行:使用远程代码加载分词器和模型,转换为 bfloat16,调用 generate 并传入最大 token 数和可选的停止字符串,然后读回模型报告的 NFE 计数。此仓库中没有聊天模板、没有系统提示、没有工具调用、没有 JSON 模式——模型卡明确说明这是基准测试风格的提示,且该模型是基础检查点的蒸馏学生模型,而不是助手。如果你想要对话,该合集包含父模型的 instruct 变体,上下文长度为 8,192 个 token。

有两个运维细节会让走马观花的人吃苦头。第一,关于停止:不存在基于 token-ID 的 EOS 停止机制,因此,如果一个请求始终没有产生你设定的停止字符串,它就会一直跑到 token 预算耗尽;而在 4,096 token 的窗口内,这个预算还要与提示词共享。第二,关于内存:在任何 KV 缓存之前,光 bfloat16 权重就有 18 GB;而该模型唯一受支持的路径就是仓库自带的 PyTorch eager 代码——其中没有 paged attention,没有连续批处理,也没有量化版本。目前受支持的配置是在单张 GPU 上运行单个请求。

吞吐量是人们会想要的数字,而模型卡并未给出这个检查点的吞吐量。父模型的模型卡报告称,在单张 H100 上,使用 DDPM 采样器、每 64 个 token 块 32 步,生成 256 个 token 时,吞吐量约为每秒 120–140 个 token。蒸馏版 nfe4 每 32 个 token 进行 5 次调用,而不是每 64 个 token 进行 33 次调用;按调用次数计算,每个 token 的前向传递次数少了四倍多一点——但这是基于步数的算术推算,并非对这个检查点的测量,而且模型卡没有公布它的每秒 token 数。

什么尚未确认?

一篇发布文章本可以讲清楚的三件事,而这次发布却没有:

• NVIDIA 是打算将其作为产品,还是作为研究产物。许可证允许商业使用,且模型卡是以产品语言撰写的,但没有托管端点、没有支持声明,截至 11 月 16 日也未在任何 NVIDIA 博客文章中提及。

• 教师模型的价值。卡片称,该学生模型是从同一架构家族的“MS-SUSReg-8B”教师模型蒸馏而来的,并且溯源文件标明了运行记录 8b_ms_susreg_n4_20261109 对应学生模型第 1200 步。已发布的基础模型 Nemotron-Labs-Sigma-8B 被描述为同一谱系——但基础模型卡片完全没有公布任何数字,只给出了指向论文的指引,因此无法通过并排查看两张卡片来读出蒸馏损失。

Screenshot of the nvidia/nemotron-labs-sigma collection page on Hugging Face, listing fourteen repositories: the 3B and 8B base and instruct models, distill variants at NFE 2, 4, 8 and 16 for both sizes, and self-speculative distill checkpoints for 3B and 8B, with the collection description reading continuous diffusion language models, base, instruct, few-step distilled and self-speculative variants.

• nfe16 检查点究竟是该系列中最好的,还是未完成评估造成的假象。它的数字在模型卡上最高,也最不可信,而模型卡自己也这么说——这比大多数发布说明都要坦率。

为什么低调发布才是真正的新闻

NVIDIA 今年秋天发布了很多东西——Bolt、Super VL、Transcribe、Dory 系列,全都配有博客文章和 build.nvidia.com 页面。Sigma 却什么都没有,来自同一个组织,只附带一篇论文、一份许可证、四个 Model Card++ 子卡片和一个显示五次下载的计数器。最可能的解读是,这是一次刻意避开产品层面的研究发布:其模型卡片标明的预期用途是“对延迟敏感的生成研究、推测性与并行解码研究”,这正是实验室产物的措辞。

对于正在决定是否要在意的读者来说,实际问题并不是这个模型在抽象意义上好不好——而是:一个上下文长度为 4K、没有服务栈的 4-NFE 连续扩散 LM,是否能胜过你流水线中已有的自回归模型。回答这个问题需要实际运行它,而让它值得花那一 GPU 小时的算术很简单:每次前向传播 6.4 个 token,而标准解码器只有 1 个。这一点能否在你的工作负载下依然成立,正是那个缺失的独立基准测试本会告诉你的。

OrcaRouter 不提供此检查点,而且在有人为具有固定步数的块扩散架构构建出服务路径之前,它不会以按 token 定价的形式出现——其成本模型无法像自回归 API 那样映射到输入和输出 token 上。OrcaRouter 上实际可用的是对比集:200 多个自回归模型,只需一个密钥即可按提供商标价使用,且无加价,因此可以针对真实基线而非模型卡来回答 Sigma 问题。在您做决定期间,将两者都通过一个端点路由,也是让实验远离生产路径的最便宜方式。