
Nemotron-Labs-Sigma-distill-8B-nfe4 与 Nemotron 3.5 Lightning 30B A3B:两款从不相互竞争的 NVIDIA 发布产品
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 90 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 97 tok/s
- orca新Orca: OrcaC2 1.02026-11-0717 tok/s
- Orca新OrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 88 tok/s
- Orca新OrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 133 tok/s
- Orca新OrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 每百万 tokens · 72 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 127 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 65 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 92 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 193 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 146 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 每百万 tokens · 124 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955智能
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855智能
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 每百万 tokens · 218 tok/s
把 Nemotron-Labs-Sigma-distill-8B-nfe4 和 Nemotron 3.5 Lightning 30B A3B 放在同一句话里,人的本能反应就是问哪个更聪明。这个问题没有答案,并不是因为数据太少,而是因为这两个模型没有共同的基准测试、上下文长度、服务栈和发布流程。Nemotron-Labs-Sigma-distill-8B-nfe4 是一个 8B 连续扩散模型,NVIDIA 于 2026 年 11 月 12 日未作任何公告便发布了它,下载量仅为五次。Nemotron 3.5 Lightning 30B A3B 是一个总参数 30B、激活参数 3B 的 Mamba-2 与注意力混合专家模型,于 8 月推出,配有模型卡、build.nvidia.com 端点,上月下载量为 962,098 次。有用的比较不在于比分,而在于你究竟能把哪一个真正放到用户面前,以及用来做什么。
这两张卡片描述的是不同的产品,而不是不同的层级
把用例部分并排读一读,差距就不再是能力问题了。Sigma-distill 的说明卡称,它面向“延迟敏感的生成研究、推测与并行解码研究,以及面向部署的实验”,并声明该模型“在用户自己的硬件上离线运行;NVIDIA 不托管任何服务”。Lightning 的说明卡则指向 integrate.api.nvidia.com 上的一个 OpenAI 兼容端点、一个 vLLM 容器标签、一组推荐的采样参数组合(temperature 1.0 和 top_p 0.95)、聊天模板中的一个思考模式开关,以及三个独立的推测解码草稿检查点。
一个是文件。另一个是背后有文件的服务。这一区别几乎决定了本文中的其他所有内容:
• 参数 —— 8B 稠密(计入辅助读出头后,在 safetensors 统计中为 9.03B)对比总参数 30B、每 token 激活 3B。
• 架构 — 带有 16 维连续扩散头的 Ministral 风格解码器,对比带有多 token 预测头的交错 Mamba-2、MoE 和选择性注意力层。
• 上下文 — 提示词与输出合计 4,096 个 token,相比之下最高可达 1,000,000 个 token;但需注意,单块 H100 只能达到约 256,000 个 token,而要达到完整的 100 万则需八块 H100、一块 GB200 或一块 B200。
• 语言 — 仅英语 vs 英语加编程语言、西班牙语、法语、德语、意大利语和日语,中文则在后训练中。
• 发布形态——仅提供模型卡与权重,不提供厂商端点,不发布托管端点公告,包含一个 BF16 参考构建、一个 NVFP4 构建,以及三个用于推测解码的草稿模型。
• 过去三十天内的下载量——仅有五次,而光 BF16 仓库就有 962,098 次,这还没算上 NVFP4 版本的 901,381 次。
• 许可证 — 两者均采用 NVIDIA Nemotron 开放模型许可证,不过 Lightning 的模型卡上标注的是 OpenMDW-1.1。
没有共同的基准,因此也就没有可比较的比分。
大多数对比页面会掩盖的正是这一点。Sigma-distill 的卡片报告了 GSM8K、MATH(Minerva)、HumanEval、HumanEval+、MBPP 和 MBPP+ 在十个随机种子下的结果,并给出两个标准误,以及六项任务均值 66.36。Lightning 的卡片报告了 MMLU Pro、GPQA Diamond、HLE、SciCode、SWE-bench Verified、SWE-bench Multilingual、Terminal-Bench 2.1、PinchBench、BrowseComp、τ³-bench Banking、GDPval-AA-V2、IFBench、AA-LCR 和 AA-Omniscience。两者的交集是空集。没有任何一个基准同时出现在两张卡片上。
这并不是报道中的偶然。这两项评测故意测试不同的内容。Sigma 的六项任务是几百个 token 的短答推理和代码补全;Lightning 的则是智能体式软件工程、长上下文检索和专业知识。一个只有 4,096 token 窗口且没有聊天模板的模型无法接入 SWE-bench 的评测框架,而一个被训练来完成函数体的模型也不会被问到 GPQA 问题。
所以,唯一诚实的界线只能这样划:在它自己的六项任务上,Sigma-distill nfe4 在十个随机种子下平均为 66.36,这是一个真实协议下的真实数字,而它完全说明不了它在 Lightning 所测量的任何任务上会表现如何。任何告诉你其中一个胜过另一个的人,比较的其实什么都不是。

速度正是比较变得有趣之处——也是始终悬而未决之处。
两个模型都很快,但它们快的方式很难放在同一个维度上衡量,而这正是这场对比中真正有实质内容的一点。
Sigma-distill 在每个块中生成 32 个 token,恰好经过 4 次去噪评估加 1 次读出。五次前向传播,32 个 token:每次前向传播 6.4 个 token。由于步数由训练固定,该比率不会随提示长度或输出长度变化——它是一个常数,而且该模型卡的推理代码不允许你覆盖它。父模型的模型卡报告:在单张 H100 上、每 64-token 块 32 步时,每秒 120–140 个 token;蒸馏变体完全没有公布每秒 token 数,因此“前向传播次数少 6.4 倍”的算术并不是实测吞吐量。
Lightning 走的是另一条路线。它是一个激活参数为 3B 的 MoE,因此每次前向传播的开销都很低;NVIDIA 将 DSpark 作为推荐的推测解码默认方案提供,DFlash 及其自带的多 token 预测头则作为备选。它的吞吐量数据同样没有以每秒 token 数的形式列在规格卡上——但它的下载量和部署配方表明,它已经在生产环境中运行过,而 Sigma 还没有。
真正重要的区别在于:Sigma 的加速是结构性的、对每个 token 都恒定不变,而 Lightning 的加速是投机性的、取决于具体工作负载。每 32 个 token 固定发起 5 次调用这一约定具有可预测性,而草稿接受率从来不具备这种可预测性。这个数字在今天也无法测量,因为还没有人公布过 nfe4 检查点的任何一个吞吐量数据。
运行每一个需要花费多少
Sigma-distill 是 18.06 GB 的 bfloat16 权重,分为四个分片,通过仓库自身的 PyTorch eager 代码并使用 trust_remote_code 加载,在 CUDA GPU 上运行,没有 paged attention、没有连续批处理,且该合集中没有量化构建。没有按 token 计价,因为没有端点:NVIDIA 的卡片说明该模型在你的硬件上运行,并且 NVIDIA 不托管任何服务。
Lightning 则是相反的形态。BF16 权重为 31.6B 参数;NVIDIA 自己的生产环境建议是改用 NVFP4 构建,其显卡附带了一份 vLLM 配方(容器标签 vllm/vllm-openai:v0.27.1),采用 FlashInfer Mamba 后端、FP16 SSM 缓存和前缀缓存,此外还为 Hopper 和 Blackwell 提供了 SGLang 镜像。显卡本身和 build.nvidia.com 上都没有标价——该端点受 NVIDIA API 试用条款约束——但第三方平台将该模型标价约为每百万输入 token 0.05 美元、每百万输出 token 0.20 美元。该数字是市场观察结果,而非厂商定价。
这两款模型都不在 OrcaRouter 的目录中,若暗示并非如此,那就不诚实了。OrcaRouter 提供的是围绕它们的对比集:200 多款模型通过一个密钥即可访问,供应商标价原样传递且不加价,因此上游降价当天就能体现出来,而不用等到季度费率卡修订时才反映。如果你读到这里是因为需要选择一个基线来测试 Sigma,那么基线就来自这里。
按包络挑选,而不是按评分
四个问题能在不到一分钟内理清这件事,而且它们都不涉及基准准确率:
• 任务能放进 4,096 个 token 吗?如果放不下,Sigma-distill 就被排除,问题也到此为止。Lightning 的百万 token 窗口——单块 H100 上为 256K——要大三个数量级。
• 任务是否需要对话、工具或结构化输出?Sigma-distill 完全没有这些:没有聊天模板,没有系统提示词,没有 JSON 模式,只有停止字符串和 token 预算作为停止机制。Lightning 附带一个带有思考开关的聊天模板。
• 你需要同时处理多个请求吗?Sigma 没有服务栈——受支持的方案是在单块 GPU 上运行 Python 脚本。Lightning 提供两种引擎集成,并已发布并行化方案。
• 你感兴趣的是解码机制本身——块扩散、少步蒸馏、自推测?那么在两者之中,只有 Sigma-distill 是值得关注的那个,而 Lightning 则完全是错误的比较对象。
其余一切都由那四点衍生而来。一个团队为产品评估 Sigma 时,实际上是在问一个研究检查点能否转化为一项服务;一个团队评估 Lightning 时,则是在问一个激活参数为 3B 的混合 MoE 是否符合预算。这些是不同的讨论。
这场对决真正成真的地方
有两件事能让这个页面变成真正的正面对决,而这两件事目前都还不存在。
第一个是共同基准。如果 Sigma 哪天有了 MMLU Pro 或 GPQA 的分数,或者 Lightning 在可比的提示格式下有了 GSM8K 或 HumanEval 的分数,那就有可比较的东西了。在那之前,诚实的立场就是上面那个:同一家厂商报告的两套互不重叠的评测套件,而且这些模型无法参加彼此的测试。
第二个是服务路径。Sigma-distill 目前还是一个需要克隆的仓库和一个需要运行的脚本;提到 Nemotron 扩散的 SGLang 拉取请求针对的是较旧的 Nemotron-Labs-Diffusion-8B 系列,截至 11 月 17 日仍处于开放状态,而 vLLM 的注册表中根本没有 nemotron_labs_sigma 架构。一旦具有固定步数的块扩散模型获得分页注意力和批处理支持,其每轮 6.4 个 token 的优势就会变成一个可以与投机解码接受率并列比较的数字——而这种比较值得发表。

在此之前,实际的解读是:NVIDIA 在同一个秋天为两类受众发布了两款模型,而其中只有一款是产品。Lightning 是今天就能调用的那个,具备服务所意味着的缓存行为、上下文窗口和引擎支持。Sigma-distill 则是你会下载的那个——如果你关心的是,8B 的连续扩散能否在六个任务上、每 32 个 token 进行五次前向传播的情况下保持 66.36——这是一个关于解码的问题,而不是关于能力的问题,并且无论与 30B MoE 做多少比较都无法回答。

