NVIDIA Nemotron Labs Dory 1.0 4B 登陆 Hugging Face，带来四个检查点，却未发布任何公告

NVIDIA Nemotron Labs Dory 1.0 4B 目前就挂在 Hugging Face 上，共有四种量化版本，而 NVIDIA 对此只字未提。该检查点nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8上线时附带了一张模型卡，上面把这次构建标注为“GA (10/16/2026)”；它的另外三个兄弟版本——NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16、NVIDIA-Nemotron-Labs-Dory1.0-4B-NVFP4和NVIDIA-Nemotron-Labs-Dory1.0-4B-GGUF——都是 2026 年 10 月 16–17 日午夜 UTC 前后同一个 36 分钟窗口内推送的。NVIDIA 的开发者博客上没有相应的文章，Nemotron 研究主页上没有任何条目，这两处也都找不到任何提及名为 Dory 的模型的内容。模型卡本身异常完整——一张完整的基准测试表、针对两个引擎的部署说明、一个校验和——但围绕着它的那套营销脚手架，也就是通常用来表明某个模型确实存在的东西，却完全不见踪影。

因此，有必要精确说明：这件事允许你说什么，不允许你说什么。可知的是：权重确实存在，可以下载，许可证已说明，架构描述得足够详细、能够复现，而且供应商公布了自己的数据，并附注说明这些数据是它自己测得的。尚未确认的是：这是一个 Nemotron Labs 系列的开端，还是一次性实验；是否会有一篇论文或一篇博客文章；以及这些数据在别人的测试框架下是否经得起检验。NVIDIA 并未将其定位为一次发布，本文也不会如此定位。这是对一个一夜之间出现的代码仓库的解读。

仓库里实际有什么？

这些产物是四个检查点和一个模型卡。模型卡是实质性的文档，下文几乎所有内容都来自它。

• 格式 — BF16（W16A16）、MXFP8（W8A16）、NVFP4（W4A16），以及面向 llama.cpp 的 Q5_K_M GGUF 导出。本文之所以以 MXFP8 检查点为主题，仅仅是因为它是带有规范仓库 ID 的那一个；模型卡中的基准测试是在 BF16 上测得的。

• 规模与形态——总参数量为 4B，是稠密堆叠而非专家混合，分为 8 层输入块、20 层循环块和 8 层输出块。

• 上下文 — 最高 256K tokens，在 N​VIDIA 随卡提供的启动命令下，于 vLLM 中已验证 262,144 个位置。

• 许可 — OpenMDW 1.1，一种宽松、可再分发的模型许可，其文本可从卡片链接获取。卡片明确表示，该模型“已可用于商业或非商业用途”。

• 语言 — 仅限英语，尽管预训练数据涵盖 43 种编程语言。

• 训练预算——6 万亿个预训练 token，其中约前 4.5 万亿个以 NVFP4 原生运行，之后其余部分切换至 BF16，随后是 3000 亿 token 的上下文扩展阶段。数据涵盖 2013 年至 2025 年 12 月。后训练是在 NVIDIA 精选数据集上进行监督微调，然后使用 GRPO 进行多环境强化学习。

• 仓库活动——撰写本文时，`main` 上有八次提交、两位贡献者，其中最新的一次是编辑 README。而第一次提交“Upload Dory 4B MXFP8 checkpoint and tokenizer”也不过是几小时前的事。这并不是一个在公开视野中沉寂数月、刚刚才被人注意到的仓库；而是一个今天才被填充起来的仓库。

这张卡做对而大多数卡都没做到的一个细节是：它列出了 GGUF 导出的确切字节大小和 SHA-256，这样你就能验证自己下载的文件是否正确。3,673,288,864 字节，哈希值也印在启动说明里。

架构就是值得在意的全部理由

抛开基准测试表，NVIDIA Nemotron Labs Dory 1.0 4B 的有趣之处在于它并非一个固定模型。它是一个循环式、或者说潜在递归的网络：20 层循环块会在输入块与输出块之间被反复应用，并且每次循环都会重新注入输入。因此，同一个检查点会因你要求的循环次数不同而表现不同，而循环次数是在服务阶段而非训练阶段选择的。

随之产生三个后果，它们全都来自模型卡，而非来自任何人的测试：

弹性推理计算——一个权重文件即可满足多种计算预算。循环次数设为 1 以降低延迟，设为 2 作为推荐的默认值，当智能体任务上的准确率比每秒 token 数更重要时则设为 4。无需重新训练，也无需下载第二个检查点并保持同步。

• Token 效率——NVIDIA 声称，每个 token 的额外算力被投入到潜在推理中，而不是投入到更长的可见思维链中，因此更高的循环次数可以为同一任务生成更少的输出 token。该显卡随附一张输出 token 因子图表，以证明这一点。这一说法有直接的成本影响，这正是它值得被指出、而非被忽视的原因。

• 内存高效循环 — 正是这一项回应了那个显而易见的反对意见。标准循环会为每次循环保留独立的 KV 缓存，因此内存会随着每一次新增的遍历而增长。Dory 支持一种“末次循环 KV 缓存”模式，为每个循环注意力层只保留单一缓存，并在每次遍历时将其覆盖写，从而无论运行多少次循环，占用都大致保持在一轮循环的规模。NVIDIA 表示，采用末次循环缓存时，精度接近逐循环缓存，且输出长度几乎不变，并将其称为自身的实验结果。

注意力栈是混合式的：滑动窗口层与全注意力层交替排列，这正是 2026 年这批长上下文小模型普遍收敛到的总体模式。这些单独来看都不算新奇。不太常见的是，在拥有 256K 窗口的 4B 模型上，把循环次数作为部署时的可调参数开放出来。

基准测试表，作为供应商表来解读

这里的每一个数字都是由 NVIDIA 在模型卡所称的“一套一致的测试框架（NeMo Gym / Nemo Evaluator SDK）”下生成的。没有任何外部方复现过其中任何一项，该模型大约才发布一天，四个代码仓库的下载计数器都显示为零。请把这些数字视为关于方向的宣称，而不是记分牌。

N​VIDIA 选择的对比集本身就说明问题：Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B A4B 和 Qwen3.6-35B-A3B。值得注意的是，两个 4B 级别的对比模型来自上一代 Q​wen，而其他每个对比模型都大得多。横向看这三组循环设置：

• SWE-bench Verified — 单次循环为 50.3，两次循环为 59.5，四次循环为 61.8，相比之下，Qwen3.5-4B 为 54.7，Qwen3.5-9B 为 61.0，Gemma 4 26B A4B 为 57.40，Qwen3.6-35B-A3B 为 73.4。

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2，对比 15、24、35 和 43。这一行中，循环带来的收益最大，而 Dory 仍与同场其他模型差距最远。

• τ³-bench（银行业）— 分别为 11.6 / 12.89 / 14.69，而 Qwen3.5-4B 为 5.03、Qwen3.5-9B 为 7.22、Gemma 4 26B A4B 为 13.66、Qwen3.6-35B-A3B 为 9.54。Dory 在此处以大幅优势领先 4B 和 9B 的 Qwen 模型。

• GDPval-AA-V2 (Elo) — 815 / 946 / 967，对比 424、546、751.6 和 987。从一次循环到两次循环的跃升为 131 Elo 分，是表中所有循环间变动里最大的一次。

GPQA Diamond，无工具——69.19 / 72.41 / 72.16，对比 77.71、80.93、80.43 和 85.35。Dory 在这一项上输给了所有对比对象，包括 4B Qwen。

• HLE，纯文本、无工具——8.25 / 10.89 / 10.43，对比 11.31、15.43、17.79 和 19.18。还是同样的情况。

• IFBench — 74.29 / 77.94 / 79，对比 53.83、59、77.89 和 57.44。指令遵循是 Dory 相对最强的结果；在四次循环时，它略胜 26B Gemma 4。

• AA-LCR — 63 / 71 / 73，相较于 64.7、68.4、64.6 和 68.5。长上下文检索在采用循环后显著提升，最终领先于全部四个对比项。

• AA-Omniscience（准确率）—— 10.03 / 10.08 / 10.03 对比 15.02、18.05、21.13 和 19.95。对于已存储的知识，循环基本上不起作用，这是预期结果，也是对表格其余部分一个有用的合理性检查。

模式形态才是关键。循环在智能体任务和工具使用任务上收益最大，在百科式回忆上收益最小，而在所有场景中，第二轮的价值都远高于第三轮和第四轮。这与该卡片自身建议默认采用两次循环是一致的。

隐藏在N​VIDIA自身脚注中的四点注意事项

这正是这张卡片比大多数都更诚实的地方，也正是略读表格的读者会被误导的地方。

• AA 数字并非 Artificial Analysis 的数字。NVIDIA 对照 AA 分数指数所做的比较被明确标注为“在一致的评估框架下计算得出的内部估计值”，并且“可能偏离官方的 Artificial Analysis (AA) 分数”。它们是同类对同类的内部测量，而不是外部排名。

• 长上下文列采用混合设置。对于 AA-LCR，卡片称其使用了来自 AA-LCR v1.1 的修正答案键，但保留了较旧的评判模型，而非较新的那一个。将修正后的答案键集与较旧的评判模型混用，会使该列可与 NVIDIA 的其他行进行比较，但不一定可与任何其他人的结果进行比较。

• 重复次数五花八门。SciCode 运行八次，AA-LCR 十六次，AA-Omniscience 十次，GDP.pdf 五次，而 HLE、Terminal-Bench 4.0 和 GDPval-AA 各变体只运行一次。对于存在显著方差的基准，单次运行只是一个点估计，而不是得分。

• 表格中有一行用匕首符号标注，说明它是报告值而非实测值——Qwen3.6-35B-A3B 在 SWE-bench Verified 上的 73.4。也就是说，榜单上看起来最大的那个数字，恰恰是 NVIDIA 自己没有跑出来的。

这些都不会让这张表格出错。它只是某个实验室的内部快照，而诚实的解读是：Dory 在智能体任务上确实能与上一代 Qwen 的 4B 和 9B 模型真正一较高下，但仍落后于与它并列的 26B 和 35B 模型。

今天可以运行什么，以及不可以运行什么

我们无法核实该模型存在任何托管端点，无论是来自 NVIDIA 还是其他任何方。Dory 仅提供权重，模型卡中的两条服务路径都需要从未合并的拉取请求进行构建：

• vLLM —— 在拉取请求 60149 中，支持功能"正在审核中"。在该功能随正式版本发布之前，你可以从该分支安装 vLLM，然后通过设置循环次数和 KV 缓存模式的覆盖参数来启动服务。该卡片指出，预编译内核的环境标志可避免本地 CUDA 构建。

• llama.cpp —— 支持位于拉取请求 30306 中，并且该卡片固定的是特定修订版本，而不是不断变动的 PR head；对于参考配置来说，这是正确的直觉。这些说明针对 Apple Silicon 上的原生 ARM64 macOS，而 GGUF 路径期望 Q5_K_M 导出文件的字节大小为上文打印的大小。

卡片中没有任何内容表明这两个项目已经合并，两个引擎的发布说明里也没有任何条目暗示相反的情况。如果你想本周运行 Dory，你只能从 PR 构建。

值得留存的硬件说明：NVIDIA 在 H100、B200、B300 和 DGX Spark 上进行了测试，而公布的唯一速度数字是 Spark 上的量化加速比，而非吞吐量数据。在该设备上，MXFP8 相较 BF16 显示出 1.69× 和 1.84× 的提升，具体取决于输入/输出长度组合，而 NVFP4 达到 2.17× 和 2.44×。推荐的采样设置是温度 1.0、top-p 0.95，并且在 vLLM 路径中推理始终开启。

为什么一个低调的 4B 发布仍值得你花上一个下午

一个没有发布会就出现的模型，有趣之处在于它的主张可以以一种发布会式主张无法做到的方式被检验。没有主题演讲断言某个品类胜出；只有一张卡片断言一个具体的、可证伪的机制——一个 4B 检查点能在推理时随算力扩展自身准确率。你可以用循环计数标志在一块 GPU 上测试这一点，而答案要么在你自己的评测中显现，要么不会。

这也正是路由层要应对的场景，而且值得准确说明我们在这里做了什么，而不是含糊带过。OrcaRouter 不提供 NVIDIA Nemotron Labs Dory 1.0 4B —— 该模型不在我们的目录中，在我们能确认的任何地方也没有它的托管端点。单个密钥确实能给你的是这个对比的另一半：你会用来对自托管 4B 进行基准测试的那些托管模型，可以通过一个 API 按提供商标价、0% 加价访问，因此自托管实验不需要第二份合同或第二个 SDK。自动故障转移覆盖你自己的 GPU 资源池饱和的时间窗口，而路由 DSL 让自托管调用能与托管调用并排放在同一个端点之后。如果你在测试弹性深度是否值得这些运维复杂度，至少对照组只差一把密钥。

什么能让这个变成一个真正的故事

三件事，目前一件都还不存在。

首先，一则公告。这张模型卡标注的日期是10月16日，而相关仓库在一夜之间就已填充完毕；NVIDIA 的开发者动态在10月15日发布了一篇 Nemotron 文章，讲的却完全是另一个模型。博客文章、论文或 Nemotron Labs 系列页面随时都可能出现，而且很可能载有模型卡未明说的训练细节以及该模型的预期定位。

第二，引擎支持。vLLM 和 llama.cpp 目前都还卡在未合并的 pull request 上。等到其中任何一个合并的那天，“你能运行它”就不再意味着“你能从分支构建它”。

第三，也是最有价值的，是独立评估。最值得复现的说法正是供应商强调的那些：SWE-bench 和 Terminal-Bench 在不同循环次数下的变化，以及最后一轮 KV 缓存能保持准确性的断言。两者都可以用已发布的工具进行测试，且 NVIDIA 以外的任何人都尚未测试过它们。

今天准确的总结是这样的：四种格式的真实权重、一个宽松许可证、一个真正不寻常的架构、一条仅以两个开放拉取请求形式存在的服务路径，以及一张基准测试表——它是一个实验室自己的测试框架，注意事项就印在它自己的脚注里。这是 N​VIDIA 今年发布的最有趣的 4B 模型，而该公司尚未决定告诉任何人这件事。

这一切都并非假设：像本次这样的发布背后那些有据可查的 AI 故障与智能体事件，均收录于 OrcaRouter AI 事件档案库中，其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。