NVIDIA Nemotron Labs Dory 1.0 4B 对比 MiniCPM5 2B：自定义运行时对比普通 LlamaForCausalLM

关于 NVIDIA Nemotron Labs Dory 1.0 4B 和 MiniCPM5-2B，最值得注意的并不是任一模型的基准测试表——而是 MiniCPM5-2B 架构部分第一行所呈现的内容。它的模型卡直白地说，该架构就是标准的 LlamaForCausalLM：42 层，分组查询注意力，16 个查询头和 2 个 KV 头，没有自定义内核，也无需分叉模型代码。Dory 的模型卡在每一个实际层面都表达了相反的意思。其架构是一个循环的潜在递归网络，其层块会被应用可变次数；而如今要服务它，你要么从一份公开的 pull request 安装 vLLM，要么从某个固定提交构建 llama.cpp。这两个模型中，有一个能直接落入你现有的技术栈。另一个则要求你先改变技术栈。这一差异将比两家厂商发布的任何分数决定更多部署。

两个小模型，两种完全不同的押注

N​VIDIA N​emotron Labs Dory 1.0 4B是 N​VIDIA 的 4B 稠密循环模型，以 BF16、MXFP8、NVFP4 和 Q5_K_M GGUF 格式在 OpenMDW 1.1 许可下发布到 Hugging Face，其模型卡上标注着“GA（10/16/2026）”。它仅支持文本和英语，最多可容纳 256K token，并将约 6 万亿预训练 token 投入一个原生以 NVFP4 训练的堆栈中，前约 4.5T 使用 NVFP4，之后切换到 BF16，随后在 300B token 上扩展到长上下文，最后以 SFT 加多环境 GRPO 强化学习收尾。它的发布没有附带任何形式的公告。

MiniCPM5-2B 是 OpenBMB 的 2.5B 稠密模型——总参数为 2,516,756,480，其中非嵌入参数为 1,981,982,720——采用 Apache 2.0 许可，具有 131,072 个 token 的上下文窗口，并支持英文和中文双语。它是 MiniCPM5 系列继 1B 之后的第二个成员，旨在扩展模型卡所称的同一训练配方，并明确面向端侧、本地和资源受限部署。后训练进行了监督微调、强化学习和同策略蒸馏。模型卡声称，在其基准测试集上，它以 53.9 的平均分达到 2B 级开源最先进水平。

两者都足够小，可以在单个加速器上运行。两者如今都可下载。在那之后，一切便各不相同。

逐维度对比

• 架构——Dory 1.0 4B 是一个循环式潜在递归的归一化 GPT，采用交错的滑动窗口注意力与全局注意力，包含一个 8 层输入块、一个 20 层递归块和一个 8 层输出块。MiniCPM5-2B 则是传统的稠密因果 Transformer，共 42 层，GQA 为 16 个头对 2 个 KV 头，属于标准的LlamaForCausalLM.

• 服务准入门槛——这是重点。MiniCPM5-2B 不需要自定义内核，也不需要分叉引擎；如果你的技术栈能运行 Llama 形态的模型，就能运行它。Dory 则需要从未合并的拉取请求构建 vLLM，或从固定提交构建 llama.cpp，并要对循环次数和 KV 缓存模式进行运行时覆盖。

• 参数——稠密 4B 对比总计 2.516B（非嵌入 1.98B）。Dory 大约大 60%，且其循环模块会被反复应用，因此它在四次循环下每个 token 的有效计算量超过了参数量所暗示的水平。

背景 —— Dory 在 vLLM 中达到 256K tokens，并已验证 262,144 个位置。MiniCPM5-2B 支持 131,072。Dory 的窗口是它的两倍；你是否愿意为此付出代价，是下文讨论的 KV 缓存问题。

• 语言 — Dory 仅支持英语，其预训练数据混合中包含 43 种编程语言。MiniCPM5-2B 支持英语和中文双语。对于中文工作负载而言，这一维度无需参考其他任何一行即可决定比较结果。

• 许可证 — Dory 采用 OpenMDW 1.1，MiniCPM5-2B 采用 Apache 2.0。两者均允许商业使用；大多数法律审查已批准的是 Apache 2.0。

• 计算灵活性——Dory 的深度是一个运行时参数：追求低延迟时用一层循环，推荐默认用两层，当智能体准确性更重要时用四层，而这一切都来自同一个检查点。MiniCPM5-2B 的深度是固定的，其性能杠杆在于量化——该系列提供 GGUF、MLX、GPTQ 和 LiteRT 构建版本，以及一个用于投机解码的 DSpark 草稿模型。

• 生态系统——MiniCPM5-2B 自 2026 年 9 月初起就已公开，下载量超过一百万次，并衍生出各种量化版本和派生版本。而 Dory 的四个仓库是一夜之间填充起来的，在撰写本文时，它们的下载计数器还停留在零。

这些数字，以及为什么不应该将它们相减

两张显卡都发布了基准测试表格，而且这些表格在足够多的任务上存在重叠，因此可以做一次并排对比。这件事值得认真细致地去做，因为简单地做减法会以一种具体且可预见的方式产生误导。

将 Dory 在其三种循环设置下的表现，与 MiniCPM5-2B 的单一报告数值进行对比：

• SciCode — 27.3 / 34.94 / 35.11，对比 26.3。在两个循环及以上时，Dory 领先。

• SWE-bench Verified — 50.3 / 59.5 / 61.8，相较 46.4。

• Terminal-Bench 2.1 — 12.5 / 18.1 / 22.2，对比 8.6。

• GPQA Diamond — 69.19 / 72.41 / 72.16，对比 70.2。即使在单循环下，Dory 名义上也落后；在三次以上循环时，它则略微领先。

• HLE，纯文本 — 8.25 / 10.89 / 10.43，对比 8.9。

• IFBench — 74.29 / 77.94 / 79，对比 66.3。

• AA-LCR — 63 / 71 / 73，对比 59.0。

Dory 在其中大多数指标上看起来更强，有时还强出不少。现在说说为什么不能相信这种算术比较：这是两套不同的测试工具，测量的是两组不同的提示集，而且两家厂商都没有运行对方的模型。N​VIDIA 在 NeMo Gym 和 Nemo Evaluator SDK 上测量了 Dory，并在模型卡中披露了每个基准的重复次数——SciCode 八次，AA-LCR 十六次，有几个基准只运行了一次。OpenBMB 在自己的环境中测量了 MiniCPM5-2B，并报告了其测试套件 53.9 的单一平均值。在这两种测试设置之间，两三分之差只是噪声，而非定论。两份模型卡中都没有独立复现，也没有任何第三方发布过这两个模型的正面交锋结果。

有一个结构性理由可以预期：Dory 表面上的优势在智能体任务上是真实存在的，而在其他任务上则会消失。它的卡片显示，循环在 SWE-bench 和 Terminal-Bench 上带来的收益最大，在知识回忆上带来的收益最小——AA-Omniscience 几乎不随循环次数变化。MiniCPM5-2B 自身的优势分布不同：它报告在 τ²-Bench Telecom 上为 97.1，在 GAIA Text-103 上为 88.7，而这些智能体结果 N​VIDIA 的卡片并未以可比形式衡量。如果你的任务是窄领域中的工具使用，那么 MiniCPM 卡片上的数字才是应该最先测试的，而它们没有一个出现在 Dory 的表格上。

还要注意这两张模型卡选择不比较什么。MiniCPM5-2B 在自身的平均值上，以 Qwen3.5-4B 的 51.1、granite-4.2-3B 的 42.7 和 LFM2.5-2.6B 的 33.2 作为对标。Dory 则对标 Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B A4B 和 Qwen3.6-35B-A3B。两张卡片都给出数字的唯一模型是 Qwen3.5-4B，而它们给它的分数并不相同——这更能说明评测框架的差异，而不是 Qwen 本身。

每一个的运行成本是多少

MiniCPM5-2B 的运行故事是那种乏味的故事，而在这里，“乏味”是褒义。标准架构，没有自定义内核，提供一系列现成的量化版本，而且其家族已经包含面向 Apple Silicon 的 MLX 构建、用于 GPU 推理的 GPTQ、面向移动端的 LiteRT，以及用于投机解码的草稿模型。一个 2.5B 的 LLaMA 形态模型，128K 上下文，只需不大的内存即可运行，并能部署在你已经在用的引擎上。OpenBMB 将整个系列定位为面向端侧、设计上受资源限制，而模型卡中没有任何内容要求你采用任何新东西。

Dory 的运行情况才是有意思的那个，而且尚未完成。vLLM 支持仍在拉取请求 60149 中接受审查；在它合并之前，模型卡会告诉你从该分支安装 vLLM，并设置预编译内核标志，然后使用覆盖配置启动，以配置循环次数和 KV 缓存模式。llama.cpp 支持在拉取请求 30306 中，使用固定修订版而非移动的 head，并提供针对 Apple Silicon 上原生 ARM64 macOS 的构建说明。NVIDIA 唯一公布的 Dory 速度数据是 DGX Spark 上的量化加速倍数——取决于输入/输出组合，MXFP8 相比 BF16 为 1.69× 和 1.84×，NVFP4 为 2.17× 和 2.44×——而不是吞吐量数字。在我们能核实的任何地方，都没有 Dory 的托管端点。

Dory 这边唯一真正新颖的工程部分是内存设计，而它也正是你在投入之前最值得验证的说法。标准的循环递归会为每一轮循环保留一份独立的 KV 缓存，因此每增加一次迭代，内存占用都会攀升。Dory 支持一种末轮 KV 缓存模式：每个循环注意力层只保留一份缓存，并在每一轮里将其覆盖，这样无论你跑多少轮，占用都大致维持在单轮规模。NVIDIA 表示，其准确率与逐轮模式接近，输出长度也几乎不变。如果这一点成立，弹性深度就是一项真实可用的能力；如果准确率出现漂移，那么这项特性的代价就比宣传所称的更大。NVIDIA 之外还没有人验证过。

路由器在哪些地方物有所值——又在哪些地方并非如此

MiniCPM5-2B 不在 OrcaRouter 目录中，N​VIDIA N​emotron Labs Dory 1.0 4B 也不在。我们无法确认 Dory 在任何地方有托管端点；MiniCPM5-2B 是一个端侧模型，其模型卡是为本地部署而非推理平台编写的。直截了当地说明这一点，比寻找某种角度更重要，因为实际影响是：这场对比的两端都运行在你自己的硬件上。

这时，托管基线就成了实验中尴尬的部分。大多数评估 2B 或 4B 模型的团队并不是在真空中评估它——他们想问的是，它能否以一小部分成本和一小部分能力取代托管调用，而要回答这个问题，就意味着要在同一套任务集上运行托管模型。一个 OrcaRouter 密钥就能以提供商标价、0% 加价访问那些托管模型，无需第二份合同，也无需第二个 SDK，因此这种对比不需要单独走采购流程。自动故障转移在这里重要的原因有所不同：在单张 GPU 上进行的长时间本地评估会被打断，而把回退路径预先接在同一个端点后面，能让运行得以继续。路由 DSL 让本地端点和托管端点共享同一个调用点，因此混合部署的两半不会分裂成两套代码库。这一切都没有在 Dory 和 MiniCPM5-2B 之间选出赢家。它只是让排除落败者变得成本很低。

裁决

如果部署摩擦比峰值智能体得分更重要，那就选 MiniCPM5-2B。它采用 Apache 2.0 许可，体量只有一半，支持双语，架构标准，并且有丰富的量化版本生态可供选择，包括移动端运行时。如果你的团队必须在本月交付，而另一个选择是要跟内核构建死磕，那么单从落地可行性来说，2.5B 就已经胜出——而且其公布的 τ²-Bench 和 GAIA 结果表明，在小模型实际部署所面向的工具使用任务上，它并没有让步多少。

如果你想要的不是一个模型，而是一项实验，就选择 N​VIDIA N​emotron Labs Dory 1.0 4B：一个能随推理算力扩展自身准确率的单一检查点，一个带有旨在让这种投入变得可负担的缓存设计的 256K 窗口，以及一份允许商业部署的许可证。入局前你要明白，你将从一个分支构建自己的服务引擎；每个已公布的数字都是厂商自己的、在厂商自家测试框架上得出的，重复次数在脚注中披露；而且下载计数器仍然为零。好处是，你会成为 N​VIDIA 之外最早测试一种真正不同的、将算力花在小模型上的方式的人之一。代价是，你将替 N​VIDIA 做它的验证工作。

最快改变这一比较的并不是某个基准测试。而是 vLLM 和 llama.cpp 合并各自的 Dory 拉取请求。一旦 Dory 能从已发布的二进制文件加载，目前有利于 MiniCPM5-2B 的摩擦论据就会基本消失，这两个模型最终将按照基准表格所暗示的条件展开竞争，而不是按照你的构建系统所强加的条件。

这一切都并非假设：像本次这样的发布背后那些有据可查的 AI 故障与智能体事件，均收录于 OrcaRouter AI 事件档案库中，其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。