一张为对比生成的 hero 卡片,引题为“完成训练的模型 VS 基座检查点”,主标题为“Nemotron Labs Dory 1.0 4B vs LFM2.5 2.6B Base”,副标题为“一个出厂即已完成后训练且推理始终开启。另一个则是为微调而生。”,三张卡片分别写着“Dory:4B / SFT + GRPO”“LFM2.5 2.6B Base:2.69B / 仅预训练”和“上下文:256K vs 128K”,页脚写着“Dory 的数据由厂商报告且未经复现;基座模型的分数不可迁移。”
Guides & Insights

NVIDIA Nemotron Labs Dory 1.0 4B 与 LFM2.5 2.6B Base:一个已完成,另一个则刻意未完成

作者

Alistair Wren

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

NVIDIA Nemotron Labs Dory 1.0 4B 和 LFM2.5-2.6B-Base 都很小,都是纯文本模型,都能以 GGUF 格式下载,也都要由你自己运行——而它们恰好处于后训练流水线的两端。Dory 是彻底完工后才交付的:先在一个由 NVIDIA 精心筛选的数据集上做监督微调,再用 GRPO 进行多环境强化学习,并且在服务路径中永久开启推理。LFM2.5-2.6B-Base 则刻意保持未完成状态,它自己的模型卡就把它描述为一个预训练检查点,"仅推荐用于需要大量微调的任务"。Liquid AI 会把该模型的成品版本单独发布为 LFM2.5-2.6B,并针对智能体工作负载做了后训练。所以诚实的说法并不是"哪个 4B 级别的模型更好",因为基础检查点和成品的推理模型并不会争夺你技术栈里的同一个位置。真正有用的问题是:你要买的是这条流水线的哪一半。

每个工件实际上是什么

NVIDIA Nemotron Labs Dory 1.0 4B 是由 NVIDIA 发布到 Hugging Face 的 4B 稠密模型,提供四种量化版本——BF16、MXFP8、NVFP4 以及 Q5_K_M GGUF 导出——采用 OpenMDW 1.1 许可证。其模型卡将构建版本标记为“GA (10/16/2026)”,并描述了一种循环式、潜在递归架构:一个 8 层输入块、一个按可变次数应用的 20 层循环块,以及一个 8 层输出块,并采用混合的交错滑动窗口注意力和全注意力。上下文长度最高达 256K tokens,语言仅支持英语,整个版本上线时 NVIDIA 并未附带任何公告。模型卡指出,在 vLLM 服务路径中推理始终开启,这既是在说明机制,也是在表明意图:它不是一个会补全你文档的原始文本预测器,而是一个被配置为在回答前先思考的模型。

LFM2.5-2.6B-Base是 Liquid AI 的 26.9 亿参数预训练检查点,依据公司自有的 LFM 许可证发布(标记为 lfm1.0),并于 2026 年 8 月中旬更新。它是 2.6B 系列其余模型所衍生的原始检查点。其架构由 22 个双门控短卷积块与 8 个分组查询注意力层混合而成,在约 34 万亿 token 上完成训练,训练中期将上下文扩展至 128K,词表规模为 128,000 个 token,涵盖 16 种语言。模型卡明确说明了目标受众:特定领域的助手、面向特定语言的工作、在专有数据上进行训练。谈不上有什么聊天模板行为,因为其中没有指令微调。

两者都是文本输入、文本输出。相似之处大致也就到此为止了。

规格对比,并排展示

• 参数量 — Dory 1.0 4B 是一个 4B 稠密堆栈。LFM2.5-2.6B-Base 为 2.69B。这一差距比名称所暗示的要小,而且二者都能在合理量化下轻松适配单块消费级加速器。

• 后训练——Dory 具备 SFT,以及在数学、代码、科学、指令遵循、工具使用和结构化输出方面的多环境 RL。而 LFM2.5-2.6B-Base 按设计则完全没有这些。如果你需要一个开箱即用、能遵循指令的模型,那么这两者中有一个是错误选择,而那个错误选择并不是参数更少的那个。

• 背景 — Dory 可达到 256K token,其中 262,144 个位置已在 vLLM 中、通过 NVIDIA 提供的启动命令完成验证。LFM2.5-2.6B-Base 支持 131,072 个 token,是通过中期训练扩展实现的。Dory 的窗口大约是其两倍;你是否有能力把它填满,取决于下文讨论的 KV 缓存行为。

• 语言 — Dory 仅支持英语,其预训练数据覆盖 43 种编程语言。LFM2.5-2.6B-Base 覆盖 16 种自然语言,包括英语、阿拉伯语、中文、法语、德语、意大利语、日语、韩语、葡萄牙语、西班牙语、越南语、泰语、印尼语、印地语、俄语和波兰语。对于英语以外的任何内容,这一维度会自行决定。

• 架构 — Liquid 一侧采用混合式短卷积加注意力;NVIDIA 一侧采用带交错滑动窗口注意力的循环潜在递归归一化 GPT。两者都偏离了普通 Transformer 堆栈,而且偏离方向不同。

• 计算行为 — Dory 的深度是一个运行时参数。循环次数 1、2 或 4 可在无需第二个检查点的情况下以计算量换取精度,NVIDIA 建议将 2 作为默认值。LFM2.5-2.6B-Base 的深度是固定的;其成本杠杆是量化,而在更广泛的系列中则是推测式草稿模型。

• 许可证——Dory 采用 OpenMDW 1.1,Liquid 检查点采用 LFM 许可证。两者均允许商业使用;Liquid 许可证是该公司自有的,而非标准开源文本,因此值得一读,而不应想当然。

• 已发布的格式 — Dory:BF16、MXFP8、NVFP4、GGUF。LFM2.5-2.6B-Base:BF16 权重已上线 Hub,GGUF、ONNX 和 MLX 版本可在该系列的其他位置获取。Liquid 的生态在此更为广泛;而 Dory 的仓库才上线几个小时。

A generated two-column scoreboard titled 'Dory 1.0 4B vs LFM2.5 2.6B Base - the scoreboard'. The left column, 'Nemotron Labs Dory 1.0 4B', lists Parameters 4B dense; Post-training SFT plus GRPO; Context 256K; Languages English only; Formats BF16, MXFP8, NVFP4, GGUF; Reasoning always on in vLLM. The right column, 'LFM2.5 2.6B Base', lists Parameters 2.69B; Post-training none, base checkpoint; Context 128K; Languages 16; Formats BF16, plus family GGUF, ONNX, MLX; Reasoning not applicable. The footer reads 'Dory figures vendor-reported; base-checkpoint scores are not comparable on instruction benchmarks.'

微调是区分它们的轴心。

如果你关注 LFM2.5-2.6B-Base 的原因是打算基于它进行训练——领域助手、专有语料库、基础模型已经掌握的语言——那么 Dory 1.0 4B 就是个糟糕的替代品,原因与质量无关。微调一个经过完整后训练的推理模型来完成狭窄任务,通常比微调基础检查点更难,因为你是在对抗 RL 阶段植入的行为,而不是塑造一个空白的预测器。Liquid 的模型卡正是出于这个原因推荐其基础检查点用于领域和语言特定工作,而覆盖 16 种语言的 34 万亿预训练 token 比仅限英语的模型提供了更广阔的起点。

但 Dory 模型卡对微调保持沉默,这件事本身就具有信息量。它记录了训练流水线,公布了格式,并为两个引擎提供了部署说明;却对适配器、LoRA 支持或微调配方只字未提。这正是一个为提供服务、而非为接受训练而发布的检查点所呈现的特征。把缺乏证据当作证据会是个错误,但这种不对称值得点明:一张模型卡向微调者推销自己,另一张模型卡则向部署者推销自己。

关于数字,再补充一点坦诚说明。Liquid 发布了后训练版 LFM2.5-2.6B 与 Gemma 4 E2B 和 E4B 以及 Qwen3.5-4B 和 9B 对比的完整评估表,而该表并不能迁移到基础检查点——基础模型在指令遵循基准上得分,与后训练模型在同一基准上得分所衡量的东西不同。NVIDIA 发布了 Dory 的基准表,对照 Qwen3.5-4B、Qwen3.5-9B、Gemma 4 26B A4B 和 Qwen3.6-35B-A3B,是在其自有测试框架上测得的,没有独立复现。Dory 与任一 LFM 检查点都没有共享测试框架的结果,也完全没有已发布的正面交锋。

在真实硬件上运行它们

边缘侧这一点最能体现两者在实践中的尖锐分歧,而 Liquid 在此明显胜出。LFM2.5 系列是为端侧部署而打造的——其中 2.6B instruct 版本在 Apple M5 Max 上的基准成绩为每秒 220 个 token,在 Ryzen AI Max+ 395 上为 113 个,内存占用不到 2.5 GB,并宣称在手机级别可达到每秒约 30 个 token。该系列中提供了 ONNX 和 MLX 构建版本,还有一个 328M 的投机解码器 DSpark,公司称其可在输出完全一致的情况下将解码速度提升约 2.6 倍。如果你的目标是笔记本电脑、迷你主机或手机,那么 LFM2.5-2.6B-Base 正站在这条线的正确一侧,而 Dory 显然并非为此而设计。

Dory 的服务路径更窄、也更新。vLLM 支持正在一个开放的拉取请求中接受审查,在它合并之前,卡片会告诉你要用预编译内核标志从该分支安装 vLLM,然后用覆盖参数来提供服务,设置循环次数和 KV 缓存模式。llama.cpp 支持位于第二个开放的拉取请求中,其中包含固定的提交,以及针对 Apple Silicon 上原生 ARM64 macOS 的构建说明。N​VIDIA 发布的速度数据是 DGX Spark 上的量化加速比,而非吞吐量:取决于输入/输出长度组合,MXFP8 相比 BF16 为 1.69× 和 1.84×,NVFP4 为 2.17× 和 2.44×。

真正的制衡点——而且是实实在在的制衡点——在于内存设计。标准的循环方式会为每轮循环保留独立的 KV 缓存,因此每增加一轮,内存占用就会随之攀升——这正是循环架构通常难以服务的原因。Dory 支持一种 last-loop KV 缓存模式,它为每个循环注意力层保留单个缓存,并在每轮覆盖它,从而在任意循环次数下都将占用维持在大约单轮循环的规模。N​VIDIA 表示,其准确率与逐轮循环模式保持接近,输出长度也几乎不变。这一说法是 Dory 卡片中最值得验证的一点,因为如果它成立,256K 窗口在多轮循环下就是可负担的;如果不成立,弹性深度特性就会远没有听起来那么有用。

A screenshot of the Hugging Face model card for nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8, captured October 17 2026, showing the NVIDIA organisation header, the model name, '4B params', the tags Model Card, datasets, English and arxiv 2606.19227, and the licence card reading 'License: openmdw'.

路由器在此处的能与不能

两个模型都不在 OrcaRouter 的目录中。N​VIDIA N​emotron Labs Dory 1.0 4B 仅提供权重,在我们能确认的任何地方都没有托管端点;而 LFM2.5-2.6B-Base 是一个微调检查点,任何平台都不会明智地按原样提供服务——它经过后训练的同系列模型才应该置于 API 之后。我们的目录中也没有托管版的 LFM2.5 模型,所以准确的说法就是那个乏味的说法:就这次比较而言,一切都在你的硬件上运行。

而这正是路由层不再只是可选的管道、而开始成为测试工具的时候。在一个基础检查点上运行微调实验,并在一个循环式 4B 上运行服务实验,意味着两套本地栈、两组量化、两组服务标志,而且没有干净的方法将其中任何一个与作为你应用实际基线的托管模型进行比较。OrcaRouter 正是为后半部分而存在:一个 API 密钥即可访问你会用来进行基准测试的托管模型,按提供商标价且 0% 加价,因此对照组不需要自己的 SDK 或自己的合同。路由 DSL 让自托管端点和托管端点处于单次调用之后,而自动故障转移可在本地 GPU 池繁忙时让长时间评估运行不中断。它不会告诉你,Liquid 的基础检查点微调后是否比 N​VIDIA 的成品模型服务效果更好。它消除了查明这一点所需的设置成本。

A screenshot of the Hugging Face model card for LiquidAI/LFM2.5-2.6B-Base, captured October 17 2026, showing the Liquid AI organisation header, the model name, the Model card and Files info tabs, and the repository's license and download statistics.

在两者之间选择

如果你想买的是一个起点,而不是一个答案,那就选 LFM2.5-2.6B-Base:你有训练数据,你需要一种 Dory 不会说的语言,你想在 Apple Silicon 或 NPU 上运行,或者你想要推测解码路径以及该系列自带的 ONNX 和 MLX 构建。它是更小、更快、多语言能力更强、与生态连接更紧密的产物,而且它坦诚地承认自己尚未完成。

如果你要买的是部署后的行为表现,那就选 N​VIDIA N​emotron Labs Dory 1.0 4B:你想要的是一个已经内置工具调用和结构化输出训练的成品推理模型,你只用英语,你的上下文很长,并且你愿意今天就从某个分支构建 vLLM 或 llama.cpp,以换取一个常规稠密模型给不了你的算力调节旋钮。要接受:你将是 N​VIDIA 之外最早运行它的人之一;它模型卡上的每个数字都是厂商自报的数字;而 last-loop KV-cache 的说法——那个让整个设计变得实用的唯一特性——尚未得到验证。

真正能说明问题的比较,是 Dory 1.0 4B 与经过后训练的 LFM2.5-2.6B 之间的对比,但还没有人发布过它。如果 Liquid 的 2.6B 指令模型和 NVIDIA 的弹性深度 4B 在你的工作负载上最终只相差几个百分点,那么决定性因素就会变成 2.69B 与 4B 之间的内存差异以及成熟度差距,而不是架构。那才是值得做的实验,而且现在运行它的成本比上周更低。

这一切都并非假设:像本次这样的发布背后那些有据可查的 AI 故障与智能体事件,均收录于 OrcaRouter AI 事件档案库中,其中每条记录都附有自己的来源、严重程度、置信度评级和存疑标记。