主视觉标题卡上写着“LFM3-1.7B vs Nemotron 3.5 Lightning 30B A3B”,副标题为“对比从它运行的地方开始”,左侧面板列出 1.73B 稠密模型、256K 上下文、4 位精度下约 1 GB 以及 LFM Open License,右侧面板列出总计 30B、激活 3B、最高 1M 上下文、约 22 GB NVFP4 以及 OpenMDW-1.1。OrcaRouter 标志位于右下角。
Guides & Insights

LFM3-1.7B 对比 Nemotron 3.5 Lightning 30B A3B:一吉字节对决二十二吉字节

作者

Rowan Sterling

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

大多数模型对比都从一张基准测试表开始。这一次却必须从内存预算说起,因为 LFM3-1.7B 和 Nemotron 3.5 Lightning 30B A3B 并不争夺系统中的同一个位置。NVIDIA 的模型于 2026 年 8 月 11 日在 OpenMDW-1.1 下发布,其 NVFP4 构建版本需要约 22 GB。Liquid AI 的模型于 2026 年 10 月 27 日公布,在 4 位精度下需要约 1 GB,专为在手机上运行而设计。对于任何我们不自行托管的模型,路由是控制面,而不是托管主机。提供商的标价按 0% 加价。

那个事实下游的一切都由此推出。Nemotron 3.5 Lightning 在两家厂商公布的所有基准测试中都是能力更强的模型——GPQA Diamond 为 75.57 对 63.37,SWE-bench Verified 为 52.80 对 43.40,正如 NVIDIA 自己的 Hugging Face 卡片上的评估面板所列。它还拥有最高 100 万 token 的上下文窗口,而对比方为 262,144。如果你问的是哪个模型更好,答案毫无歧义,本页可以到此为止。

真正该问的是,哪个模型在你的部署环境里有实际用武之地。一个 22 GB 的模型无法在手机、笔记本电脑或 Jetson 上以任何有用的配置运行。一个 1 GB 的模型无法修复代码仓库。这些是彼此不同的约束条件,而只统计基准测试分数的比较会误导你买错模型。

究竟什么适合放在哪里

Nemotron 3.5 Lightning 30B A3B 是一款混合专家模型:总参数量 300 亿,其中约 30 亿为激活参数,包含 128 个路由专家(每次激活 6 个)外加 1 个共享专家,并采用 Mamba-2 状态空间层与少量全注意力层交错排列的结构。NVIDIA 提供 BF16 参考权重,以及约 22 GB、可装入单块 GPU 的 NVFP4 版本,该模型可在 B200、H100、H200、A100、GB200、DGX Spark、RTX 5090 和 Jetson 硬件上运行。

LFM3-1.7B 密集且小巧:17.3 亿参数,24 层门控短卷积与稀疏注意力,BF16 下为 3.46 GB,4 位下约 1 GB。Liquid 的卡片称它能装进手机或笔记本电脑,而在这样的尺寸下,这一说法站得住脚。

• 总参数——LFM3-1.7B 为 1.73B 稠密参数;Nemotron 3.5 Lightning 为 30B,约 3B 激活参数。

• 部署内存 — 4 位下约 1 GB,而 NVFP4 下约 22 GB。

• 上下文 — 262,144 个 token,最高可达 1,000,000;在单张 H100 上为 256K,在托管端点上为 262K。

• 模态 — 两者均仅支持文本;这些检查点均未提供视觉或音频路径。

• 语言——LFM3-1.7B 指定了十六种;Nemotron 3.5 Lightning 为英语加五种。

• 许可证 — LFM Open License v1.0,年收入低于1000万美元时免费;而 OpenMDW-1.1 允许商业和非商业使用,且无需收入测试。

Nemotron 的速度论点并不是它体积小

很容易把“Lightning”和“3B active”理解成与小型稠密模型相同的卖点。但事实并非如此。NVIDIA 的速度叙事依赖于 LFM3 模型并不具备的三点:在长序列上扩展性更好的 Mamba-2 混合架构、结合投机解码的多 token 预测,以及专用草稿模型——用于 DGX Spark 和低并发场景的 DSpark,以及作为替代方案的 DFlash。

已发布的测量结果支持这一点。在 DGX Spark 上,搭配 DSpark 的 vLLM 在单流下达到约 115.8 token/s,在八个并发请求下总吞吐约为 422 token/s,而未启用推测时约为 79.6 token/s。NVIDIA 声称其生成速度比同等规模的模型快至多四倍,并将该模型定位在准确率-速度帕累托前沿上。

LFM3-1.7B 的速度优势则是另一回事。它之所以快,是因为几乎没有什么需要运行——17.3 亿稠密参数、128K token 下 1.6 GB 的 KV 缓存,而且没有路由开销。Liquid 报告称,在测试硬件上,其解码速度比自家前代产品快 1.8 到 2.8 倍,单块 NVIDIA B300 每天可处理 36 亿 token。那是在没人会放进手机的硬件上实现的吞吐量。

所以这两个模型之所以快,原因恰恰相反:一个是靠工程手段让大模型在计算每个 token 时算得更少,另一个则是小到这个问题根本无从谈起。在服务器上,工程手段胜出。在设备上,小模型是唯一存在的选项。

A generated two-column scoreboard titled 'LFM3-1.7B vs Nemotron 3.5 Lightning 30B A3B - the scoreboard'. Left column lists 1.73B dense parameters, 1.73B active per token, 262,144-token context, about 1 GB at 4-bit, GPQA Diamond 63.37 and SWE-bench Verified 43.40. Right column lists 30B total, 3B active per token, context up to 1,000,000 tokens, about 22 GB NVFP4, GPQA Diamond 75.57 and SWE-bench Verified 52.80, with a footer reading 'Both columns vendor-reported; Liquid and NVIDIA figures, neither independently reproduced.'

能力差距,直白地说

NVIDIA 的 Hugging Face 模型卡显示,Nemotron 3.5 Lightning 30B A3B 在 MMLU-Pro 上为 81.62,在 GPQA Diamond 上为 75.57,在 SWE-bench Verified 上为 52.80。Liquid 报告称,LFM3-1.7B 在 GPQA Diamond 上为 63.37,在 SWE-bench Verified 上为 43.40,并且完全没有公布该模型在 MMLU-Pro 上的数据。

这三项中有两项可直接比较,且都更有利于 NVIDIA,分别高出 12.2 分和 9.4 分。这正是小型稠密模型最薄弱的任务上存在的真实差距:研究生水平的科学推理和仓库级代码修复。Liquid 自己的模型卡也承认了第二点,称由于模型规模较小,不建议将其用于智能体编码或复杂多步推理。

关于具体数字的说明:NVIDIA 针对该检查点公布的数据,在其发布材料与 Hugging Face 评测面板之间会略有出入——此前的文章对同样这两项基准给出的引用是 75.44 和 51.56。差距的方向和大致幅度在各版本之间保持稳定;应将这些具体小数视为厂商报告且随版本变化的结果,而不是固定分数。

LFM3-1.7B 有自己的数据,而这些数据体现的是代理能力而非知识型能力:BFCL V4 上为 71.39,ToolSandbox 上为 80.36,τ³-bench 上为 68.01,WebArena-Verified 上为 38.42,IFEval 上为 96.66。NVIDIA 未公布该检查点的 BFCL 或 ToolSandbox 数据,因此这些数据无法对齐。NVIDIA 确实报告了 PinchBench 上 10,000 项任务的 86% 准确率,完成速度比 Qwen3.6-35B 快 30%,准确率相近——这一说法 Liquid 没有对应项。两家厂商测量的根本就是不同的东西,只有重叠部分才能支持结论。

上下文是最大的真实差距

一百万 token 与 262,144 相比,并非微不足道的差距。Nemotron 3.5 Lightning 的原生窗口长度是后者的四倍,即便是保守的单 H100、256K 配置,也达到了 LFM3 模型的最大值。对于围绕整个代码仓库上下文、长时程智能体轨迹或长达一小时的转录文本构建的工作负载而言,小模型的窗口会先于其能力成为限制。

不过,有一点值得说明:长窗口与长上下文保持能力是两回事。LFM3-1.7B 在 128K 下的 RULER 得分为 65.56,这一表现只能算中等——它能接收 262K 个 token,但并不能对其中全部上下文保持同等程度的记忆。在本次审阅的材料中,NVIDIA 并未公布该检查点的 RULER 数据,因此无法就上下文保持能力进行对比。请不要想当然地认为,1M 窗口就意味着 1M 可用的注意力。

A headless-browser capture of Liquid AI's LFM3 announcement post dated October 27, 2026, showing the headline 'Introducing LFM3: Every Modality for Specialized Intelligence', a highlights panel listing six 2B-class models on one backbone, a text model fitting in about 1 GB at 4-bit, a 256K context window, and single-GPU fine-tuning.

许可证之间的差异比基准测试所反映的更大

这是小模型厂商做出了较不便利选择的一个维度。Nemotron 3.5 Lightning 30B A3B 以 OpenMDW-1.1 许可证发布,允许商业和非商业使用,且不设营收门槛。LFM3-1.7B 采用 LFM Open License v1.0,年营收低于 1000 万美元时可免费用于商业用途,超过这一门槛则需购买付费商业许可证。

对独立开发者或初创公司来说,这种差别只是理论上的。对于大公司内部的团队,或者计划发展壮大的团队来说,这是 Nemotron 完全避开的采购环节。鉴于 LFM3-1.7B 的全部卖点就是部署到你自己的产品中,在赞叹其架构之前,许可证值得先读一读。

1 GB 模型仍然适用的场景

上述任何一点都不会让 LFM3-1.7B 成为一款糟糕的模型。它只是意味着这款模型的部署适用范围较窄,而在这一范围之内,Nemotron 3.5 Lightning 的任何情况都不相关,因为这款更大的模型根本无法存在于其中。

如果产品要交付到手机、笔记本电脑、不带独立 GPU 的 AI PC 或现场设备上,那么 LFM3-1.7B 就不是妥协——它是这对模型中唯一能运行的那个。在能装进口袋的设备上实现 262,144 token 的上下文确实非同寻常,而十六种语言的词表覆盖了大多数区域部署场景。对于工具调用、结构化提取、分类和本地助手而言,这足以构建一个产品。

对大多数团队来说,正确的模式是两者兼顾、分层使用。将 LFM3-1.7B 保留在设备端,用于快速、私密、符合 schema 结构的调用,并将推理密集型或仓库规模的工作交给服务器端模型。这是架构层面的决策,而不是模型偏好,而且这恰好也是大多数已上线智能体已经采用的构建方式。

路由层适合放在服务器层。Nemotron 3.5 Lightning 通过 NVIDIA 自有技术栈以及多家第三方平台提供服务,而 OrcaRouter 的角色,与它为我们不自行托管的任何模型所扮演的角色相同:一个密钥、一份账单,覆盖 200 多个模型,供应商标价按 0% 加价原样透传,并支持跨供应商自动故障转移,这样长时间运行的智能体不会因为某个端点性能下降而失败。LFM3-1.7B 和 Nemotron 3.5 Lightning 目前都不在我们的目录中——两者都是开放权重下载,而较小的那个旨在运行在你自己拥有的硬件上。

地板才是重点

A headless-browser capture of NVIDIA's Nemotron 3.5 Lightning 30B A3B NVFP4 model card on Hugging Face, showing the OpenMDW-1.1 licence badge, an accuracy comparison chart, a model summary listing 30B total parameters with 3B active, a MoE Mamba-2 plus attention hybrid architecture, a context length up to 1M tokens, single-GPU deployment on one DGX Spark or one H100, DSpark and MTP speculative decoding, and a release date of August 11, 2026.

如果你有 GPU,而你的问题在于能力,那么 Nemotron 3.5 Lightning 30B A3B 显然是更好的模型,优势明显,无需争论。它的推理能力更强,代码修复能力更好,支持的上下文长度是四倍,而且其许可证没有收入测试。

如果你有一台设备,而你的问题是其他东西都放不下,那么比较就完全反过来了。22 GB 的模型不再是候选,相关数字变成了 1 GB、262,144 个 token,以及足够强大的工具调用能力,以至于 Liquid 将其作为该模型的主打能力对外发布。

悬而未决的问题是,Nemotron 的效率配方能否进一步压缩。一个激活参数为 3B 的 30B 模型已经能在 Jetson 上运行;同一家族中一个真正强大的 2B 级模型,会让这两者处在同一场对话中,而不是分处内存墙的两侧。在此之前,诚实的比较不在于它们的基准测试分数,而在于各自所需的硬件——而其中只有一个不需要任何硬件。