一张主视觉标题卡,标题为“LFM2.5-24B-A2B vs Gemma 4 26B-A4B”,副标题为“两个稀疏模型,两种不同的预算”,另有两个带标注的面板,分别写着“LFM2.5-24B-A2B:总计 24.0B,激活 2.45B,仅文本”和“Gemma 4 26B A4B:总计 25.2B,激活 3.8B,文本 + 图像”,OrcaRouter 标志合成在右下角。
Guides & Insights

LFM2.5-24B-A2B vs Gemma 4 26B-A4B:两个稀疏模型,关于算力去向的两种不同理论

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

LFM2.5-24B-A2B 和 Gemma 4 26B-A4B看起来像是同一个想法出现了两次。Liquid AI 的模型检查点于2026年10月13日发布,总参数量为240亿,每个 token 读取24.5亿参数。Google DeepMind 的 Gemma 4 26B-A4B 总参数量为252亿,每个 token 激活38亿参数,于2026年3月11日在 Hugging Face 上发布。两者都是混合专家模型,大致上都是约250亿参数的检查点搭配20亿到40亿参数的计算预算,而且两家厂商在解释这种权衡时都会搬出同一句话——大模型让你在内存上付出代价,小模型则让你在延迟上付出代价。这种近乎相同的算术,正是这场比较值得认真去做的原因,因为这两个模型随后把这笔预算花在了截然不同的事情上:Gemma 4 26B-A4B 把它花在视觉、256K 上下文和广泛的知识库上;LFM2.5-24B-A2B 则把它花在推理轨迹、工具调用框架和智能体强化学习上。相同的形态,相反的优先级。

还有一处不对称摆在最上面:LFM2.5-24B-A2B 基准测试表把 Gemma-4-26B-A4B-it 作为其三个基线之一,所以这一次我们难得不用把两张发布表格并排比对再靠猜——Liquid 在同一个 vLLM 环境中把两者都跑了,并公布了这些结果行。

两者都缺少同样的东西,而那是所有人都假定存在的东西

先从这两个模型最可能引发的误解说起,因为两者犯的是同一个误解。稀疏专家混合(MoE)并不会缩小你的内存需求。检查点里的每一个参数都必须常驻内存;2.45B 或 3.8B 的激活参数给你换来的是每 token 的吞吐量,而不是更小的显存占用。看到"2.45B 激活"就伸手去够一台 4 GB 机器的读者,这个下午怕是要不好过了。

在我们自己的目录中,Gemma 4 26B A4B 检查点列出的是 262,144 个 token 的上下文,而 LFM2.5-24B-A2B 模型卡给出的是 131,072。在磁盘上,这一差距比参数量所暗示的更大:LFM2.5-24B-A2B 发布了 14.5 GB 的 Q4_K_M GGUF 和 13.6 GB 的 QAT QAD-Q4_0,BF16 下则为 48 GB;Gemma 4 26B A4B 以 49.9 GB 分片加 1.7 GB 分片的形式发布 bfloat16 safetensors,并配有一个量化感知的 4-bit GGUF,将一个紧凑的权重文件与一个单独的多模态投影文件配对。凑整来看:约 14 GB 对约 50 GB 未压缩,而这两个检查点的总参数量只相差十亿。这种差异来自词汇表、专家布局和多模态栈,而不是参数总量这个显眼数字,并且这是整篇文章中最实用的一句话。

规格对比,每个维度一行

• 总参数 / 激活参数 — LFM2.5-24B-A2B 为 24.0B / 2.45B,40 层中共有 64 个专家,采用 top-4 路由。Gemma 4 26B-A4B 为 25.2B / 3.8B,30 层中 128 个专家里有 8 个激活专家,外加 1 个共享专家。

A capture of the Hugging Face model page for google/gemma-4-26B-A4B-it, showing the image-text-to-text pipeline tag, the Transformers and Safetensors formats, the gemma4 and conversational tags, the Apache 2.0 licence, and the card text stating that Gemma 4 models are multimodal, handling text and image input with audio supported on the E2B, E4B and 12B models, that the family spans a context window of up to 256K tokens across five sizes, and the architecture list covering reasoning, extended multimodalities, dense and MoE variants, and on-device optimisation.

• 上下文 —— 131,072 个 token 对比 262,144 个 token,Gemma 4 26B A4B 采用 1,024 token 的滑动窗口与混合注意力机制,将局部层和全局层交错排列,同时保持最后一层为全局层。

• 模态 — LFM2.5-24B-A2B 仅支持文本输入与文本输出。Gemma 4 26B A4B 支持文本和图像输入,其视觉编码器约有 5.5 亿参数;音频功能仅限较小的 Gemma 4 型号。

• 推理——LFM2.5-24B-A2B 始终会在 <think> 块中输出一条显式的思维链。Gemma 4 26B A4B 是一个经过指令微调的通用模型,没有强制性的推理轨迹。

• 词汇表 —— 128,000 个 token,通过原地分词器扩展,较上一代翻倍;而 Gemma 4 的五个规格共用一个 262K 的家族词表。

• 许可——lfm1.0,年收入低于 1000 万美元时可免费商用,超过则需取得商业许可。Gemma 4 26B A4B 采用 Apache 2.0,标准许可文本位于 ai.google.dev/gemma/apache_2,Google 的禁止使用政策与它并列,作为可接受使用文档,而非许可限制。

• 已发布格式 — Liquid 模型支持 GGUF(Q4_K_M 到 BF16)、FP8、ONNX 以及 4/5/6/8 位 MLX;Gemma 规模则包括 bfloat16 safetensors、预训练检查点、QAT 4 位版本和可直接用于 llama.cpp 的 GGUF,外加一个多 token 预测草稿模型。

Liquid 两场都跑了,但结果并非一边倒的完胜。

LFM2.5-24B-A2B 的发布帖将Gemma-4-26B-A4B-it列在其十六项基准测试表格的基线一栏中,与 Qwen3.6-35B-A3B 和 Nemotron-3.5-Lightning 并列,四列均在 vLLM 下按各基准测试的生成设置运行。以下所有内容均来自双方的厂商报告——Liquid 的数据,出自 Liquid 自己编制的表格。这不是独立评估,但至少是在同一测试框架下进行的,这已经比大多数模型对比页面要强了。

智能体类数据看起来完全是一边倒:AutomationBench 27.69 对 5.46,ToolSandbox 80.71 对 72.09,LiveClaw 48.09 对 41.25,τ³-Bench Banking 8.04 对 4.54,BFCLv4 65.01 对 57.09。指令遵循也是同样的情况——IFEval 96.75 对 92.00,IFBench 74.69 对 47.44,Multi-IF 84.38 对 82.19。

然后是表格的另一半,Liquid 还是把它公布了出来:PinchBench 83.18 对 77.12,结果反了过来,还有三行比任何工具调用方面的胜绩都更重要。GPQA Diamond——74.42 对 74.90,在研究生级别科学的顶端基本持平。SWE-Bench Verified via OpenCode——51.00 对 25.80,二比一的差距,对 Liquid 模型有利,这是两张表格中最令人意外的单个数字。SciCode——32.71 对 35.42,Gemma 那个规模领先。还有AA-Omniscience——−24.90 对 −59.39,两个模型都得分很差,而 Gemma 那个规模差了一倍还多。

对此有两种解读,而诚实的解读是第二种。第一种是:一个活跃参数为 2.45B 的智能体模型在智能体任务上击败了活跃参数为 3.8B 的通用模型,而这正是它被打造出来要做的事。第二种是:Gemma 4 26B A4B 这一列在各方面都显得异常疲弱——总参数 25.2B、活跃参数 3.8B 的模型,在指令遵循、工具使用和知识上竟落到一个活跃参数 2.45B 的模型之下,这并不是 Google 自家的模型族表会预测到的结果;它也提醒我们,如果这些模型是在不同的生成设置和提示方式下被驱动,那么共用一个评测框架并不能让基准测试变得可比。把这些行的方向视为有参考价值,而把其幅度视为不可信。

表中完全没有体现的,是 Gemma 4 26B A4B 的多模态部分。这里不可能进行视觉基准测试,因为 LFM2.5-24B-A2B 看不见。如果你的工作负载有任何部分涉及来自用户的图像,那么这场比较在开始之前就已经有了赢家,而且不是那个更新的模型。

价格,以及实际持有每一个需要多少成本

LFM2.5-24B-A2B 采用按 token 计价:在 Liquid 自家的 Console 上,每百万输入 token 为 0.10 美元(缓存为 0.05 美元),每百万输出 token 为 1.00 美元,并赠送 2 美元起始额度。Gemma 4 26B A4B 则完全没有厂商标价——Google 未公布任何价格——因此唯一诚实的成本数字,只能取决于托管这些开放权重的平台实际收取多少费用,而这会因托管方和日期而异。

这种不对称,正是应该走 router、而不是把某一家厂商的 endpoint 直接接进你的代码的理由。撇开几何结构不谈,这正是双方都需要结算(checkout)才有意义的地方:我们以两个 id 提供 Gemma 4 26B A4B 的 checkpoint —— google/gemma-4-26b-a4b-it 和 obsidian/gemma-4-26B-A4B —— 而 Liquid 在其表格中引用的两个价格参照,qwen/qwen3.6-35b-a3b 也在其中,都通过同一个 key 提供,按供应商标价 0% 加价。我们不提供 LFM2.5-24B-A2B。因此这一页的实用版本是:把 Liquid 的 checkpoint 拉下来在本地运行,同时在你做决定的过程中用同一个 key 调用 Gemma 4 这个规模和 Qwen 这个基线,这样你就是在自己的任务上做比较,而不是在任何一家厂商选定的 harness 上比较。

A two-column scoreboard titled 'LFM2.5-24B-A2B vs Gemma 4 26B A4B — the scoreboard'. The left column, LFM2.5-24B-A2B, lists 24.0B total and 2.45B active parameters, a 131,072-token context, text-only input, SWE-Bench Verified 51.00, AutomationBench 27.69, and a Q4_K_M download of 14.5 GB. The right column, Gemma 4 26B A4B, lists 25.2B total and 3.8B active parameters, a 262,144-token context, text and image input, SWE-Bench Verified 25.80, AutomationBench 5.46, and bfloat16 weights of about 50 GB, above a footer reading 'Benchmark rows from Liquid AI's 2026-10-13 vLLM table, which ran both models; vendor-reported and unreproduced.' and the OrcaRouter logo composited bottom-right.A capture of OrcaRouter's own model page for google/gemma-4-26b-a4b-it, showing the 'Gemma 4 26B A4B' heading and the google/gemma-4-26b-a4b-it identifier, the vision, tools, JSON and reasoning chips, Google as the vendor with a 2026-04-03 date, the summary noting 25.2B total parameters with only 3.8B activating per token, and the 262K-token context row listing text, image and video input with a p50 time-to-first-token figure.

哪一个,以及当问题实际上是关于你的机器时

如果你的工作负载是文本,而你的智能体需要规划、调用工具并解释自身,那么更新的检查点才是该下载的那个:Q4_K_M 下 14.5 GB、131K 上下文、显式推理,以及一张基准测试表,它在其中击败了这个确切的对手,拿下智能体相关各行。如果你的任何工作涉及图像,或者你需要 256K 而非 128K 的上下文,又或者你想要一个无需追踪营收条款的 Apache 2.0 许可,那么 Gemma 4 26B A4B 回答了一个 LFM2.5-24B-A2B 甚至不会提出的问题——代价是大约三点五倍的未压缩磁盘占用。

两个模型都没有解决的问题是:两者都受内存带宽限制,而非算力限制;而且两家厂商的说辞都得用同样的方式来解读。谷歌的家族发布博文将两个较大的 Gemma 4 规格描述为 bfloat16 权重,称其“能高效地装进单块 80GB NVIDIA H100 GPU”——这没错,但这也是厂商自己的表述,而不是对这个具体版本的实测。Liquid 在 Apple M5 Max 上达到每秒 184 个 token,以及“在端侧比同类 MoE 快至多 1.7×”,同样没有复现结果。两个稀疏模型,两家厂商,同一条共同教训:名字里的算术告诉你速度,而名字里没有任何东西告诉你内存。

像这样的比较,也正是故障模式暴露之处:OrcaRouter AI Incident Archive 收录了这类模型背后有记录的 AI 事件和智能体故障,其中每个条目都带有各自的来源、严重程度、置信度等级和争议标记。