一张生成的标题卡,上面写着“Aion-1.0-Instruct-2.3B vs LFM2.5 2.6B Base”,副标题为“几乎相同的规模,完全不同的交付物”,位于两张流水线卡片上方:LFM2.5 2.6B Base,标注“预训练后再进行你的微调”和“2.69B,131K 上下文,LFM Open License”;以及 Aion-1.0-Instruct-2.3B,标注“已完成指令微调”和“2.29B,32K 上下文,MIT”。
Guides & Insights

Aion-1.0-Instruct-2.3B 与 LFM2.5 2.6B Base:规模几乎相同,交付成果却截然不同

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

从纸面上看,这是目前小模型领域中最接近的一场对决。Aion-1.0-Instruct-2.3B 有 22.9 亿参数;LFM2.5 2.6B Base 有 26.9 亿参数。两者都是稠密模型,都是纯文本模型,都开放权重,都面向端侧部署,而且发布时都没有举办发布会——微软的是在 2026 年 11 月 18 日,Liquid AI 的基础检查点是在 2026 年 8 月 4 日。如果按规格把它们并排对比,你会得出结论:它们是竞争对手。

它们并非如此。其中一个已经完成。另一个则是一个起点,被刻意保持为未完成状态,而且 Liquid AI 在说明卡上正是这么说的:Base checkpoint“仅推荐用于需要大量微调的任务”。这一句话重新组织了本次比较中的其他所有内容,因为预训练基座和指令微调助手并不是同一类别中的两个产品——它们是同一流程中的两个阶段,分开出售。

下文中 Aion-1.0-Instruct-2.3B 的各项数据来自微软的模型卡与仓库配置,均为直接读取所得。LFM2.5 2.6B Base 的数据则来自 Liquid AI 的模型卡及其配套博客文章。这两个模型均无独立评测;凡属厂商自报的数字均已标注,而完全不存在的数据则如实说明,而非凭空填补。

“Base”在对比中移除了哪些内容

LFM2.5 2.6B Base 是预训练检查点,所有 LFM2.5 2.6B 变体都由它创建。它在大约 34 万亿个 token 上、跨 16 种语言训练而成,并且它会续写文本而不是遵循指令,因为指令微调位于同级检查点中。加载它并向它提问,它就会做语言模型在未经后训练时所做的事:以合理的方向扩展你的提示。

这会使大约一半的常规比较失效。问哪个模型更擅长遵循指令没有意义,因为其中一个根本没被教过如何遵循指令。比较拒绝行为或聊天格式也没有意义。剩下的就是一个更窄也更有用的问题:如果你是在构建一个助手,而不是购买现成的助手,那么微软的成品 2.29B 是比 Liquid AI 的原始 2.69B 更好的起点吗——还是说它更差,因为它的调优已经把它固定成一种你可能不想要的形态?

• 参数 — Aion 为 2.29B,采用绑定嵌入;LFM2.5 2.6B Base 为 2.69B。

• 架构 — Aion 是一个采用分组查询注意力以及 21 层滑动窗口加 7 层全注意力的混合注意力模式的常规 Transformer;LFM2.5 是一种混合模型,在总共 30 层中由 22 个双门控短卷积块和 8 个 GQA 层组成。

• 训练规模——Microsoft 未公布 Aion 的 token 数量;Liquid AI 公布 LFM2.5 约为 34 万亿。

• 上下文——Aion 为 32,768 个 token,LFM2.5 2.6B Base 为 131,072 个 token,并在中期训练中设有专门的 128K 长上下文扩展阶段。

• 词汇量——Aion 为 200,029;LFM2.5 为 128,000,是在上一代分词器基础上就地翻倍,而非重新训练。

• 许可证 — Aion 采用 MIT 许可证;LFM2.5 2.6B Base 采用 LFM Open License v1.0,该许可证并非 OSI 许可证,发布前需要阅读。

• 后训练——一个带有聊天模板和工具调用格式的指令微调模型,对比一个两者皆无的预训练检查点。

解释上下文差距的架构选择

上下文窗口的四倍差异并非训练预算的偶然结果。LFM2.5 的设计用短卷积块替换了大多数注意力层,这押注的是序列混合并不需要在每一层都使用全注意力才能奏效——而正是这一押注,才让 131K 窗口在手机上变得可负担。Liquid AI 的博客明确表示,中期训练包含一个专门的 128K 上下文扩展阶段,因此长窗口是训练出来的,而不是事后配置的。

Aion 则相反。它的 28 层中有 21 层使用 2,048 token 的滑动窗口,只有 7 层使用完整注意力,并且对这 7 层应用了因子为 16 的 YaRN 缩放。公布的上下文长度为 32,768,而配置中的 original_max_position_embeddings 为 2,048 正是线索:该窗口是通过从较短的原始范围进行位置插值达到的。这是一种常规技术。但它在这里也未经过实测——微软没有发布长上下文评测,而且该模型才发布一天,所以也没有其他人做过评测。

实用翻译:LFM2.5 2.6B Base 附带长上下文,你可以对照有文档记录的训练阶段进行验证。Aion 附带的上下文较短,你应该实际测试,而不是想当然。

Aion 能为你提供哪些基础检查点无法提供的东西

成品模型的优势具体而乏味,正因如此才值得一一列出。Aion-1.0-Instruct-2.3B 随附一个聊天模板,其中包含默认系统前言、可选的用户提供系统消息(会附加到该前言之后),以及用于模型身份、知识截止日期和当前日期的模板变量。它还随附有文档记录的工具调用格式。它已按微软的标准完成安全对齐,模型卡将 XPIA、DIC 和 ECI 列为它打算改进的安全指标——点明这些差距,而不是声称它们已经弥合。

它还在一个具名测试框架上给出了十一项基准分数,这比 LFM2.5 2.6B Base 提供的更多。基础模型卡只列出架构和训练事实,完全没有评测,而对于一个不打算在未针对其调优的任务上被打分的检查点来说,这是正确的选择。如果你需要一个数字写进设计文档,Aion 有:IFEval 83.90、MMLU 55.15、GSM8K 74.91、MMLU-Pro 33.35、GPQA 28.18 等等,全部由厂商在 lm-evaluation-harness 或该基准自身的实现上运行得出。

但在你把它当作能力上限之前,先读一读 Aion 自己模型卡上的注意事项。卡上写着,该模型“并未经过训练以在世界知识方面表现出色”,这种规模的模型“可能会遗漏细节、给出错误陈述,或表现出无法遵循复杂的多步推理”,并且多语言数据约占训练的 6%,涵盖八种语言,质量因语言而异。这是一个异常坦率的局限性部分,它描述的模型是针对摘要、改写、聊天和操作系统任务进行调优的,而不是用于开放式推理。

基础检查点能给你、而微调模型无法给你的东西

可控性,以及干净的初始损失曲面。如果你的产品需要一个以固定文风写作、用领域词汇作答或输出严格结构化格式的模型,那么在基础检查点上进行后训练就能实现,而无需与别人的对齐流程较劲。Liquid AI 的模型卡明确说明了预期用途:重度微调、特定语言的助手、特定领域的助手、在专有数据上训练,以及试验新颖的后训练方法。

这也意味着你需要就许可做出决定,而不是直接继承一个现成的。LFM2.5 2.6B Base 以 LFM Open License v1.0 发布——这是一份自定义许可,既不是 Apache 2.0,也不是 MIT。它的模型卡把许可证标为“other”,名称为“lfm1.0”。这是否构成问题,完全取决于你的分发模式;而且如果没人早点去读它,这类事情往往会在法务审查的后期才冒出来。相比之下,MIT 几乎算是最短的许可证了。

此外,还有一个工具链层面的理由。LFM2.5 在发布首日就获得了 Transformers、vLLM、SGLang、llama.cpp、MLX 和 LM Studio 的支持,并发布了面向 Unsloth 和 TRL 的微调 notebook,涵盖继续预训练、SFT、DPO 和 GRPO。Aion Instruct 需要 `trust_remote_code=True` 和 transformers 5.x;尽管其模型卡将 GGUF 列为一种格式,其仓库中却没有 GGUF 文件;其量化版本只是承诺提供,并未实际发布。对于你打算微调的模型而言,围绕它的生态系统绝非细枝末节。

两种最终到达同一地点的方式

请考虑这样一个团队的两条现实可行路径:他们想要一个小型设备端助手,并且拥有自己的数据语料。

路径一:采用 Aion-1.0-Instruct-2.3B,按交付时的状态在你的任务上评估它,只有表现不达标时才进行微调。你从一个可用的助手、一个聊天模板和一种工具调用格式开始,而且第一次实验成本很低,因为该模型已经在糟糕地做这项工作,而不是完全不会做。风险在于,你是在纠正别人所做的对齐,而不是从头教起,而且在 2.29B 规模下,可用于纠正的容量并不多。

路径二:取用 LFM2.5 2.6B Base,在你的领域数据上继续预训练,然后再做 SFT。这样得到的模型是由你的数据塑造的,而不是向你的数据靠拢;它从一开始就有 131K 的上下文窗口,并且配有文档齐全的训练工具链。代价是你要独自承担整个后训练工作,包括 Microsoft 已经处理好的安全行为。

第三条路径是大多数团队实际会走的:先走路径一获得基线,只有当基线进入平台期时才切换到路径二。这是一个合理的顺序,也说明在用自己的数据把两种模型都跑过之前,不应与任一模型签订长期合同。

一个产品里一旦有了两个检查点,运维面就开始变得庞杂——各自独立的服务配置、各自独立的故障模式、各自独立的升级节奏。OrcaRouter 在这一层的贡献是提供一个单一端点,覆盖 200+ 个模型,以 0% 加价并按提供商标价原样传递,跨提供商自动故障转移,以及一个能够表达回退链而非硬编码目标的路由 DSL。Aion-1.0-Instruct-2.3B 和 LFM2.5 2.6B Base 都不在该目录中——两者都是自托管权重,而且 Aion 在任何地方都没有托管 API——因此,路由器为你带来的是它们之上的那一层:一个可以把设备端模型不应处理的请求发送过去的地方。

压缩的决定

如果你想要一个本周就能运行起来、能回答问题的模型,那就选 Aion-1.0-Instruct-2.3B。它已经完成,采用 MIT 许可证,在 bfloat16 下为 4.6 GB,而且它的局限性是用它自己的话记录下来的,而不是靠你自己去发现。

如果你想构建一个模型,而不是采用现成模型,那就选 LFM2.5 2.6B Base。它在 bfloat16 下为 5.4 GB,拥有一个经过训练而非缩放得到的 131K 窗口,具备真正的微调工具链,而且它对你的助手应该听起来像什么没有任何看法,因为它没有被赋予任何看法。

你不应该因为参数量接近就把它们当作可以互换。2.69B 的基础模型和 2.29B 的指令模型,在大多数规格表上的差距还不到舍入误差,但在实践中却差了一整套后训练流程;在两者之间做选择,本质上是在决定由谁来完成工作。

A screenshot of Liquid AI's LFM2.5 2.6B Base model card, showing the 2.69B parameter count, 30 layers, roughly 34 trillion training tokens, a 131,072-token context with a dedicated 128K extension phase, the LFM Open License v1.0, and a statement that the base checkpoint is only recommended for tasks requiring heavy fine-tuning, with no evaluation table.

Liquid AI 的卡片列出了对微调目标而言至关重要的数字——26.9 亿参数、30 层、34 万亿训练 token、131,072 token 的上下文窗口——却没有评测表,因为基础检查点本就不该在未经调优的任务上被打分。

悬而未决的问题

对于 Aion:微软承诺的量化版本能否兑现,长上下文窗口能否在真实的大海捞针测试中经受住考验,以及当进一步优化的 Windows 版本于 2027 年 1 月底发布时,这个检查点会怎样。模型卡将此次上传呈现为该模型的预览版,这意味着其继任者已排上日程。

对于 LFM2.5 2.6B Base:社区是否在其上构建足够多的内容,使其微调配方成为参考路径;以及常规宽松许可证舒适区之外的法务团队如何解读 LFM Open License。两者都可以用时间来回答,而两者都无法通过基准测试表来回答。

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description as the foundational Small Language Model for on-device Windows tasks, the 32,768-token context, the eleven published benchmarks, the safety metrics XPIA, DIC and ECI, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

{{1}}Aion 卡片{{/1}}用一行说明了预期用途:面向{{2}}设备端 Windows 任务{{/2}}的基础 SLM,操作系统集成暂定于 2027 年 1 月。

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, MIT licence, an instruction-tuned checkpoint, no published training token count and 11 published benchmarks, against LFM2.5 2.6B Base, with 2.69B parameters, a 131,072-token context, the LFM Open License v1.0, a pretrained-only checkpoint, roughly 34 trillion training tokens and no published benchmarks. Footnoted that Aion figures come from Microsoft's card and LFM figures from Liquid AI's card, both vendor-reported and independently unreproduced.

参数量几乎相同,交付内容却不同:一个是指令微调且采用 MIT 许可,另一个是预训练且采用自定义许可,而上下文窗口的情况则相反。