一张生成的标题卡,写着“Aion-1.0-Instruct-2.3B vs MiniCPM5 2B”,副标题为“已经有记分牌的那位,上面已经出现对手了”,位于两张卡片上方:MiniCPM5-2B,带有“966K 次下载”、“已发布 35 项基准测试”和“GGUF, MLX, GPTQ”;以及 Aion-1.0-Instruct-2.3B,带有“0 次下载,3 个点赞”、“已发布 11 项基准测试”和“仅 Safetensors”。
Guides & Insights

Aion-1.0-Instruct-2.3B 对比 MiniCPM5 2B:已有记分牌的那个,上面已经出现了对手

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

MiniCPM5-2B 的模型卡附有一张包含八个基线模型的对比表,而 Aion-1.0-Instruct-2.3B并不在其中。这不是轻视,而是一个时间戳。OpenBMB 的表格是围绕 2026 年 9 月 6 日权重上线时已存在的模型构建的。微软的检查点于 2026 年 11 月 18 日出现在 Hugging Face 上,晚了七十三天,没有发布公告,只有三个赞。此前没有人把两者并排比较,因为它问世的第一天里,没有人能做到。MiniCPM5-2B与此同时,是这一类别中下载量遥遥领先的模型——大约 966,000 次下载,而 Aion 为零。

所以这并不是两个经过实测的模型之间的比较。它比较的是一个带着记分板和粉丝群体登场的模型,与另一个带着配置文件和对2027年1月的承诺登场的模型。下文在存在数据之处使用 OpenBMB 公布的 MiniCPM5-2B 数字,使用微软的 Aion-1.0-Instruct-2.3B 模型卡,并在某个单元格没有任何内容时直接说明。

两个看起来并不相像的25亿参数模型

标题尺寸相近得足以让人想拿规格表来比一比,可规格表偏偏又对不上。

• 参数 — MiniCPM5-2B 总计 2.52B,其中 1.98B 为非嵌入参数;Aion-1.0-Instruct-2.3B 为 2.29B,输入和输出嵌入共享权重。

• 深度 — MiniCPM5-2B 为 42 层,基于标准的 LlamaForCausalLM 架构;Aion 为 28 层,基于需要 trust_remote_code 的自定义建模代码。

• 注意力——MiniCPM5-2B 为 16 个查询头和 2 个键/值头;Aion 在头维度为 128 的情况下为 24 个查询头和 8 个键/值头,采用混合模式:21 个滑动窗口层(2,048 个 token)和 7 个全注意力层。

• 上下文 — 131,072 个 token,对比 32,768 个。

• 语言 — MiniCPM5-2B 支持英语和中文;Aion 支持八种语言,多语言数据约占训练数据的 6%。

• 许可证 — Apache 2.0 与 MIT 之别。两者均为宽松型许可证,均可安全用于商业用途。

• 生态系统——GGUF、MLX、GPTQ、基础、SFT、中间训练和草稿检查点以及训练数据集,相较 safetensors,并承诺后续提供量化构建。

最后一行正是差距不再关乎模型质量的地方。MiniCPM5-2B 是一个今天下午就能部署到四种不同运行时上的发布版本。Aion-1.0-Instruct-2.3B 则是一个只能部署到一种运行时上的发布版本,同晚还上传了一个 ONNX-WebGPU 的姊妹仓库,并且卡片上列出了 GGUF 格式,但文件列表中却没有。

OpenBMB 公布的数字,以及它没有公布的数字

MiniCPM5-2B 的模型卡声称其达到 2B 级开源最先进水平,随后还不同寻常地在九大类 35 项基准上列出了实证。主要数据:AIME 2025 为 86.5,AIME 2026 为 86.5,MMLU-Pro 70.8,GPQA-Diamond 70.2,IFEval 86.7,LiveCodeBench v6 69.1,SWE-bench Verified 46.4,BFCL v4 66.6,τ²-Bench Telecom 97.1,AA-LCR 59.0,NoLiMa 68.1。

这张模型卡还公布了上述所有项目的汇总平均分——MiniCPM5-2B 为 53.9,Qwen3.5-4B 为 51.1,Granite 4.2 3B 为 42.7,LFM2.5-2.6B 为 33.2。这些都是厂商用自家评测框架、在自己选定的基准上跑出的结果,而这一选择恰好偏向该模型训练时所针对的方向:智能体工具使用、编程、长上下文。选择测试的厂商就能选择排名。应把这张表看作关于训练优先级的说明——它对此是诚实的——而不是独立评判——它并不是。

MiniCPM5-2B 的模型卡中没有包含任何出现 Aion-1.0-Instruct-2.3B 的基准,而 Aion 的模型卡中也没有包含 MiniCPM5-2B 的九个类别中的任何一个。重叠是真实存在的,但很窄:MMLU-Pro、GPQA、IFEval 以及 AIME 的各个变体,是两张已发布表格唯一用同一种语言说话的地方,而且即便在那里,评测框架配置也不同。在这些共有行上,差距很大——MMLU-Pro 上为 70.8 对 33.35,GPQA 上为 70.2 对 28.18——但这是将一个为推理和智能体工作而训练的模型与一个为文档理解和改写而训练的模型进行比较,而这些数字正说明了这一点。

Aion 的坦诚就是全部所在

Microsoft 这张模型卡有趣的地方不在于它的分数,而在于这些分数并不好看,模型卡却还是照样把它们印了出来,放在一张表里;这张表还列出了它的评判模型、评测框架,以及两个基准——而它们的评分设置让这些基准的得分看起来比标题所暗示的更好。一张为了推销而写的模型卡,不会包含一行写着 MMLU-Pro 33.35 的内容。

MMLU-Pro 上拿到 33.35,这不是发布团队会挑选的数字。GPQA 上的 28.18 同样不是。它们出现在这里,恰恰说明这张表出自评估流水线,而不是营销流水线——而这正是我们有理由相信其周边各项说法的真实依据:32,768 token 的上下文窗口、八种语言、2025 年 12 月的知识截止时间,以及由绑定嵌入(tied-embedding)配置推导出的 2.29B 参数量。

同样的坦率也贯穿于局限性部分。模型卡直言不讳地表示,这种规模的模型“可能遗漏细微细节、给出错误陈述,或表现出无法遵循复杂多步推理”,它“并未针对在世界知识方面表现出色而接受训练”,而且输出质量在八种语言之间参差不齐。将其与一张列出35项基准、声称达到最先进水平的表格相比,你看到的是关于模型卡用途的两种不同理论。两者都并非不诚实。一个是能力声明,一个是信息披露。

端侧宣传的卖点,以及长上下文的陷阱

微软的表述毫不含糊:Aion Instruct 是“Windows 生态系统中的基础小型语言模型(SLM)”,专为设备上的文本和操作系统任务而构建,并将在 2027 年 1 月底前,由一个更强的版本外加一个内容审核模型成为 Windows OS SLM。这次上传被描述为“对即将到来内容的介绍”。

MiniCPM5-2B 的定位更宽泛:面向手机、PC 和智能座舱上的本地助手、编程智能体、工具使用工作流与推理,并随权重一同发布包含 50 万条样本的智能体训练集和 8 万多条强化学习样本。它是一个为行动而构建的模型,而不仅仅是用来作答。

131K 与 32K 的上下文差距,正是这种差异暴露得最明显的地方,而 MiniCPM5-2B 手握实据:AA-LCR 59.0 和 NoLiMa 68.1 都是长上下文基准,均由厂商自行运行,且发布时都带有其模型卡用来标注评审评分结果的视觉标记。Aion 拥有 32,768 个 token 的窗口,而其自身配置表明,这一窗口是通过 YaRN 从 2,048 个 token 的原生范围扩展而来的,并且完全没有长上下文评测。如果工作负载涉及长文档,那么选择早已为你做出,而做出这一选择的是证据,而不是参数数量。

智能体栈正是比较形态发生变化的地方

MiniCPM5-2B 针对工具调用循环进行了训练:包含 50 万个智能体 SFT 样本、在可验证任务上进行的 GRPO 式强化学习,并在 SWE-bench Verified、Terminal-Bench、BFCL 以及一个银行领域 τ³ 测试中提供了基准测试结果。Aion-1.0-Instruct-2.3B 记录了一种工具调用格式,但未发布任何智能体基准测试,因为它是为操作系统上的摘要、改写和聊天而构建的。

这种不对称值得从架构层面而非评分角度来思考。智能体循环不是一次模型调用;它包含规划、工具调用、结果、重新规划,还常常包括第二意见,而每一步都是独立请求,具有各自的延迟和失败概率。正是在这一层,路由不再只是基础设施的脚注,而开始成为设计的一部分。OrcaRouter 的 模型融合会让一组模型针对同一请求运行并合并它们的回答,其 路由 DSL则可将多个模型组合成一次调用——当“一个小模型、一个答案”不适合任务形态时,这两个原语就至关重要。Aion-1.0-Instruct-2.3B 和 MiniCPM5-2B 目前都不在我们的目录中,因为两者都是自托管权重而非托管端点;这里讨论的是你的本地智能体无法独自完成的请求,而不是这两个检查点。

务实的做法是:用小型模型处理低成本步骤,并明确设定升级路径,而不是指望 2B 模型在第四次重试时做对。像 MiniCPM5-2B 这样在 SWE-bench Verified 上达到 46.4 分的模型,就其规模而言令人印象深刻,但仍然有一半以上的时候会出错;无论怎么进行提示工程,都改变不了五步循环的算术。

今天你实际能验证什么

这句话决定了这些比较中的大多数。使用 MiniCPM5-2B,你可以下载 GGUF,在 llama.cpp 中加载它,运行该模型卡自带的基准测试命令,并检查自己能否在 AIME 上复现 86.5。使用 Aion-1.0-Instruct-2.3B,你可以下载 bfloat16 safetensors,安装 transformers 5.x,接受 trust_remote_code=True,并在其十一项基准测试上运行同样的评测框架——这更费事,但完全可行,而且公开范围内还没有人做过。

使用 Aion 时,你无法做到的一件事,就是让它在你的目标机器上最可能存在的那个运行时上运行。模型卡将 GGUF 列为库名称;该仓库包含 safetensors、分词器文件、两个自定义建模模块和一个聊天模板。ONNX-WebGPU 姊妹仓库确实存在,这使得浏览器和 DirectML 部署看起来可行,但 GGUF 构建只是承诺,尚未交付。如果你的部署目标是 llama.cpp 或 LM Studio,那么在它出现之前,那个缺失的单一文件就是整个决策的关键。

还有两件事值得你自己检查,而不是直接相信。第一,32K 窗口:把它填满,看看文档尾部能否在滑动窗口层中保留下来。第二,工具调用路径:Aion 的格式会用自定义标签包裹 schema 和调用,而它从格式错误的调用中恢复得有多从容,不是一张卡片能告诉你的。

A screenshot of OpenBMB's MiniCPM5-2B model card, showing the 2.52B total and 1.98B non-embedding parameter counts, 42 layers, a 131,072-token context, the 35-benchmark table with AIME 2025 86.5, MMLU-Pro 70.8, GPQA-Diamond 70.2, SWE-bench Verified 46.4, AA-LCR 59.0 and NoLiMa 68.1, and the GGUF, MLX and GPTQ checkpoints listed alongside.

OpenBMB 的模型卡是两者中唯一一个公布了长上下文和智能体结果的——AA-LCR 59.0、NoLiMa 68.1、SWE-bench Verified 46.4——同时还提供 131,072 个 token 的窗口和标准的 Llama 架构。

两个真实的用例

当任务涉及工具、代码、长文档或中文时,选择 MiniCPM5-2B。它的模型卡就是为这些任务编写的,它的基准测试覆盖了这些任务,它的量化版本已经存在,而且它的许可证是 Apache 2.0。风险在于,“最先进”的说法来自厂商自己的对比集,而 20 亿参数模型在智能体循环中仍会以消耗真实 token 的方式失败。

如果任务是在 Windows 应用中对八种语言之一的本地文档进行摘要、改写或分类,并且离线运行、数据始终不离开设备,那就选 Aion-1.0-Instruct-2.3B。它的上下文更小,在每一项共同基准上都更弱,并且有一张模型卡如实说明了这一点。它所提供的是一个有文档记录的设备端契约,以及到 2027 年 1 月进入操作系统的一条可行路径——而目前,运行过它的人非常少。

一个月后再读这份对比,感受会不一样。如果出现一个 GGUF,那么关于运行时的反对意见就消失了。如果出现一次独立的测试框架运行结果,这些数字就不再只属于微软一家。这两件事目前都还没有发生,而假装它们已经发生,恰恰是这篇文章唯一不能做的事。

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description as the foundational Small Language Model in the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35 and GPQA 28.18, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

微软的规格卡公布了自己偏弱的得分,并标明了宽松的评分设置——这正是即便基准测试成绩并不亮眼,其规格声明仍值得信任的原因。

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, MMLU-Pro 33.35, GPQA 28.18, safetensors only and 0 downloads, against MiniCPM5-2B, with 2.52B total parameters, a 131,072-token context, MMLU-Pro 70.8, GPQA 70.2, GGUF, MLX and GPTQ formats and about 966K downloads. Footnoted that both columns are vendor-reported and neither model has an independent evaluation.

从现有证据来看,记分板是这样的:一边是35个已发布的基准测试和四种运行时格式,另一边是11个基准测试和safetensors。