一張生成的標題卡寫著「Aion-1.0-Instruct-2.3B vs MiniCPM5 2B」,副標題為「已經有計分板的那位,現在也有對手了」,上方有兩張卡片:MiniCPM5-2B,標示「966K 次下載」、「已發布 35 項基準測試」和「GGUF、MLX、GPTQ」;以及 Aion-1.0-Instruct-2.3B,標示「0 次下載、3 個讚」、「已發布 11 項基準測試」和「僅支援 Safetensors」。
Guides & Insights

Aion-1.0-Instruct-2.3B 對上 MiniCPM5 2B:有計分板的那一方,計分板上早已有對手

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

MiniCPM5-2B 的模型卡附有一張包含八個基準模型的比較表,而 Aion-1.0-Instruct-2.3B並不在其中。這不是貶抑,而是時間戳記。OpenBMB 的表格是圍繞 2026 年 9 月 6 日權重上傳時已存在的模型所建立。微軟的檢查點於 2026 年 11 月 18 日出現在 Hugging Face 上,晚了七十三天,沒有公告,只有三個讚。沒有人將兩者並列比較,因為在它誕生的第一天,沒有人做得到。MiniCPM5-2B,同時也是這個級別中下載量最高的模型,而且大幅領先——約 966,000 次下載,相較之下 Aion 為零次。

所以,這不是兩個實測模型之間的比較。這是把一個帶著計分板和粉絲群登場的模型,拿來跟一個帶著設定檔和一個關於 2027 年 1 月的承諾登場的模型相比。以下內容會在 OpenBMB 有公布 MiniCPM5-2B 數據的地方採用其數字,並採用 Microsoft 的 Aion-1.0-Instruct-2.3B 模型卡,且在某個欄位沒有任何內容時如實說明。

兩個看起來截然不同的 25 億參數模型

主打尺寸相近到足以讓人想拿規格表來比一比,但規格表卻怎麼也對不上。

• 參數 — MiniCPM5-2B 總計 2.52B,其中 1.98B 為非嵌入參數;Aion-1.0-Instruct-2.3B 為 2.29B,其輸入與輸出嵌入層共用。

• 深度 — MiniCPM5-2B 為 42 層,採用標準的 LlamaForCausalLM 架構;Aion 為 28 層,採用需設定 trust_remote_code 的自訂建模程式碼。

• 注意力 — MiniCPM5-2B 為 16 個查詢頭與 2 個鍵/值頭;Aion 則為 24 個查詢頭與 8 個鍵/值頭、頭維度 128,橫跨混合模式:21 層滑動視窗層(2,048 個 token)與 7 層全注意力層。

• 上下文 — 131,072 個 token,對比 32,768 個。

• 語言 — MiniCPM5-2B 支援英文與中文;Aion 支援八種語言,多語言資料約佔訓練資料的 6%。

• 授權條款 — Apache 2.0 對比 MIT。兩者皆為寬鬆型授權,均可安全用於商業用途。

• 生態系 — GGUF、MLX、GPTQ、base、SFT、midtrain 與 draft 檢查點,外加訓練資料集,相較於 safetensors,並承諾後續將推出量化版本。

最後一行正是差距不再只是模型品質問題的地方。MiniCPM5-2B 是今天下午就能部署在四種不同執行環境上的版本。Aion-1.0-Instruct-2.3B 則是只能部署在一種執行環境上的版本,同晚還上傳了 ONNX-WebGPU 的附屬儲存庫,而模型卡上列出了 GGUF 格式,檔案列表中卻找不到。

OpenBMB 公布的數字,以及它未公布的數字

MiniCPM5-2B 的模型卡宣稱具備 2B 級開源最先進水準,而且罕見地列出橫跨九大類、共 35 項基準測試的成績明細。主要數據:AIME 2025 為 86.5、AIME 2026 為 86.5、MMLU-Pro 70.8、GPQA-Diamond 70.2、IFEval 86.7、LiveCodeBench v6 69.1、SWE-bench Verified 46.4、BFCL v4 66.6、τ²-Bench Telecom 97.1、AA-LCR 59.0,以及 NoLiMa 68.1。

這張表也公布了所有項目的彙總平均——MiniCPM5-2B 為 53.9,Qwen3.5-4B 為 51.1,Granite 4.2 3B 為 42.7,LFM2.5-2.6B 為 33.2。這些都是廠商自己在自家挑選的基準測試上所執行的測試框架結果,而這樣的挑選正好偏向模型受訓的目標:代理式工具使用、程式設計、長上下文。能挑選測試的廠商就能挑選排名。應把這張表讀成關於訓練優先順序的陳述——它對此是誠實的——而不是獨立評斷——它並不是。

MiniCPM5-2B 的模型卡沒有包含任何 Aion-1.0-Instruct-2.3B 有出現的基準測試,而 Aion 的模型卡也沒有包含 MiniCPM5-2B 九個類別中的任何一個。重疊確實存在,但範圍很窄:MMLU-Pro、GPQA、IFEval 和 AIME 各變體,是兩份已公布表格唯一採用相同語言的地方,而且即使在這些地方,評測框架設定也不相同。在這些共同列出的項目上,差距很大——MMLU-Pro 上是 70.8 對 33.35,GPQA 上是 70.2 對 28.18——但那是拿一個為推理與代理式工作訓練的模型,和一個為文件理解與改寫訓練的模型相比,而這些數字正說明了這一點。

在 Aion,誠實就是全部的故事

微軟這張卡片有趣的地方不在於它的分數,而在於這些分數並不好看,卡片卻還是把它們印了出來,放在一個表格裡;表格還列出了它的評審模型、它的測試框架,以及兩項基準,而這兩項基準的評分設定讓它們看起來比標題所暗示的更好。一張為了推銷某樣東西而寫的卡片,不會包含一行寫著 MMLU-Pro 33.35 的內容。

MMLU-Pro 上的 33.35 不是發布團隊會挑的數字。GPQA 上的 28.18 也不是。它們的出現證明這張表出自評估流程,而非行銷流程,而這正是相信周邊說法的真實理由——32,768 個 token 的視窗、八種語言、2025-12 的知識截止、由 tied-embedding 組態推導出的 2.29B 參數量。

同樣的坦率也貫穿於限制說明之中。這張模型卡直言,這種規模的模型「可能遺漏細節、提供錯誤陳述,或顯示出無法遵循複雜的多步驟推理」,它「並未被訓練成擅長世界知識」,而且輸出品質在八種語言之間有所差異。把這與一張宣稱達到最先進水準、列出 35 項基準測試的表相比,你看到的是兩種不同的理論,關於模型卡究竟有何用途。兩者都算不上不誠實。一個是能力宣稱,一個是揭露。

裝置端的賣點,以及長上下文的陷阱

微軟的表述毫不含糊:Aion Instruct 是「Windows 生態系中的基礎小型語言模型(SLM)」,專為裝置上的文字與作業系統任務而打造;更強的版本加上一個內容審核模型,將於 2027 年 1 月底前成為 Windows OS SLM。此次上傳被描述為「對即將到來內容的介紹」。

MiniCPM5-2B 的定位更為廣泛:涵蓋本地助理、程式設計代理、工具使用工作流程與推理,應用於手機、個人電腦與智慧座艙,並隨模型權重一同釋出 50 萬筆樣本的代理訓練集,以及 8 萬多筆強化學習樣本。這是一個為了行動而打造、不只是為了回答問題的模型。

131K 對 32K 的上下文差距,正是這種差異最明顯的地方,而 MiniCPM5-2B 有憑有據:AA-LCR 59.0 和 NoLiMa 68.1 都是長上下文基準,兩者皆由廠商自行執行,也皆以其模型卡中用來標示評審評分結果的視覺標記公布。Aion 則有 32,768 個 token 的視窗,其自家設定顯示這是從 2,048 token 的原生範圍透過 YaRN 擴展而來,而且完全沒有任何長上下文評測。如果工作負載涉及長文件,選擇早已為你決定,而決定它的是證據,不是參數量。

Agent 堆疊正是比較形態發生改變的地方

MiniCPM5-2B 是針對工具迴圈訓練的:50 萬筆代理 SFT 樣本、在可驗證任務上以 GRPO 風格進行的 RL,以及 SWE-bench Verified、Terminal-Bench、BFCL 與銀行領域 τ³ 執行的基準測試列。Aion-1.0-Instruct-2.3B 記錄了一種工具呼叫格式,卻未公布任何代理基準測試,因為它是為了在作業系統上進行摘要、改寫與聊天而打造的。

這種不對稱值得從架構層面思考,而不是把它當成分數。代理迴圈不是一次模型呼叫;它是一個計畫、一次工具呼叫、一個結果、一次重新規劃,而且往往還有一個第二意見,而每一步都是各自獨立的請求,有其自身的延遲與失敗機率。這正是路由不再只是基礎設施的註腳、而開始成為設計一部分的層次。OrcaRouter 的 模型融合會讓一組模型針對同一個請求執行並綜合它們的答案,而它的 路由 DSL則將多個模型組合進單一呼叫——當「一個小模型、一個答案」不適合這項任務時,這兩個基礎元件就很重要。目前我們的目錄中既沒有 Aion-1.0-Instruct-2.3B,也沒有 MiniCPM5-2B,因為兩者都是自行託管的權重,而非託管端點;這裡的論點是關於你的本機代理無法獨自完成的請求,而不是關於這兩個檢查點。

實務版做法是:用小型模型處理低成本步驟,並把升級路徑明確化,而不是指望 2B 模型在第四次重試時答對。像 MiniCPM5-2B 在 SWE-bench Verified 上拿到 46.4 分,對這種規模的模型來說很亮眼,但它仍有超過一半的時間會出錯,而再怎麼做提示工程,也改變不了五步迴圈的算術。

你今天實際能驗證什麼

這句話決定了這些比較中的大部分結論。使用 MiniCPM5-2B,你可以下載 GGUF、在 llama.cpp 中載入、執行模型卡上附的基準測試指令,並確認自己是否能重現 AIME 的 86.5 分。使用 Aion-1.0-Instruct-2.3B,你可以下載 bfloat16 safetensors、安裝 transformers 5.x、接受 trust_remote_code=True,並在其十一項基準測試上執行同一套測試框架——這更費工,但完全可行,而公開領域中還沒有人做過。

你無法用 Aion 做到的,是在你目標機器上最可能存在的執行環境中運行它。模型卡把 GGUF 列為函式庫名稱;但儲存庫裡包含的是 safetensors、tokenizer 檔案、兩個自訂建模模組,以及一個聊天範本。ONNX-WebGPU 的姊妹儲存庫確實存在,這讓瀏覽器與 DirectML 部署看似可行,但 GGUF 版本只是被承諾,並未實際提供。如果你的部署目標是 llama.cpp 或 LM Studio,那麼在它出現之前,這個唯一缺少的檔案就足以左右整個決定。

另外有兩件事值得你自己驗證,而不是單靠信任。第一,32K 視窗:把它填滿,看看文件尾端是否能在滑動視窗層中保留下來。第二,工具呼叫路徑:Aion 的格式會用自訂標籤包住結構描述與呼叫,而它從格式錯誤的呼叫中復原得有多優雅,不是一張卡片能告訴你的。

A screenshot of OpenBMB's MiniCPM5-2B model card, showing the 2.52B total and 1.98B non-embedding parameter counts, 42 layers, a 131,072-token context, the 35-benchmark table with AIME 2025 86.5, MMLU-Pro 70.8, GPQA-Diamond 70.2, SWE-bench Verified 46.4, AA-LCR 59.0 and NoLiMa 68.1, and the GGUF, MLX and GPTQ checkpoints listed alongside.

OpenBMB 的模型卡是兩者中唯一有公布長上下文與代理型結果的——AA-LCR 59.0、NoLiMa 68.1、SWE-bench Verified 46.4——同時還列出 131,072 個 token 的視窗與標準的 Llama 架構。

兩個真實的使用案例

當工作涉及工具、程式碼、長文件或中文時,就選用 MiniCPM5-2B。它的模型卡是為這些任務撰寫的,其基準測試涵蓋這些任務,已有其量化版本,且授權為 Apache 2.0。風險在於,「最先進」的說法是廠商自家的比較集,而 20 億參數模型在代理迴圈中仍會以耗費真實 token 的方式失敗。

當任務是打造一款 Windows 應用程式,能在八種語言之一中摘要、改寫或分類本機文件,離線執行,且資料永不離開裝置時,就選 Aion-1.0-Instruct-2.3B。它的上下文較小,在每一項共同基準上都較弱,並有模型卡如此載明。它提供的是有文件記載的裝置端契約,以及一條到 2027 年 1 月進入作業系統的可行路徑——而且目前實際運行過它的人非常少。

一個月後,這番比較讀起來會截然不同。若出現 GGUF,執行環境的疑慮就會消失。若出現獨立測試框架的執行結果,這些數字就不再只屬於微軟。這兩件事都尚未發生,而假裝它們已經發生,會是本文唯一不能做的事。

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description as the foundational Small Language Model in the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35 and GPQA 28.18, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

微軟的評分卡會印出自己偏弱的分數,並標示寬鬆的計分設定——這正是即使基準測試的宣稱平平無奇,仍值得相信其規格宣稱的原因。

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, MMLU-Pro 33.35, GPQA 28.18, safetensors only and 0 downloads, against MiniCPM5-2B, with 2.52B total parameters, a 131,072-token context, MMLU-Pro 70.8, GPQA 70.2, GGUF, MLX and GPTQ formats and about 966K downloads. Footnoted that both columns are vendor-reported and neither model has an independent evaluation.

以現有證據來看,比分板是這樣:一邊是 35 個已發布的基準測試與四種執行階段格式,另一邊是 11 個基準測試與 safetensors。