一張生成的標題卡,寫著「Aion-1.0-Instruct-2.3B vs Gemma 4 12B」,副標題為「五倍的權重,十倍的證據」,位於 2.29B 對 11.95B 參數的水平長條圖比較上方,並有三個徽章:「1 天的社群證據」、「7 個月的社群證據」以及「兩者皆為廠商回報」。
Guides & Insights

Aion-1.0-Instruct-2.3B 對比 Gemma 4 12B:五倍權重,十倍證據

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

把Aion-1.0-Instruct-2.3B與G​emma 4 12B 放在一起,參數差距是它們最不有趣的地方。微軟的檢查點有 22.9 億個參數,於 2026 年 11 月 18 日在沒有任何公告的情況下上架 Hugging Face;G​oogle DeepMind 的則有 119.5 億個參數,採 Apache 2.0 授權,自 2026 年 5 月起即可下載,其模型卡列出了完整評估表,且社群已下載權重超過一百萬次。真正有趣的差距在於:其中一個模型已被陌生人檢視過,另一個則尚未被任何人檢視過。

這是一項兩個開放發行版(而非兩個 API)的比較,因此以下每一項說法都可以透過下載某項東西來查核。Aion-1.0-Instruct-2.3B 的數據來自模型卡及其儲存庫中的 config.json,兩者都是今天直接讀取的。G​emma 4 12B 的數據來自 G​oogle 的模型卡,而其基準測試數字是廠商自己的——屬於報告值,而非經獨立重現,這項區別對這裡的兩個模型都很重要。

沒有人能平均填完的比較表

六個維度、兩個面向,並附註說明其中一方在該儲存格裡根本沒有內容可填。

• 參數 — Aion-1.0-Instruct-2.3B 是約 2.29B 的稠密模型,並採用綁定嵌入;Gemma 4 12B 則是在 48 層中達到 11.95B 的稠密模型。

• 授權條款——Aion 為 MIT,Gemma 為 Apache 2.0。就商業用途而言,兩者實際上都不受限制;MIT 在合規上稍微單純一些,因為它不附帶需要斟酌的專利授權條款。

• 上下文 — 32,768 個 token 對比 256K,八倍差距,決定整個儲存庫能否塞進單一提示中。

• 輸入 — 純文字對比文字、圖像與音訊,而 G​emma 4 12B 的決定性巧思在於它沒有獨立的編碼器:圖像區塊與音訊波形直接投射進解碼器的嵌入空間。

• 語言 — Aion 支援八種語言(英文、德文、西班牙文、葡萄牙文、義大利文、法文、中文、日文,多語言資料約占訓練資料的 6%);G​emma 則宣稱支援 140 多種語言。

• 已發佈的評測 — Aion:在具名測試框架上進行 11 項基準測試,全由廠商執行。Gemma:15 項以上基準測試,外加視覺、音訊與長上下文項目,全由廠商執行。

微軟的十一個數字說明了什麼?

Aion 這張卡比大多數低調發布的產品更坦率。它說明:在已有任務實作的情況下,基準測試是在 EleutherAI 的 lm-evaluation-harness 上執行;否則則在各基準各自的儲存庫上執行。它還說明,依賴評判的基準是由 GPT-4o 擔任評判,接著列出分數:MMLU 55.15、MMLU-Pro 33.35、MMMLU 45.51、GPQA 28.18、GSM8K 74.91、GSMPlus 49.56、MATH-500 48.00、IFEval 83.90、IFBench 32.00、Multi-IF 64.70、chrF++ 43.18。

其中兩項在備註欄帶有附加說明——GSM8K 是「寬鬆匹配」,IFBench 是「提示層級寬鬆」——而這張卡片並沒有把它們藏起來。這種揭露,正是行銷團隊會刪掉、而評測團隊會保留的東西。這也意味著這些數字應該被理解為下限,而非宣傳話術:MMLU-Pro 的 33.35 和 GPQA 的 28.18,都不是任何人會選擇拿來主打的數字。

這份模型卡對於模型做不到的事也同樣直白。其限制章節指出,這種規模的小型模型「可能漏掉細節、提供錯誤陳述,或顯現出無法遵循複雜的多步驟推理」,而建議章節則說該模型「並未接受訓練以擅長世界知識」。那些是供應商的說法,不是我們的,而且它們與分數一致,而非相互矛盾。

G​emma 額外的那九十億個參數究竟去了哪裡

Gemma 4 12B 的規格表列出 MMLU Pro 77.2、GPQA Diamond 78.8、不使用工具的 AIME 2026 77.5、LiveCodeBench v6 72.0、Codeforces ELO 1659、三次執行平均為 69.0 的 Tau2、BigBench Extra Hard 53.0 以及 MMMLU 83.4。它也列出視覺方面的 MMMU Pro 69.1 與 MATH-Vision 79.7、音訊方面的 CoVoST 38.5 與 FLEURS 0.069,以及在 128K 下的 RULER 55.3。

直接拿那些來和 Aion 的表格相比並不誠實,因為幾乎沒有共用的基準測試,測試框架也不同,而且其中一個是純文字模型,卻要在獎勵不同訓練的任務上與多模態模型比評分。可以說的是方向性且直白的:在基準測試名稱相同的那兩行,也就是 MMLU-Pro 和 MMMLU,G​emma 分別回報高出 43.8 分與 37.9 分。那不是評分上的怪癖。那是多出 97 億個參數與多七個月後訓練所換來的。

更有用的觀察是 Gemma 如何運用其規模。它的混合注意力將 1,024 個 token 的局部滑動視窗層與完整的全域注意力交錯,且全域層共享鍵與值並套用比例式 RoPE——這項工程設計明確著眼於讓長上下文記憶體佔用維持平穩。Aion 以較小規模做同樣的事:在 28 層中的 21 層使用 2,048 個 token 的滑動視窗。兩個模型在解決同一個問題;其中一個擁有五倍的預算來解決它。

佔用空間是 Aion 唯一完勝的欄位。

在 bfloat16 下,Aion-1.0-Instruct-2.3B 約為 4.6 GB。G​emma 4 12B 在尚未經過量化器處理前大約是 24 GB,這使它只能放在工作站 GPU 或重度量化的筆電上,完全不可能放在手機上。這不是在批評 G​emma——它本來就不是針對手機——但這正是微軟模型存在的全部原因。這張卡的定位是裝置端 Windows:文字與作業系統任務都在本機上執行,資料永遠不會離開它。

老實說,但書在於:32K 視窗是靠縮放達成的,而不是靠長文本訓練。設定檔記錄的 original_max_position_embeddings 為 2,048,且僅在完整注意力層上套用 YaRN 係數 16,而該模型並未發表任何長上下文評估。所以「32K」是設定上的上限,而非已證實的能力。Gemma 的 256K 至少有一列 RULER 成績作為後盾,由廠商自行執行,數值為 55.3——不算高,但確實存在。

是因式分解的決策,而非模型的決策

這兩個模型屬於同一個產品中的不同層級,而團隊通常最後就是這樣使用它們。Aion-1.0-Instruct-2.3B 負責裝置端的處理:遮蔽、摘要、改寫、分類,並讓文件留在本機。G​emma 4 12B 則負責需要讀取螢幕截圖、轉錄音訊片段、將 100K token 的程式碼庫保留在上下文中,或使用 Aion 八種語言之外的語言的情況。兩者無法互相取代;要避免的錯誤,是只因為小模型可以免費下載,就把它用在需要大模型的工作上。

當兩者都從同一個程式碼庫中呼叫時,營運成本不在於 token,而在於第二個 SDK、第二套重試策略與第二組憑證。這正是路由器發揮價值之處:OrcaRouter 將 200+ 個模型 置於同一把金鑰之後,價格為 0% 加成 相對供應商定價,並具備自動容錯移轉,以及可將請求沿著一串模型傳送、而非只送往單一模型的路由 DSL。確切說明我們目前目錄中哪些有、哪些沒有:G​emma 4 系列僅部分收錄——已列出 26B A4B 與 31B 變體——而 G​emma 4 12B 與 Aion-1.0-Instruct-2.3B 則未收錄,因為前者是自託管的權重發佈,後者在任何地方都沒有託管端點。路由方面的論點適用於你最終與這些模型混用的任何同系列模型,而不是這兩個檢查點本身。

一個能安全失敗的推出順序

先從 G​emma 4 12B 開始,套用在你既有的工作負載上,因為你可以測量它。它的模型卡會給你一個分母,它的權重很穩定,而你看到的任何效能退步都是你自己的退步,而不是三天前上傳版本造成的假象。

然後拿 Aion-1.0-Instruct-2.3B,用你自己的資料和你自己的準確率標準,針對你打算搬到裝置端的那個狹窄切片跑一遍——比如說電子郵件串摘要或文件遮蔽。不要拿它的 MMLU 當作你任務的代理指標;模型自己的模型卡就警告過,它並非為了世界知識而訓練,而 MMLU 上的 55.15 分,與其說能告訴你有關你的摘要能否經得起審閱,不如說它更能反映冷知識。

唯有在那之後,才決定本機這一輪處理是要取代託管呼叫,還是擺在它前面。真正行得通的模式很無趣:小模型在本機做第一輪把關,以信心分數設門檻,難纏的案例再升級給更大的模型。這麼一來,絕大多數流量都享有隱私保障,品質上限也能維持在該有的水準。

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

Google 的卡片列出了 Aion 的卡片目前尚無法與之公平比較的數字:MMLU Pro 77.2、GPQA Diamond 78.8、MMMU Pro 69.1,以及 256K 視窗,全部皆為廠商自行回報。

什麼會讓這成為一篇不同的文章?

只要對 Aion-1.0-Instruct-2.3B 進行一次獨立的測試框架運行,就能確認這一點。在撰寫本文時,該儲存庫只有三個讚和零次記錄下載,因此完全沒有社群證據——沒有論壇討論串、沒有量化版本、沒有第三方評測。模型卡承諾隨後會推出量化版本;一旦 GGUF 問世,本地部署這件事就不再只是理論,下載次數也開始有意義。

在那之前,這項比較仍維持原狀:{{1}}G​emma 4 12B{{/1}}是已知量,且有實際成本;而{{2}}Aion-1.0-Instruct-2.3B{{/2}}是非常小、非常新、文件記載誠實的模型,其最有價值的特性是能在網路到不了的地方運行。

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

微軟的模型卡是 2.29B 參數量、八種支援語言與 2025 年 12 月知識截止的來源;其時間戳記是唯一存在的發布訊號。

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

並列對照:Aion 勝出的維度(足跡),以及它未勝出的維度(脈絡、模態、語言,以及數字背後證據的深度)。