「Aion-1.0-Instruct-2.3B vs Gemma 4 12B」と表示される生成されたタイトルカード。サブタイトルは「重みは5倍、証拠は10倍」で、その上に2.29B対11.95Bパラメータの横棒グラフ比較と3つのバッジ「コミュニティ証拠1日分」「コミュニティ証拠7か月分」「両方ともベンダー報告」がある。
Guides & Insights

Aion-1.0-Instruct-2.3B 対 Gemma 4 12B:重みは5倍、証拠は10倍

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

置くAion-1.0-Instruct-2.3Bの隣にG​emma 4 12B両者のパラメータ数の差は、それらについて最も面白くない点です。Microsoftのチェックポイントは22.9億パラメータで、2026年11月18日に告知なしでHugging Faceに公開されました。G​oogle DeepMindのものは119.5億パラメータで、Apache 2.0であり、2026年5月からダウンロード可能で、完全な評価表を掲載したモデルカードと、すでに重みを100万回以上取得しているコミュニティがあります。興味深い差は、これらのモデルの一方は部外者によって検証されているが、もう一方は誰にも検証されていないということです。

これは2つのAPIの比較ではなく、2つのオープンリリースの比較なので、以下の主張はすべて何かをダウンロードすることで検証できます。Aion-1.0-Instruct-2.3Bの数値はモデルカードとそのリポジトリ内のconfig.jsonに由来し、どちらも本日直接確認したものです。Gemma 4 12Bの数値はGoogleのモデルカードに由来し、そのベンチマーク数値はベンダー自身によるものです。つまり報告されたものであり、独立に再現されたものではありません。この区別は、ここでの両モデルにとって重要です。

誰にも均等に埋められない比較表

6つの次元、両側、そして片側にセルへ入れるものが何もない箇所には注記。

• パラメータ — Aion-1.0-Instruct-2.3B は埋め込みを共有した約2.29Bの密モデルです。Gemma 4 12B は48層にわたる11.95Bの密モデルです。

• ライセンス — Aion は MIT、G​emma は Apache 2.0。商業利用の観点では、どちらも事実上制限はない。MIT の方が、考慮すべき特許許諾がない分、遵守がわずかに簡単である。

• コンテキスト — 32,768トークン対256K、8倍の差であり、リポジトリ全体が1つのプロンプトに収まるかどうかを左右する。

• 入力 — テキストのみか、テキスト・画像・音声か。Gemma 4 12B の決定的な特徴は、独立したエンコーダーを持たないことです。画像パッチと音声波形はデコーダーの埋め込み空間へ直接投影されます。

• 言語 — Aionでは8言語(英語、ドイツ語、スペイン語、ポルトガル語、イタリア語、フランス語、中国語、日本語。多言語データはトレーニングの約6%);G​emmaでは140以上と主張。

• 公開評価 — Aion: 名前付きハーネス上で11のベンチマーク、すべてベンダー実行。G​emma: 15以上のベンチマークに加え、視覚・音声・長文脈の項目、すべてベンダー実行。

マイクロソフトの11の数字が示すもの

Aion のカードは、多くの静かなリリースよりも率直だ。タスク実装が存在する場合は EleutherAI の lm-evaluation-harness で、それ以外は各ベンチマーク自体のリポジトリでベンチマークを実行したこと、判定に依存するものは GPT-4o が判定したことを明記し、さらにスコアを記載している:MMLU 55.15、MMLU-Pro 33.35、MMMLU 45.51、GPQA 28.18、GSM8K 74.91、GSMPlus 49.56、MATH-500 48.00、IFEval 83.90、IFBench 32.00、Multi-IF 64.70、chrF++ 43.18。

そのうち2つは注記列に修飾語が付いている——GSM8Kは「loose matching」、IFBenchは「prompt-level loose」——そしてカードはそれらを隠していない。それはマーケティングチームなら削り、評価チームなら残す種類の開示だ。また、数値は宣伝文句ではなく下限として読むべきだということも意味する。MMLU-Proの33.35やGPQAの28.18は、誰も先頭に掲げようとはしない数字だ。

カードは、このモデルにできないことについても同じくらい率直だ。限界のセクションでは、この規模の小型モデルは「細かい詳細を見落としたり、誤った記述をしたり、複数ステップの複雑な推論に従えない様子を示したりする可能性がある」と述べており、推奨事項のセクションでは、このモデルは「世界知識で秀でるよう訓練されたものではない」と述べている。これらは当社ではなくベンダーの言葉であり、スコアと矛盾するどころか、スコアに沿った内容だ。

Gemma の余分な 90 億パラメータは実際どこへ行くのか

Gemma 4 12Bのカードには、MMLU Pro 77.2、GPQA Diamond 78.8、ツールなしのAIME 2026 77.5、LiveCodeBench v6 72.0、Codeforces ELO 1659、3回の実行で平均したTau2 69.0、BigBench Extra Hard 53.0、MMMLU 83.4が記載されています。また、ビジョンについてはMMMU Pro 69.1とMATH-Vision 79.7、音声についてはCoVoST 38.5とFLEURS 0.069、128KでのRULERでは55.3を表示しています。

それらをAionの表と直接比較するのは不誠実だろう。ベンチマークはほとんど共通しておらず、評価ハーネスも異なり、しかも一方はテキスト専用モデルが、異なる学習の成果が報われるタスクでマルチモーダルモデルと採点されているからだ。言えるのは、方向性を示す率直なことだけだ。ベンチマーク名が一致する2行、MMLU-ProとMMLUでは、Gemmaはそれぞれ43.8ポイント、37.9ポイント高いと報告している。それは採点上の偶発事象ではない。追加の97億パラメータと7か月分長い事後学習がもたらすものだ。

より有用な観察は、G​emmaがそのサイズで何をするかだ。そのハイブリッドアテンションは、1,024トークンの局所スライディングウィンドウ層と完全なグローバルアテンションを交互に配置し、グローバル層はキーと値を共有して比例RoPEを適用する——長文脈メモリを一定に保つことをまっすぐ狙ったエンジニアリングだ。Aionは同じ種類のことを、より小さい規模で、28層のうち21層にわたる2,048トークンのスライディングウィンドウで行う。どちらのモデルも同じ問題を解いているが、一方にはそれを解くための5倍の予算がある。

Footprintは、Aionが完全に勝っている唯一の列です

bfloat16 では、Aion-1.0-Instruct-2.3B は約 4.6 GB です。G​emma 4 12B は量子化器に手を付ける前の時点でおよそ 24 GB あり、ワークステーション GPU か、大幅に量子化したラップトップに載る規模で、スマートフォンにはまったく載りません。これは G​emma への批判ではありません。G​emma はそもそもスマートフォンを狙ったものではなかったからです。しかし、Microsoft のモデルが存在する理由はまさにそこにあります。このカードの位置づけはオンデバイス Windows です。テキストとオペレーティングシステムのタスクをマシン上で処理し、データがマシンから出ることは決してありません。

正直な注意点は、32Kウィンドウは長い長さで学習することによってではなく、スケーリングによって到達されているということだ。設定には original_max_position_embeddings が2,048、YaRN係数16が full-attention 層のみに記録されており、このモデルの長文脈評価は公開されていない。したがって「32K」は設定上の上限であり、実証された能力ではない。G​emmaの256Kには少なくともRULERの行が裏付けとしてあり、ベンダー実施で55.3——控えめだが、存在する。

ファクタリングの決定であり、モデルの決定ではない

この2つは同じ製品の異なるレイヤーに属するもので、チームもたいていそうやって使い分けることになります。Aion-1.0-Instruct-2.3Bはオンデバイス側の処理を担います。秘匿化、要約、書き換え、分類を行い、ドキュメントをローカルに保持します。Gemma 4 12Bは、スクリーンショットを読み取る必要がある場合、音声クリップを文字起こしする場合、10万トークンのコードベースをコンテキストに保持する場合、あるいはAionが対応する8言語以外の言語を扱う場合を担当します。どちらも他方を置き換えるものではありません。避けるべき間違いは、小さいモデルが無料でダウンロードできるからといって、大きいモデルを必要とする作業に小さいモデルを選んでしまうことです。

両方を1つのコードベースから呼び出す場合、運用コストはトークンではなく、2つ目のSDK、2つ目のリトライポリシー、そして2つ目の認証情報のセットです。ここがルーターの出番です。OrcaRouterは200以上のモデルを1つのキーで利用できるようにし、0%のマークアップをプロバイダーの定価に対して適用して提供します。自動フェイルオーバーと、リクエストを1つのモデルではなくモデルのチェーンに沿って送信できるルーティングDSLを備えています。本日のカタログに何が含まれ、何が含まれていないかを正確に言うと、G​emma 4ファミリーは一部のみ存在します。26B A4Bと31Bのバリアントは掲載されていますが、G​emma 4 12BとAion-1.0-Instruct-2.3Bは掲載されていません。前者はセルフホスト型の重みリリースであり、後者はどこにもホスト型エンドポイントがないためです。ルーティングの議論は、これらのモデルと組み合わせて使うことになる兄弟モデルに当てはまるのであり、これら2つのチェックポイント自体に当てはまるわけではありません。

安全に失敗するロールアウト順序

まず、すでにお持ちのワークロードで G​emma 4 12B から始めてください。測定できるからです。そのモデルカードは分母を与え、重みは安定しており、目にする回帰は3日前のアップロードによる人為的な産物ではなく、あなた自身の回帰です。

次に、Aion-1.0-Instruct-2.3B を使って、オンデバイスに移そうとしている狭い範囲 — たとえば、メールスレッドの要約や文書の墨塗り処理 — に対して、自社のデータと自社の精度基準で実行してください。その MMLU を自分のタスクの代理指標として使わないでください。モデル自身のカードには、世界知識のために訓練されていないと警告されており、MMLU で 55.15 という値は、あなたの要約がレビューを通過できるかどうかよりも、雑学について多くを語るものです。

その上で初めて、ローカルパスがホスト型呼び出しを置き換えるのか、その前段に位置するのかを決めればよい。うまくいくパターンは地味なものだ。小さいモデルが信頼度でゲートしながらローカルで一次処理を行い、難しいケースはより大きなものへエスカレーションする。これにより、大半のトラフィックでプライバシー特性が得られ、品質の上限を必要な水準に保てる。

A screenshot of the Gemma 4 12B model card, showing its 11.95B parameter count, 256K-token context, text, image and audio input, the MMLU-Pro score of 77.2 and the Apache 2.0 licence.

Googleのカードには、Aionのカードがまだ公平に比較できない数値が記載されている:MMLU Pro 77.2、GPQA Diamond 78.8、MMMU Pro 69.1、そして256Kウィンドウ。いずれもベンダー報告値だ。

この記事を別の記事にするには何が必要でしょうか

Aion-1.0-Instruct-2.3Bを独立したハーネスで実行すれば決着がつくだろう。執筆時点でリポジトリには3件のいいねと記録上のダウンロード数ゼロしかなく、コミュニティの証拠は皆無だ——フォーラムのスレッドも、量子化ビルドも、第三者評価もない。モデルカードには量子化版が追って公開される予定とある。GGUFが登場すれば、ローカルでの話は理論上のものではなくなり、ダウンロード数も意味を持ち始める。

それまでは、この比較は現状のままです:G​emma 4 12B は実際のコストを伴う既知の存在であり、Aion-1.0-Instruct-2.3B は非常に小さく、非常に新しい、率直に文書化されたモデルで、その最も価値ある特性は、ネットワークが届かない場所でも動作することです。

A screenshot of the Hugging Face model card for microsoft/Aion-1.0-Instruct-2.3B, showing the description of the foundational Small Language Model for the Windows ecosystem, the 32,768-token context, the eleven published benchmarks including MMLU-Pro 33.35, and the note that a further optimised version becomes the Windows OS SLM by the end of January 2027.

Microsoftのカードは、2.29Bというパラメータ数、8つのサポート言語、そして2025年12月という知識カットオフの情報源であり、そのタイムスタンプこそが唯一存在するリリースの手がかりである。

A generated two-column scoreboard comparing Aion-1.0-Instruct-2.3B, with 2.29B parameters, a 32,768-token context, text-only input, roughly 4.6 GB in bfloat16, MMLU-Pro 33.35 and 3 likes on day one, against Gemma 4 12B, with 11.95B parameters, a 256K context, text, image and audio input, roughly 24 GB, MMLU-Pro 77.2 and over a million downloads. Footnoted that both sets are vendor-reported and independently unreproduced, and that the MMLU-Pro rows were not run on a shared harness.

並べて見ると:Aionが優位に立つ次元(フットプリント)と、そうではない次元(コンテキスト、モダリティ、言語、そして数字の背後にあるエビデンスの深さ)。