ZoomGain-9B vs Gemma 4 12B：ベンチマークに欠けている行

リリース時点で、28のモデルがZoomGainベンチマークで評価された。4つのクローズドソースのフロンティアシステム、4つのエージェント型ビジョンモデル、4つの細粒度専門モデル、16のオープンな汎用モデルだ。G​emmaはその中に含まれていない。G​emma 4 12Bも、G​emma 4 31Bも、Eシリーズのいずれも。この除外こそ、ZoomGain-9BとG​emma 4 12Bを比較する上で最も有用な事実である。なぜなら、作ろうとするあらゆる「ZoomGain vs G​emma」の表には穴があり、本稿は存在しない数値ではなく、2つのモデルが実際に何であるかを扱うからだ。

両者はサイズが十分に近いため比較を誘う一方、目的は大きく異なるため、その比較は誤解を招く。ZoomGain-9BはinclusionAIの9B視覚言語チェックポイントで、9,000件のcrop-mined質問に対して強化学習で追加学習され、2026年11月10日に論文とともに公開されたが、告知はなかった。G​emma 4 12BはG​oogle DeepMindの11.95Bエンコーダフリー統合マルチモーダルモデルで、2026年5月23日に公開され、Apache 2.0、過去1か月で180万ダウンロードと1,730いいねを記録している。一方は実証された能力を1つ備えた研究用ツール。もう一方はライセンス、ドキュメント一式、6種類の量子化、半年間のコミュニティ利用を備えた製品だ。

それぞれが実際に何なのか

Gemma 4 12Bは、Gemma 4ファミリーの中でアーキテクチャ上興味深いモデルです。E2B、E4B、31Bモデルは専用のエンコーダーを使用します — 小型モデルでは約1億5000万パラメータのビジョンタワー、31Bでは約5億5000万パラメータ — そして埋め込みを言語モデルに渡します。12Bはそうではありません。軽量な線形層を通じて、生の画像パッチと音声波形をデコーダーの埋め込み空間に直接投影します。これがその名における「Unified」の意味であり、このモデルに音声サポートがあり、31Bにはない理由です。

その形状は、48層、隠れサイズ3,840、中間サイズ15,360、ヘッド次元256で16個のクエリヘッドと8個のKVヘッド、語彙数262,144トークン、最大位置数262,144です。48層のうち40層は1,024トークンのスライディングウィンドウアテンションで、8層はフルアテンション、最終層は常にグローバルです。3つの入力モダリティ、テキスト出力、256Kコンテキスト、ネイティブのシステムロールを備えます。

ZoomGain-9Bは逆の方法で構築されている。そのテキスト・トランクはQwen3.5-9Bだ——32層、隠れ次元4,096、中間次元12,288、線形アテンションとフルアテンションの3:1のスケジュール、最大位置数262,144——そこにビジョンタワーが、ここで発明されたのではなくベースモデルによって組み付けられている。そのトランクの上で、著者らは9,000問の質問に対してGRPOを実行した。それらの答えは、ある領域にズームインしたときにだけ見える詳細に依存する。このモデルは汎用アシスタントとして訓練されておらず、そのようには提示されていない。

• パラメータ — G​emma 4 12B は 11.95B、ZoomGain-9B は約 9.4B（BF16 で 18.82 GB、12B のファイルサイズと比較して）。

• モダリティ — G​emma 4 12B はテキスト、画像、動画、音声を扱い、ZoomGain-9B はテキストと画像を扱います。音声は ZoomGain の実装における欠落ではなく、その設定に存在しません。

• コンテキスト — G​emma 4 12B は 256K を明記している。ZoomGain-9B のカードには何も記載がない。その config は Qwen3.5-9B のトランクから 262,144 ポジションを継承しているが、これはファインチューニング済みチェックポイントについて検証された特性とは同じではない。

• ライセンス — G​emma 4 12B は Apache 2.0、ライセンスファイルを明記。ZoomGain-9B: コードは Apache 2.0、チェックポイントの条件はライセンスタグのないカードに委ねられている。

• 配布 — G​emma 4 12B は BF16、および 6.98 GB の QAT q4_0 GGUF（0.18 GB のプロジェクター付き）として提供され、ggml-org、unsloth、litert からビルドが提供されます。ZoomGain-9B は BF16 に加え、11 月 11 日から F16、Q8_0、Q4_K_M の GGUF として提供されます。

• ドキュメント — G​emma 4 12B には、ローンチブログ、技術レポート、フレームワーク用クックブック、ライセンスページがあります。ZoomGain-9B には、論文、リポジトリ、およびコンテキスト長が記載されていないカードがあります。

なぜ欠けている行が、一蹴できるような見落としではないのか

ZoomGainベンチマークは、1つの失敗を明らかにするために構築されている。それは、大きなフレーム内の小さな細部を識別できないモデルである。著者らは、英語と中国語で、1,000問・941画像にわたり、属性認識、計数、OCRを評価し、多肢選択と整数では完全一致、OCRでは下限0.7のANLSを用いる。そのテストでは、28モデル中の最良が61.08に達し、50を上回るのは5つのみである。

G​emma 4 12Bはそのベンチマークで実行されていない。他のどのG​emmaも同様だ。そのため選択肢は二つしかなく、正直なのはそのうち一つだけだ。G​emmaのMMMU Pro 69.1とMATH-Vision 79.7をZoomGainのホールドアウト平均66.10と並べて比較と呼ぶこともできるが、それは広範なマルチモーダルスイートを13の知覚ベンチマークの平均と比べることであり、意味のない数値を生み出すだけだ。あるいは真実を言うこともできる。誰もこの二つを同じ物差しで測っていないし、その問いが自分にとって重要なら、ベンチマークはダウンロード可能で、午後のひとときで自分で実行できる。

2番目の選択肢は、見かけほど高価ではない。ZoomGainBench はアノテーション、画像、評価器として提供され、評価は OpenAI 互換エンドポイントまたはローカルチェックポイントを受け取り、temperature 0 で thinking を無効にして実行し、設問ごとの結果を報告する。G​emma 4 12B は vLLM または llama.cpp で動作する。これは実際に作れる直接対決であり、ベンチマークの著者が G​emma を含めなかったこと自体が示唆的だ——このベンチマークの公開前から、そのモデルは6か月間利用可能だったのだから。

G​emma 4 12B の数字はどこにあり、それらが何を意味するのか

これらはモデルカードに記載されたGoogle自身の数値であり、中立的なラボによって再現されたものではありません：

• MMMU Pro 69.1 — マルチモーダル推論スイートであり、Gemma のモデルカード上で視覚能力に関する主張に最も近いもの。

• MATH-Vision 79.7 — 図や画像に対する数学的推論。

• OmniDocBench 1.5 の平均編集距離は 0.164 — 文書解析では低いほど良く、31B は 0.131 に達します。

• ツールなしで MMLU Pro 77.2、GPQA Diamond 78.8、AIME 2026 77.5 — テキスト面については、ZoomGain-9B はまったく主張していません。

• τ²平均69.0およびネイティブ関数呼び出し — エージェント型ツール使用。

• MRCR v2の8ニードル、128Kで43.4% — 長コンテキスト検索であり、256Kの見出しを最も大きく損なう数字。

最後の点は強調に値する。256Kウィンドウは256K分の実用的なアテンションではないし、G​oogleが128Kで43.4%まで低下する検索スコアを公開しているのは、ほとんどのモデルカードが示すより率直だ。ワークロードが「大きな文書から1つの事実を見つける」ことなら、G​emma 4 12Bのウィンドウは本物だが、深い位置での再現率は平凡であり、ZoomGain-9Bには同等の測定が存在しない。長文脈評価が実施されていないからだ。

ZoomGain-9Bが数値を示している箇所と、それぞれに付随する注意事項

すべて著者による報告値（公開済みハーネス上）：

• HR-Bench 4K は 90.25 で、その基となった Qwen3.5-9B の 82.13 から向上。高解像度知覚であり、今回のリリースの目玉となる主張です。

• V*Bench 93.19、86.91から向上。雑然としたシーンでの小物体検出。

• MMVP 70.00、60.00から上昇。ほぼ同一の2枚の画像に異なる正解があるペア画像テスト — ZoomGainが訓練された対象に最も近い既存の類似テスト。

• ZoomGainBench 55.48、32.13から上昇。held-in列は構造上水増しされており、著者らもそう述べている。

• 13のベンチマークにおけるホールドアウト平均は66.10で、59.75から上昇。意味を持つ数字。

注意点を、どれだけ気にするべきかの順に挙げます。第一に、著者リスト以外の誰も、その内容を一切再現していません。第二に、ベンチマークと訓練データは同じパイプライン由来であり、だからこそ論文は自らのベンチマークをホールドアウト平均から除外しています——評価に値する規律です。第三に、訓練セットは9,000件で、小規模すぎるため、効果が実在する場合でもその向上は限定的かもしれません。第四に、モデルにはホスト型エンドポイントがなく、執筆時点ではHub上のプロバイダーマッピングが空です。

コスト——実際にそれを左右する条件で捉える

Gemma 4 12BをQAT q4_0で使うと6.98 GBに、さらに0.18 GBのプロジェクターが加わります。16 GBのラップトップには余裕で収まり、8 GBのカードでも工夫すれば収まります。ZoomGain-9BはQ4_K_Mで5.63 GBに0.52 GBのプロジェクター、Q8_0では9.53 GBに0.62 GBです。9Bはモデル自体が小さいため、どの精度でもダウンロードサイズが小さくなります。また、線形注意を多用するトランクにより、長い系列長ではKVキャッシュが短くなります。これは、長いテキストではなく高解像度画像を入力する場合に重要です。

現在、この2つはいずれも当社経由では呼び出せません。Gemma 4 12B は OrcaRouter のカタログにありませんし、ZoomGain-9B も同様です。ですので正直に言えば、どちらもセルフホストにするかベンダーAPIを使うかという判断になります。当社がホストしているのは入力100万トークンあたり$0.06のGemma 4 26B A4B（出力100万トークンあたり$0.33、262Kウィンドウを備える）です。これは同じファミリーで、アクティブパラメータ予算は4倍であり、何かをダウンロードする前に Gemma の文書解析プロファイルがあなたのパイプラインに適しているかを確認する正当な方法です。1つのキーで、それと200以上の他のモデルを定価で、マークアップなしにカバーできるため、視覚エンドポイントと安価なテキストモデルにまたがる比較評価は、契約を3本結ぶのではなく半日で済みます。

階級ではなく職務で選ぶ

タスクが大きな画像の中の小さな細部——機器のシリアル番号、遠くの看板の文字、40個のうち1つの物体の色、建物正面の窓の数——であるなら、ZoomGain-9Bはまさにそのために作られたものです。ただし、その根拠は自己申告であり、ライセンスは読む必要があるという注意点があります。そのアーキテクチャは、あなたが直面しているまさにその失敗モードに最適化されています。

タスクがそれ以外の視覚的なものである場合——複数ページの文書を読む、場面を描写する、グラフについての質問に答える、画像だけでなく音声も入力する、その後に関数を呼び出す——G​emma 4 12B は完成品であり、比較はもはや接戦ではない。140言語での事前学習、ネイティブのツール呼び出し、公開された検索曲線を備えた256Kウィンドウ、6種類の量子化、そして説明なしで法務部門に渡せるライセンスを備えている。

タスクがその両方であるなら、正直な答えは、これら二つは選択肢ではなく一つのパイプラインの層だということです。現実的な2026年のドキュメントエージェントは、汎用マルチモーダルモデルで解析し、重要なクロップを知覚専門モデルへエスカレーションします。そして、興味深いエンジニアリングが存在するのはこのエスカレーションの部分です。なぜなら、ある詳細が2回目の呼び出しに値するかどうかを決めることになるからです。それはルーティングの問題であり、私たちがそれを気にかける理由でもあります。安価な呼び出しを安価なモデルに送り、エスカレーションを基準を満たす任意のエンドポイントに送るというルールは、設定変更1回で済みます。そしてフェイルオーバーによって、停止した専門モデルがパイプライン全体を止めることはありません。

証拠が支持する形式で述べられた評決

G​emma 4 12Bは、知覚ベンチマーク以外のあらゆる尺度——ライセンス、ドキュメント、配布、幅広さ、コミュニティ、そしてG​oogleが議論できる数値を公開しているという事実——において、より安全な購入です。ZoomGain-9Bはより興味深いモデルであり、論文を書いていない人によってまだ検証されていない証拠に基づく限りでは、おそらく特定の1つの用途にとってより適したツールです。

次に取るべき正しい一手は、あなたがそれらの文のどれに同意していると感じたかによって決まる。最初の文だったなら、QAT GGUFをダウンロードして、ここから先は読まないでほしい。二番目の文だったなら、重みとともにZoomGainBenchをダウンロードし——941枚の画像、1,000問、評価器、そして自分で算出できる一つの数値——それにG​emmaを通して実行してほしい。そうすればあなたはそれを実行した最初の人物になり、どちらのベンダーも現時点では知らない両モデルについての何かを知ることになる。