「MiniCPM-V 4.7 vs Gemma 4 12B」と書かれたタイトルカードがあり、サブタイトルは「片方はベンチマークを届け、もう片方はその画像を届ける」。細い縦の区切り線で分けられた2枚の角丸カードがあり、左側には MiniCPM-V 4.7 と「グラフのみ」、右側には Gemma 4 12B と「数値表」というラベルが付いている。
Engineering & Research

MiniCPM-V 4.7 対 Gemma 4 12B:一方はベンチマークを公開し、もう一方はその画像を公開する

著者

Rowan Sterling

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

MiniCPM-V 4.7 のモデルカードを開き、評価セクションまでスクロールしてください。そこには3つの画像があります。性能対推論時間のフロンティアプロット、総合的な視覚言語比較、総合的な言語比較です。表はありません。次に Gemma 4 12B のカードを開き、同じ場所までスクロールしてください。MMLU Pro、AIME 2026、LiveCodeBench v6、GPQA Diamond、Codeforces ELO、MMMU Pro、MATH-Vision、および文書解析エラー率があり、それぞれにスプレッドシートへコピーできる数値が付いています。両モデルともオープンウェイトで、どちらも Apache 2.0 であり、どちらも所有するハードウェアに収まるマルチモーダルモデルとして位置づけられています — そして、その成果を確認できるのはそのうちの一方だけです。このようなリリースの背後にある、文書化された AI 障害やエージェントインシデントは、OrcaRouter AI Incident Archiveに集められており、各エントリには独自の情報源、重大度、信頼度グレード、係争中フラグが付いています。

その非対称性こそが実際の比較だ。OpenBMBが2026年10月12日に公開したMiniCPM-V 4.7と、Google DeepMindが2026年6月3日に公開したGemma 4 12Bは、同じ種類の対象ではなく、違いはサイズではない。違いは、各ベンダーが自らの主張のどれだけを文章で明示する用意があるかにある。

各ベンダーが数字で語る内容

Gemma 4 12B のモデルカードは、5 つの同系列モデルと 1 つの前世代モデルに対するスコアを公開しており、ベンチマークごとに評価ハーネス名が記載されています。特に 12B Unified バリアントについて、ベンダーは次のように報告しています。MMLU Pro で 77.2、ツールなしの AIME 2026 で 77.5、LiveCodeBench v6 で 72.0、GPQA Diamond で 78.8、Codeforces ELO 1659、3 回の実行平均で Tau2 が 69.0、MMMLU で 83.4、そして 12B モデルの実力を最も正直に示す数値として、ツールなしの Humanity's Last Exam で 5.2 です。視覚側では、MMMU Pro で 69.1、MATH-Vision で 79.7、OmniDocBench 1.5 で平均編集距離 0.164(低いほど良い)を報告しています。

それらはベンダーの数値です。独立した立場の誰もがそれらに同意する必要はなく、これほど広く展開されているモデルでは、その一部は別のハーネスに触れた時点で通用しなくなるでしょう。しかし反証可能であり、そこが重要な点です。自分の評価で MMLU Pro が 62 だったなら、自分のセットアップかカードのどちらかに問題があると分かります。

MiniCPM-V 4.7 のモデルカードには、文章による4つの数値的主張があるだけで、ベンチマーク表はまったくありません。35B-A3B バリアントは、iPhone 17 Pro Max 上で約3GBのメモリを使用しながら、毎秒13トークン以上でデコードします。Lookahead Expert Scheduling は実機で5倍の高速化を実現します。1B バリアントは、総合スコアと推論効率で Qwen3.5 0.8B を上回ります。また Instruct モードでは、35B-A3B が Qwen3.6 35B-A3B よりも短い推論時間でより高い総合スコアに達します。それ以外のすべて — 比較のあらゆる軸 — はプロット画像の中にあります。

それは不誠実ではない。チャートには情報があり、フロンティアプロットは、異なるバッチサイズで測定された各種ベンチマークのスコア表よりも、速度と品質のトレードオフを要約する手段としておそらく優れている。しかしチャートは引用できず、再導出もできず、誰かがピクセル位置を読み取らない限り他社のチャートと比較することもできない。モデルの唯一の公開評価が画像である場合、誰かが測定するまでそのモデルを未測定として扱うのが適切な姿勢だ。

The Google blog post introducing Gemma 4 12B, showing the release headline, the model description and the published benchmark figures for MMLU Pro, AIME 2026, LiveCodeBench v6 and GPQA Diamond.

2つのアーキテクチャは異なる問題を解決している

評価セクションを越えて読み進めると、設計は大きく分岐しており、それは単一のスコアよりも有用なシグナルだ。

Gemma 4 12Bはエンコーダーフリーです。独立した視覚タワーも独立した音声エンコーダーもありません。生の画像パッチと音声波形は、軽量な線形層を通じて言語モデルの埋め込み空間へ直接投影されます。Googleが挙げている理由は、レイテンシーと単一パスでのファインチューニングです。つまり、1つのモデル、1回のトレーニング実行で、すべてのモダリティを扱います。その代償として、同社は、専用の視覚フロントエンドなしでも十分に「見る」ことを学習できると、デコーダーのみのトランスフォーマーに賭けています。同社自身のMMMU Proのスコア69.1は、約5億5000万パラメータの視覚エンコーダーを備える31Bの兄弟モデルの76.9と対比され、この賭けが細かな視覚的推論において何らかの犠牲を伴うことを示唆しています。

MiniCPM-V 4.7は逆の方向へ進みます。専用の視覚タワー(隠れ幅1152、27層、980ピクセルタイル)を維持し、そのタワーを安価にするためのエンジニアリングに力を注ぎます。LLaVA-UHD v4から借用したintra-ViTの早期圧縮は、エンコーダの後ではなく内部で視覚トークンを削減し、混合4×/16×ダウンサンプリングスイッチにより、呼び出し元はリクエストごとに詳細とコストを選択できます。言語側では、35B-A3Bはトークンごとに8個のエキスパートを活性化する256エキスパートの混合であり、40層にわたって線形アテンションとフルアテンションの3:1パターンに階層化されています。

その設計の実用上の帰結は、MiniCPM の動画処理経路が異例なほど明示的であることだ。モデルカードでは max_num_frames が 128 に設定され、メインフレーム間にサブフレームをグリッド状に合成する stack_frames パラメータがあり、画像(36)と動画(1)で別々のスライス数ガイドラインが示されている。画面録画や講義動画を読み取るものを作っているなら、何をサンプリングするかに対するこのレベルの制御こそが利点だ。Gemma 4 12B もフレーム列として動画を扱うが、そのカードはサンプリングの経済性ではなく形式を文書化している。

実際にそれを決める行

• パラメータ — 合計35.21B、256個中8個のエキスパートがアクティブ、さらに1.55Bのデンスな兄弟モデル 対 11.95Bのデンス

• 入力モダリティ — テキスト、画像、動画(OCRとPDF解析を明記)対 テキスト、画像、動画、ネイティブ音声

• コンテキスト — 262,144トークン、12Bでは262,144トークン、Eシリーズの兄弟モデルでは128K

• ライセンス — Apache 2.0、重みはダウンロード可能 vs Apache 2.0、重みはダウンロード可能

• 公開された評価 — フロンティアおよび比較チャート、8つの兄弟モデル全体にわたる4つの文章による主張と完全な数値表の対比

• 独立評価 — 本稿執筆時点では、4.7のどちらのバリアントにもArtificial Analysisの項目はありません。これに対し、知能の位置づけとスループットを掲載したArtificial Analysisのページがあります

• BF16でのメモリ — 35B-A3Bでは重みが約70 GB、1Bでは約3.1 GBに対し約24 GB

• 提供される量子化フォーマット — GGUF、bitsandbytes、AWQ、GPTQ、FP8、int4 対 上流チェックポイント。さらに G​oogle およびサードパーティによるコミュニティ GGUF と QAT ビルド

• ベンダーが挙げるサービング経路 — SGLang、vLLM、llama.cpp、Ollama、Transformers、OpenVINO vs Transformers。より広範なエコシステムはコミュニティによって提供される

• オンデバイス対応 — iOS、Android、HarmonyOSアプリに加え、Rockchip、Houmo、Intel、AMD、ArmのDay 0サポートを備える一方、ノートPCとコンシューマーGPU向けに最適化された設計との対比

3つのワークロード、3つの答え

大量のスクリーンとドキュメントの理解 ここがMiniCPM-V 4.7の設計が狙いを定めている領域であり、そのドキュメントが最も充実している部分です。4倍ダウンサンプルモード、36スライス設定、OCRおよびPDF解析のクックブック項目、そして動画向けの明示的なフレームサンプリング制御は、いずれもレンダリングされたコンテンツを構造化テキストに変換するパイプラインを説明しています。Gemma 4 12Bもこの点では信頼に足ります。OmniDocBenchの編集距離0.164は実際の文書解析の数値ですが、ベンダーのカードは文書解析を組織的原理ではなく数ある能力の一つとして扱っています。

聴く必要があるものはすべて。Gemma 4 12Bは音声をネイティブに扱い、そのカードではCoVoSTが38.5、FLEURSが0.069です。MiniCPM-V 4.7は扱いません。OpenBMBの音声関連の取り組みは別系統のMiniCPM-oラインにあり、4.7のカードには音声モダリティが一切記載されていません。入力に音声が含まれるなら、比較は始まる前から決着しています — 一方のモデルは前に文字起こしステップが必要で、もう一方は不要です。

固定予算で単一のコンシューマー向けGPUを使う場合。Gemma 4 12Bの4ビット版は8GB未満に収まり、コンテキスト用の余裕も残ります。一方、35B-A3Bの4ビット版はコンシューマー向けカード1枚には収まらず、そのカード自体のパフォーマンスの話は、70GBのエキスパート重みをページングするGPUではなく、3GBを常駐させ続けるスマートフォンに関するものです。制約が「すでに持っているカード1枚」であれば、答えは12Bであり、適用できるMiniCPMは1Bバリアントのみです。

買い手が価格に織り込むべきギャップ

どちらのモデルも無料でダウンロードできるため、ライセンス表記の点では互角であり、実際のコストはその後に続くすべてにある。Gemma 4 12Bの場合、エコシステムには4か月半の追いつく時間があった。Google自身による量子化ビルド、コミュニティによるGGUF変換、QATチェックポイント、そして同じ尺度で100以上の他のモデルと比較できる独立系インデックスだ。MiniCPM-V 4.7の場合、新しいアーキテクチャに移ってまだ8日しか経っていない。新しいmodel_type、新しいアテンションレイアウト、最低限必要なTransformersバージョンがあり、しかもベンダー自身のモデルカードは、CUDAバージョンの不一致がtorchcodec経由の動画デコードを壊すという注意書きから始まっている。

それはモデルへの批判ではない。何かを導入した最初の2週間に必ずかかる標準的なコストであり、グラフのみの評価を伴う静かなリリースが、本番導入経路の候補としては不適切で、並行比較テストの候補としては適切である理由でもある。そのテストを安く済ませる方法は、新規のものを評価している間も既存のものを稼働させ続けることであり、これはモデリングではなくルーティングの問題だ。

OrcaRouter は、200 以上のホスト型モデルを 0% のマークアップで 1 つの OpenAI 互換エンドポイントの背後で実行し、プロバイダーの定価をそのまま直接反映します。そのため、2 つ目のモデルを試すコストは、2 つ目の契約ではなく設定変更です。そのルーティング DSL は、1 回の呼び出しでプライマリとフォールバックを保持でき、自動フェイルオーバーにより、プロバイダーに障害が発生した時間帯でもプライマリ経路を維持します。ここで重要なのはカバレッジに関する注記です。当社のカタログには Gemma 4 26B-A4B と Gemma 4 31B を収録していますが、この 12B は収録しておらず、MiniCPM-V 4.7 はまったく収録していません。この記事が扱っている両モデルは、自分で実行するチェックポイントです — ルーターはそれらを取り囲むものであり、それらを呼び出す方法ではありません。

The OrcaRouter model page for google/gemma-4-31b-it, showing the model entry, its context window and the provider routing options available through the platform.

何がそれを決着させるのか

現在の比較は、言うのは簡単で直すのも簡単な形で偏っている。Gemma 4 12Bには、異議を唱えられる数値がある。MiniCPM-V 4.7には、受け入れるか拒否するしかない主張がある。毎秒13トークン、3 GB、5倍の高速化、名前が示された競合より、名称不明の総合スコアで優れている、というものだ。そうした項目はどれも、表の1行になっているほうが役に立つ。そしてOpenBMBがそれを作れるのは明らかだ——このファミリーの以前のモデルカードには、標準的なベンチマーク表が載っていた。

だから、有用なスタンスは意図的に非対称だ。今週中に決断が必要なら、公開数値から挙動を予測できるモデルは Gemma 4 12B であり、その音声サポートは、どれだけ待っても MiniCPM-V 4.7 には加わらない能力だ。スマートフォン向け、HarmonyOS 向け、Rockchip ボード向け、あるいは4×ダウンサンプル経路がまさに適切な画面や文書の読み取り向けに作っているなら、MiniCPM-V 4.7 のエンジニアリングは、このサイズで Google が投入したどの製品よりもあなたの問題に特化している——そして欠けている表は、それを切り捨てる理由ではなく、自分で測定する理由だ。

A two-column scoreboard titled "MiniCPM-V 4.7 vs Gemma 4 12B — the scoreboard", with matching rows on both sides: parameters 35B total and 3B active against 11.95B dense; modalities text, image and video against text, image, video and audio; 262,144-token context on both; Apache 2.0 on both; charts only against a numeric table for published evaluation; and no independent score against an indexed independent score.

最後に、率直に言っておく価値があることが一つある。なぜなら、それはどちらのベンダーの枠組みにも当てはまらない部分だからだ。これらのモデルはどちらも、フロンティアAPIと同じ買い手を争っているわけではない。競合しているのは、モデルをローカルで一切動かさないという選択肢だ。Gemma 4 12Bの最強の論拠は、4か月のエコシステムがあるからこそ、地味な道が機能するということ。MiniCPM-V 4.7の最強の論拠は、3 GBで動く1Bモデルが、12Bでは行けない場所で動くということだ。まず制約を選び、それからモデルを選べ — ベンチマーク表が届いたところで、それはすでに選んだカテゴリー内でモデルを並べ替えるだけだ。