PAN 2 対 Gemma 4 12B：シミュレーターと推論器はライバルではない

インターネット上のあらゆる比較ページは勝者を決めたがるが、このページでは正直にそうするわけにはいかない。なぜならPAN 2とGemma 4 12Bは同じタスクを実行するわけではないからだ。PAN 2はMBZUAIのInstitute of Foundation Modelsによる290億パラメータの動画拡散トランスフォーマーで、画像と行動の説明を受け取り、次に何が起こるかを示す最大20秒の704×1248動画を返す。Gemma 4 12B UnifiedはGoogle DeepMindによる119.5億パラメータのエンコーダ不要のマルチモーダル言語モデルで、テキスト、画像、音声を受け取り、テキストを返す。一方は結果を描き出し、もう一方はそれについて語る。互いをランク付けするベンチマーク表を求めて来たなら、そんなものは存在しないし、存在し得ない。両者に共通する評価はないからだ。しかし実際に存在するのは現実の選択だ。両者が同じパイプラインにますます配備されているからである。推論側が計画を書き、シミュレータがその計画が何をするかを示す。したがって有用な問いは、どちらが優れているかではなく、あなたの問題が実際に必要とするのはどちらか、そしてそれぞれを保持するのに何がかかるかだ。

不一致を、端的に言えば

Gemma 4 12Bには公開評価表があり、PAN 2にはない。そしてこの非対称性は品質のシグナルではなく、カテゴリのシグナルである。GoogleがMMLU Pro、GPQA Diamond、AIME、LiveCodeBench、その他十数種類のテキストおよび視覚ベンチマークを公開しているのは、言語モデルが何年も前から存在する共通の尺度で測定されるからだ。PAN 2のモデルカードがPhysics-IQ Verified、PhyGround、RBench、そして人間の選好調査を公開しているのは、動画ワールドモデルが、最近発明され、主にモデルを開発している研究所によって作られた測定器で測定されるからだ。

• パラメータ — PAN 2: 単一のマルチモーダル拡散トランスフォーマー内に29B、凍結されたQwen3.5-9BテキストエンコーダーとWan 2.2 VAEを併せて読み込み。G​emma 4 12B: 11.95B、48層、エンコーダーフリーで、生の画像パッチと音声波形をデコーダーの埋め込み空間へ直接投影。

• 入力と出力 — PAN 2: 任意の最初のフレームと構造化されたワールド状態キャプションを入力すると、MP4 が出力されます。G​emma 4 12B: テキスト、画像、音声、動画を入力し、テキストを出力します。256K トークンのコンテキストとネイティブのシステムプロンプトサポートを備えています。

• ライセンス — PAN 2: 独自のコードと重みには Apache-2.0、サードパーティコンポーネントはそれぞれの条件に従います。G​emma 4 12B: G​emma 4 ライセンス条件の下で Apache-2.0。

• ディスク上の重み — PAN 2: IFM/PAN2リポジトリ内の60ファイルにまたがる86.17 GB。うち67.37 GBがトランスフォーマー自体、15.87 GBがテキストエンコーダー。G​emma 4 12B: BF16で約120億パラメータ、トランスフォーマー単体のおよそ4分の1。

それぞれが実際に何を得意としているのか、自らの証拠に基づいて

G​emma 4 12Bの数値は2つのうちより読み取りやすく、サイズに対して立派なものだ。ベンダー報告のMMLU Pro 77.2%、GPQA Diamond 78.8%、ツールなしのAIME 2026 77.5%、LiveCodeBench v6 72.0%、Codeforcesレーティング1659は、前世代を大きく引き離している——同じ項目でG​emma 3 27Bは67.6%、42.4%、20.8%、29.1%、110だ。視覚ではMMMU Pro 69.1%、MATH-Vision 79.7%を記録する。長文コンテキストでは、128Kで8つのニードルを用いたMRCR v2が43.4%となる。これらはG​oogle自身によるG​oogle自身のモデルの評価であり、モデルカードにもその旨が記載されている。独立した判定ではなく、十分に文書化されたベンダーの主張として扱うべきだ。

PAN 2にはそれに匹敵するものはなく、そう見せかけてもいない。その主張はより狭く、より奇妙だ。すなわち、構造化され時間に基づいた記述を条件とする拡散モデルは、ある行動の物理的・因果的帰結を、エージェントが候補計画を比較してから一つに決めるのに十分な程度にシミュレートする、というものだ。この主張を支えるのは、6つの能力カテゴリーにわたる300件の単一行動研究、456ステップを伴う200プロンプトの多段階研究、そして1,400回の比較による盲検の人間選好テストだ。三つともチーム自身によるものだ。それらのいずれも、G​emma 4 12Bが測定されるどの項目にも移し替えられるものではない。

デプロイの問題こそ、この比較が効いてくる場面だ

ここで両モデルは比較不能ではなくなります。どちらも、あなたが費用を払うハードウェア上で動かさなければならないからです。

Gemma 4 12Bは、BF16なら単一のコンシューマー向けまたはワークステーション向けGPUで動作し、量子化すればかなり少ないリソースで動きます。標準的な推論スタックでは初日からサポートされ、262Kの語彙を持ち、サンプリングと思考モードの既定値が文書化されています。ワークロードが文書理解、ツール呼び出し、長いコンテキスト上での推論であれば、これは退屈で実績のあるデプロイであり、興味深い判断はすべてプロンプティングに関するものです。

PAN 2のデプロイは退屈ではない。vLLMレシピ自身の見出しは、704×1248の動画13秒が4台のB300 GPU上で約119秒かかるというもので、classifier-free guidanceを2ランクに、Ulyssesシーケンス並列を2ランクにまたがって並列化している。デフォルトはBF16のH200 8台だ。サンプラーは50ステップを実行し、各ステップでguidanceがかかる。つまりクリップごとに29Bトランスフォーマーを100回フォワードパスするため、並列化は任意ではない。そして条件形式は自由テキストではない。モデルは構造化されたworld-stateキャプションを期待しており、リポジトリにはprompt-rewriterスキルが同梱され、そのバリデータがテキストエンコーダのバジェットに対して1,480トークンのソフトリミットと1,536のハード容量を強制する。

その最後の詳細こそが、ほとんどの評価を左右する点だ。PAN 2に願いを打ち込めば動画が返ってくる、というわけではない。出来事を順番に記述し、動作を行為者に結びつけ、カメラの動きを指定する必要があり、モデルカードには、エージェントのケーススタディが手作業で調整したプロンプトに依存していたことが明記されている。G​emma 4 12Bは、散文の段落を気軽に受け取り、最初の試行で有用なものを返してくれる。PAN 2が実際にどう感じられるかを知りたいなら、正直な答えは、チャットボックスではなく、インターフェース契約を備えたモデルのように感じられる、ということだ。

その2つが同じシステム内でどこに属するか

この比較が繰り返し取り上げられるのは、エージェントの作業に今や両方の要素が必要だからだ。テキストで計画し、実際の環境で行動するエージェントには、何をするかを決める推論モデルが必要であり、さらに、それを実行するとどう見えるかをプレビューするシミュレータもますます必要になっている。G​emma 4 12Bは推論モデルになり得る。スタックの残りと同一環境に配置できるほど小さく、画像と音声を入力として扱え、その指示追従とツール使用のスコアこそがこのモデルの狙いだ。PAN 2はシミュレータになり得るし、そのアーキテクチャ自体、G​emmaのようなものがすでにループ内にあることを前提としている。概念上の推論モデルは指示追従型の言語モデルなら何でもよいと定義されており、レポートは4つを、シミュレートされた計画が端から端まで完了する頻度で順位付けしている——Claude Opus 5.5が1位、次に中程度のエフォートのGPT-6 Astra、次にKimi K3、次にQwen3.8-Flashだ。

もしそれがあなたのシステムの形なのであれば、比較はまったく PAN 2 対 Gemma 4 12B ではありません。それは PAN 2 に推論モデルを加えたものであり、コストと品質のばらつきが実際に生じるのは、その推論モデルの選択です。

ここは、ルーターがマーケティング上の仕事ではなく実際の仕事をする場所です。シミュレーション側はご自身の GPU 上で実行する必要があります — PAN 2 をホストしているところは誰もありません、MBZUAI も含めて — しかし推論側は従量課金の API 呼び出しにでき、Claude Opus 5.5、GPT-6 Astra、Qwen3.8-Flash の間を切り替えて、どのモデルがあなたの計画を最も頻繁に完了させるかを見つけるのは、調達の問題ではなくルーティングの問題です。Qwen3.8-Flash は OrcaRouter 上にあり、1 つの API キーと自動フェイルオーバーを使って、3 つのプランナーをあなた自身の PAN 2 デプロイメントに対してベンチマークでき、プロバイダーの定価で0% のマークアップがそのまま適用されます。OrcaRouter は PAN 2 をホストしておらず、ルーティングすることもできません。パイプラインの安価な半分を弾力的なままにしつつ、高価な半分をハードウェアに固定しておくことができます。

この比較を変えるものは何でしょうか？

2点あるが、いずれも2026年11月11日時点では存在しない。第一に、PAN 2の作者ではない人物による独立評価だ。それまでは、その機能に関する主張はベンダー報告であり、そのように読むべきである。第二に、PAN 2のホスト型エンドポイントまたは正式なリリースノートだ。ラボのXアカウントにある1件の投稿はそれではない。これがあれば、セルフホスティングの判断は価格比較になり、このページのデプロイに関する節は一夜にして不要になる。

Gemma 4 12Bにはどちらも必要ありません。これは出荷済みで文書化され、広く導入されているモデルであり、Hugging Faceでの月間ダウンロード数は180万を超え、その評価表はコミュニティによって数か月間使われ、弱点を見つける時間も十分にありました。これを採用するリスクプロファイルはほぼゼロです。PAN 2を採用するリスクプロファイルは、制限事項のセクションに「シミュレーションされた計画の約3分の2に、実行されないステップが少なくとも1つ含まれる」と書かれているモデルのために、インフラに1週間を費やすことです。この一文は、それを飛ばす理由ではありません。GPUをレンタルする前に、自分が何を買おうとしているのかを知るための理由です。

選び方

テキスト、画像、音声を理解して回答する必要があるなら、PAN 2は候補ではなく、どれだけGPU予算を積んでも候補にはなりません。Gemma 4 12B、あるいはより大型のGemma 4バリアントのいずれかを、12Bの数値で足りない場合に選んでください。行動を取る前にそれがどう見えるかを確認する必要がある場合——ロボット操作、一人称視点のタスクシミュレーション、物理推論の評価——Gemma 4 12Bもそれはできません。そしてPAN 2は、それを試みる数少ないオープンウェイトモデルの一つです。両方を行うエージェントが必要なら、答えはモデルではなくスタックであり、面白いエンジニアリングはそれらの間のインターフェースにあります。PAN 2が要求する構造化キャプション形式こそ、Gemma 4 12Bのような推論モデルに生成するよう教え込まなければならないまさにその成果物です。