ARTEMIS vs Gemma 4 12B：ハーネスと脳は同じ買い物ではない

GoogleのARTEMISとGemma 4 12Bは競合しない。この2つを比較表に並べて勝者を選ぶのは、1週間を無駄にする最速の方法だ。2026年8月にGoogleがApache 2.0でオープンソース化したARTEMISは、Android自動化ハーネスである。文を1つ受け取り、ADB経由で実機のスマートフォンを操作し、何が起きたかを報告する。2026年6月3日にGoogle DeepMindがリリースしたGemma 4 12Bは、120億パラメータの高密度オープンウェイト・マルチモーダルモデルだ。ノートPCで動かせる脳であり、画面をタップできるシステムではない。一方は、もう一方の類のものを組み合わせなければ、見ることも、判断することも、行動することもできない。もう一方は、デバイスを手にすることさえできない。それでもこの比較には意味がある。その背後にある問いは、現在すべてのモバイルチームが口にしているものだからだ。自分が完全に所有する小規模なオープンモデルでAndroid自動化はできるのか、それともARTEMISのようなハーネスの背後にホスト型フロンティアモデルが必要なのか。この問いには確かな答えがあり、それはどちらのベンダーの発表記事が示唆するものでもない。

まず、カテゴリー錯誤を率直に述べると

ARTEMISにはモデルは含まれていない。自身のバッジには「Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL」と記されており、どちらを使うかを決めるファイルはcode>config/artemis.jsonc/code> だ。これは制御ループである。アクセシビリティを最優先したロケーター、タップが着地する前にポップアップを消す安全チェック、古いスクリーンショットを視覚的な要約へと圧縮するセッション台帳、そして2つの実行プロファイル —— 1ステップあたり約3～5秒のFlashと、1ステップあたり約15～40秒でPlanner、Operator、読み取り専用のCheckerを備えるPro。世界についてARTEMISが知ることはすべて、自身が書いたわけではない視覚言語モデルを通じて届く。

Gemma 4 12Bは正反対の形の存在だ。それはチェックポイントであり、デバイス接続もADBもアクセシビリティサービスもなく、タップが実行可能な行為だという概念すらない。スクリーンショットを渡して次に何をすべきか尋ねれば、おそらくは的確に答えてくれる——しかし、答えることがその主体性の及ぶ範囲のすべてだ。「モデルが(540, 1180)をタップせよと言った」ことと「スマホが(540, 1180)をタップした」ことの間にあるすべてはARTEMISの仕事であり、それこそが作業の大部分なのだ。

つまり、この対決を正直に位置づけるなら、ARTEMIS対Gemmaではありません。12Bのオープンモデルは、Androidエージェントの推論レイヤーとして何をもたらしてくれるのか、そして、より大きなものに対価を払う必要があるのはいつなのか。

Gemma 4 12Bが実際にもたらすもの

中型モデルとしては異例なほど仕様が充実しており、その3つの特性はモバイル向けのあらゆるものにとって重要だ。

• 入力レイヤーにおいて真にマルチモーダルです。入力されるのはテキスト、画像、音声、動画で、出力されるのはテキストです。これは、別個のマルチモーダルエンコーダを必要としない初の中規模Gemmaであり、ファミリーで初めて音声をネイティブに取り込むモデルです — これはUI自動化機能ではありませんが、テストシナリオにボイスメモ、読み上げ通知、音声キューに基づくアクセシビリティ経路が含まれるなら、本当に有用な機能です。

• 手に持てる12Bです。Artificial Analysisは、Apache 2.0の下で総パラメータ数12Bとして掲載しています——収益制限も研究条項もなく、誰にも許可を求めずに製品を構築できるライセンス——256Kのコンテキストウィンドウ、推論有効、実測出力速度は毎秒109.2トークンです。コミュニティの報告では、重みはSFP8で約13.4 GB、Q4_0で約6.7 GBで、これは16 GBメモリのラップトップに収まる規模です。

• 安価だが、同クラスで最も安いものではない。Artificial Analysis は100万入力トークンあたり$0.10、100万出力トークンあたり$0.30と記載しており、同じパネルで、これは同程度のサイズのオープンウェイトモデルとしては高めであり、中央値は入力$0.05、出力$0.15であると指摘している。キャッシュ読み取りは約$0.03で推移する。

ベンチマークの状況はいつものミッドサイズの混沌で、注意深く述べる価値がある。なぜならトラッカーサイトの数字は互いに食い違っているからだ。Artificial Analysis は推論構成を Intelligence Index 14 と採点し、同クラスの142のオープンウェイトモデル中21位に位置づけている――これは立派な中位の位置であり、フロンティアからはほど遠い。Google 自身の位置づけでは、12B はより大きな Gemma 4 26B-A4B にほぼ匹敵し、前世代の Gemma 3 27B を推論・科学・文書タスクで上回る。第三者の集計サイトは、LiveCodeBench v6 で約72%、MMLU-Pro で77.2%、GPQA Diamond はどのトラッカーとどの構成を読むかによって66%から79%の範囲としている。これらは12Bとしては立派な数字だ。またそれらは未監査の自己申告による集計値であり、4つのサイトが13ポイントも食い違うなら、一点の値ではなく範囲で捉えるべきだ。

ARTEMISがもたらすもの、ここでの主題ではないので、1段落で

ARTEMIS は、モデルには決してできないことすべてを提供します。アクセシビリティ要素のインデックスが存在すればそれを使い、存在しなければビジョンと座標にフォールバックする、動的優先のロケーターです。つまりメンテナンスすべき XPath はなく、Compose や Flutter の画面上で古びてしまう ID もありません。タップが当たろうとしていたシステムポップアップを傍受するセーフティネット、4 段階のチェックポイント検証（code>off/code> から code>strict/code> まで）、自動クラッシュスタック、キーフレームのスクリーンショットと診断レポート、Web コンソール、pytest と CI 向けの Python SDK、そして — これほど速く広まった理由でもありますが — そのすべてを 5 つのツールとして Antigravity、Claude Code、Codex、その他の MCP 対応アシスタントに公開するネイティブ MCP サーバーです。Google Research の AndroidWorld ベンチマークで主張されている 99%+ の完了率は、2026 年 9 月 11 日時点の公開リーダーボードで 99.1% に位置づけられており、人間のパフォーマンスの 80% と対比されます。この数値は自己申告であり、リーダーボードは提出内容を検証していないため、監査済みの事実ではなく、ベンダーによる強い主張として受け止めてください。

その2つが本当に重なる唯一の場所

小さな Gemma が作業全体を担う実在のアーキテクチャがあり、クラウドモデルが実際に何に対してコストを支払っているのかを示してくれるので、注目に値する。Orion と呼ばれるオープンソースの Android エージェントフレームワークは完全にオンデバイスで動作する。MediaProjection が画面をキャプチャし、量子化された Gemma-4-E4B-it は Qualcomm Hexagon NPU 上で LiteRT-LM を介して動作し、次のアクションを選択し、Android Accessibility Service がタップをディスパッチする。クラウド API はなく、トークンごとの請求もなく、画面が端末を離れることもない。これは Galaxy S25 Ultra で検証されており、それ自身の説明によれば、Hexagon NPU を備えたハードウェアでのみ意味がある — モデルには約 3 GB のストレージが必要で、フレームワークは arm64 上の QNN HTP v79 を対象としている。

それが、今日動いている小規模モデルのAndroidエージェントの姿であり、そこに至るまでにどれほどの代償を払うかにも注目してほしい。モデルは量子化され、NPUにマッピングされている。行動空間はピクセルだ。スクリーンショットしか見ないモデルは「element index 12」を解釈できないからである。設計全体は垂直スタック——モデル、ランタイム、シリコン、フレームワーク——であり、だからこそこれはフレームワークであって、あなたのテストスイートにそのまま差し込めるものではない。Gemma 4 12Bは、そのスタックのE4Bのおよそ3倍のパラメータ数で、スマートフォンで実行可能な形式では提供されていない。4ビット量子化の12Bは、ワークステーションかサービングエンドポイントであり、NPU常駐ではない。

それぞれが実際に勝つところ

• 大規模運用時のコスト — セルフホスト型の Gemma 4 12B にはトークン単位の課金が一切ありません。一方、ARTEMIS の実行では、すべてのステップでステップごとのビジョン呼び出しが発生します。毎晩実行される 500 テストの回帰スイートでは、この差はどのベンチマークのギャップよりも速く積み上がります。

• プライバシー — 自分のハードウェア上で動く Gemma 4 12B は、スクリーンショットをどこにも送信しません。ARTEMIS のアクセシビリティヘルパーは明示的にオンデバイスで、何も送信しませんが、スクリーンショットごとに行われるモデル呼び出しは、設定したプロバイダーに送信されます。

• 実際のアプリにおけるタスク信頼性 — ARTEMISが、大差をつけてトップだ。なぜならそれは、セーフティネット、チェックポイント検証、リカバリを備えたハーネスだからである。より優れたモデルであっても、それに代わるものにはならない。

• 音声と長文ドキュメント — Gemma 4 12B。技術仕様書にはネイティブの音声入力と256Kトークンのコンテキストウィンドウが記載されている。ARTEMISはそのどちらについても意見を持たない。

• 最初のテストが通るまでの時間 — ARTEMIS、圧倒的な大差。クローンして、code>./start.sh/code>、USBデバッグを有効にしたデバイスを接続し、最初のタスクがアクセシビリティヘルパーをインストールするのを待つだけ。素のチェックポイントで同等のものを構築するのは数か月がかりのプロジェクトであり、上記のOrionの例は、それが完成したときにどう見えるかを示しています。

• 推論レイヤーを改変できる自由 — Gemma 4 12B は Apache 2.0 の重みで、独自の UI 語彙に合わせてファインチューニングできます。ARTEMIS は Apache 2.0 のコードですが、推論はあなたのモデルが存在する場所にあります。

現在実際に利用可能な、このペアリングのバージョン

今週実際にデプロイできるものについては、はっきりさせておこう。ARTEMISのテスト済みバックエンド一覧はGemini、Claude、GPT-4o、Qwen-VLであり、Gemma 4 12Bはそこに載っていない。また、Gemma 4 12BがARTEMISセッションを動かすという公開評価も存在しない。設定ファイルはモデルエンドポイントを受け付けるため、この組み合わせは証明済みというより可能性があるというだけであり、試す場合はドキュメントに従うのではなく独自の作業を行うことになる。率直に言っておく価値がある。ARTEMISのロードマップには「オンデバイス軽量VLM」という項目があり、それを埋めるモデルが12Bになることはない。

Gemma 4 12B も当社のカタログにはありません — 当社がルーティングしているのは他の Gemma 4 サイズ、Gemma 4 26B-A4B と Gemma 4 31B であり、12B ではありません。ですので、それが求めるチェックポイントなら、ベンダー自身の配布物と、よくある第三者ホストから入手することになります。ルーティングされたカタログの目的は、この問題のもう半分にあります。ホスト型ビジョンモデルで ARTEMIS を動かす計画なら、そのモデルはすべての実行のすべてのステップに応じて増えていく明細項目であり、効くレバーは表示価格ではなくキャッシュ価格です。Pro の実行では、ステップごとに増えていくコンテキストを読み直すため、キャッシュ読み取りが安いモデルは、新規入力が安いモデルよりもはるかに大きく計算を変えます。同じ理由で、プロバイダーのフェイルオーバーはインシデントログではなく設定に置くべきです。長い Android セッションは1つのエンドポイントにコンテキストを保持しており、ステップ74でのプロバイダーの一時的な不調が実行そのものを失わせます。

次はどれにしますか

モバイルアプリと回帰テストスイートがあるなら、必要なのは ARTEMIS だ。Gemma 4 12B はそのどの部分の代替にもならない——せいぜい、後から、ドキュメントにも残さず、自分の時間で差し替えるかもしれないエンジンにすぎない。ネットワークも呼び出しごとのコストもない携帯端末で動かさなければならない製品を作っているなら、必要なのは小さなモデルだ。そして Gemma 4 12B は、実際に持っているフォームファクターにはおそらく大きすぎる。12B が収まると決めつける前に、Orion が NPU 上で 4B クラスの Gemma を使って何をしたかを見てみるといい。

その二つの決定が衝突するのは一点だけであり、それは能力の問題ではなくコストの問いだ——1日あたり何回のビジョン呼び出しを買う気があるか？　それに正直に答えよ——テストを数え、ステップを数え、夜間実行を数え——そうすれば、ホスト型モデル上のハーネスとセルフホスト型スタックのどちらを選ぶかは、自ずと決まる。

何ルーティングされたカタログのためのものかは、この問題の残り半分です。つまり、ホスト型のビジョンモデル上で ARTEMIS を動かす計画なら、そのモデルは、実行のあらゆるステップごとに膨らんでいく費用項目になります