ARTEMIS 対 Qwen3.8：同じベンチマーク、二つの異なる役割

GoogleのARTEMISとQwen3.8はどちらもAndroidWorld上で測定されている。そしてこの一致は、どちらのプロジェクトの発表報道においても、最も誤解を招く単一の事実である。ARTEMISはAndroid自動化ハーネスだ——Googleが2026年8月にApache 2.0の下でオープンソース化したもので、自然言語の指示を受け取り、ADBを通じて実機のスマートフォンを操作し、Google Researchの116タスクからなるAndroidWorldベンチマークで99%以上の完了率を主張しており、2026年9月11日時点の公開リーダーボードでは99.1%を示している。Qwen3.8-FlashはAlibabaのマルチモーダルなMixture-of-Expertsモデルで、2026年8月26日にリリースされオープンソース化された。その発表資料では、AndroidWorldにおいてClaude Opus 4.6を22.5ポイント上回ると主張している。これらの数字の一方は、あるシステムのスコアである。もう一方は、誰か他の人が書いたシステムに対するモデルの寄与だ。これらをライバルとして読めば、どちらについても誤った結論を導くことになる。ひとつのスタックの両半分として読めば、あの興味深い問い——長いAndroid実行には実際いくらかかるのか——にようやく答えが出る。

サイズ別に見るQwen3.8とは

「Qwen3.8」はチェックポイントではなくファミリーであり、ここで重要なのはフラッグシップではない。

• Qwen3.8-Max — フラッグシップ層。最先端のホスト型モデルに対抗する位置づけです。

• Qwen3.8-27B — オープンな中規模デンスの兄弟モデル。

• Qwen3.8-Flash — 新しい「Next」アーキテクチャを採用したマルチモーダルMoE：トランスフォーマーのパラメータは125Bながら、トークンごとに活性化されるのはわずか6B。キャッシュヒット時の長文脈高速化を狙い、GDNと融合させたQwen Sparse Attentionによるハイブリッドアテンション方式、情報チャネルを4つに分割するGated Residual、そしてN-gram埋め込みの51Bパラメータを備える。AlibabaはNextアーキテクチャを次世代Qwen4のプロトタイプと説明している。

• コンテキスト — ネイティブで大容量。ほとんどの記載では100万トークン、一部の情報源では262Kネイティブを100万に拡張と説明されています。最大出力は約131Kです。

• 価格 — 公開されているAPI料金は入力トークン100万あたり¥1、出力100万あたり¥3で、当社のカタログでは$0.15 / $0.47に相当し、キャッシュ読み取りは$0.018、キャッシュ書き込みは$0.230です。アリババ自身の説明では、100万あたり¥0.1という低価格のキャッシュヒット料金こそが長い入力のエージェントワークフローを実用可能にするとしており、数字もそれを裏付けています。キャッシュ読み取りのコストは新規入力トークンのおよそ12分の1です。

• オープンウェイトに関する疑問 — Flashのウェイトはリリース当日にHugging FaceとModelScopeで公開された。ファミリーの数え方に注目したい。Alibabaによれば、Qwen3.8シリーズはMax、27B、Flashの3サイズをオープンソース化しており、合計2.4Tパラメータになるが、これはシリーズ全体の累積値であり、個々のモデルのパラメータ数ではない。

ベンチマークの主張は広範で、アリババ自身の発表資料によれば、すべて絶対値ではなく差分だ。SWE-bench ProはOpus 4.6に対して+9.1、JobBenchは約+20、MathVisionは+25.1、ERQAは+31.5、AndroidWorldは+22.5。競合モデルの名称不明の構成に対する差分は、リーダーボードのエントリと同じカテゴリーの証拠ではなく、これらはいずれも独立に再現されていない。同社が看板に掲げる枠組み——業界のコスト「キルライン」をトークンあたりの価格から完了タスクあたりの総コストへ再定義すること——こそが、この比較で実際に重要な主張であり、それは自分で検証できるものでもある。

ARTEMISが何をもたらすのか、そしてなぜ2つの数値は比較できないのか

ARTEMISにはモデルが含まれていません。そのバッジには「Multi-Model — Gemini | Claude | GPT-4o | Qwen-VL」と記されており、その設定はcode>config/artemis.jsonc/code>にあります。これがもたらすのは、モデルの推測を検証済みのアクションに変える部分です。すなわち、可能なときはアクセシビリティツリーを読み、ComposeやFlutterのサーフェスから何も得られないときはビジョンと座標にフォールバックする動的優先のロケーター、タップが実行される前に邪魔なシステムポップアップを片付けるSafety Net、4段階にわたるチェックポイント検証（レベルはcode>off/code>からcode>strict/code>まで）、そして古いスクリーンショットを視覚的な要約に圧縮して100ステップ分のコンテキストを手頃なコストに保つセッション台帳です。

ネイティブのMCPサーバーも同梱されています。code>uv run artemis mcp --install all/code> は code>mobile_run_task/code>、code>mobile_manage_task/code>、code>mobile_get_device_state/code>、code>mobile_inspect_trace/code>、そして code>mobile_diagnose/code> を Antigravity、Claude Code、Codex、その他MCPを話すあらゆるものに公開します — これこそがこのプロジェクトをこれほど速く広めた理由であり、その目的を最も明快に言い表したものでもあります。ARTEMISはエージェントが呼び出すツールです。モデルもまた同様であり、だからこそ両者を同じ列に並べるのはカテゴリーエラーなのです。

ARTEMISの99.1%を読む際に注意すべき点が一つあります。AndroidWorldのリーダーボードは、提出された内容を独自に検証しないことを明言しています。そこに掲載されているあらゆる数値は、ARTEMISのものも含め、それを生み出したチームによる自己申告です。同じ注意点は、ローンチ記事で引用される差分には、より強く当てはまります。

「vs」の2通りの読み方

この対戦には誠実な解釈が二つあり、それらは正反対の方向を指している。

ライバルとして、この比較の本質はこうだ。「ホスト型のモデルとハーネスを組み合わせて使うべきか、それとも、モバイルタスクで十分に優秀でハーネスを自分で書けるモデルを使うべきか」。そう捉えるなら、ARTEMISは自動的に勝つ。モデルはハーネスではないからだ——そして、AndroidWorldの+22.5ポイントの差は、システムのポップアップがタップを奪ったとき、Qwen3.8-Flashが100ステップの実行の74ステップ目を耐え抜けるかどうかを教えてはくれない。ベンチマークの表のどこにも、セーフティネットを測るものはない。

スタックとして、この比較は有用だ。ARTEMISが制御ループであり、Qwen3.8-Flashはそれに使えるもっともらしいエンジンであり、問いは長文でのコストと信頼性になる。AlibabaのFlashティアに関する売り込み全体——重要な数字はトークンあたりの価格ではなく、完了したタスクあたりの総コストだという——は、まさにAndroid自動化スイートが評価される指標であり、自分のテストセットで一日で測定できる指標でもある。

厄介な点が立ちはだかっている。Qwen3.8-Flash は ARTEMIS のテスト済みバックエンド一覧に載っておらず、そこには Gemini、Claude、GPT-4o、Qwen-VL が挙げられている。Qwen-VL は別のモデルだ。ハーネスはモデルエンドポイントを指定するもので、この組み合わせは技術的にはもっともらしいが、その評価を公開した者は誰もおらず、もし実行するなら、ドキュメントに従うのではなく独自の作業を行うことになる。

決め手となる計算

どちらのローンチ記事があなたを何かに説得するよりも前に、やっておく価値のある計算をここに示す。それは測定ではなく、仮定を明示したモデルであり、自分の数値に置き換えるべきだ——しかし、その形こそが要点なのだ。

100ステップのPro実行を例に取りましょう。Proは1ステップあたりおよそ15～40秒で動作するため、実時間は25分から1時間の間になり、各ステップではスクリーンショットと、次第に大きくなるプロンプトが送信されます。1ステップあたり8,000プロンプトトークンと300出力トークンを仮定します — これはスクリーンショットと指示に対する控えめな予算で、生のフル解像度フレームにかかるコストをはるかに下回ります。つまり、1回のテストで800,000入力トークンと30,000出力トークンです。

• Qwen3.8-Flashの$0.15 / $0.47では、その実行のコストは入力が約$0.12、出力が約$0.014 — およそ13セントになります。

• 最先端モデルのホステッド料金が、入力100万トークンあたり1桁台の低い方、出力100万トークンあたり10代半ばだとすると、同じ実行はセントではなくドル単位になる。ここでこの2つの料金を意図的に大ざっぱに扱っているのは、正確な数字がどのフロンティアモデルを選ぶかによって変わり、重要なのはその比率だからだ。どのテストでも、どの実行でも、桁が1つ変わるのだ。

• そしてARTEMISは各ステップで増大するコンテキストを再読み込みするため、キャッシュ読み込みがより安価なモデルほど、この比率はさらに改善する。Qwen3.8-Flashのキャッシュ読み込みは100万トークンあたり$0.018で、新規入力の$0.15に対して12分の1の価格だ。そしてこれこそが、Alibabaがエージェントワークロードについて語るときにキャッシュヒット率をたびたび持ち出す理由である。

では、これをあなたのスイートの数だけ掛け合わせてみよう。500テストの回帰を毎晩実行すると、1晩で4億入力トークンになる。そしてテスト1件あたり13セントか3ドルかという違いは、継続的に実行できるハーネスと、週1回のスケジュールでしか回せないハーネスとの違いになる。

実行すること、そして配管が重要になるところ

自分のアプリでその計算を検証したいなら、正直なやり方はARTEMISをモデルエンドポイントに向けて計測することです。Qwen3.8-Flashは当社のカタログに掲載されており、表示価格は$0.15 / $0.47、キャッシュ読み取りが$0.018、キャッシュ書き込みが$0.230で、他のQwen3.8の各サイズや当社がルーティングするその他すべてと同じキー、同じ請求に含まれています。これは、あなたが価格を見積もっているワークフローが、人が1回呼び出すのではなく1回のテストで100回呼び出すハーネスである場合に重要な点です。モデルページには、スイートを本番投入する前に知っておきたい運用数値も載っています。100万トークンのコンテキストに最大出力131K、最初のトークンまでの時間はp50が7.12秒、p95が10.00秒、そして過去7日間で約23億トークンのトラフィックが通過しています。この最後の数値はベンダーではなく当社のものであり、他の人たちがすでにこのエンドポイントで長いエージェントワークロードを動かしているかどうかを測る妥当な目安になります。

この規模になると理論上の話ではなくなる下回りの細部は、ステップ74で何が起きるかです。Pro 実行は1つのエンドポイント上でコンテキストを1時間の大半にわたって保持します。その途中でプロバイダー障害が起きると、実行は劣化するのではなく終了し、結果を生まなかった73ステップ分を支払うことになります。長いエージェントセッションを、同じモデルの別プロバイダーへフェイルオーバーする層経由でルーティングすることは、フレーキーなスイートと中断されたスイートの違いです。それはありふれたエンジニアリング特性であり、完了したタスクあたりの測定コストが1週間の実運用にさらされても生き残るかどうかを決めるのは、まさにそれです。

それぞれが実際に何のためのものか

Androidアプリとテストスイートがあるなら、必要なのはARTEMISであり、Qwen3.8-Flashはそれに代わるものではなく、それ向けの候補エンジンだ。ただし文書化されていないもので、午後1回分の実験の価値はあり、価格設定はその実験に測定可能なコストがかからないようになっている。自分で書いているモバイルエージェント用のモデルを選んでいるなら、+22.5ポイントのAndroidWorld差分はQwen3.8-Flashを検討する理由にはなるが、それを信じる理由にはならない。なぜなら、それはベンダー報告の差分であり、絶対スコアが付随せず、独立した再現もないからだ。

両プロジェクトが暗黙のうちに論じているのは同じことだが、どちらもそれをはっきりとは言わない。Googleは、モバイルエージェントを信頼できるものにするのはハーネスだと主張し、その主張を検証できるようオープンソース化している。Alibabaは、完了したタスクあたりのコストこそが唯一重要な数字だと主張し、それに合わせて価格を設定している。どちらもおそらく正しい。だからこそ、興味深い構成はARTEMISでもQwen3.8でもなく、Qwen3.8-Flash上のARTEMISを、自分のアプリで測定し、トレースをオンにしたままにすることなのだ。

そして、ARTEMIS は各ステップで増大するコンテキストを再読み込みするため、キャッシュ読み込みがより安価なモデルであれば、比率はさらに向上する。