LMArenaとLLMリーダーボード：3つの物差し、3つの異なる問い

2026年2月19日、Artificial Analysisは「Gemini 3.1 Pro Preview：AIの新たなリーダー」という見出しの記事を公開した。同モデルは10項目の評価のうち6項目で首位に立ち、Claude Opus 4.6を4ポイント引き離していた。今日、同じモデルのページを開くと、その数値は30で、200中69位だ。Googleは何も変えていない。変わったのは物差しだ。2026年9月19日、Artificial AnalysisはIntelligence Indexをv4.3.2に改訂し、Terminal-Bench 2.1を廃止してTerminal-Bench 4.0に置き換え、tau3-BankingをAutomationBench-AAに差し替え、GDPval-AA Eloスケールを再アンカリングした。2月の首位が9月には中位に沈んだのは、測定器がその足元で動いたからだ。

あの一度の出来事こそ、こうしたボードを正しく読むことを学ぶべきだという主張のすべてだ。Claude Opus 5.5 と Claude Fable 5.1、Kimi K3.1 Pro と MiniMax M3.1 Flash、そしてその間にあるあらゆるモデルは、少なくとも3つの相容れない基準によって同時に採点されている。そして人々をここへ導く検索——lmarena、llm ranking、どのモデルが実際に最良なのか——は、答えが1つあると前提している。答えは3つあり、それぞれ異なる問いに答えている。

3種類のスコアボード、3つの異なる問い

リーダーボードで目にするすべての数値は3つの系統のいずれかに由来しており、その系統によって、その数値が何を伝えられ、何を伝えられないかが決まります。

群衆アリーナ。 LMArena は1つのプロンプトに対して2つの匿名モデル出力を示し、人が勝者を選び、その投票が評価スコアに集計されます。これは、事前に誰も選んでいないプロンプトにおいて、ブラインド条件下での選好を測定します。強みは、ベンダーが評価ハーネスを運用しておらず、誰も質問を手作業で選んでいないことです。弱みは、投票者が流暢で自信があり、整形された回答を高く評価してしまい、ボランティアが入力したプロンプトはあなたのワークロードではないことです。アリーナの評価が高いことは、人がその出力を好む傾向があるという意味であり、その出力が正しいという意味ではありません。

総合指数。Artificial Analysisは固定の評価スイートを実行し、それらを単一のIntelligence Indexに統合しています。併せて、速度、レイテンシ、価格、タスク完了あたりのコストについても個別の指標を提供しています。候補の絞り込みには、3つの中でこれが最も有用です。ハーネスが全モデルで同一であり、周囲の列によって品質と費用を比較検討できるからです。弱点は、総合指標には編集上の選択が埋め込まれることです。どの評価を対象とするか、どのように重み付けするか、そしていずれかが廃止されたときにどうするか。v4.3.2の改訂は、まさにその弱点が可視化されたものです。

ベンダーの資料。モデルを開発したラボによる発表資料である。これは最も豊富な情報源だ——数百行、最新のベンチマーク、他では誰も実行していない構成——だが、最も比較可能性が低い。ハーネス、エフォート設定、対戦相手を各ベンダーが選ぶからだ。AnthropicのClaude Opus 5.5の表では、自社モデルがTerminal-Bench 4.0でGPT-5.6 Solを29ポイント上回っている。OpenAIのSol資料はTerminal-Bench 2.1を筆頭に掲げ、そこではSolが91.9を記録しているが、Opus 5.5の行は一切ない。書かれた時点でOpus 5.5が存在しなかったからだ。都合のよい行だけを並べた表は、完全勝利の証拠ではない。行を選別した証拠である。

その行はモデルではなく設定です

リーダーボードで最もよくある誤読は、1行を1モデルとみなすことだ。今週のArtificial Analysis自身のLLMリーダーボードでは、Claude Opus 5.5が3回登場している：

• フォールバック付きの最大エフォート設定における Claude Opus 5.5 — Intelligence Index 58、タスクあたりのコスト $5.98、出力速度の中央値 毎秒98トークン、レイテンシ 706 ms、エンドツーエンド 711 ms。

• Claude Opus 5.5、フォールバック付きxhighエフォート — インテリジェンス指数56、タスクあたりコスト3.46ドル、速度は毎秒82トークン、レイテンシ119 ms、エンドツーエンド125 ms。

• Claude Sonnet 5.5 を最大エフォートで — 56、$5.46、141トークン/秒、427 ms。

最初の2行はインデックスの2ポイント差で分かれている。タスクあたりのコストが42%削減され、レイテンシも6倍の差があるという点でも両者は異なる。モデル自体は何も変わっておらず、変わったのはエフォート設定だけだ。したがって「モデルXはモデルYよりスコアが高い」という形式の主張は、その構成を明示するまでは不完全であり、だからこそ単一の直接対決の数値だけで調達の判断を決めるべきではない。

同じルールは、ベンダー自身の資料内の推論エフォートにも当てはまる。Anthropicは脚注で、Claude Opus 5.5のTerminal-Bench実行ではデフォルトではなくxhighエフォートを使用したこと、そしてデフォルトのmediumエフォートではGPT-5.6 Solに対するFrontierCodeの優位性が、見出しになるほどの差から7ポイントに縮まることを述べている。どちらの数値も真実だ。だが、パラメータを設定しない場合に得られるものを説明しているのは、そのうち一方だけだ。

バージョンの罠――それは大半の誤った比較の原因となっている

ベンチマーク名は世代をまたいで再利用されており、その数値が世代間で引き継がれることはありません。今月の報道から3つの例を挙げれば、その形を示すのに十分です。

• Terminal-Bench 2.1 対 4.0 — Google による Gemini 3.5 Flash-Lite のカードは、Terminal-Bench 2.1 で 54.0% を報告している。一方、4.0 を実行した Artificial Analysis は 1% を記録している。どちらも正しく、バージョンを示さずにどちらかを引用することは、あなたがどちらのモデルを好むにせよ、そのモデルを有利に見せる形で誤解を招く。

• OSWorld-Verified 対 OSWorld 2.0 — Anthropic は、Claude Mythos 5 が OSWorld-Verified で 85.0% を記録したと報告しています。他のベンダーは OSWorld 2.0 のスコアを60%台としています。それらを同じ列に並べても、モデルの比較にはなりません。

• 正しいモデル、誤ったバージョン — Claude Mythos 5.1はTerminal-Bench 4.0で60.9を記録し、Muse Wonderの52.0に対します。これは両ファミリー間で唯一の共通テストです。Mythos 5の公表値88.0はTerminal-Bench 2.1です。一方の世代を他方に置き換えると、存在しない36ポイントの差が生じます。

実用的な習慣は小さなもので、取り入れる価値があります。数値がベンチマークのバージョンとエフォート設定を伴わずに示されている場合は、それを測定値ではなく主張として扱うことです。

タスクあたりのコストはカードに記載された価格ではありません

リーダーボードは、予算策定で最も重要な列をひそかに追加しており、それはしばしば料金表と矛盾する。MiniMax M3.1 Flashは入力100万トークンあたり0.15ドル、出力0.60ドル。Gemini 3.5 Flash-Liteは0.30ドルと2.50ドルで、出力では4倍高い。完了したIntelligence Indexタスクあたりのコストでは、Flash-Liteが勝る。0.22ドルに対して0.19ドルだ。

その逆転はエラーではありません。この指標は、実際に消費されたトークンにプロバイダーの料金を掛けたもので、各モデルが同じタスクを完了するためにどれだけ作業を行うかを測っています。MiniMax M3.1 Flash はこのインデックス全体で約1億8,000万個の出力トークンを消費しました。一方、Artificial Analysis が追跡しているモデルの中央値は約1億個です。つまり、冗長な推論モデルであり、冗長性には課金されます。熟考が正解をもたらすタスクでは、それは良い取引です。正解が疑われないタスクでは、無駄です。

これは、トークン単位の比較を信頼する前に、自分のトラフィックに対して実行すべき列です。なぜなら、同じ地点に到達するまでにモデルが同じ数のトークンを消費するわけではないという事実を考慮している唯一の列だからです。

リーダーボードが教えてくれないこと

2つの盲点は、それぞれ独立した見出しを設ける価値があります。どちらも無視すればコストが発生するからです。

回答拒否（アブステンション）。Artificial AnalysisのAA-Omniscience評価では、MiniMax M3.1 Flashは16点を記録しました。事実に関する質問の56%に正しく回答した一方、ハルシネーション率は93%です。この2つ目の数字は、回答の93%が誤っていたという意味ではありません。正しくなかった回答のうち、93%が部分的な回答や拒否ではなく、完全に誤った回答だったという意味です。このモデルは、断るべき場面でも通常は回答してしまいます。Gemini 3.5 Flash-LiteにはAA-Omniscienceのスコアが一切付いていませんが、これはデータの欠落であり、問題なしというお墨付きではありません。

可用性。 スコアとは、ある瞬間についての記述だ。Gemini 3.1 Pro は、GA 日が未定のままプレビューとして7か月を過ごし、9月中旬にはベンダー側の説明もなく AI Studio のモデルセレクターから消え、それでもなおランキングに載っている。Grok 4.7 は、インデックスで46と採点された時点で生後1日だった。そのうち一方は、来月に呼び出せるモデルについての数字であり、もう一方は、来四半期には存在しないかもしれないモデルについての数字だ。リーダーボードは両者を区別していない。

私たち自身のボードがどこに位置するのか、そしてなぜそれが第四のものなのか

OrcaRouterは、上記のいずれも意図的に再現しないAIモデルリーダーボードを運営しています。順位付けは、当社自身のゲートウェイが観測するもの—本番トラフィックとコミュニティのBattle Mode投票—に基づき、それをLMArenaの投票、独立系ベンチマーク、エコシステムでの採用状況と、固定・公開された重みで組み合わせています。毎日更新され、モデルは登場から48時間以内に掲載され、Text、Coding、Vision、Math、Reasoning、Agenticのビューに分かれており、単一の順位がすべての用途に適うふりはしません。

そのため、これは他の3つとは異なる失敗の仕方をする。はっきり言っておく価値がある。ルーティングするモデルしか順位付けできないので、その盲点は方法論的ではなく商業的なものだ。これが加えるのは、他のどれも持たない唯一のシグナルだ——ベンチマーク用に作られたわけではないトラフィック上で、その対象が実際に応答したか、どのくらいの速度で、どのブレンド価格で応答したかということ。

5分で1つ読む

• スコアを読む前に、ベンチマークのバージョンとエフォート設定を確認すること。どちらかが欠けていれば、その数値は主張にすぎない。

• トークンあたりの価格ではなく、タスクあたりコストの列を見てください。両者は一致するより食い違うことのほうがよくあります。

• 総合指標は判定ではなく候補リストとして扱うこと。それは重み付けの変更であり、重み付けは改訂される——Gemini 3.1 Proを降格させたのと同じ改訂が、誰も手を加えていない数十ものモデルを降格させたのだ。

• 能力のギャップとスコアのギャップを切り分けましょう。65,536トークンの出力上限や動画を読み取れないモデルは、あなたのワークロードに関する事実です。一方、インデックスの2ポイントはそうではありません。

• モデルがいつ提供開始されたか、そして現在もプレビュー版かどうかを確認してください。提供開始日がないランキングは、デプロイ時に存在しない可能性のあるものをランキングしたものです。

リーダーボードは問いの始まりであって、その答えではない。選択を決着させる唯一の測定は、自分のプロンプトに対する自分のトラフィックだ。だからこそ、ゲートウェイが提供できる有用なものは、もう一つのランキングではなく、2つの候補を1つのキーで並べて実行し、請求書を比較できるようにすることなのだ。

出典注記：Gemini 3.1 Proの2月から9月にかけての推移、v4.3.2の改訂内容、Claude Opus 5.5の3行、AA-Omniscienceの数値、タスクあたりのコスト値、およびIntelligence Indexスコアは、Artificial Analysisによるもので、2026年10月26日に閲覧したものです。Terminal-Bench 2.1および4.0の数値、OSWorld-VerifiedおよびOSWorld 2.0の数値、Terminal-Bench 4.0の60.9および52.0というスコア、MiniMaxのトークン消費量の推定値、ならびにベンダー提供資料の比較は、それぞれAnthropic、Google、MiniMax、OpenAIが公開した独自資料に由来し、上記でArtificial Analysisに帰属させている場合を除き、ベンダー報告によるものです。OrcaRouterのリーダーボードの説明、重み付け、更新頻度は、当社が公開している独自の方法論によるものです。