Gemini 4 Carbon Benchmark：AA v5.0.1 における 60 は実際に何を測定しているのか

ベンチマークスコアは、ハーネスが何を尋ねたか、モデルにどれだけ考えさせたか、そしてその数値を出したテストのバージョンが何かを知って初めて役に立つ。Gemini 4 Carbon の場合、答えはこうだ。9つのエージェント型および科学的評価、考えたいだけの時間、そして Intelligence Index v5.0.1——現行バージョンであり、だからこそ60は引用に値し、その隣で見かけるほとんどの数字はそうではない。このGemini 4 Carbon APIのページには価格とエンドポイントが記載されている。本稿はスコアについてのものだ。

実際に実行されたのは何だったのか

AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset、Terminal-Bench-Science 0.1。そこから一般化する前に、そのリストを読んでください。9つのうち3つはターミナル作業または自動化作業、2つは長い入力に対する文書に基づく推論、2つは難度の高い科学と数学、1つはフロンティアコードです。このセットにはWebエージェント評価もマルチターンのカスタマーサポートシミュレーションも含まれていないため、優れたスコアはそうしたものについて何も示しません。

スコア

Carbon は記録しました60、これは78 中 4 位（v5.0.1）です。首位は Claude Fable 5.2 の 65 です。5 点差は意味のある差ですが決定的ではありません。両モデルとも同じ 9 つの評価を通過しており、この差を最も簡単に解釈すると、Carbon の能力水準では 20 回試行するごとに難しいタスクをおよそ 1 つ多く解く程度です。これは割合ではなく方向性として扱ってください。

バージョンの確認は順位よりも重要だ。v4.3 や v4.3.2 でスコアを付けられたモデルは——比較記事で引用されている名前のほとんどを含め——同じ尺度の上になく、同じ表に並べることはできない。もしグラフがそれらを混在させているなら、誰が公開したものであれ、そのグラフは誤りだ。

実務上の帰結として、前四半期に自分で評価したモデルと Carbon を比較することはできません。ただし、そのモデルも再スコアリングされている場合を除きます。両方に対して自分のハーネスを再実行するか、さもなければ主張を v5.0.1 コホートに限定し、それを引用する文の中でその旨を明記してください。

時間コスト

最初のトークンまでの時間は64.7秒で、レイテンシデータのある77モデル中69位です。合計応答時間は28.4分で、9つの評価全体でタスクあたりです。Carbonが出力を開始すると、その速度は毎秒72トークンです。これは普通です。実時間は書き込みではなく思考に支配されています。

それは欠陥ではなく設計上の選択であり、それが何を意味するかについては正確に述べておく価値がある。モデルが納得するまで推論できるようにするハーネスは、遅いが強いスコアを生み出す。ライブトラフィックを扱うゲートウェイの背後にある同じモデルは、p50 が 6.89 秒（最初のトークンまで）で、p95 が 10.00 秒だと報告する。なぜなら、現実のリクエストのほとんどは HLE-Diamond ではないからだ。この2つの数値は異なるものを測っており、どちらもキャパシティプランに含めるべきだ。

金銭的コスト

Carbon に対してこのインデックスを実行するコストは$5.48でした。入力100万トークンあたり$2.00、出力100万トークンあたり$10.00で、混合すると100万トークンあたり$2.70です。AAはまた、この実行で2億500万出力トークン、冗長度2.69パーセントを報告しています。引き継ぐべき数は割合ではなくトークン数です。これは、9タスクのエージェント評価が2億5000万の大半の出力トークンを消費したことを示しています。

比較すると、同じ指標を Claude Fable 5.2 に対して用いた場合のコストは $26.54 でした — 4.8 倍です — 入力 $8.00、出力 $40.00 で。これがこのペアの正しい捉え方です：5 ポイントのスコア差は、ほぼ 5 倍のトークン消費によって買われているのです。

比率で言えば、Carbon はインデックスポイントあたりベンチマーク支出として $0.09 を支払い、Fable 5.2 は $0.41 を支払う。これは安いモデルの方が優れているという主張ではない——フロンティアモデルの意義は、安いモデルが失敗するタスクにある——が、すべてを一つのモデルで賄うのではなく、難易度に応じてルーティングすべきだという主張にはなる。60ポイントのモデルで十分に処理できる呼び出しの90％には、65ポイントのモデルは不要だ。

もう一つ押さえておくべき比率は時間です。Carbonはタスクあたり28.4分、Fable 5.2は46.8分を要するため、より高価なモデルはエンドツーエンドでも1.6倍遅いということになります。非同期キューではスループット上の制約となり、同期呼び出しではスピナー表示とタイムアウトの違いになります。Gemini 4 Carbon リリースノートでは、このモデルとともに提供された内容を扱っており、以前のGemini世代を置き換えるかどうかが問題なら、Gemini 4 Carbon vs Gemini 3.1 Proが直接の比較です。

ベンチマークが対象としていない範囲

このセットには、サイバーまたは脆弱性検出のハーネスは存在しません。セキュリティ作業（スキャン、トリアージ、パッチ生成）のためにCarbonを評価している場合、これら9つの評価から分かるのはその推論についてだけで、実際の脆弱性に対する再現率については何も分かりません。特定のリポジトリにおける長期的なコーディングについても同じことが言え、FrontierCode-AAはそれを近似していますが、置き換えるものではありません。

ここでは、負荷時に何が起こるかについても測定されていません。OrcaRouterトラフィックにおけるCarbonの実環境エラー率は過去7日間で39.7％でしたが、Fable 5.2は10.8％でした。ベンチマークハーネスは再試行してそれを吸収しますが、あなたのアプリケーションはどうするかを決める必要があります。

これを自分のトラフィックで再現すること

AAの64.7秒は、AAのハーネスなしでは再現できませんし、再現を試みるべきでもありません。有用なのは、自分たちのp50とp95を測定し、ゲートウェイが公表している6.89秒と10.00秒と比較することです。そうすれば、自分のプロンプトが普通なのか、それとも異常に難しいのかが分かります。最初のトークンまでの時間、出力トークン数、ルートごとの非2xx件数をログに記録してください。エラー率が、ゲートウェイが全プロバイダーについて報告している39.7パーセントを上回っているなら、問題はリクエストの自分側にあります。

これを意思決定でどう活用するか

あなたの作業が9つの評価——ターミナルタスク、自動化、長いコンテキストを伴う文書、ハードサイエンス——に似ているなら、Carbon at 60 と $2.70 blended は現行 v5.0.1 コホートのバリュー・ピックであり、64.7秒の思考時間は呼び出しを非同期にすることで吸収できるコストです。あなたの作業が対話型なら、ゲートウェイ経由で p50 が7秒近辺の同じモデルはまったく別物であり、正直なテストは AA のハーネスではなく、あなた自身のトラフィックです。

自身を打ち負かしたモデルとの直接対決について、Gemini 4 Carbon vs Claude Fable 5.1が両者を並べて比較し、LLM API料金比較では、ブレンド$2.70がカタログの他の項目の中でどこに位置するかを扱っています。再利用するグラフでは必ずバージョンを再確認してください。この60が属するスケールはv5.0.1だけです。