Gemini 4 Carbon レビュー：インデックスで4位、回答が遅い

Gemini 4 Carbonは独立系ランキングで4位に位置し、中位モデル並みの価格が付けられている。これは正直にレビューするには異例の組み合わせだ。Gemini 4 Carbon APIのページには入力100万トークンあたり$2.00、出力100万トークンあたり$10.00と記載されている一方、その記録スコアはArtificial Analysis Intelligence Index v5.0.1で60、78モデル中4位である。レビューが答えるべき問いは、60が良いかどうかではない。それを得るために実経過時間と失敗率で何を支払うかだ。

それが何であるか

GoogleのGemini 4ファミリーに属するマルチモーダルモデルで、1,048,576トークンのコンテキストウィンドウと65Kの出力上限を備えています。テキスト、画像、音声、動画、ドキュメントを受け取り、テキストを返します。ネイティブのツール使用と構造化JSON出力に対応しています。OpenAI互換エンドポイントとネイティブのGemini generateContent APIの両方で応答し、Zero Data Retentionも利用可能です。

パラメータセットは、そのモデルがどんな種類のモデルでありたいかを物語っている。reasoning、include_reasoning、structured_outputs、tools、tool_choice、seed、temperature、top_p だ。同じリストに seed とレスポンスフォーマットがあるのは、クリエイティブな文章作成向けではなく、抽出やエージェント型パイプライン向けに位置づけられたモデルの特徴だ。

スコアと、そのスコアが付けられたバージョン

60は、他のモデルについて引用されている古い数値とは比較できません。そしてこれは、今月公開された比較における最も一般的な単一の誤りです。Intelligence Index v5.0.1はv4.3およびv4.3.2とは異なる評価セットであるため、v4.3のスコアとv5.0.1のスコアを同じ表に入れるべきではありません。v5.0.1のコホート内では、Carbonの60は78中4位で、65のClaude Fable 5.2の後ろ、再スコアリングされた他のすべてより前に位置します。

その数値の背後にある9つの評価は、AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode-AA 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 Hard Subset、Terminal-Bench-Science 0.1です。これはエージェント型と科学系が混在した構成であり、ターミナル作業、自動化、文書グラウンディング、高度な推論を対象としていて、コーディングリーダーボード向けの構成ではありません。ここで高スコアを出しても、リポジトリ規模のリファクタリングでは負ける可能性があるため、自分のユースケースについて結論を出す前に内訳を確認してください。

見出しの数字が隠している部分

AAハーネスにおけるCarbonの最初のトークンまでの時間は64.7秒で、レイテンシデータのある77モデル中69位です。9つの評価全体で、タスクあたりの実時間（ウォールクロック）は28.4分です。書き始めてからの出力速度は毎秒72トークンで、目立つ数値ではありませんが、それが問題ではありません。問題は最初のトークンが出るまでの思考時間です。

Carbon に対してインデックスを実行すると、$5.48のプロバイダー支出がかかりました。これは、100万トークンあたりの混合単価 $2.70 では、1回のベンチマーク実行としては非常に多くのトークンに相当します。AA はまた、この実行で2億500万出力トークンと併せて、冗長度 2.69 パーセントを報告しています。この割合を簡潔さのスコアとして読んではいけません。Claude Fable 5.2 は、より多い2億7,500万出力トークンで、はるかに低い 0.97 パーセントを記録しているため、この2つの数値は独立して変動します。

価格が理由でこれを読んでいるなら、LLM API 料金比較では、ブレンド価格 100万トークンあたり $2.70 が他のカタログと並べて示されており、これを下回るモデルや、同等のスコアで数倍のコストがかかるモデルも含まれています。

ゲートウェイを通ると、数字が違って見える

AAの64.7秒は、モデルに難しい問題を考えさせるベンチマークハーネスです。OrcaRouterの過去7日間のライブトラフィックでは、Carbonの最初のトークンまでの時間のp50は6.89秒、p95は10.00秒で、960万トークンを提供する中で出力は毎秒226トークンでした。どちらも事実です。チャット製品では最初の数値に近い値が見え、バッチ評価のクローンでは2番目の数値に近い値が見えます。

どちらよりも注目に値するのはエラー率だ。その7日間の期間中、全上流プロバイダーでリクエストの39.7%が非2xxを返したのに対し、Claude Fable 5.2は10.8%だった。原因が何であれ——容量、レート制限、プロバイダーのローテーション——リトライ予算とフォールバックモデルなしでCarbonを呼び出す製品は、どのベンチマークチャートも予測しない割合でユーザーに障害を見せることになる。それはルーティングの問題であり、第2週の前にテストすべき唯一のことだ。

カタログ内での分類位置

Gemini 4ファミリー内で見ると、Carbonは安価なモデルではなくマルチモーダルなモデルです。入力価格はGemini 3.1 Proと同じ$2.00、出力は$2.00安くなっており、重要な違いは、3.1 Proがテキストと画像を扱うのに対し、Carbonは音声と動画を扱うことです。パイプラインが動画ファイルを一切扱わないなら、使わない機能に料金を払っていることになります。

他の候補と比べた場合、判断は通常2つの問いに集約されます。Google内部での選択であれば、Gemini 4 Carbon vs Gemini 3.1 Proが重要な比較対象となります。ベンダーをまたぐ場合は、GPT-6.1 Sol vs Gemini 4 CarbonとClaude Opus 5.5 vs Gemini 4 Carbonが最も一般的な2つの代替案を網羅しており、どちらも検討中のものではない場合はLLM models listに完全なカタログが掲載されています。

評決

Carbonは入力あたりのコストに対する能力で第4位を獲得しており、それは会話ではなく、長く、マルチモーダルで構造化された作業に適した形で獲得している。価格表に現れないコストは、それがあなたにとって機能するかどうかを決める2つだ。ベンチマークハーネス下で最初のトークンまでに64.7秒思考することと、実トラフィックでの約40パーセントのエラー率である。両方を回避せよ — フォールバックチェーン、リトライ予算、そして対話型でないものすべてに対する非同期キューだ — そうすれば価格対スコア比は本当に打ち負かしにくい。フォールバックなしの同期UIの背後に置けば、モデルを実際より悪いと結論づけるだろう。