タイトルカードには「Gemini 4 NeonがCoding Agent Index首位」とあり、総合スコア58.64の行を添え、Claude Fable 5.2を0.17上回る——そしてGPT-6.2 Astraに対する総合スコア5.17ポイントのリードのうち4.2ポイントは単一コンポーネントに由来する。その上には、Coding Agent Index v2.1で58.64、Claude Fable 5.2(xhigh)を+0.17上回ると記された2枚のカードがあり、「xhigh · Antigravity CLI」というラベルが続き、脚部には「すべての数値はArtificial Analysis Coding Agent Index v2.1による(2026年11月19日時点)」と記載されている。
Guides & Insights

Gemini 4 Neon、コーディングエージェント指数で58.6を記録し首位 — Claude Fable 5.2との差は0.17ポイント、GPT-6.2 Astraとの差の大半は1つのベンチマークが占める

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

G​emini 4 Neon now holds first place on the Artificial Analysis Coding Agent Index at 58.64, with Claude Fable 5.2 at 58.47 and GPT-6.2 Astra — released on 17 November, two days before this reading — at 53.47. That is the claim going around, and every number in it checks out against the published leaderboard. It is also, read carefully, an argument about harnesses as much as about models: Neon's 58.64 was measured inside G​oogle's own Antigravity CLI, Fable 5.2's 58.47 inside Claude Code, Astra's 53.47 inside Codex. Three labs, three terminal agents, one composite built from 396 FrontierCode 2.0 attempts, 372 SWE-Atlas-QnA attempts and 198 Terminal-Bench 4.1 attempts per row. The ranking is real. What it means for your repository is narrower — and considerably more useful — than a leaderboard screenshot suggests.

Everything below is read off the public coding-agents leaderboard at Artificial Analysis on 19 November 2026, on index version v2.1. None of it is G​oogle's own benchmark table: the composite, the three component scores, the cost per task and the token counts are measured in the lab, each run through the vendor's own terminal agent. G​oogle's launch-day figures for G​emini 4 Neon — Chartography 73.5%, Terminal-Bench 4.1 at 65.2%, FrontierCode 2.0 at 46.2% — are a separate set, vendor-reported and not the source of any measured figure below, and they are labelled as such wherever they appear next to these.

インデックスが実際に数えているもの

Coding Agent Indexはモデルを単独でテストしているわけではない。各行はハーネスとモデルの組み合わせであり、主要な数値は3つの構成要素スコアの等加重平均だ。FrontierCode 2.0はCognitionが作成しArtificial Analysisが実装したソフトウェアエンジニアリングタスク132件、SWE-Atlas-QnAはScale AIによる技術Q&Aタスク124件で採点はAAが調整、Terminal-Bench 4.1はLaude Instituteによるエージェント型ターミナルタスク66件である。各構成要素はタスクごとに3回の試行の平均スコアだ。このページはそのいずれにも信頼区間を公表しておらず、0.1ポイントを能力に関する事実として扱う前にまず知っておくべきことはこれだ。

The Artificial Analysis Coding Agent Benchmarks page, headed Artificial Analysis Coding Agent Benchmarks, with a panel defining the Artificial Analysis Coding Agent Index as the composite of three benchmarks — FrontierCode-AA 2.0 with 132 software engineering tasks by Cognition, Terminal-Bench 4.1 with 66 agentic terminal tasks by the Laude Institute and SWE-Atlas-QnA with 124 technical Q&A tasks by Scale AI — above three bar charts for Coding Agent Index v2.1, Time per Task and Cost per Task, each labelled No publicly available API.

その注意点はここではいつも以上に重要です。というのも、順位表のトップは極めて僅差だからです。総合値による順位、小数第2位まで:

• Gemini 4 Neon(xhigh)、Antigravity CLI — 58.64

• Claude Fable 5.2(xhigh)、Claude Code — 58.47

• Devin Fusion CLI、Claude Opus 5.5 max + GPT-6 Luna high — 58.40

• Claude Fable 5.2(high)、Claude Code — 58.24

• Claude Opus 5.5(max)、Claude Code — 58.16

5つの構成が0.5ポイント以内に収まり、3つのベンダーと3つの異なるエージェントにまたがっている。それらを分けているものはこの解像度では見えない。そして、このランキングの首位を決定的な結果と表現する記事は、丸めをシグナルと表現していることになる。

5ポイントの差は主に1つのベンチマークによるものです

GPT-6.2 Astraとの比較は、見出しが面白くなるところだ。というのも、5ポイントの総合スコア差は構造的なものに聞こえるが、実際には単一の構成要素に集中していることが分かる。また、最初に訂正が1つ必要だ。ローンチ以来広まっている「6ポイント先行」という数字は、Neonの58.64をAstraのhigh設定と比較すると得られる。これは52.28で、6.36ポイント下回る。Astraの最良構成であるmax(53.47)と比べると、差は5.17だ。どちらの数字も公表されている。同じモデルの異なる設定を表している。ここでmaxの組み合わせを分解すると:

• FrontierCode 2.0 — Neon(xhigh)43.0 対 Astra(max)41.7 で、132 件のソフトウェアエンジニアリングタスク全体における 1.3 ポイントの差。

• Terminal-Bench 4.1 — Neon 65.2 対 Astra 63.6、66 のターミナルタスク全体で 1.6 ポイントの差。

• SWE-Atlas-QnA — Neon 67.7 対 Astra 55.1、124 件の技術的 Q&A タスク全体で 12.6 ポイントの差。

複合差の約5分の4はQ&Aコンポーネントに由来しており、これはエージェントがリポジトリを編集するときに行うこととは最も似ていないコンポーネントだ。SWE-Atlas-QnAは、ハーネスにコードベースに関する質問へ回答するよう求める。FrontierCodeとTerminal-Benchは、コードベースを変更すること、またはジョブが完了するまでターミナルを操作することを求める。実際のエージェント作業に似た2つのタスクセットでは、Gemini 4 NeonとGPT-6.2 Astraは互いに2ポイント以内に収まっている——上位5構成間のばらつきと同じ桁である。検索と推論に似たタスクセットでは、Neonが12ポイント優れている。

どちらの解釈も正しく、どちらがあなたの体験を予測するかは、リーダーボードの性質ではなく、あなたのワークロードの性質によって決まります。エージェントが一日中大規模なプライベートコードベースについての質問に答えているなら、SWE-Atlas-QnA がボード上で最も近い代理指標であり、12ポイントの差は対応する価値があります。エージェントが一日中プルリクエストを作成しているなら、FrontierCode と Terminal-Bench の方がより近い代理指標であり、合成指標はその差を3倍か4倍に誇張しています。

A two-column scoreboard titled Gemini 4 Neon vs GPT-6.2 Astra — the scoreboard. Gemini 4 Neon (xhigh, Antigravity CLI) reads Coding Agent Index 58.64, FrontierCode 2.0 43.0, Terminal-Bench 4.1 65.2, SWE-Atlas-QnA 67.7, Cost per task $6.86, Refusals 0. GPT-6.2 Astra (max, Codex) reads Coding Agent Index 53.47, FrontierCode 2.0 41.7, Terminal-Bench 4.1 63.6, SWE-Atlas-QnA 55.1, Cost per task $5.12, Refusals 8 hard stops. The footer says All figures per Artificial Analysis Coding Agent Index v2.1, read 19 November 2026.

タスクあたりのコストは逆の動きをします

Artificial Analysisはスコアと併せてコストを報告しており、コストに関しては順序が逆転します。インデックス全体におけるタスクあたりの平均コスト:

• G​emini 4 Neon (xhigh) — $6.86、入力13.72Mトークン、出力125.6kトークン、177ステップ、実時間30.5分。

• Claude Fable 5.2(xhigh)— $15.47、入力9.55Mトークン、出力207.4kトークン、95ステップ、53.3分。

• Claude Fable 5.2(high)— $7.51、入力5.02Mトークン、出力94.1kトークン、55ステップ、31.3分。

• GPT-6.2 Astra (max) — $5.12、入力4.62Mトークンと出力43.0kトークン、51ステップ、25.1分。

• Gemini 4 Carbon (high) — $9.75、入力15.31Mトークンと出力120.5kトークン、186ステップ、33.6分。

そこから3つのことが導かれる。第1に、Neonは、Fableの行が採点される設定において、1タスクあたりのコストがFable 5.2の2.3分の1で、完了時間は53.3分に対して30.5分である。第2に、Neonは絶対額では安くない。1タスクあたり$6.86で、Neonが上回るGPT-6.2 Astra構成より34%高く、総合スコアで3.2ポイント上回る同系列のGemini 4 Carbonより30%安い。したがって、Carbonに対しては両軸で明確であり、Astraに対してはドルをスコアと交換する単純なトレードオフである。第3に、トークンの内訳が価格を説明する。Neonは1タスクあたり13.72M入力トークンと177ステップを消費するのに対し、Fable 5.2は9.55Mと95であり、0.17ポイント上回る結果のために入力が約44%、ツール呼び出しが86%多い。上記のすべての行でキャッシュヒット率は94%から96%の間にあるため、これはキャッシュによる現象ではない。モデルがより多く、より小さなステップを踏んでいるのだ。

G​oogle's launch material claims G​emini 4 Neon at its default high setting costs 32% less per task than Gemini 4 Carbon. That is vendor-reported and this board does not reproduce it. The only Neon row published here is xhigh, at $6.86 against Carbon's $9.75 — a 30% saving, close to the vendor figure, but measured at the deepest of Neon's four thinking settings rather than at the default the claim describes. Read the direction as supported and the precise number as unconfirmed until a high row exists.

設定はモデルよりもスコアを大きく左右する

このボードで最も有用なのはランキングではない。Claude Fable 5.2が同じハーネスで5つの思考レベルで5回登場し、そのスコアは47.96(low時)、53.04(medium時)、58.24(high時)、58.47(xhigh時)、55.74(max時)— パラメータによる10.5ポイントの範囲。GPT-6.2 AstraはCodexで5回登場し、35.58(low時)から53.47(max時)まで、同じ種類のつまみで17.9ポイントの範囲。

その範囲を、見出しが取り上げている差と照らし合わせてみよう。Astraの低設定とAstraの最大設定の差は、NeonとAstraをそれぞれ最良設定にした場合の差の3.5倍、NeonとCarbonの差の5.6倍だ。Fable 5.2内部だけの10.5ポイントの差は、Neonの1位からAstraの10位までの距離全体の2倍を超える。モデルごとに1つの数値だけでモデルを選ぶのは、ページ上で最も小さな変数で選んでいることにすぎない。渡すエフォートレベルと、それを包むエージェントは、箱のロゴよりも結果を大きく左右する。

It also makes the "surpassed Fable 5.2" framing need a qualifier. Neon's 58.64 is measured at xhigh inside Antigravity CLI, and it is the only Neon configuration on the board — there is no high row, so nobody outside G​oogle can yet say what Neon's default costs in score or in dollars. Fable 5.2's 0.17-point deficit holds at its own xhigh and, more narrowly, at high where it scores 58.24 on $7.51 per task. Both of those numbers are inside the range a different harness could plausibly reverse, which is not a criticism of Neon — it is what a half-point spread at the top of a 41-row board means.

ここで実際に何が新しいのですか?

Gemini 4 Neonは2026年11月18日、このボードを読んだ日の前日に一般提供を開始し、100万トークンのコンテキストウィンドウで入力100万トークンあたり3.00ドル、出力100万トークンあたり15.00ドルだった。Gemini 4 Hydrogenとは異なり、プロプライエタリかつ固定料金で、導入期間も無料枠もない。料金表と独立系の知能スコアについてはこのブログの別の場所で扱っている。新しいのは最初に測定されたエージェント的成果であり、それはローンチ記事が述べなかったいくつかのことを示している。

ローンチ投稿は確かに、Artificial Analysis Coding Agent Indexで58.6を記録して1位を獲得したと述べており、その数値は、説明されている構成においてボードが公開しているものとまさに一致している。その投稿が述べていなかったのは、次点の構成との差が0.17ポイントであること、GPT-6.2 Astraに対するリードの大半が3つのコンポーネントのうち1つに由来すること、そしてその実行がタスクあたり13.72Mの入力トークンを消費したことだ。これらは、何をデプロイするかを決める読者に必要な情報であり、ボード上にしか存在しない。

スコアと併せて押さえておきたいもう一つの数字があります。それは拒否ゼロです。Neon 行の全 966 回の試行 — FrontierCode 396 回、SWE-Atlas-QnA 372 回、Terminal-Bench 198 回 — を通じて、Artificial Analysis は安全性に関する拒否もプロバイダーへのフォールバックも記録しませんでした。Fable 5.2 のxhigh設定では、FrontierCode で 1 件、SWE-Atlas-QnA で 38 件、Terminal-Bench で 16 件の拒否を記録しました。GPT-6.2 Astra のmax設定では、SWE-Atlas-QnA で 8 件の拒否を記録し、そのすべてがハードストップでした。拒否は能力の失敗ではありませんが、エージェントが完了しなかったタスクであり、エージェントループ内では誤った回答ではなく停滞として現れます。本番リポジトリを対象とするエージェントにとって、すべての試行を完了するモデルは、このボード上の他のどの構成も持ち得ない運用上の違いです。

乗り換えコストとは何か、そして当社はどこに位置するのか

Neonの数字が試験を正当化するなら、実務上の問題はその試験にエンジニアリング工数がどれだけかかるかだ。Neonは当社のカタログにはない。OrcaRouterのモデル一覧にはgoogle/gemini-4-carbonとgoogle/gemini-4-argonが掲載されており、11月19日時点でNeonの項目はない。したがって、本日お客様に代わってNeonをルーティングすることはできず、そうでないかのように示唆することもしない。GPT-6.2 Astraもカタログにはない。当社が実際に取り扱っているのはanthropic/claude-fable-5.2で、Anthropicの定価、入力100万トークンあたり8.00ドル、出力100万トークンあたり40.00ドル。さらに以前のopenai/gpt-6-astra、つまり9月のモデルでこの一覧では別の行に当たるGPT-6 Astraが、10.00ドルと50.00ドルで加わる。どちらも同じキー上でプロバイダー定価、マークアップ0%で提供されるため、上記の計算は別契約なしで御社自身のトラフィックに対して再実行できる。

The OrcaRouter model page for Claude Fable 5.2, showing the model identifier anthropic/claude-fable-5.2, a 1M-token context window, a maximum output of 128K tokens, multimodal input across text, image and file, capability chips for vision, tools, JSON and reasoning, the line by Anthropic · 2026-11-09, a p50 time to first token of 5.52 seconds, and a price row reading $8.00 input and $40.00 output per million tokens with 33.5M tokens of traffic over seven days.

これほど差の詰まったボードで最も重要なのは、入れ替わりの速さです。上位5構成のうち3つは過去10日以内にリリースされたモデルを使っており、そのうち1つが登場するたびに順位は変動しています。今日の1位の行に固定された本番経路は、次のモデルがリリースされると作り直しになります。だからこそ、ルーティングの判断はコードの外に置くべきです。1つのエンドポイントとルーティングルールがあれば、候補モデルは移行ではなく設定変更で済み、自動フェイルオーバーによって実績のないモデルを実績のあるモデルの背後に置き、メイン経路にリスクを与えずにトラフィックの一部を吸収させられます。

私たちが実際に提供している2つのモデルについては、パススルーは文字どおりです。AnthropicまたはOpenAIが料金を変更すれば、請求書の金額も同じ日に変わります。上乗せは一切ありません。それが上記のコスト比較の正直な前提です。ローンチ記事の数字ではなく、実際に請求される金額で双方を再計算してください。

誰がこれに対応すべきで、どのように対応すべきですか。

取締役会は、何を実行するかに応じて3つの異なる決定を支持しており、それらは同じ決定ではありません。

大規模なプライベートコードベースに対して質問に答えるエージェント — オンボーディング支援、『これはどこに実装されていますか』ツール、移行計画ツール — を運用する場合、重要なのは SWE-Atlas-QnA の差であり、67.7 対 55.1 は測定された試行を正当化するのに十分な大きさです。予算はxhigh設定に充ててください。採点対象の構成はこれだけなので、デフォルトも同じ性能を発揮すると想定しないでください。

Pull Requestを作成し、ターミナルを操作するエージェントを運用しているなら、正直な要約はこうだ。Neon、Fable 5.2、Opus 5.5、そしてDevin Fusionの組み合わせは、複合スコアで互いに0.5ポイント以内に収まり、Terminal-Benchでは3ポイント以内に入る。ただしFrontierCodeのスコアはより広く、43.0から49.2に分布している。ここに何かを切り替えるべき能力上の根拠はない。コスト面の根拠——同じスコアでNeonが6.86ドル、Fable 5.2が15.47ドル——と、ゼロ拒否の行における運用上の根拠はある。どちらも、稼働中のパイプラインを今週移行すべき理由にはならない。

まだハーネスを選んでいる途中なら、証拠が最も強く、最も曖昧さが少ないのはそこです。単一モデル内での思考レベル間のばらつきは、最高設定での主要モデル間のばらつきをはるかに上回ります。自分のエージェントを2〜3のエフォートレベルで動かす午後2回分は、この記事を含むこのリーダーボードをどれだけ読んでも得られないほど、請求額と合格率について多くを教えてくれます。

What to watch: a Neon row at its default high setting. Until one is published, the model that tops the board has been measured at exactly one configuration — and the 32%-cheaper-per-task claim G​oogle makes is about the setting nobody has scored yet.

この記事で比較したモデル2

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新