Karta tytułowa z napisem „Gemini 4 Neon przewodzi w Coding Agent Index”, z wierszem „58,64 w wyniku złożonym, 0,17 przed Claude Fable 5.2 — a 4,2 z jego 5,17-punktowej przewagi w wyniku złożonym nad GPT-6.2 Astra pochodzi z jednego komponentu”, powyżej dwóch kart z odczytem „58,64 w Coding Agent Index v2.1” i „+0,17 względem Claude Fable 5.2 (xhigh)”, wraz z etykietą „xhigh · Antigravity CLI”, a u dołu z adnotacją „Wszystkie dane według Artificial Analysis Coding Agent Index v2.1, odczyt z 19 listopada 2026”.
Guides & Insights

Gemini 4 Neon zajmuje pierwsze miejsce w Coding Agent Index z wynikiem 58.6 — różnica do Claude Fable 5.2 wynosi 0.17 punktu, a za większość różnicy do GPT-6.2 Astra odpowiada jeden benchmark

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

G​emini 4 Neon now holds first place on the Artificial Analysis Coding Agent Index at 58.64, with Claude Fable 5.2 at 58.47 and GPT-6.2 Astra — released on 17 November, two days before this reading — at 53.47. That is the claim going around, and every number in it checks out against the published leaderboard. It is also, read carefully, an argument about harnesses as much as about models: Neon's 58.64 was measured inside G​oogle's own Antigravity CLI, Fable 5.2's 58.47 inside Claude Code, Astra's 53.47 inside Codex. Three labs, three terminal agents, one composite built from 396 FrontierCode 2.0 attempts, 372 SWE-Atlas-QnA attempts and 198 Terminal-Bench 4.1 attempts per row. The ranking is real. What it means for your repository is narrower — and considerably more useful — than a leaderboard screenshot suggests.

Everything below is read off the public coding-agents leaderboard at Artificial Analysis on 19 November 2026, on index version v2.1. None of it is G​oogle's own benchmark table: the composite, the three component scores, the cost per task and the token counts are measured in the lab, each run through the vendor's own terminal agent. G​oogle's launch-day figures for G​emini 4 Neon — Chartography 73.5%, Terminal-Bench 4.1 at 65.2%, FrontierCode 2.0 at 46.2% — are a separate set, vendor-reported and not the source of any measured figure below, and they are labelled as such wherever they appear next to these.

Co indeks faktycznie zlicza

The Coding Agent Index nie testuje modelu w izolacji. Każdy wiersz to para harness–model, a główna liczba to średnia równo ważona trzech wyników składowych: FrontierCode 2.0 — 132 zadania z inżynierii oprogramowania napisane przez Cognition i zaimplementowane przez Artificial Analysis; SWE-Atlas-QnA — 124 techniczne zadania pytań i odpowiedzi od Scale AI z ocenianiem dostosowanym przez AA; oraz Terminal-Bench 4.1 — 66 agentowych zadań terminalowych od Laude Institute. Każdy komponent to średni wynik z trzech prób na zadanie. Strona nie publikuje przedziału ufności dla żadnego z tych elementów, co jest pierwszą rzeczą, o której trzeba wiedzieć, zanim potraktuje się jedną dziesiątą punktu jako fakt o zdolnościach.

The Artificial Analysis Coding Agent Benchmarks page, headed Artificial Analysis Coding Agent Benchmarks, with a panel defining the Artificial Analysis Coding Agent Index as the composite of three benchmarks — FrontierCode-AA 2.0 with 132 software engineering tasks by Cognition, Terminal-Bench 4.1 with 66 agentic terminal tasks by the Laude Institute and SWE-Atlas-QnA with 124 technical Q&A tasks by Scale AI — above three bar charts for Coding Agent Index v2.1, Time per Task and Cost per Task, each labelled No publicly available API.

To zastrzeżenie ma tu większe znaczenie niż zwykle, ponieważ czołówka tabeli jest niezwykle wyrównana. Uszeregowane według wskaźnika złożonego, z dokładnością do dwóch miejsc po przecinku:

• G​emini 4 Neon (xhigh), Antigravity CLI — 58.64

• Claude Fable 5.2 (xhigh), Claude Code — 58,47

• Devin Fusion CLI, Claude Opus 5.5 max + GPT-6 Luna high — 58.40

• Claude Fable 5.2 (high), Claude Code — 58,24

• Claude Opus 5.5 (max), Claude Code — 58.16

Pięć konfiguracji w granicach pół punktu, obejmujących trzech dostawców i trzech różnych agentów. To, co je dzieli, jest niewidoczne przy tej rozdzielczości, a artykuł, który opisuje szczyt tej tabeli jako rozstrzygający wynik, opisuje zaokrąglenie jako sygnał.

Pięciopunktowa różnica wynika głównie z jednego benchmarku.

Porównanie GPT-6.2 Astra to miejsce, w którym nagłówek staje się ciekawy, ponieważ pięciopunktowa różnica w wyniku łącznym brzmi strukturalnie, a okazuje się skupiona w jednym komponencie. Trzeba też na wstępie wprowadzić jedną korektę: krążąca od premiery wartość „sześć punktów przewagi” to wynik porównania 58,64 Neona z Astrą w trybie wysokim, co daje 52,28 — o 6,36 punktu mniej. W porównaniu z najlepszą konfiguracją Astry, max przy 53,47, różnica wynosi 5,17. Oba wyniki są na tablicy; opisują różne ustawienia tego samego modelu. Rozdzielmy parę max:

• FrontierCode 2.0 — Neon (xhigh) 43,0 vs Astra (max) 41,7, różnica 1,3 punktu w 132 zadaniach z zakresu inżynierii oprogramowania.

• Terminal-Bench 4.1 — Neon 65,2 vs Astra 63,6, różnica 1,6 punktu w 66 zadaniach terminalowych.

• SWE-Atlas-QnA — Neon 67,7 vs Astra 55,1, różnica 12,6 punktu w 124 technicznych zadaniach Q&A.

Roughly four-fifths of the composite difference comes from the Q&A component, and that is the component least like what an agent does when it edits a repository. SWE-Atlas-QnA asks the harness to answer questions about a codebase. FrontierCode and Terminal-Bench ask it to change one, or to drive a terminal until a job completes. On the two task sets that resemble real agent work, G​emini 4 Neon and GPT-6.2 Astra sit inside two points of each other — the same order of magnitude as the spread among the five configurations at the top. On the task set that resembles retrieval-and-reasoning, Neon is better by twelve.

Oba odczyty są prawdziwe, a to, który z nich przewiduje Twoje doświadczenie, jest właściwością Twojego obciążenia pracą, a nie tabeli liderów. Jeśli Twój agent spędza dzień na odpowiadaniu na pytania dotyczące dużego prywatnego bazy kodu, SWE-Atlas-QnA jest najbliższym odpowiednikiem na liście i dwunastopunktowa różnica jest warta działania. Jeśli spędza dzień na otwieraniu pull requestów, FrontierCode i Terminal-Bench są bliższymi odpowiednikami, a wskaźnik zbiorczy zawyża różnicę trzykrotnie lub czterokrotnie.

A two-column scoreboard titled Gemini 4 Neon vs GPT-6.2 Astra — the scoreboard. Gemini 4 Neon (xhigh, Antigravity CLI) reads Coding Agent Index 58.64, FrontierCode 2.0 43.0, Terminal-Bench 4.1 65.2, SWE-Atlas-QnA 67.7, Cost per task $6.86, Refusals 0. GPT-6.2 Astra (max, Codex) reads Coding Agent Index 53.47, FrontierCode 2.0 41.7, Terminal-Bench 4.1 63.6, SWE-Atlas-QnA 55.1, Cost per task $5.12, Refusals 8 hard stops. The footer says All figures per Artificial Analysis Coding Agent Index v2.1, read 19 November 2026.

Koszt na zadanie działa w drugą stronę

Artificial Analysis podaje koszt obok wyniku, a pod względem kosztu kolejność się odwraca. Średni koszt na zadanie w całym indeksie:

• G​emini 4 Neon (xhigh) — $6.86, 13.72M input and 125.6k output tokens, 177 steps, 30.5 minutes wall time.

• Claude Fable 5.2 (xhigh) — 15,47 USD, 9,55 mln tokenów wejściowych i 207,4 tys. tokenów wyjściowych, 95 kroków, 53,3 minuty.

• Claude Fable 5.2 (high) — 7,51 USD, 5,02 mln tokenów wejściowych i 94,1 tys. tokenów wyjściowych, 55 kroków, 31,3 minuty.

• GPT-6.2 Astra (max) — 5,12 USD, 4,62 mln tokenów wejściowych i 43,0 tys. tokenów wyjściowych, 51 kroków, 25,1 minuty.

• Gemini 4 Carbon (wysoki) — 9,75 USD, 15,31 mln tokenów wejściowych i 120,5 tys. tokenów wyjściowych, 186 kroków, 33,6 minuty.

Z tego wynikają trzy rzeczy. Po pierwsze, Neon jest 2,3 razy tańszy na zadanie niż Fable 5.2 przy ustawieniu, w którym oceniany jest wiersz Fable, i kończy pracę w 30,5 minuty w porównaniu z 53,3. Po drugie, Neon nie jest tani w ujęciu absolutnym: przy 6,86 USD kosztuje o 34% więcej na zadanie niż konfiguracja GPT-6.2 Astra, którą przewyższa, i o 30% mniej niż jej siostrzany model Gemini 4 Carbon, który przewyższa o 3,2 punktu złożonego — więc w porównaniu z Carbon sprawa jest jednoznaczna na obu osiach, a w porównaniu z Astra to zwykła wymiana dolarów na wynik. Po trzecie, profil tokenów wyjaśnia cenę. Neon zużywa 13,72 mln tokenów wejściowych i 177 kroków na zadanie w porównaniu z 9,55 mln i 95 w Fable 5.2: około 44% więcej danych wejściowych i 86% więcej wywołań narzędzi dla wyniku lepszego o 0,17 punktu. Współczynniki trafień w pamięć podręczną wynoszą od 94% do 96% w każdym z powyższych wierszy, więc nie jest to artefakt pamięci podręcznej — to model wykonujący więcej mniejszych kroków.

G​oogle's launch material claims G​emini 4 Neon at its default high setting costs 32% less per task than Gemini 4 Carbon. That is vendor-reported and this board does not reproduce it. The only Neon row published here is xhigh, at $6.86 against Carbon's $9.75 — a 30% saving, close to the vendor figure, but measured at the deepest of Neon's four thinking settings rather than at the default the claim describes. Read the direction as supported and the precise number as unconfirmed until a high row exists.

Ustawienie zmienia wynik bardziej niż model.

Najbardziej użyteczną rzeczą na tej tablicy nie jest ranking. Chodzi o to, że Claude Fable 5.2 pojawia się pięć razy, w tym samym środowisku testowym, na pięciu poziomach myślenia, a jego wyniki wynoszą 47,96 przy niskim, 53,04 przy średnim, 58,24 przy wysokim, 58,47 przy bardzo wysokim i 55,74 przy maksymalnym — rozpiętość 10,5 punktu zależna od parametru. GPT-6.2 Astra pojawia się pięć razy w Codex i osiąga od 35,58 przy niskim do 53,47 przy maksymalnym, czyli rozpiętość 17,9 punktu w ramach tego samego rodzaju pokrętła.

Zestaw te zakresy z lukami, o których mówią nagłówki. Rozpiętość między Astra przy niskim ustawieniu a Astra przy maksymalnym ustawieniu jest 3,5 razy większa od różnicy między Neon a Astra przy ich najlepszych ustawieniach i 5,6 razy większa od różnicy między Neon a Carbon. Sam rozstęp 10,5 punktu w Fable 5.2 jest ponad dwukrotnie większy niż cały dystans od pierwszego miejsca Neon do dziesiątego miejsca Astra. Wybór modelu na podstawie jednej liczby na model to wybór na podstawie najmniejszej zmiennej na stronie; poziom wysiłku, który przekazujesz, i agent, którym go otaczasz, przesuwają wynik dalej niż logo na pudełku.

It also makes the "surpassed Fable 5.2" framing need a qualifier. Neon's 58.64 is measured at xhigh inside Antigravity CLI, and it is the only Neon configuration on the board — there is no high row, so nobody outside G​oogle can yet say what Neon's default costs in score or in dollars. Fable 5.2's 0.17-point deficit holds at its own xhigh and, more narrowly, at high where it scores 58.24 on $7.51 per task. Both of those numbers are inside the range a different harness could plausibly reverse, which is not a criticism of Neon — it is what a half-point spread at the top of a 41-row board means.

Co jest tutaj faktycznie nowego?

G​emini 4 Neon reached general availability on 18 November 2026, a day before this board was read, at $3.00 per million input tokens and $15.00 per million output for a 1M-token context window. It is proprietary and flat-priced: no introductory window, no free tier, unlike Gemini 4 Hydrogen. The rate card and the independent intelligence scores have been covered elsewhere on this blog; what is new is the first measured agentic result, and it says several things the launch post did not.

Wpis premierowy rzeczywiście podawał, że zajęto pierwsze miejsce w Artificial Analysis Coding Agent Index z wynikiem 58,6 i że jest to dokładnie ta liczba, którą publikuje tablica wyników w opisanej konfiguracji. Wpis nie mówił jednak, że przewaga nad następną konfiguracją wynosi 0,17 punktu, że większość prowadzenia nad GPT-6.2 Astra pochodzi z jednego z trzech komponentów ani że przebieg zużył 13,72 mln tokenów wejściowych na zadanie. To właśnie te informacje są potrzebne czytelnikowi decydującemu, co wdrożyć, a istnieją tylko na tablicy wyników.

Jeszcze jedna liczba warta umieszczenia obok wyniku: zero odmów. We wszystkich 966 próbach w wierszu Neon — 396 FrontierCode, 372 SWE-Atlas-QnA, 198 Terminal-Bench — Artificial Analysis odnotował brak odmów ze względów bezpieczeństwa i brak przełączeń awaryjnych u dostawcy. Fable 5.2 przy xhigh odnotował 1 odmowę w FrontierCode, 38 w SWE-Atlas-QnA i 16 w Terminal-Bench; GPT-6.2 Astra przy max odnotował 8 odmów w SWE-Atlas-QnA, wszystkie będące twardymi zatrzymaniami. Odmowa nie jest porażką możliwości, ale jest zadaniem, którego agent nie ukończył, a w pętli agentowej objawia się jako zastój, a nie błędna odpowiedź. Dla agenta skierowanego na repozytoria produkcyjne model, który ukończa każdą próbę, stanowi różnicę operacyjną, której nie dorównuje żadna inna konfiguracja w tym zestawieniu.

What are the switching costs, and where we fit

If Neon's numbers argue for a trial, the practical question is what the trial costs in engineering. Neon is not in our catalogue: the OrcaRouter model list carries google/gemini-4-carbon and google/gemini-4-argon and no Neon entry as of 19 November, so we cannot route it for you today and will not imply otherwise. GPT-6.2 Astra is not in the catalogue either. What we do carry is anthropic/claude-fable-5.2 at A​nthropic's list price of $8.00 input and $40.00 output per million, plus the earlier openai/gpt-6-astra — GPT-6 Astra, a September model and a different row on this board — at $10.00 and $50.00. Both sit on the same key at provider list price with 0% markup, which means the arithmetic above can be re-run against your own traffic without a second contract.

The OrcaRouter model page for Claude Fable 5.2, showing the model identifier anthropic/claude-fable-5.2, a 1M-token context window, a maximum output of 128K tokens, multimodal input across text, image and file, capability chips for vision, tools, JSON and reasoning, the line by Anthropic · 2026-11-09, a p50 time to first token of 5.52 seconds, and a price row reading $8.00 input and $40.00 output per million tokens with 33.5M tokens of traffic over seven days.

W przypadku tak wyrównanej tabeli najważniejsza jest rotacja. Trzy z pięciu wiodących konfiguracji korzystają z modelu wydanego w ciągu ostatnich dziesięciu dni, a kolejność zmieniała się za każdym razem, gdy któryś z nich się pojawiał. Ścieżka produkcyjna przypisana na stałe do tego wiersza, który jest dziś pierwszy, wymaga przebudowy, gdy pojawia się kolejny model — dlatego decyzja o routingu powinna znajdować się poza kodem. Dzięki jednemu endpointowi i regule routingu model kandydujący to zmiana konfiguracji, a nie migracja, a automatyczny failover pozwala nieprzetestowanemu modelowi stać za sprawdzonym i przejąć część ruchu bez narażania głównej ścieżki.

For the two models we do serve, pass-through is literal: when A​nthropic or O​penAI moves a rate, the number on our invoice moves the same day, with nothing layered on top. That is the honest basis for the cost comparison above — re-price both sides at what you would actually be billed, not at a launch-post figure.

Kto powinien podjąć w tej sprawie działania i w jaki sposób?

Zarząd obsługuje trzy różne decyzje w zależności od tego, co uruchomisz, i nie są to te same decyzje.

Jeśli uruchamiasz agenta, który odpowiada na pytania dotyczące dużego prywatnego repozytorium kodu — asystenci ds. wdrożenia, narzędzia typu „gdzie to jest zaimplementowane”, planiści migracji — luka SWE-Atlas-QnA jest liczbą, która ma znaczenie, a 67,7 wobec 55,1 jest wystarczająco duża, by uzasadnić ostrożny test. Zaplanuj budżet na xhigh (ustawienie), ponieważ jest to jedyna oceniana konfiguracja, i nie zakładaj, że domyślna działa tak samo.

Jeśli uruchamiasz agenta, który otwiera pull requesty i steruje terminalem, uczciwe podsumowanie jest takie, że Neon, Fable 5.2, Opus 5.5 i para Devin Fusion różnią się między sobą o mniej niż pół punktu złożonego i o mniej niż trzy punkty na Terminal-Bench, choć ich wyniki FrontierCode są bardziej rozproszone — od 43,0 do 49,2. Żadne względy dotyczące możliwości nie uzasadniają tu żadnej zmiany. Jest argument kosztowy — Neon za 6,86 USD wobec Fable 5.2 za 15,47 USD przy tym samym wyniku — oraz argument operacyjny w wierszu z zerową liczbą odmów. Żaden z nich nie jest powodem, by w tym tygodniu migrować działający pipeline.

Jeśli nadal wybierasz środowisko testowe, właśnie tam dowody są najmocniejsze i najmniej dwuznaczne. Rozrzut między poziomami myślenia w obrębie jednego modelu przyćmiewa rozrzut między wiodącymi modelami przy ich najlepszych ustawieniach. Dwa popołudnia spędzone na uruchamianiu własnego agenta na dwóch lub trzech poziomach wysiłku powiedzą ci więcej o twoim rachunku i współczynniku zaliczeń niż jakakolwiek ilość czasu spędzonego na czytaniu tego rankingu — w tym tego artykułu.

What to watch: a Neon row at its default high setting. Until one is published, the model that tops the board has been measured at exactly one configuration — and the 32%-cheaper-per-task claim G​oogle makes is about the setting nobody has scored yet.

Porównane w tym artykule2

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie