
Gemini 4 Neon Memuncaki Coding Agent Index dengan 58,6 — Selisih dengan Claude Fable 5.2 Adalah 0,17 Poin, dan Sebagian Besar Selisih dengan GPT-6.2 Astra Hanya Berasal dari Satu Benchmark
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 185 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 214 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 87 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 97 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 112 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 210 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
Gemini 4 Neon now holds first place on the Artificial Analysis Coding Agent Index at 58.64, with Claude Fable 5.2 at 58.47 and GPT-6.2 Astra — released on 17 November, two days before this reading — at 53.47. That is the claim going around, and every number in it checks out against the published leaderboard. It is also, read carefully, an argument about harnesses as much as about models: Neon's 58.64 was measured inside Google's own Antigravity CLI, Fable 5.2's 58.47 inside Claude Code, Astra's 53.47 inside Codex. Three labs, three terminal agents, one composite built from 396 FrontierCode 2.0 attempts, 372 SWE-Atlas-QnA attempts and 198 Terminal-Bench 4.1 attempts per row. The ranking is real. What it means for your repository is narrower — and considerably more useful — than a leaderboard screenshot suggests.
Everything below is read off the public coding-agents leaderboard at Artificial Analysis on 19 November 2026, on index version v2.1. None of it is Google's own benchmark table: the composite, the three component scores, the cost per task and the token counts are measured in the lab, each run through the vendor's own terminal agent. Google's launch-day figures for Gemini 4 Neon — Chartography 73.5%, Terminal-Bench 4.1 at 65.2%, FrontierCode 2.0 at 46.2% — are a separate set, vendor-reported and not the source of any measured figure below, and they are labelled as such wherever they appear next to these.
Apa yang sebenarnya dihitung oleh indeks
Coding Agent Index tidak menguji model secara terisolasi. Setiap baris adalah pasangan harness-dan-model, dan angka utamanya adalah rata-rata berbobot sama dari tiga skor komponen: FrontierCode 2.0, 132 tugas rekayasa perangkat lunak yang ditulis oleh Cognition dan diimplementasikan oleh Artificial Analysis; SWE-Atlas-QnA, 124 tugas tanya jawab teknis dari Scale AI dengan penilaian yang disesuaikan oleh AA; dan Terminal-Bench 4.1, 66 tugas terminal agentik dari Laude Institute. Setiap komponen adalah skor rata-rata dari tiga percobaan per tugas. Halaman ini tidak menerbitkan interval kepercayaan untuk semua itu, yang merupakan hal pertama yang perlu diketahui sebelum menganggap sepersepuluh poin sebagai fakta tentang kemampuan.

Peringatan itu lebih penting daripada biasanya di sini, karena puncak klasemen sangatlah ketat. Diperingkat berdasarkan komposit, hingga dua desimal:
• Gemini 4 Neon (xhigh), Antigravity CLI — 58.64
• Claude Fable 5.2 (xhigh), Claude Code — 58,47
• Devin Fusion CLI, Claude Opus 5.5 max + GPT-6 Luna high — 58.40
• Claude Fable 5.2 (tinggi), Claude Code — 58.24
• Claude Opus 5.5 (maks), Claude Code — 58,16
Lima konfigurasi berada dalam selisih setengah poin, mencakup tiga vendor dan tiga agen yang berbeda. Apa pun yang membedakan mereka tidak terlihat pada resolusi ini, dan artikel yang menggambarkan puncak papan ini sebagai hasil yang menentukan berarti menggambarkan pembulatan sebagai sinyal.
Kesenjangan lima poin itu sebagian besar disebabkan oleh satu tolok ukur.
Perbandingan GPT-6.2 Astra adalah titik ketika sorotan utama menjadi menarik, karena selisih komposit lima poin terdengar struktural dan ternyata terkonsentrasi pada satu komponen. Ada juga satu koreksi di awal: angka "enam poin lebih unggul" yang beredar sejak peluncuran adalah hasil membandingkan Neon 58,64 dengan Astra pada high, yang mencetak 52,28 — tertinggal 6,36 poin. Dibandingkan dengan konfigurasi terbaik Astra, max pada 53,47, selisihnya 5,17. Kedua angka itu ada di papan; keduanya menggambarkan pengaturan berbeda dari model yang sama. Pisahkan pasangan max itu:
• FrontierCode 2.0 — Neon (xhigh) 43,0 vs Astra (max) 41,7, selisih 1,3 poin di 132 tugas rekayasa perangkat lunak.
• Terminal-Bench 4.1 — Neon 65,2 vs Astra 63,6, selisih 1,6 poin pada 66 tugas terminal.
• SWE-Atlas-QnA — Neon 67,7 vs Astra 55,1, selisih 12,6 poin pada 124 tugas tanya jawab teknis.
Sekitar empat perlima dari perbedaan komposit berasal dari komponen Q&A, dan komponen itulah yang paling tidak mirip dengan apa yang dilakukan agen saat menyunting repositori. SWE-Atlas-QnA meminta harness untuk menjawab pertanyaan tentang basis kode. FrontierCode dan Terminal-Bench memintanya untuk mengubahnya, atau menjalankan terminal hingga suatu pekerjaan selesai. Pada dua kumpulan tugas yang menyerupai pekerjaan agen nyata, Gemini 4 Neon dan GPT-6.2 Astra berada dalam selisih dua poin satu sama lain — orde besaran yang sama dengan sebaran di antara lima konfigurasi teratas. Pada kumpulan tugas yang menyerupai pengambilan-dan-penalaran, Neon lebih unggul dua belas poin.
Kedua pembacaan itu benar, dan mana yang memprediksi pengalaman Anda adalah properti dari beban kerja Anda, bukan dari papan peringkat. Jika agen Anda menghabiskan hari-harinya menjawab pertanyaan atas basis kode privat yang besar, SWE-Atlas-QnA adalah proksi terdekat di papan tersebut dan selisih dua belas poin layak untuk ditindaklanjuti. Jika ia menghabiskan hari-harinya membuka pull request, FrontierCode dan Terminal-Bench adalah proksi yang lebih dekat, dan skor komposit melebih-lebihkan perbedaannya sebesar tiga atau empat kali lipat.

Biaya per tugas bergerak ke arah sebaliknya
Artificial Analysis melaporkan biaya bersama skor, dan pada biaya urutannya terbalik. Rata-rata biaya per tugas di seluruh indeks lengkap:
• Gemini 4 Neon (xhigh) — $6,86, 13,72 juta token masukan dan 125,6 ribu token keluaran, 177 langkah, waktu aktual 30,5 menit.
• Claude Fable 5.2 (xhigh) — $15,47, 9,55 juta token masukan dan 207,4 ribu token keluaran, 95 langkah, 53,3 menit.
• Claude Fable 5.2 (tinggi) — $7,51, 5,02M token masukan dan 94,1k token keluaran, 55 langkah, 31,3 menit.
• GPT-6.2 Astra (maks) — $5,12, 4,62M token masukan dan 43,0k token keluaran, 51 langkah, 25,1 menit.
• Gemini 4 Carbon (tinggi) — $9,75, 15,31 juta token masukan dan 120,5 ribu token keluaran, 186 langkah, 33,6 menit.
Tiga hal muncul dari itu. Pertama, Neon 2,3 kali lebih murah per tugas daripada Fable 5.2 pada pengaturan tempat baris Fable dinilai, dan selesai dalam 30,5 menit versus 53,3. Kedua, Neon tidak murah secara absolut: pada $6,86 biayanya 34% lebih tinggi per tugas daripada konfigurasi GPT-6.2 Astra yang dikalahkannya, dan 30% lebih rendah daripada saudaranya sendiri Gemini 4 Carbon, yang dikalahkannya dengan 3,2 poin komposit — jadi terhadap Carbon kasusnya tidak ambigu pada kedua sumbu, dan terhadap Astra itu murni pertukaran dolar demi skor. Ketiga, profil token menjelaskan harganya. Neon membakar 13,72M token masukan dan 177 langkah per tugas versus 9,55M dan 95 milik Fable 5.2: sekitar 44% lebih banyak masukan dan 86% lebih banyak panggilan alat untuk hasil 0,17 poin lebih unggul. Tingkat cache hit berada antara 94% dan 96% pada setiap baris di atas, jadi itu bukan artefak caching — melainkan model yang mengambil lebih banyak langkah yang lebih kecil.
Google's launch material claims Gemini 4 Neon at its default high setting costs 32% less per task than Gemini 4 Carbon. That is vendor-reported and this board does not reproduce it. The only Neon row published here is xhigh, at $6.86 against Carbon's $9.75 — a 30% saving, close to the vendor figure, but measured at the deepest of Neon's four thinking settings rather than at the default the claim describes. Read the direction as supported and the precise number as unconfirmed until a high row exists.
Pengaturan lebih banyak menggeser skor daripada model.
Hal paling berguna di papan ini bukanlah peringkatnya. Yang penting adalah Claude Fable 5.2 muncul lima kali, dalam harness yang sama, pada lima tingkat berpikir, dan skornya berkisar 47,96 pada rendah, 53,04 pada sedang, 58,24 pada tinggi, 58,47 pada sangat tinggi dan 55,74 pada maks — rentang 10,5 poin karena satu parameter. GPT-6.2 Astra muncul lima kali di Codex dan berkisar 35,58 pada rendah hingga 53,47 pada maks, rentang 17,9 poin pada jenis parameter yang sama.
Bandingkan rentang tersebut dengan celah yang menjadi topik berita utama. Selisih antara Astra pada setelan rendah dan Astra pada setelan maks adalah 3,5 kali celah antara Neon dan Astra pada pengaturan terbaik mereka, dan 5,6 kali celah antara Neon dan Carbon. Rentang 10,5 poin di dalam Fable 5.2 saja lebih dari dua kali seluruh jarak dari posisi pertama Neon ke posisi kesepuluh Astra. Memilih model dari satu angka per model berarti memilih berdasarkan variabel terkecil di halaman; tingkat effort yang Anda berikan dan agen yang Anda bungkus di sekitarnya menggeser hasil lebih jauh daripada logo pada kotaknya.
It also makes the "surpassed Fable 5.2" framing need a qualifier. Neon's 58.64 is measured at xhigh inside Antigravity CLI, and it is the only Neon configuration on the board — there is no high row, so nobody outside Google can yet say what Neon's default costs in score or in dollars. Fable 5.2's 0.17-point deficit holds at its own xhigh and, more narrowly, at high where it scores 58.24 on $7.51 per task. Both of those numbers are inside the range a different harness could plausibly reverse, which is not a criticism of Neon — it is what a half-point spread at the top of a 41-row board means.
Apa yang sebenarnya baru di sini?
Gemini 4 Neon mencapai ketersediaan umum pada 18 November 2026, sehari sebelum papan ini dibaca, dengan harga $3.00 per juta token masukan dan $15.00 per juta token keluaran untuk jendela konteks 1 juta token. Produk ini bersifat proprietary dan berharga tetap: tidak ada periode pengenalan, tidak ada tier gratis, berbeda dengan Gemini 4 Hydrogen. Kartu tarif dan skor kecerdasan independen telah dibahas di tempat lain di blog ini; yang baru adalah hasil agentik terukur pertama, dan hasil itu menyatakan beberapa hal yang tidak disampaikan oleh postingan peluncuran.
Posting peluncuran memang menyebut bahwa ini meraih tempat pertama pada Artificial Analysis Coding Agent Index dengan skor 58,6, dan angka itu persis seperti yang dipublikasikan papan peringkat, pada konfigurasi yang dijelaskan. Yang tidak disebutkan dalam posting itu adalah bahwa selisihnya dengan konfigurasi berikutnya adalah 0,17 poin, bahwa sebagian besar keunggulan atas GPT-6.2 Astra berasal dari salah satu dari tiga komponen, atau bahwa proses tersebut mengonsumsi 13,72 juta token input per tugas. Itulah bagian-bagian yang dibutuhkan pembaca untuk memutuskan apa yang akan diterapkan, dan bagian itu hanya ada di papan peringkat.
Satu angka lagi yang layak disandingkan dengan skor tersebut: nol penolakan. Dari seluruh 966 percobaan di baris Neon — 396 FrontierCode, 372 SWE-Atlas-QnA, 198 Terminal-Bench — Artificial Analysis tidak mencatat satu pun penolakan karena alasan keamanan dan tidak ada fallback penyedia. Fable 5.2 pada xhighmencatat 1 penolakan di FrontierCode, 38 di SWE-Atlas-QnA, dan 16 di Terminal-Bench; GPT-6.2 Astra pada maxmencatat 8 penolakan di SWE-Atlas-QnA, semuanya berhenti total. Penolakan bukanlah kegagalan kemampuan, tetapi itu adalah tugas yang tidak diselesaikan oleh agen, dan di dalam loop agentik hal tersebut tampak sebagai kemacetan, bukan jawaban yang salah. Bagi agen yang diarahkan ke repositori produksi, model yang menyelesaikan setiap percobaan merupakan perbedaan operasional yang tidak dapat disamai oleh konfigurasi lain mana pun di papan ini.
Apa biaya peralihan, dan di mana posisi kami
Jika angka-angka Neon mendukung uji coba, pertanyaan praktisnya adalah berapa biaya rekayasa untuk uji coba itu. Neon tidak ada dalam katalog kami: daftar model OrcaRouter memuat google/gemini-4-carbon dan google/gemini-4-argon serta tidak ada entri Neon per 19 November, jadi kami tidak dapat merutekannya untuk Anda hari ini dan tidak akan menyiratkan sebaliknya. GPT-6.2 Astra juga tidak ada dalam katalog. Yang kami sediakan adalah anthropic/claude-fable-5.2 dengan harga daftar Anthropic sebesar $8.00 untuk input dan $40.00 untuk output per juta, ditambah openai/gpt-6-astra — GPT-6 Astra, model September dan baris berbeda di papan ini — dengan $10.00 dan $50.00. Keduanya berada pada kunci yang sama dengan harga daftar penyedia dan markup 0%, yang berarti perhitungan di atas dapat dijalankan ulang terhadap trafik Anda sendiri tanpa kontrak kedua.

Yang paling penting pada papan peringkat yang begitu ketat adalah pergantian. Tiga dari lima konfigurasi teratas menggunakan model yang dirilis dalam sepuluh hari terakhir, dan urutannya berubah setiap kali salah satunya masuk. Jalur produksi yang dipatrikan pada baris mana pun yang berada di posisi pertama hari ini akan dibangun ulang saat model berikutnya dirilis, itulah sebabnya keputusan perutean harus berada di luar kode. Dengan satu endpoint dan aturan perutean, model kandidat menjadi perubahan konfigurasi, bukan migrasi, dan failover otomatis memungkinkan model yang belum terbukti berada di belakang model yang sudah terbukti dan menyerap sebagian lalu lintas tanpa membahayakan jalur utama.
Untuk dua model yang kami layani, pass-through bersifat literal: ketika Anthropic atau OpenAI mengubah tarif, angka pada faktur kami ikut berubah pada hari yang sama, tanpa tambahan apa pun di atasnya. Itulah dasar yang jujur untuk perbandingan biaya di atas — hitung ulang harga kedua sisi sesuai yang benar-benar akan ditagihkan kepada Anda, bukan berdasarkan angka di postingan peluncuran.
Siapa yang harus bertindak atas hal ini, dan bagaimana caranya
Dewan mendukung tiga keputusan berbeda bergantung pada apa yang Anda jalankan, dan keputusan-keputusan itu bukan keputusan yang sama.
Jika Anda menjalankan agen yang menjawab pertanyaan atas basis kode privat yang besar — asisten onboarding, alat "di mana ini diimplementasikan", perencana migrasi — selisih SWE-Atlas-QnA adalah angka yang penting, dan 67,7 versus 55,1 cukup lebar untuk membenarkan uji coba yang terukur. Alokasikan anggaran untuk pengaturan xhigh, karena itu satu-satunya konfigurasi yang dinilai, dan jangan mengasumsikan default berperforma sama.
Jika Anda menjalankan agen yang membuka pull request dan mengoperasikan terminal, ringkasan jujurnya adalah bahwa Neon, Fable 5.2, Opus 5.5, dan pasangan Devin Fusion berada dalam selisih setengah poin komposit satu sama lain dan dalam selisih tiga poin pada Terminal-Bench, meskipun skor FrontierCode mereka tersebar lebih lebar, dari 43.0 hingga 49.2. Tidak ada alasan kemampuan di sini untuk mengganti apa pun. Ada alasan biaya — Neon sebesar $6.86 dibandingkan Fable 5.2 sebesar $15.47 untuk skor yang sama — dan alasan operasional pada baris tanpa penolakan. Keduanya bukan alasan untuk memigrasikan pipeline yang sudah berjalan minggu ini.
Jika Anda masih memilih harness, di situlah buktinya paling kuat dan paling tidak ambigu. Sebaran di berbagai tingkat pemikiran dalam satu model jauh lebih besar daripada sebaran antara model-model terdepan pada pengaturan terbaiknya. Dua sore yang dihabiskan untuk menjalankan agen Anda sendiri pada dua atau tiga tingkat upaya akan memberi tahu Anda lebih banyak tentang tagihan dan tingkat kelulusan Anda daripada waktu sebanyak apa pun yang dihabiskan untuk membaca papan peringkat ini, termasuk artikel ini.
What to watch: a Neon row at its default high setting. Until one is published, the model that tops the board has been measured at exactly one configuration — and the 32%-cheaper-per-task claim Google makes is about the setting nobody has scored yet.
Dibandingkan dalam artikel ini2
Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari
