Kartu judul bertuliskan Angka Independen Pertama Gemini 4 Neon, dengan baris 61 adalah pengaturan xhigh. Pada pengaturan defaultnya, skornya 59,6, dan Carbon mencetak 60,0, di atas tiga kartu yang bertuliskan Gemini 4 Neon pada xhigh 61,4, Gemini 4 Neon pada high (default) 59,6, dan Gemini 4 Carbon pada high 60,0, dengan bagian bawah bertuliskan Artificial Analysis Intelligence Index v5.0.1, 19 November 2026.
Guides & Insights

Benchmark Independen Pertama Gemini 4 Neon: Angka 61 Itu Angka xhigh, dan pada Default-nya Ia Berada di Belakang Carbon

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Posting peluncuran Google untuk Gemini 4 Neon mengawali dengan Indeks Kecerdasan Artificial Analysis sebesar 61, peringkat ketiga secara keseluruhan. Artificial Analysis kini menerbitkan halaman sendiri untuk Gemini 4 Neon, dan halaman itu menyebut 61,4 — untuk xhigh varian, yang paling dalam dari empat pengaturan berpikir, diperingkat keenam dari 96 model pada indeks v5.0.1. Pada pengaturan yang sebenarnya menjadi default Neon, high, pelacak yang sama memberinya skor 59,6. Gemini 4 Carbon, model yang dijadikan pembanding Neon oleh pengumuman Google di hampir setiap paragraf, berada di 60,0 pada maksimumnya sendiri. Baca kedua halaman sebagaimana diterbitkan dan Gemini 4 terbaru bukan yang paling cerdas: ia menang dengan 1,4 poin ketika Anda mendorongnya ke tingkat yang tidak dimiliki Carbon, dan kalah dengan 0,4 poin ketika Anda membandingkan kedua model pada pengaturan yang direkomendasikan vendor masing-masing.

Semua itu tidak membuat Neon menjadi model yang buruk, dan angka kecepatan di panel yang sama adalah argumen terkuat untuknya yang pernah diterbitkan oleh siapa pun. Namun, itu berarti satu angka yang paling mungkin masuk ke dalam dek slide minggu ini adalah konfigurasi model yang paling tidak representatif, dan koreksinya kini dapat diperiksa oleh siapa pun yang memiliki peramban, bukan sekadar inferensi dari tabel milik vendor sendiri.

Apa yang sebenarnya diterbitkan oleh pelacak tersebut

Artificial Analysis mencantumkan Gemini 4 Neon sebagai dirilis pada 18 November 2026, proprietary, Google, dengan jendela konteks 1 juta token dan input teks, gambar, suara, serta video. Model ini memiliki empat varian yang dinilai secara terpisah — low, medium, high, dan xhigh — dan halaman terbuka pada xhigh secara default, itulah sebabnya angka utamanya adalah 61,4, bukan angka yang akan Anda peroleh dengan memanggil model tanpa parameter thinking sama sekali. Indeks yang berlaku adalah v5.0.1, yang penting bagi siapa pun yang memiliki skor lama: ini adalah indeks yang telah di-rebase, dan 61 dari papan peringkat musim panas bukanlah pengukuran yang sama dengan 61 hari ini.

Halaman yang sama memberi skor untuk anggota keluarga lainnya, dan urutannya layak dibaca sebelum angka masing-masing. Keempatnya menggunakan set evaluasi yang sama — AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2, dan Terminal-Bench-Science 0.1 — sehingga perbandingannya setidaknya setara, lebih dari yang bisa dikatakan tentang tabel benchmark dalam postingan peluncuran.

The Artificial Analysis model page for Gemini 4 Neon, headed Gemini 4 Neon: Intelligence, Performance and Price Analysis, showing Intelligence 61 at rank #6 of 96, Performance #73 of 95 with 56.51 seconds per response, 110 output tokens per second and 21.5 minutes per task, Cost #82 of 95 at $3.00 input and $15.00 output per million tokens with a 95% cache discount and $6.44 per Intelligence Index task, and Verbosity #93 of 95, above a low, medium, high and xhigh variant selector.

Satu model, empat skor, dan tangga yang jauh lebih curam

• Neon pada rendah — 44,1, dibandingkan Carbon pada rendah 54,2 dan Gemini 4 Hydrogen pada rendah 26,9.

• Neon pada level sedang — 54.9, dibandingkan Karbon 58.3 dan Hidrogen 41.2.

• Neon pada tinggi — 59,6, dibandingkan Carbon 60,0 dan Hydrogen 50,8. Ini adalah nilai default Neon dan batas maksimum Carbon.

• Neon pada xhigh — 61,4, dibandingkan dengan tidak adanya entri Carbon sama sekali. Gemini 4 Hydrogen memiliki tingkat keempat dan skornya 53,9.

Bentuk keempat angka itu adalah bagian yang tidak disampaikan oleh postingan peluncuran. Neon membentang 17,3 poin indeks dari pengaturan termurah hingga terdalam; Carbon membentang 5,8 di tiga tingkatnya. Neon bukan kuantitas tetap yang kebetulan punya kenop penyetelan — melainkan empat model yang berbeda secara nyata tergantung tingkat mana yang Anda sebut, dan perbedaannya paling besar di bagian bawah, tempat Neonrendah berada 10,1 poin di bawahrendah Carbon. Jika Anda selama ini mengukur Neon terhadap Carbon dengan satu angka per model, versi jujurnya adalah kurva terhadap garis datar.

Hal itu memiliki konsekuensi praktis yang berlawanan dengan pembingkaian peluncuran. Dokumentasi Google memberi tahu pengembang untuk mengevaluasi pada keempat tingkat dan memilih tingkat terendah yang memenuhi standar kualitas mereka, serta memperingatkan bahwa xhigh "dapat menyebabkan overthinking atau menghabiskan max_output_tokens pada prompt yang lebih sederhana seperti ekstraksi teks atau JSON." Angka-angka independen menunjukkan mengapa saran itu krusial, bukan sekadar berhati-hati: menurunkan satu tingkat bukanlah kesalahan pembulatan pada model ini. Selisih 1,8 poin antara default Neon dan plafonnya lebih dari empat kali jarak antara Neon dan Carbon; selisih 4,7 poin antara high dan medium hampir dua belas kali lipatnya.

A two-column scoreboard titled Gemini 4 Neon — the scoreboard. Gemini 4 Neon at xhigh reads AA Index 61.4, cost per task $6.44, output tokens 283M, time per task 21.5 min, output speed 110 tok/s; Gemini 4 Carbon at high reads AA Index 60.0, cost per task $4.90, output tokens 205M, time per task 36.1 min, output speed 57 tok/s. The footer says both figures are per Artificial Analysis on index v5.0.1, read 19 November 2026, and that Google's 32% cheaper-per-task claim is not reproduced at these settings.

Berapa biaya sebuah tugas, diukur bukan diklaim

Klaim yang layak diuji adalah klaim per tugas. Google mengatakan bahwa Gemini 4 Neon pada setelan default tinggi memiliki biaya 32% lebih rendah per tugas daripada Gemini 4 Carbon, dan setidaknya 36% lebih rendah daripada model-model frontier pesaing pada setelan berpikir tertinggi mereka. Biaya per tugas merupakan fungsi dari berapa banyak token yang dikeluarkan model, dan postingan peluncuran tidak mengungkapkan jumlah token, sehingga sampai minggu ini angka tersebut tidak dapat diuji dari luar.

Panel pelacak menempatkan Neon pada $6.44 per tugas Intelligence Index dan Carbon pada $4.90. Itu bukan penghematan 32%; itu premi 31%, dan arahnya berlawanan dengan klaim. Kaveat jujurnya adalah ketidakcocokan konfigurasi, dan itu berlaku dua arah: $6.44 adalah Neon pada xhigh, karena xhigh adalah varian yang dibuka halaman tersebut, sedangkan $4.90 adalah Carbon pada high, maksimumnya sendiri. Angka 32% Google adalah tentang Neon pada high, yang dinilai pelacak secara terpisah pada 59.6 tetapi tidak dijadikan judul dengan biaya di panel yang sama. Jadi pernyataan yang benar lebih sempit daripada "Google salah": konfigurasi Neon yang dipublikasikan memakan biaya lebih tinggi per tugas daripada konfigurasi Carbon yang dipublikasikan, dan perbandingan spesifik yang dibuat Google belum direproduksi secara independen.

Yang dapat direproduksi adalah profil token, dan itu melemahkan pembacaan intuitif tentang model yang lebih cepat. Neon menghasilkan 283 juta token keluaran di seluruh Intelligence Index dibandingkan 205 juta milik Carbon — 38% lebih banyak — dari 8,12 miliar token masukan, dengan keluaran sebesar 3,5% dari masukan. Median di antara model yang dinilai pelacak adalah 65,1 juta token keluaran, jadi Neon bukan sekadar lebih cerewet daripada Carbon; ia termasuk di antara model paling bertele-tele di papan peringkat, berada di peringkat ke-93 dari 95 pada ukuran tersebut. Carbon, yang punya reputasi bertele-tele, berada di peringkat ke-90. Apa pun yang Neon hemat untuk Anda, penghematan itu bukan pada token yang dikeluarkan.

Yang benar-benar lebih cepat — dan inilah argumen terkuat untuk itu — adalah waktu aktual:

• Waktu per tugas Intelligence Index — Neon 21,5 menit, Carbon 36,1, Hydrogen 15,3, Argon 29,6. Median untuk model sebanding adalah 12,4 menit.

• Kecepatan keluaran — Neon 110 token per detik, Carbon 57, Hydrogen 168, Argon 65.

• Waktu hingga token jawaban pertama — Neon 56,5 detik, Carbon 75,0, Hydrogen 47,2, Argon 47,1.

Neon menyelesaikan set evaluasi yang sama dalam waktu 40% lebih singkat daripada Carbon pada laju generasi sekitar dua kali lipat, sekaligus menghasilkan lebih banyak token dan mencetak skor 0,4 poin lebih rendah pada pengaturan default yang disamakan. Itu adalah produk yang koheren, dan produk ini berbeda dari produk yang tersirat dalam tabel benchmark: ini adalah model yang Anda pilih agar selesai lebih cepat, bukan model yang Anda pilih agar lebih sering benar.

Tiga angka dalam postingan peluncuran yang tidak didukung oleh pelacak

Peringkatnya. Google menyebutnya ketiga secara keseluruhan. Halaman live pelacak menempatkan varian xhigh di urutan keenam dari 96 pada index v5.0.1. Kedua angka itu bisa sama-sama ditelusuri ke Artificial Analysis dan tetap berbeda, karena kumpulan model terus berubah; yang tidak mungkin benar adalah keduanya sama-sama terkini. Kutip halaman live-nya, dan sebutkan varian mana yang dimaksud, atau angka itu tidak akan bertahan pada rilis berikutnya.

Pengaturan di balik skor. Angka 61 tanpa kualifikasi dibaca sebagai skor model. Ini adalah salah satu dari empat, yang paling mahal untuk dijalankan, dan yang diperingatkan oleh dokumentasi Google sendiri untuk tugas berbentuk ekstraksi. Defaultnya adalah 59.6.

Keunggulan per tugas.Dibahas di atas: pada konfigurasi yang dipublikasikan pelacak di panel ringkasannya, Neon 31% lebih mahal per tugas, bukan 32% lebih murah. Klaim vendor mungkin masih berlaku pada tinggi pada harness milik Google sendiri. Hal itu belum ditunjukkan berlaku di tempat mana pun yang dapat diperiksa pembaca.

Semua hal lain dalam pengumuman itu tetap seperti semula — papan peringkat pihak ketiga yang dikutip Google, dan evaluasi milik Google sendiri yang tidak direproduksi, dari Chartography pada 73,5% hingga FrontierCode 2.0 pada 46,2% dan angka-angka siber yang hanya disertakan melalui program pertahanan Fairwind. Tidak ada satu pun dari itu yang dibantah oleh angka-angka independen. Itu sekadar bukan bagian yang dapat diverifikasi siapa pun, dan bagian yang kini dapat diverifikasi terbaca berbeda.

Apa yang berubah jika Anda hendak menjadikan Neon sebagai standar

Jika alasan Anda memilih Neon adalah 61, angka yang harus Anda bawa ke perencanaan kapasitas adalah 59.6, dan model yang dikalahkannya pada pengaturan tersebut tidak ada dalam keluarga saat ini — Carbon 60.0 berada di depannya dan harga Carbon adalah $2.00 dan $10.00 per juta token, dibandingkan dengan Neon $3.00 dan $15.00, sampai tarif perkenalan Carbon dan Argon naik menjadi $4.00 dan $20.00 pada 1 Desember 2026.

Jika alasan Anda adalah kecepatan, kasusnya nyata dan angka-angka di atas mendukungnya. Dua puluh satu menit berbanding tiga puluh enam menit pada set evaluasi yang sama adalah jenis perbedaan yang mengubah seberapa banyak yang dapat Anda jalankan dalam satu hari kerja, dan laju generasi 1,9x sudah terasa dalam pekerjaan interaktif jauh sebelum terlihat dalam pekerjaan batch.

Jika alasan Anda adalah ekonomi per tugas Google, jalankan sendiri pengujiannya sebelum Anda mengikatkan jalur produksi padanya. Profil token adalah satu-satunya hal yang menentukan apakah klaim per tugas berlaku pada trafik Anda, dan pengukuran independen menyatakan bahwa Neon mengeluarkan lebih banyak token daripada model yang seharusnya ia tawarkan dengan harga lebih rendah. Pada pekerjaan dengan input berat, gambarannya berbalik, karena harga input Neon saat ini 50% di atas Carbon dan langkah Carbon pada Desember bahkan menutup celah itu demi keuntungan Neon — yang merupakan jendela empat belas hari, bukan strategi.

Menjalankan perbandingan pada trafik Anda sendiri

Alasan untuk peduli pada tangga empat tingkat alih-alih satu skor adalah bahwa tingkat itu merupakan keputusan biaya, dan keputusan biaya paling murah dibuat ketika kedua model hanya berjarak satu panggilan. Katalog kami mencantumkan google/gemini-4-carbon dan google/gemini-4-argon dengan harga daftar penyedia tanpa markup, yang berarti langkah 1 Desember pada kedua model tersebut muncul di faktur Anda pada hari yang sama saat muncul di faktur Google, dan posisi Desember Neon relatif terhadap keduanya berubah tanpa ada yang perlu menegosiasikan ulang apa pun. Gemini 4 Neon belum ada di katalog, jadi ini bukan rekomendasi untuk menjalankannya melalui kami hari ini — ini adalah bentuk pengujian yang perlu dijalankan saat model itu tersedia.

The OrcaRouter model page for Gemini 4 Carbon, showing the model identifier google/gemini-4-carbon, a maximum output of 65K tokens, multimodal input across text, image, file, audio and video, capability chips for vision, audio, tools, JSON, reasoning and output text, the line by Google · 2026-11-10, a p50 time to first token of 10.005 seconds, and the description noting a 1,048,576-token context window.

Evaluasi yang didorong oleh angka-angka di atas bukanlah uji benchmark. Ini adalah prompt yang sama pada tinggi di kedua model, diukur dalam token untuk menyelesaikan, bukan detik, pada sampel tugas Anda sendiri. Uji itu memerlukan kedua model dapat dijangkau dari satu kunci dengan fallback di belakangnya, karena inti menjalankan Neon adalah untuk mengetahui apakah klaim per tugas bertahan saat bersentuhan dengan trafik Anda, dan inti fallback adalah bahwa model yang masih Anda evaluasi tidak pernah menjadi satu-satunya jalur ke produksi. Carbon di belakangnya, Argon di belakang itu, dan perbandingan tangga menjadi perubahan routing, bukan migrasi.

Satu hal yang jangan dilakukan adalah menilai keputusan berdasarkan tabel peluncuran. Tracker kini telah menerbitkan empat skor untuk satu model, selisih antara yang teratas dan default lebih besar daripada selisih antara default dan model yang digantikannya, dan klaim biaya yang membuat seluruh proposisi ini berhasil adalah satu-satunya angka di slide yang belum direproduksi oleh siapa pun di luar Google.

Tontonan Berikutnya

Tiga hal, semuanya dapat diperiksa. Apakah biaya per tugas pelacak untuk Neon pada setelan tinggi mendekati angka 32% Google — baris tunggal itu akan menyelesaikan perdebatan, dan itu adalah varian yang sudah memiliki skor indeks yang diterbitkan. Apakah gerbang Fairwind pada varian siber terbuka, karena angka keamanan masih merupakan klaim tentang model yang hampir tidak bisa diakses siapa pun di luar Google. Dan apakah langkah 1 Desember pada Carbon dan Argon bertahan saat dihadapkan pada permintaan, karena itulah tanggal ketika tarif datar Neon sebesar $3.00 dan $15.00 berhenti terlihat mahal dan mulai terlihat seperti tier penalaran Gemini 4 termurah per token.

Sampai saat itu, ringkasan yang berguna hanya sepanjang satu kalimat: Gemini 4 Neon adalah cara tercepat untuk mendapatkan jawaban Gemini 4, bukan yang paling akurat pada pengaturan bawaannya, dan klaim efisiensi yang membenarkan harganya masih merupakan klaim vendor.