Ulasan Gemini 4 Carbon: Keempat di Indeks, Lambat Menjawab

Gemini 4 Carbon berada di peringkat keempat pada papan peringkat independen dan dihargai seperti model kelas menengah, kombinasi yang tidak biasa untuk diulas secara jujur: Gemini 4 Carbon API di halamannya mencantumkan $2,00 per juta token masukan dan $10,00 per juta token keluaran, sementara skor yang dicatatnya adalah 60 pada Artificial Analysis Intelligence Index v5.0.1, keempat dari 78 model. Pertanyaan yang harus dijawab oleh sebuah ulasan bukanlah apakah 60 itu bagus. Melainkan apa yang Anda bayar dalam waktu aktual dan tingkat kegagalan untuk memperolehnya.

Apa itu

{{1}}Model multimodal dalam keluarga Gemini 4 milik Google dengan jendela konteks 1,048,576 token dan batas keluaran 65K.{{/1}} Model ini menerima teks, gambar, audio, video, dan dokumen serta mengembalikan teks, dengan penggunaan alat native dan output JSON terstruktur. Model ini merespons pada endpoint yang kompatibel dengan OpenAI maupun API generateContent Gemini native, dan Zero Data Retention tersedia.

Kumpulan parameter memberi tahu Anda jenis model seperti apa yang diinginkannya: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Ada seed dan format respons dalam daftar yang sama, yang merupakan ciri khas model yang diposisikan untuk ekstraksi dan pipeline agentik alih-alih untuk penulisan kreatif.

Skor, dan versi yang digunakan untuk penilaian

Angka 60 tidak dapat dibandingkan dengan angka-angka lama yang akan Anda temukan dikutip untuk model lain, dan ini adalah kesalahan paling umum dalam perbandingan yang diterbitkan bulan ini. Intelligence Index v5.0.1 adalah set evaluasi yang berbeda dari v4.3 dan v4.3.2, jadi skor v4.3 dan skor v5.0.1 tidak pantas berada dalam tabel yang sama. Dalam kohort v5.0.1, angka 60 milik Carbon menempatkannya di peringkat keempat dari 78, di belakang Claude Fable 5.2 dengan 65 dan di depan semua lainnya yang telah dinilai ulang.

Sembilan evaluasi di balik angka itu adalah AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, dan Terminal-Bench-Science 0.1. Itu adalah campuran agentic dan ilmiah — pekerjaan terminal, otomasi, grounding dokumen, penalaran sulit — bukan campuran papan peringkat coding. Sebuah model bisa mendapat skor bagus di sini dan tetap kalah pada refactor skala repositori, jadi baca rinciannya sebelum Anda menyimpulkan apa pun tentang kasus penggunaan Anda sendiri.

Bagian yang disembunyikan oleh angka utama

Waktu Carbon untuk mencapai token pertama dalam harness AA adalah 64,7 detik, peringkat 69 dari 77 model dengan data latensi. Total waktu nyata per tugas adalah 28,4 menit di kesembilan evaluasi. Kecepatan output setelah mulai menulis adalah 72 token per detik, yang tidak istimewa tetapi bukan masalahnya; masalahnya adalah waktu berpikir sebelum token pertama.

Menjalankan indeks terhadap Carbon memakan biaya $5,48 dalam belanja penyedia, yang dengan biaya campuran $2,70 per juta token merupakan jumlah token yang sangat banyak untuk satu kali proses benchmark. AA juga melaporkan verbositas sebesar 2,69 persen bersama dengan 205 juta token keluaran untuk proses tersebut. Jangan membaca persentase itu sebagai skor keringkasan: Claude Fable 5.2 mencatat 0,97 persen yang jauh lebih rendah dengan 275 juta token keluaran yang lebih tinggi, sehingga kedua angka itu bergerak secara independen.

Jika harga adalah alasan Anda membaca ini, perbandingan harga API LLM menempatkan biaya campuran $2,70 per juta di samping katalog lainnya, termasuk model yang menawarkan harga lebih rendah dan model yang biayanya beberapa kali lebih tinggi untuk skor yang sebanding.

Lewat gateway, angka-angkanya terlihat berbeda

64,7 detik AA adalah harness benchmark yang memungkinkan model berpikir tentang masalah sulit. Pada trafik langsung OrcaRouter selama tujuh hari terakhir, waktu p50 ke token pertama untuk Carbon adalah 6,89 detik dan p95 adalah 10,00 detik, dengan 226 token per detik keluaran atas 9,6 juta token yang dilayani. Keduanya benar. Produk chat melihat sesuatu yang mendekati angka pertama; klon evaluasi batch melihat sesuatu yang mendekati angka kedua.

Angka yang lebih layak mendapat perhatian daripada keduanya adalah tingkat galat: 39,7 persen permintaan mengembalikan non-2xx di semua penyedia upstream dalam jendela tujuh hari itu, dibandingkan 10,8 persen untuk Claude Fable 5.2. Apa pun penyebabnya — kapasitas, batas laju, rotasi penyedia — produk yang memanggil Carbon tanpa anggaran percobaan ulang dan model cadangan akan menampilkan kegagalan kepada pengguna pada tingkat yang tidak diprediksi oleh grafik benchmark mana pun. Itu adalah pertanyaan perutean, dan itulah satu hal yang perlu diuji sebelum minggu kedua.

Tempat yang tepat di katalog

Dibandingkan dengan sesama variannya, Carbon adalah anggota multimodal dari lini Gemini 4, bukan yang murah: harga inputnya identik dengan Gemini 3.1 Pro di $2.00, harga outputnya $2.00 lebih murah, dan perbedaan yang penting adalah Carbon menerima audio dan video, sedangkan 3.1 Pro menerima teks dan gambar. Jika pipeline Anda tidak pernah menyentuh file video, Anda membayar untuk kemampuan yang tidak akan Anda gunakan.

Dibandingkan dengan model lain di pasaran, keputusan biasanya bermuara pada dua pertanyaan. Jika ini pilihan internal Google, Gemini 4 Carbon vs Gemini 3.1 Proadalah perbandingan yang paling penting. Jika lintas vendor, GPT-6.1 Sol vs Gemini 4 Carbondan Claude Opus 5.5 vs Gemini 4 Carbonmencakup dua alternatif yang paling umum, dan daftar model LLMmemuat katalog lengkapnya jika keduanya bukan yang sedang Anda pertimbangkan.

Vonis

Carbon meraih posisi keempat dalam hal kemampuan per dolar masukan, dan meraihnya dengan cara yang cocok untuk pekerjaan terstruktur, multimodal, dan panjang alih-alih percakapan. Biaya yang tidak muncul dalam tabel harga adalah dua hal yang menentukan apakah ini berhasil untuk Anda: 64,7 detik berpikir sebelum token pertama dalam harness benchmark, dan tingkat kesalahan mendekati 40 persen pada lalu lintas langsung. Atasi keduanya — rantai fallback, anggaran percobaan ulang, dan antrean asinkron untuk apa pun yang tidak interaktif — dan rasio harga terhadap skor benar-benar sulit dikalahkan. Tempatkan di belakang UI sinkron tanpa fallback dan Anda akan menyimpulkan model ini lebih buruk daripada sebenarnya.