Benchmark Karbon Gemini 4: Apa yang Sebenarnya Diukur oleh Nilai 60 pada AA v5.0.1

Skor benchmark hanya berguna jika Anda mengetahui apa yang diminta harness, berapa lama model diizinkan berpikir, dan versi tes mana yang menghasilkan angka tersebut. Untuk Gemini 4 Carbon jawabannya adalah: sembilan evaluasi agentic dan ilmiah, selama yang diinginkannya, dan Intelligence Index v5.0.1 — versi saat ini, yang membuat angka 60 dapat dikutip dan sebagian besar angka yang akan Anda temukan di sebelahnya tidak. Halaman Gemini 4 Carbon API ini mencantumkan harga dan endpoint; tulisan ini tentang skornya.

Apa yang sebenarnya dijalankan

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, dan Terminal-Bench-Science 0.1. Bacalah daftar itu sebelum Anda menggeneralisasi darinya. Tiga dari sembilan adalah pekerjaan terminal atau otomasi, dua adalah penalaran berbasis dokumen atas input panjang, dua adalah sains dan matematika sulit, dan satu adalah kode frontier. Tidak ada evaluasi agen web dan tidak ada simulasi dukungan pelanggan multi-putaran dalam kumpulan ini, jadi skor yang bagus tidak mengatakan apa pun tentang hal-hal tersebut.

Skor

Carbon mencetak 60, yang merupakan peringkat 4 dari 78 pada v5.0.1. Pemimpinnya adalah Claude Fable 5.2 dengan 65. Selisih lima poin itu bermakna tetapi tidak bersifat kategoris: kedua model lolos sembilan evaluasi yang sama, dan cara paling sederhana untuk membaca perbedaannya adalah kira-kira satu tugas sulit tambahan yang diselesaikan per dua puluh percobaan pada tingkat kompetensi Carbon. Anggaplah itu sebagai arah, bukan sebagai laju.

Pengaman versi lebih penting daripada peringkat. Model yang dinilai pada v4.3 atau v4.3.2 — termasuk sebagian besar nama yang akan Anda lihat dikutip dalam postingan perbandingan — tidak berada pada skala yang sama dan tidak dapat ditempatkan dalam tabel yang sama. Jika sebuah bagan mencampurnya, bagan itu salah terlepas dari siapa yang menerbitkannya.

Konsekuensi praktisnya adalah Anda tidak dapat membandingkan Carbon dengan model yang Anda evaluasi sendiri kuartal lalu kecuali model tersebut juga telah dinilai ulang. Entah jalankan kembali harness Anda sendiri pada keduanya, atau batasi klaim tersebut pada kohort v5.0.1 dan nyatakan hal itu dalam kalimat tempat Anda mengutipnya.

Biaya waktu

Waktu sampai token pertama adalah 64,7 detik, peringkat 69 dari 77 model dengan data latensi. Total waktu respons adalah 28,4 menit per tugas di kesembilan evaluasi. Setelah Carbon mulai mengeluarkan token, ia berjalan pada 72 token per detik, yang tergolong biasa. Waktu nyata didominasi oleh proses berpikir, bukan oleh penulisan.

Itu adalah pilihan desain, bukan cacat, dan ada baiknya kita tepat mengenai apa implikasinya. Harness yang memungkinkan model bernalar sampai ia merasa puas akan menghasilkan skor yang lambat tetapi kuat; model yang sama di belakang gateway pada lalu lintas live melaporkan p50 sebesar 6,89 detik hingga token pertama dan p95 sebesar 10,00 detik, karena sebagian besar permintaan nyata bukan HLE-Diamond. Kedua angka tersebut mengukur hal yang berbeda dan keduanya perlu ada dalam rencana kapasitas.

Biaya uang

Menjalankan indeks terhadap Carbon memakan biaya $5.48 pada $2.00 per juta token masukan dan $10.00 per juta keluaran, dengan biaya gabungan $2.70 per juta. AA juga melaporkan 205 juta token keluaran untuk proses tersebut dengan angka verbositas 2,69 persen. Jumlah token, bukan persentasenya, adalah angka yang perlu dibawa ke depan: ini memberi tahu Anda bahwa evaluasi agentik sembilan tugas menghabiskan hampir seperempat miliar token keluaran.

Sebagai perbandingan, indeks yang sama terhadap Claude Fable 5.2 menghabiskan $26.54 — 4,8 kali lipat — dengan $8.00 untuk input dan $40.00 untuk output. Itulah kerangka yang tepat untuk pasangan ini: selisih skor lima poin dibeli dengan pengeluaran token hampir lima kali lipat.

Jika dinyatakan sebagai rasio, Carbon mengeluarkan $0,09 dari biaya benchmark per poin indeks dan Fable 5.2 mengeluarkan $0,41. Itu bukan argumen bahwa model yang lebih murah lebih baik — inti dari model frontier adalah tugas-tugas yang gagal ditangani model yang lebih murah — tetapi itu adalah argumen untuk merutekan berdasarkan tingkat kesulitan alih-alih memilih satu model untuk semuanya. 90 persen panggilan yang lolos dengan model 60 poin tidak memerlukan model 65 poin.

Rasio lain yang perlu diperhitungkan adalah waktu. Carbon menghabiskan 28,4 menit per tugas dan Fable 5.2 menghabiskan 46,8, jadi model yang lebih mahal juga 1,6 kali lebih lambat secara end-to-end. Pada antrean asinkron, itu menjadi batasan throughput; pada panggilan sinkron, itu adalah perbedaan antara spinner dan timeout. Catatan rilis Gemini 4 Carbon membahas apa saja yang dirilis bersama model tersebut, dan jika pertanyaannya adalah apakah model ini menggantikan generasi Gemini sebelumnya, Gemini 4 Carbon vs Gemini 3.1 Pro adalah perbandingan langsung.

Apa yang tidak dicakup oleh benchmark

Tidak ada harness untuk dunia siber atau deteksi kerentanan dalam kumpulan ini. Jika Anda mengevaluasi Carbon untuk pekerjaan keamanan — pemindaian, triase, pembuatan patch — sembilan evaluasi ini memberi tahu Anda tentang penalarannya dan tidak memberi tahu apa pun tentang recall-nya pada kerentanan nyata. Hal yang sama berlaku untuk pengodean jangka panjang pada repositori tertentu, yang didekati oleh FrontierCode-AA tetapi tidak dapat menggantikannya.

Di sini juga tidak ada pengukuran tentang apa yang terjadi di bawah beban. Tingkat kesalahan live pada lalu lintas OrcaRouter untuk Carbon adalah 39,7 persen selama tujuh hari terakhir, dibandingkan 10,8 persen untuk Fable 5.2. Harness benchmark mencoba ulang dan menyerapnya; aplikasi Anda harus memutuskan bagaimana.

Mereproduksi bagian mana pun dari ini pada lalu lintas Anda sendiri

Anda tidak dapat mereproduksi 64,7 detik milik AA tanpa harness AA, dan Anda tidak perlu mencobanya: hal yang berguna adalah mengukur p50 dan p95 Anda sendiri lalu membandingkannya dengan 6,89 dan 10,00 detik yang dipublikasikan gateway, karena itu memberi tahu Anda apakah prompt Anda biasa atau luar biasa sulit. Catat waktu ke token pertama, token keluaran, dan jumlah non-2xx per rute. Jika tingkat error Anda di atas 39,7 persen yang dilaporkan gateway di semua penyedia, masalahnya ada di sisi permintaan Anda.

Cara menggunakan ini dalam pengambilan keputusan

Jika pekerjaan Anda mirip dengan sembilan evaluasi — tugas terminal, otomasi, dokumen dengan konteks panjang, sains eksak — Carbon pada 60 dan $2,70 blended adalah pilihan paling bernilai dari kohort v5.0.1 saat ini, dan waktu berpikir 64,7 detik adalah biaya yang dapat Anda serap dengan membuat panggilan asinkron. Jika pekerjaan Anda interaktif, model yang sama dengan p50 mendekati tujuh detik melalui gateway adalah proposisi yang sama sekali berbeda, dan uji yang jujur adalah lalu lintas Anda sendiri, bukan harness AA.

Untuk adu langsung melawan model yang mengalahkannya, Gemini 4 Carbon vs Claude Fable 5.1 menempatkan keduanya berdampingan, dan perbandingan harga API LLM mencakup posisi $2.70 campuran dibandingkan dengan bagian lain katalog. Periksa ulang versi pada bagan mana pun yang Anda gunakan kembali: v5.0.1 adalah satu-satunya skala tempat 60 ini berada.