Google: Gemini 3.1 Pro Preview Custom Tools vs google/gemini-pro-latest

Untuk beban kerja yang sensitif terhadap latensi, google/gemini-pro-latest mengembalikan token pertama lebih cepat. Dari sisi kualitas benchmark, Google: Gemini 3.1 Pro Preview Custom Tools memimpin indeks komposit.

Baik Google: Gemini 3.1 Pro Preview Custom Tools maupun google/gemini-pro-latest tersedia melalui endpoint OrcaRouter yang sama dengan biaya provider tanpa markup token apa pun, sehingga beralih di antara keduanya hanya perubahan satu baris dan angka di bawah ini adalah yang benar-benar Anda bayar. Perbandingan ini menarik harga langsung, context window yang dipublikasikan, serta pengukuran latency dan throughput milik OrcaRouter sendiri, agar Anda dapat menimbang biaya terhadap performa untuk beban kerja spesifik Anda alih-alih mengandalkan benchmark etalase dari vendor. Pilihan yang tepat hampir selalu bergantung pada bentuk lalu lintas Anda — panjang prompt, seberapa banyak teks yang Anda hasilkan, seberapa sensitif pengguna Anda terhadap latency, dan seberapa sulit penalarannya — sehingga bagian-bagian di bawah menguraikan keputusan satu dimensi setiap kali dan diakhiri dengan rekomendasi konkret. Di mana pun sebuah metrik hilang untuk salah satu dari dua model, baris itu dihilangkan alih-alih ditebak, sehingga setiap klaim di sini didukung oleh angka nyata.

Pada token input, Google: Gemini 3.1 Pro Preview Custom Tools berbiaya $4.00 per 1 juta dibanding $4.00 untuk google/gemini-pro-latest, dan pada output $18.00 dibanding $18.00 per 1 juta. Tagihan biasanya ditentukan pada token output: beban kerja chat atau agent yang menghasilkan penyelesaian panjang didominasi oleh tarif output, sehingga model yang tampak lebih murah di input tetap bisa menjadi pilihan yang lebih mahal secara ujung ke ujung. Perkirakan rasio input-ke-output riil Anda sebelum memilih hanya berdasarkan harga — prompt yang berat pada pengambilan dengan jawaban singkat dan prompt singkat dengan generasi panjang berada di ujung berlawanan tabel ini. Cara praktis untuk mengukurnya adalah mengambil sampel prompt yang representatif, menghitung rata-rata token input dan output, lalu mengalikan masing-masing dengan tarif kedua model yang bersangkutan; model dengan biaya campuran (blended) lebih rendah pada campuran riil Anda adalah yang harus dikalahkan. Ingat bahwa kedua harga di sini adalah tarif mentah provider — OrcaRouter tidak menambahkan markup — jadi perbandingannya setara dan penghematan yang Anda hitung adalah penghematan yang Anda simpan.

Latency dan throughput menentukan bagaimana model terasa di produksi. Latency respons median (p50) adalah berapa lama permintaan tipikal menunggu sebelum token pertama; throughput (token per detik) menetapkan seberapa cepat jawaban dialirkan setelah dimulai. Untuk chat interaktif dan loop agent, latency p50 rendah paling penting karena pengguna sedang menunggu token pertama; untuk generasi batch dan output bentuk panjang, throughput mendominasi waktu total karena jawabannya panjang. Grafik tren 7 hari di atas menunjukkan apakah latency setiap model stabil atau melenceng, sesuatu yang disembunyikan oleh satu angka utama — model dengan rata-rata bagus tetapi ekor yang berisik masih bisa meleset dari SLA p95 yang ketat. Jika produk Anda memiliki anggaran latency, baca baik median maupun bentuk kurvanya, dan ingat bahwa latency ujung ke ujung juga mencakup lompatan jaringan Anda serta pengambilan atau panggilan alat apa pun yang Anda lakukan di sekitar model.

Skor benchmark memperkirakan kemampuan tetapi bukan pengganti pengujian pada prompt Anda sendiri. Indeks komposit yang ditampilkan di sini mengagregasi banyak evaluasi publik, dan persentil menandai di mana setiap model berada terhadap semua model yang sebanding dalam katalog — sinyal daftar pendek yang berguna, bukan jaminan untuk tugas Anda. Model yang unggul pada indeks kecerdasan umum masih bisa tertinggal di domain Anda (coding, ekstraksi, multibahasa, penalaran konteks panjang), jadi gunakan benchmark untuk mempersempit bidang, lalu jalankan kedua model pada irisan lalu lintas yang representatif. Perhatikan indeks spesifik yang cocok dengan kasus penggunaan Anda alih-alih angka utama: produk yang berat coding sebaiknya membobot indeks coding, asisten riset indeks penalaran. Benchmark juga menua seiring model diperbarui, jadi perlakukan sebagai hipotesis awal yang Anda konfirmasi dengan set evaluasi Anda sendiri.

Jika biaya adalah kendala yang mengikat, mulailah dengan model yang lebih murah pada campuran input-ke-output riil Anda dan naik tingkat hanya jika kualitas meleset. Jika responsivitas adalah prioritas — chat yang menghadap pengguna, agent, situasi apa pun di mana seseorang menunggu — beri bobot lebih pada latency p50 dan throughput daripada selisih harga kecil. Jika Anda mendorong penalaran, coding, atau pekerjaan konteks panjang tersulit, biarkan pemenang benchmark dan context window memimpin dan terima tarif lebih tinggi di tempat yang sepadan. Karena kedua model berada di belakang API yang sama, langkah berisiko rendah adalah merutekan sebagian lalu lintas riil ke masing-masing dan membandingkan biaya, latency, serta kualitas jawaban pada prompt Anda sendiri sebelum berkomitmen. Pola umum adalah bertingkat (tier): kirim sebagian besar permintaan yang mudah dan bervolume tinggi ke model yang lebih murah atau lebih cepat dan sisakan model yang lebih kuat untuk permintaan yang benar-benar membutuhkannya, yang menangkap sebagian besar keunggulan kualitas dengan sebagian kecil biaya. Apa pun yang Anda pilih, jaga agar peralihan tetap dapat dibalik — dengan perubahan nama model satu baris Anda bisa mengembalikan lalu lintas begitu angka atau kebutuhan Anda berubah.

Selama 7 hari terakhir, google/gemini-pro-latest mempertahankan latensi respons median yang lebih rendah.