Keputusan Gemini 1 vs Kev: Seribu Pertanyaan dalam Satu Panggilan, atau Resep yang Bisa Anda Latih Ulang

Keluarga Kev milik Jared Palmer menghabiskan sekitar $95 dalam waktu H100 di Modal untuk pelatihan, ditambah sekitar tiga sen panggilan API untuk data evaluasi, dan seluruh resepnya ada di repositori. Gemini Decision 1 biayanya sebesar apa pun yang dikeluarkan laboratorium terdepan untuk model yang tidak akan dijelaskannya, dan yang Anda dapatkan atas uang itu adalah skema permintaan: satu endpoint, hingga 1.000 pertanyaan bertipe terhadap satu input 262.144 token, probabilitas terkalibrasi dikembalikan, nol token keluaran, $0,10 per juta token masukan. Letakkan Kev di sebelahnya dan perbandingannya bukan benar-benar antara dua model. Ini adalah perbandingan antara perangkat penilaian batch dan perangkat kecil yang bisa Anda bongkar.

Tidak ada proyek yang telah menerbitkan angka yang bisa menjadi dasar penilaian bagi proyek lainnya, dan itulah hal jujur pertama yang perlu dikatakan. Google tidak merilis tabel benchmark bersama Gemini Decision 1; setiap angka kinerja dalam artikel ini berasal dari Artificial Analysis, yang menempatkan model tersebut pada 66 di Decision Index v2.1. Kev sama sekali tidak muncul di papan itu. Yang Kev terbitkan sebagai gantinya adalah harness, set pengujian terkunci, dan tingkat kesalahannya sendiri, dan itu semua tidak bisa dikurangkan dari apa pun.

Hal yang dilakukan Gemini Decision 1 yang tidak bisa dilakukan Kev

Mulailah dari kesenjangan kemampuan, karena inilah yang menentukan arsitektur, bukan skor. Gemini Decision 1 mengevaluasi hingga 1.000 pertanyaan independen terhadap satu input bersama dalam satu forward pass. Pertanyaan-pertanyaan tersebut tidak dapat saling melihat, menambahkan atau menghapus satu pertanyaan tidak mengubah yang lain, dan input bersama ditagih satu kali.

Klausa terakhir itulah produknya. Tiket dukungan yang diperiksa terhadap empat puluh aturan kebijakan adalah satu permintaan, satu kali membaca tiket, empat puluh jawaban terkalibrasi. Pada model per pertanyaan — yang seperti itulah Kev, dalam arti bahwa head menilai setiap opsi terhadap pertanyaan dalam satu baris — empat puluh pemeriksaan yang sama berarti empat puluh lintasan atas state, baik Anda membatch-nya maupun tidak. Angka serving Kev sendiri membuat biayanya konkret: 18,1 milidetik untuk enam pertanyaan atas state pendek di H100, 12,9 milidetik dengan cache, 14,3 GB residen. Enam pertanyaan, bukan seribu.

Permukaan input berbeda dengan cara yang sama:

• Modalitas — Gemini Decision 1 membaca teks, gambar, video, audio, dan PDF; Kev membaca teks. Rekaman panggilan atau formulir hasil pindai merupakan masalah praproses bagi Kev dan input asli bagi Gemini Decision 1.

• Konteks — 262.144 token untuk Gemini Decision 1 di seluruh input dan pertanyaan; Kev menyediakan hingga 65.536 dengan setidaknya 8.192 per pertanyaan tetapi hanya memvalidasi hingga 8.192, dan kartunya menyatakan demikian.

• Abstensi — Gemini Decision 1 mengembalikan probabilitas yang dibatasi pada 0,01–0,99 dengan kolom keyakinan, sehingga jawaban dengan keyakinan rendah terlihat tanpa opsi terpisah. Kev mengembalikan softmax atas opsi yang Anda berikan, yang berarti abstensi adalah opsi apa pun yang Anda namai ditambah ambang batas yang Anda tetapkan.

• Bobot — tidak ada untuk Gemini Decision 1; endpoint terkelola di Gemini Developer API pada v1beta, dengan tier gratis 200 permintaan per menit dan 10.000 per hari. Apache-2.0 untuk Kev, dengan adapter LoRA peringkat-16 pada basis Qwen3.5 yang dibekukan dan pointer head, dalam ukuran 0,8B, 4B, dan 9B.

Hal yang Kev lakukan yang tidak bisa dilakukan oleh Gemini Decision 1

Kev memungkinkan Anda mengubah model. Bukan dengan memberi prompt yang berbeda — melatih ulang perilaku pengambilan keputusan menggunakan label Anda sendiri, dengan biaya yang bisa Anda cantumkan di laporan pengeluaran.

Konstruksinya sengaja dibuat sederhana: basis Qwen3.5 yang dibekukan, adaptor rank-16 dengan sekitar 33,8 juta parameter yang dapat dilatih, dan kepala pointer kecil yang menilai token penutup setiap opsi terhadap token akhir pertanyaan. Karena basis tetap dibekukan, biaya marjinal untuk domain keputusan baru seukuran adaptor, bukan seukuran model fondasi. Anda dapat menyimpan satu basis di memori dan menukar adaptor per domain, yakni bentuk penerapan yang tidak dapat diwujudkan oleh endpoint hosted mana pun.

Apa yang Kev publikasikan tentang dirinya sendiri cukup spesifik untuk diperdebatkan, yang lebih jarang daripada seharusnya:

• Transfer-v4, terkunci di luar domain — akurasi 0.838, Brier 0.224, ECE 0.017.

• Breadth-v1, 14 kumpulan data held-out, 3,089 pertanyaan — akurasi 0.690, ECE 0.029.

• Documents-v1 — 0,903. Hard-v1 — 0,803. MMLU-Pro dengan sepuluh opsi — 0,565.

• Aritmetika tanggal — 0.65 pada presisi hari, disebut oleh penulis sebagai area terlemah, dengan flag preprocessor yang ditawarkan sebagai perbaikan parsial dan tidak ada pengukuran ulang yang diklaim.

Itu adalah pengukuran penulis sendiri pada harness milik penulis sendiri, dan kartu tersebut menyatakan bahwa kalibrasinya adalah satu suhu dalam-distribusi, sehingga cakupan menurun di luar domain dan urutan opsi dapat membalik jawaban. Itu adalah penilaian diri yang kredibel, bukan hasil yang diaudit. Ini tetap merupakan skala yang dapat Anda coba reproduksi malam ini, yang lebih dari yang dapat Anda katakan tentang sebagian besar angka vendor dalam kategori ini.

Mengapa dua angka di atas meja tidak pernah bertemu

Godaan untuk menempatkan akurasi transfer Kev sebesar 0.838 di samping 66 milik Gemini Decision 1 dan mengumumkan pemenang. Tahanlah, karena tiga alasan.

Instrumen-instrumen tersebut mengukur hal yang berbeda. Decision Index menilai akurasi dikurangi penalti Brier atas keyakinan yang dilekatkan pada jawaban, diagregasi dari enam evaluasi, 45% di antaranya dibangun di atas data privat. Angka transfer-v4 milik Kev adalah akurasi murni pada set terkunci yang disusun penulis, dengan Brier dan ECE dilaporkan di sampingnya, bukan dimasukkan ke dalam angka utama.

Campuran tugasnya tidak sama. Komponen terbesar indeks, AA-Paperclip sebesar 30%, adalah lima belas jawaban semua-atau-tidak-sama-sekali per dokumen — sebuah bentuk yang didekati oleh uji documents-v1 milik Kev tetapi tidak direplikasi.

Dan penyebutnya berbeda. Skor indeks adalah komposit berbobot yang memberi imbalan atas abstensi; angka akurasi adalah proporsi pertanyaan ketika opsi dengan probabilitas tertinggi adalah jawaban yang benar. Sebuah model dapat mengungguli model lain pada satu metrik dan kalah pada metrik lainnya tanpa salah satunya keliru.

Jadi pernyataan yang dapat dipertahankan itu sempit: Gemini Decision 1 berada di papan tengah di antara model keputusan terkelola dengan skor 66, peringkat kesembilan dari delapan belas, dengan peringkat pertama pada komponen pengetahuan dan tingkat kelulusan dokumen all-or-nothing sebesar 33%; Kev adalah adapter kelas 4B yang menurut penulisnya memiliki kalibrasi dalam-domain yang kuat dan aritmetika tanggal yang lemah. Siapa pun yang mengatakan kepada Anda bahwa salah satunya lebih baik sedang melakukan ekstrapolasi.

Berapa biaya untuk benar-benar menjalankan masing-masing

Ekonomi Gemini Decision 1 mudah dihitung dan sulit disukai pada volume tinggi. Dengan $0,10 per juta token masukan, Artificial Analysis mengukur $345 per juta tugas — model termahal di separuh atas papan peringkat, tanpa caching konteks, tanpa Batch API, dan tanpa inferensi Flex atau Priority. Masukan bersama yang berulang dihitung penuh pada setiap permintaan. Sapuan malam atas satu juta tiket membaca ulang dokumen kebijakan satu juta kali.

Ekonomi Kev bentuknya justru berlawanan: hampir gratis per panggilan setelah GPU dibayar, dengan biaya sesungguhnya terletak pada jam-jam yang Anda habiskan untuk membangun label, melatih adapter, dan memvalidasinya. Angka ~$95 Palmer mencakup sesi pelatihan, bukan pelabelan. Jika aturan routing Anda berbeda dari hakim generik — dan memang berbeda — biaya pelabelan itu membelikan Anda hal yang tidak dijual oleh model keputusan terhosting mana pun: pemberi skor yang mengodekan kebijakan Anda alih-alih mengaproksimasinya.

Ada biaya ketiga yang menentukan lebih banyak proyek daripada harga mana pun: kecepatan iterasi. Batas Gemini Decision 1 didokumentasikan dan tetap, jadi perubahan perilaku berarti menulis ulang prompt dan menjalankan ulang set evaluasi Anda. Milik Kev adalah pelatihan ulang adapter, yang murah dalam hal komputasi tetapi tidak murah dalam hal proses. Bagi tim dengan satu domain dan volume tinggi, pelatihan ulang itu sepadan. Bagi tim dengan dua belas domain dan tanpa engineer ML, endpoint hosted menang dalam hal jam engineering bahkan pada $345 per juta tugas.

Jika pipeline di sekitar keputusan adalah tempat Anda benar-benar menghabiskan

OrcaRouter tidak menyediakan kedua model itu. Kev adalah bobot Apache-2.0 yang Anda jalankan sendiri, dan Gemini Decision 1 adalah endpoint khusus probabilitas di API milik Google sendiri — keduanya bukan target chat-completions, dan kami tidak berpura-pura sebaliknya. Model keputusan dalam katalog kami adalah typesafe/jev-1.14 dari TypeSafe, dengan skor 66,23 pada board yang sama, bagi tim yang menginginkan panggilan penilaian dengan kunci yang sama seperti semua hal lainnya.

Separuh pipeline yang menjadi spesialisasi kami adalah bagian di hulu keputusan: menghasilkan jawaban kandidat, menulis rubrik, merangkum tiket sebelum dinilai. Panggilan itulah tempat Anda paling sering mengganti model dan tempat kontrak vendor kedua paling mahal, dan itulah yang berjalan melalui satu endpoint dengan lebih dari 200 model di dalamnya, harga daftar penyedia yang diteruskan pada markup 0%, dan failover otomatis saat penyedia mengalami degradasi. Jika Anda mempertimbangkan Kev dibandingkan penilai terhosting, jalankan separuh pendrafan melalui kami dan jaga keputusan penilaian tetap dapat dibalik — dengan begitu, pilihan yang Anda buat hari ini tentang adapter $95 bukanlah migrasi di kemudian hari.

Keputusan di antara kedua keputusan tersebut

Pilih Gemini Decision 1 ketika keputusannya adalah satu input dan banyak aturan, ketika inputnya berupa audio atau video atau PDF, ketika seribu pemeriksaan dalam satu proses yang ditagihkan mengubah model biaya Anda, dan ketika Anda cukup puas untuk memercayai kalibrasi yang tidak Anda fit sendiri. Terimalah bahwa Anda membeli kotak hitam dengan harga input laboratorium terdepan tanpa diskon batch.

Pilih Kev ketika keputusannya berupa satu input dan beberapa pertanyaan yang diketik, ketika teksnya cukup pendek untuk divalidasi dalam 8.192 token, ketika kebijakan Anda cukup spesifik sehingga juri generik memperkirakannya dengan buruk, dan ketika memiliki artefak lebih penting daripada memiliki endpoint. Terima bahwa Anda sekarang bertanggung jawab atas kalibrasi, aritmetika tanggal, dan sensitivitas urutan opsi yang diperingatkan kartu kepada Anda.

Satu hal yang tidak boleh dilakukan perbandingan ini adalah menghasilkan tabel liga. Tidak ada instrumen bersama, tidak ada kumpulan tugas bersama, dan tidak ada reproduksi salah satu angka oleh pihak ketiga. Yang dapat Anda lakukan minggu ini adalah menjalankan 200 item berlabel milik Anda sendiri melalui keduanya dan membandingkan tingkat kelulusan serta kurva keyakinan — pekerjaan pagi hari yang akan memberi tahu Anda lebih banyak daripada revisi papan peringkat berikutnya.