Gemini Decision 1 vs Drex Max v1.1: Keduanya Membaca 262K Token, Hanya Satu yang Menghitung Dokumen

Letakkan Gemini Decision 1 dan Drex Max v1.1 berdampingan dan lembar spesifikasinya hampir tumpang tindih: keduanya model keputusan, keduanya jendela 262.144 token, keduanya membaca gambar bersama teks, keduanya mengembalikan probabilitas alih-alih prosa. Kesenjangannya terbuka di satu tempat. Pada komponen keputusan dokumen dari Artificial Analysis Decision Index v2.1 — uji berbobot 30% yang meminta model mengambil lima keputusan dan sepuluh fakta dari satu dokumen padat dan benar untuk kelima belasnya — Drex Max v1.1 lulus 63% dokumen dan Gemini Decision 1 lulus 33%. Komponen tunggal itu adalah sebagian besar alasan satu model mendapat skor 73 dan yang lain 66.

Sisanya dari perbedaan itu adalah aritmetika yang bisa Anda tindak lanjuti. Drex Max v1.1 berbiaya $0,03 per juta token masukan dan Gemini Decision 1 berbiaya $0,10; untuk satu juta tugas, itu $103 versus $345. Dan Gemini Decision 1 membawa hingga 1.000 pertanyaan per permintaan atas masukan bersama, sementara Drex Max v1.1 mengharapkan satu state dengan beberapa pertanyaan terlampir. Angka mana di antara itu yang menentukan pilihan Anda sepenuhnya bergantung pada apakah keputusan Anda datang satu dokumen sekaligus atau empat puluh aturan sekaligus.

Dua bentuk berbeda dari ide yang sama

Kedua model menolak untuk menghasilkan teks, dan keduanya memiliki satu sifat yang penting untuk pemodelan biaya: input dibaca sekali dan setiap pertanyaan dinilai terhadapnya. Yang membedakan keduanya adalah apa yang mereka izinkan Anda masukkan ke dalam input tersebut.

• Jenis jawaban — Drex Max v1.1 menawarkan choice, noul, dan score, bentuk permintaan yang didefinisikan oleh Jev dari TypeSafe dan diadopsi oleh Nace. Gemini Decision 1 menawarkan tiga hal yang sama, dengan 2 hingga 255 opsi pada choice dan 2 hingga 255 level rubrik, 2 hingga 10 direkomendasikan.

• Pertanyaan per panggilan — hingga 1.000 untuk Gemini Decision 1, masing-masing dievaluasi secara independen dalam satu lintasan, kunci yang Anda sediakan; beberapa per status untuk Drex Max v1.1, di mana unit kerjanya adalah satu item dan pertanyaannya.

• Modalitas — Gemini Decision 1 menerima teks, gambar, video, audio, dan PDF; Drex Max v1.1 menerima teks dan hingga delapan gambar per permintaan. Keduanya tidak menerima media di dalam instruksi pertanyaan; pada Gemini Decision 1 hal itu merupakan batasan yang didokumentasikan, dan di sana media tersebut termasuk dalam input bersama.

• Jendela — 262.144 token untuk Gemini Decision 1 di seluruh input bersama dan semua pertanyaan secara bersamaan; Drex Max v1.1 mendokumentasikan 131.072 token per pertanyaan dengan token gambar dihitung di dalamnya, dan batas maksimum permintaan terpaket sebesar 262.144.

• Penagihan — Gemini Decision 1 mengenakan biaya $0,10 per juta token masukan dan secara eksplisit menagih ulang masukan bersama yang berulang secara penuh, tanpa caching dan tanpa Batch API. Drex Max v1.1 mengenakan biaya $0,03 per juta token masukan, tarif yang dipangkas separuh oleh Nace ketika vv1.1 menggantikan v1 di tempat yang sama.

• Akses — Gemini Decision 1 di Gemini Developer API pada v1beta, dengan tier gratis dan permintaan harian tanpa batas mulai dari Tier 2. Drex Max v1.1 di-hosting oleh Nace.AI di POST /v1/systemone, tanpa checkpoint yang dapat diunduh.

Bacalah daftar itu sebagai satu kalimat: Drex Max v1.1 dibangun untuk sebuah layar atau halaman dan beberapa penilaian tentangnya, dan Gemini Decision 1 dibangun untuk konteks besar dan buku aturan besar. Batas 1.000 pertanyaan bukanlah hiasan lembar spesifikasi. Itu adalah perbedaan antara model yang Anda panggil empat puluh kali per permintaan dan model yang Anda panggil sekali.

Dari mana sebenarnya kesenjangan 6,6 poin itu muncul

Decision Index membobot enam evaluasi, dan kedua model telah dijalankan pada keenamnya. Menyejajarkan komponen-komponennya lebih informatif daripada nilai kompositnya:

• AA-Paperclip, 30% — Drex Max v1.1 72.8, Gemini Decision 1 56.8. Lima belas jawaban per dokumen, semua atau tidak sama sekali. Inilah selisih enam belas poin yang menentukan peringkat.

• EvalSafe-O*NET-AA, 15% — 88.3 vs 87.1. Praktisnya seri.

• When2Call, 10% — 95,3 berbanding 80,5. Drex Max v1.1 berada di posisi kedua di lapangan ini; Gemini Decision 1 berada di posisi keempat belas dari delapan belas.

• AA-Omniscience-Decision v1.1, 15% — 60,3 versus 66,3. Gemini Decision 1 yang memenangkan ini, dan akurasi mentahnya sebesar 44,8% adalah yang tertinggi di antara semua model keputusan di papan peringkat.

• HLE-MultiChoice v1.1, 15% — 46,6 berbanding 48,7. Selisihnya tipis, keduanya hampir di posisi teratas, keduanya dengan akurasi mentah satu digit.

• AA-Symmetry v1.1, 15% — 79,8 dibandingkan 70,5. Drex Max v1.1 mempertahankan jawabannya saat pengurutan ulang dan negasi sebanyak 53,3% dari waktu; Gemini Decision 1, 38,3%.

Polanya konsisten. Drex Max v1.1 unggul pada dua komponen yang menguji apakah suatu keputusan dapat diulang dan sehat secara struktural. Gemini Decision 1 unggul pada dua komponen yang menguji apakah ia mengetahui berbagai hal dan mengetahui kapan ia tidak mengetahuinya. Keduanya adalah produk yang dapat dipertahankan; keduanya menjawab pertanyaan yang berbeda tentang untuk apa model keputusan itu.

Satu catatan tentang angka Drex: $103 per juta tugas yang dilaporkan Artificial Analysis mencerminkan harga peluncuran sementara, dan dewan mencatat dalam catatan kaki bahwa harga standar akan menggandakan biaya tersebut. Pada harga daftar, Drex Max v1.1 berada di sekitar $206 per juta tugas — masih jauh di bawah $345 milik Gemini Decision 1, tetapi tidak lagi sepertiganya. Latensi berjalan sebaliknya: 283 milidetik per tugas untuk Drex Max v1.1 versus 211 untuk Gemini Decision 1, keduanya lebih lambat daripada median 209 di bidang ini.

Pilih berdasarkan bentuk permintaan Anda, bukan skornya.

Ambil Drex Max v1.1 jika keputusan Anda menyangkut satu artefak dengan jawaban yang harus tetap berlaku. Triase klaim asuransi atas formulir hasil pindai, kontrol agen berbasis tangkapan layar yang keputusan klik yang sama ditanyakan ulang setelah render ulang, peninjauan kontrak yang ya/tidak terbalik merupakan kesalahan nyata. Tingkat kelulusan dokumen 63% dan tingkat kelulusan simetri 53.3% adalah angka yang sepadan di sana, dan $0.03 per juta token masukan membuat argumen volume menjadi mudah.

Ambil Gemini Decision 1 jika keputusan Anda adalah buku aturan yang diterapkan pada satu input, atau jika inputnya bukan teks dan gambar. Empat puluh pemeriksaan kebijakan atas tiket dukungan dalam satu panggilan adalah beban kerja yang didokumentasikan untuk Gemini Decision 1 dan bukan untuk Drex Max v1.1 — dan jika inputnya rekaman panggilan atau PDF, hanya satu dari keduanya yang dapat membacanya. Dokumentasi Google mencantumkan empat belas kemampuan yang tidak didukung bersama satu kemampuan yang didukungnya, sehingga kesesuaiannya mudah diverifikasi sebelum Anda berkomitmen: keputusan terkalibrasi, sisanya nonaktif.

Jangan ambil keduanya, namun, jika keputusan bergantung pada biaya dalam skala besar. Gemini Decision 1 tidak memiliki Batch API dan tidak memiliki caching konteks, yang berarti penyapuan malam atas satu juta tiket historis ditagih dengan tarif penuh dengan dokumen kebijakan dibaca ulang setiap kali. Harga peluncuran Drex Max v1.1 bersifat sementara. Tidak ada produk yang saat ini menawarkan struktur diskon yang membuat backfill murah, dan itu akan lebih penting daripada enam poin indeks bagi siapa pun yang menghitung angka untuk setahun tiket.

Menjalankan keduanya tanpa kontrak kedua

OrcaRouter tidak menyediakan keduanya. Keduanya adalah endpoint khusus probabilitas, bukan target chat-completions, dan kami menyatakannya alih-alih menyiratkan sebaliknya — daftar model keputusan dalam katalog adalah typesafe/jev-1.14 milik TypeSafe, yang berada pada 66.23 di papan yang sama di antara kedua model dalam tulisan ini.

Yang sebenarnya menjadi biaya bagi Anda dalam bake-off adalah bagian yang tidak pernah muncul dalam benchmark: dua SDK, dua pendekatan pengelolaan kunci, dua rangkaian batas laju yang harus dipertimbangkan. Itulah alasan bagian generatif dari pipeline keputusan sebaiknya berada di belakang router bahkan ketika bagian penilaian tidak bisa. Panggilan yang menyusun jawaban kandidat, menulis rubrik, atau menghasilkan ringkasan yang dinilai adalah tepat panggilan tempat Anda ingin mengganti vendor dalam satu sore — satu endpoint, lebih dari 200 model, harga daftar penyedia diteruskan dengan markup 0%, dan failover saat kinerja penyedia menurun. Arahkan panggilan penilaian langsung ke Google atau Nace dan biarkan panggilan penulisan tetap portabel. Model yang tidak dapat Anda rutekan adalah bagian yang murah; model yang dapat Anda rutekan adalah model yang akan ingin Anda ubah.

Jika Anda memang menguji keduanya pada label Anda sendiri — dan Anda seharusnya begitu, karena tidak ada vendor yang menerbitkan kurva kalibrasi pada data Anda — jalankan keduanya pada 200 dokumen yang sama dengan set pertanyaan yang sama dan bandingkan tingkat kelulusannya, bukan indeksnya. Selisih 30 poin dewan pada Paperclip adalah prior yang kuat. Itu bukan pengukuran dokumen Anda.