Drex for Finance vs Gemini Keputusan 1: Dua Cara untuk Membeli Probabilitas

Jika lembar spesifikasi diletakkan berdampingan, Drex for Finance dan G​emini Decision 1 tampak seperti produk yang sama dari dua perusahaan. Keduanya menerima blok input dan serangkaian pertanyaan bertipe, keduanya mengembalikan jawaban berskor untuk setiap pertanyaan tanpa teks yang dihasilkan, keduanya mendukung permintaan 262,144 token, dan keduanya berbiaya sen per juta token input, bukan dolar. Kemiripan itu berhenti pada hal yang sebenarnya menjadi alasan Anda membelinya. G​emini Decision 1, dirilis 11 November 2026 di Developer API G​oogle, adalah model keputusan umum yang keahlian pembedanya adalah mengetahui kapan harus menolak; Drex for Finance, tersedia secara umum sejak 2 November 2026 dengan $0.03 per juta token input, adalah finetune domain yang keahlian pembedanya adalah membaca dokumen keuangan dan mendapatkan lima belas jawaban dengan benar sekaligus. Sembilan hari terpaut, bentuk permintaan sama, taruhan berlawanan — dan belum ada uji coba terpublikasi yang pernah menempatkan keduanya pada skala yang sama.

Perbandingan yang belum pernah dilakukan siapa pun

Ini adalah hal pertama yang perlu dipahami, karena ini menentukan seberapa banyak bagian lain dari tulisan ini yang dapat Anda tindak lanjuti.

G​emini Decision 1 angkanya berasal dari Artificial Analysis, pada Decision Index v2.1 miliknya — delapan belas model diperingkat, komposit berbobot dari enam evaluasi, masing-masing dinilai sebagai akurasi dikurangi penalti Brier atas probabilitas yang dilampirkan model pada jawabannya. Skornya 66,0, yang merupakan peringkat kesembilan dari delapan belas, tepat di atas median papan peringkat sebesar 64.

Angka {{1}}Drex for Finance{{/1}} berasal dari {{2}}Nace{{/2}}, pada {{3}}Drex Finance Index{{/3}} yang dibangun dari 48 set uji keuangan yang disisihkan. Skornya 77,3. {{4}}Drex for Finance{{/4}} sama sekali tidak tercantum di papan {{5}}Artificial Analysis{{/5}}.

Jadi dua angka utama itu adalah 66 dan 77,3; keduanya berasal dari instrumen berbeda, mengukur populasi tugas yang berbeda, dan mengurangkannya menghasilkan angka yang tidak bermakna. Siapa pun yang melakukannya — dan versi perbandingan ini yang sudah beredar online juga melakukannya — membandingkan skor papan tujuan umum dengan skor domain milik vendor sendiri lalu menyebut selisihnya sebagai pemenang. Pernyataan yang jujur adalah bahwa satu-satunya bukti yang tumpang tindih berjarak satu langkah: Drex Max v1.1, checkpoint induk yang menjadi dasar fine-tuning Drex for Finance, memang ada di papan Artificial Analysis, dan ia memimpin langsung dengan 73,4 — peringkat pertama dari delapan belas, unggul 7,4 poin dari 66,0 milik G​emini Decision 1. Itu sinyal kuat tentang model dasar dan sama sekali bukan sinyal tentang fine-tune-nya, karena pelatihan domain dapat memperoleh banyak pada uji dokumen dan kehilangan sedikit pada uji pengetahuan, dan tidak ada yang dipublikasikan memisahkan kedua efek itu untuk checkpoint ini. Itu juga alasan angka 66 dan 77,3 tidak boleh dibaca sebagai selisih ke arah mana pun.

Apa yang sebenarnya dirancang untuk dilakukan masing-masing

Arsitektur-arsitektur tersebut menjelaskan divergensi lebih baik daripada skor mana pun.

• Bentuk — Drex for Finance adalah finetune dari Drex Max, model keputusan dengan encoder visi. Gemini Decision 1 adalah model keputusan pertama dalam lini dari Google DeepMind, pada endpoint POST /v1beta/decisions tersendiri, terpisah dari jalur generate-content.

• Penekanan pelatihan — sembilan domain keuangan yang disebutkan di Nace: perbankan dan pembayaran, akuntansi dan audit, kredit dan pinjaman, asuransi, kepatuhan dan risiko, pengajuan dokumen dan laporan, pasar dan investasi, ESG, treasury dan operasi. Google tidak memublikasikan deskripsi pelatihan apa pun selain model dan API.

• Skala permintaan — keduanya mengizinkan sekitar 1.000 pertanyaan dalam satu proses, tetapi bentuknya berbeda. G​emini Decision 1 membatasi hingga 1.000 pertanyaan per permintaan dan menagih input bersama satu kali. Drex for Finance memberi Anda 262.144 token di seluruh permintaan dengan jumlah pertanyaan yang tidak dibatasi dalam dokumentasi, yang lebih menguntungkan banyak pertanyaan pendek dibandingkan satu dokumen panjang.

• Abstensi — tipe ya/tidak G​emini Decision 1 mengembalikan probabilitas yang dibatasi pada 0,01–0,99, sehingga ambang yang ditetapkan di atas 0,99 tidak akan pernah terpicu; kepemimpinannya di papan peringkat pada AA-Omniscience dan HLE-MultiChoice sebagian besar merupakan kepemimpinan dalam menolak menjawab alih-alih menebak. Drex for Finance mengembalikan P(true) dalam [0,1] tanpa batas yang didokumentasikan, dan sama sekali tidak ada tingkat non-halusinasi yang dipublikasikan.

• Penanganan opsi — G​emini Decision 1 mengurutkan kunci opsi Anda secara alfabetis dalam urutan byte UTF-8 sebelum penilaian, sehingga hasil seri diputuskan ke kunci yang pertama secara alfabetis, dan panduan G​oogle sendiri adalah menamai opsi serba-cakup other alih-alih none_of_the_above. Nace tidak mendokumentasikan normalisasi semacam itu, yang tidak sama dengan mengatakan hal itu tidak terjadi — itu sama dengan mengatakan Anda tidak dapat mengandalkannya dalam kondisi apa pun.

• Harga — Drex for Finance $0.03 per juta token input, output tidak ditagih. Gemini Decision 1 $0.10 per juta token input, output tidak berlaku. Pada ukuran tingkat tugas Artificial Analysis, Gemini Decision 1 setara dengan $345 per juta keputusan; angka yang sebanding untuk model Nace tidak dipublikasikan atas dasar tersebut.

• Akses — Drex for Finance melalui API vendor, SDK-nya, CLI-nya, dan server MCP jarak jauh, dengan tier gratis 100 keputusan per hari hingga 32 KB per keputusan. G​emini Decision 1 di G​emini Developer API hanya pada v1beta — tidak tercantum di Vertex AI, tidak ada Batch API, tidak ada context caching.

Di mana model umum menang, dan itu bukan kumpulan yang kecil

Tiga dari baris tersebut bersifat menentukan, bergantung pada beban kerja Anda.

Kalibrasi. Decision Index menghukum jawaban salah yang percaya diri lebih berat daripada jawaban yang tidak yakin, dan desain itulah sebabnya G​emini Decision 1 berada di posisinya. Jika pipeline Anda merutekan berdasarkan probabilitas — setujui di atas 0,95, eskalasi di bawah 0,6 — nilai angka itu sepenuhnya terletak pada apakah 0,95 berarti 95%. Keluaran terbatas dari G​oogle ditambah finis di posisi pertama pada dua komponen pengetahuan merupakan bukti untuk itu; Nace menerbitkan akurasi dan rincian kategori tetapi tidak ada kurva kalibrasi, jadi probabilitas Drex adalah skor yang harus Anda validasi sendiri sebelum Anda menetapkan gerbang berdasarkan skor itu.

Satu kali proses, banyak aturan. Seribu pertanyaan per permintaan terhadap satu input bersama adalah kemampuan yang benar-benar berbeda dari satu konteks tunggal yang sangat panjang. Tiket dukungan yang diperiksa terhadap empat puluh aturan kebijakan dalam satu panggilan, ditagih sekali untuk inputnya, adalah jenis pekerjaan di mana bentuk G​emini Decision 1 lebih baik daripada jendela konteks 262K, karena biayanya berskala dengan pertanyaan, bukan dengan teks yang Anda ulangi.

Keluasan modalitas. Drex for Finance membaca teks serta gambar PNG, JPEG, dan WebP, hingga delapan gambar per permintaan. G​emini Decision 1 menerima teks, gambar, video, audio, dan PDF dalam satu permintaan, hingga 100 MB base64 inline, 50 MB untuk PDF. Jika suatu keputusan bergantung pada rekaman panggilan telepon atau bingkai video, hanya satu dari keduanya yang dapat melihatnya.

Di mana spesialis menang

Kasus kontranya lebih sempit tetapi nyata, dan muaranya pada apa yang terjadi pada dokumen yang memerlukan beberapa jawaban sekaligus agar semuanya benar.

Pada AA-Paperclip — 30% dari komposit Gemini Decision 1, dan komponen tunggal terberat — Gemini Decision 1 meloloskan 33% dokumen secara langsung, dibandingkan 63% untuk Drex Max v1.1. Tes ini berupa 1.500 resume, tanda terima, faktur, dan dokumen privat, yang masing-masing memuat lima keputusan dan sepuluh fakta, dinilai all-or-nothing per dokumen. Drex for Finance di-fine-tune tepat pada materi tersebut: bidang faktur dan tanda terima, klasifikasi akun GL, faktur duplikat, pengecualian rekonsiliasi, sampling audit, penandaan 10-K dan XBRL. Nace melaporkan 92,3 pada Documents & extraction dan 96,7 pada Financial QA & filings, keduanya dijalankan vendor.

Jika keputusan Anda adalah "baca faktur ini dan beri tahu saya apakah faktur ini menduplikasi faktur yang sudah dibayar", skor komposit papan umum hampir tidak relevan dan fine-tune domain hampir menjadi seluruh jawabannya. Itulah alasan untuk membayar tarif spesialis untuk model spesialis — dan juga alasan mengapa 77.3 dan 66 tidak boleh dibandingkan: keduanya adalah skor dua model pada dua populasi tugas yang masing-masing dipilih agar unggul.

Dua titik lemah yang diakui secara jujur di pihak Nace, karena tabel ini milik vendor: Credit & risk mendapat skor 48.3, angka absolut terendah di tabel finance, dan Markets & reasoning mendapat skor 41.5, satu-satunya kategori tempat model ini bukan yang pertama — pplx-decider v1.2 meraih 43.1. Keduanya diungkapkan dalam posting peluncuran Nace sendiri, yang lebih dari yang dilakukan sebagian besar vendor, dan keduanya membatasi hal-hal yang boleh dipercayakan kepada checkpoint finance.

Biaya, pada skala yang benar-benar dijalankan oleh pipeline keputusan

Satu kasus 4.000 token yang dinilai sekali berbiaya sekitar $0,00012 di Drex for Finance dan sekitar $0,0004 di G​emini Decision 1. Keduanya bukanlah angka yang menentukan apa pun; pada satu juta keputusan per bulan, selisihnya sekitar $280, yang lebih kecil daripada biaya satu minggu kerja engineer untuk migrasi.

Yang menentukan adalah arsitektur di sekitarnya. G​emini Decision 1 tidak memiliki context caching dan tidak memiliki Batch API, sehingga dokumen kebijakan 40.000 token yang sama ditagih penuh pada setiap permintaan, dan tidak ada penyisiran tiket historis semalam dengan harga setengah. Drex for Finance juga tidak memiliki kedua fitur tersebut, dan penagihannya per permintaan, bukan per pertanyaan, yang berarti biaya untuk menanyakan empat puluh hal tentang satu dokumen adalah jumlah token dokumen tersebut, sekali. Pada beban kerja dengan banyak pertanyaan dan input pendek, hal itu sepenuhnya membalik peringkat per token: $0.10 dari G​emini Decision 1 memberi Anda seribu pertanyaan, sedangkan seribu pertanyaan yang sama terhadap satu kasus pendek adalah satu permintaan Drex dengan tarif $0.03 per juta token.

Sebenarnya, bagaimana cara menghubungi salah satunya?

Kami tidak menyediakan gemini-decision-1 dan kami tidak menyediakan drex-max-finance. Endpoint yang hanya menyediakan probabilitas bukanlah target chat-completions, jadi router dengan bentuk seperti kami tidak punya cara yang jujur untuk menempatkan keduanya di balik satu kunci, dan mengklaim sebaliknya akan gagal pada permintaan pertama. Yang kami sediakan adalah typesafe/jev-1.14 milik TypeSafe seharga $0.042 per juta token input dan output di systemone — bentuk permintaan yang sama dengan yang kompatibel secara wire dengan API Nace dan model di papan delapan belas model yang sama dengan Gemini Decision 1, dengan skor 66.2 berbanding 66.0.

Yang menjadikannya opsi ketiga yang praktis dalam perbandingan ini alih-alih sekadar catatan kaki. Jika keputusannya sendiri tidak diperdebatkan dan yang Anda butuhkan adalah satu endpoint untuk seluruh pipeline — panggilan keputusan, panggilan penyusunan yang menulis catatan analis, panggilan eskalasi yang meninjau kasus yang ditandai — maka jalur keputusan yang berjalan pada kunci yang sama dengan lebih dari 200 model lainnya, pada harga daftar penyedia yang diteruskan tanpa markup per token, bernilai lebih daripada keunggulan dua poin pada komposit. Jika keputusan adalah seluruh produk, beli spesialis dari vendor dan rutekan sisanya.

Apa yang bisa menyelesaikannya

Satu eksperimen, dan belum ada yang menjalankannya. Ambil beberapa ratus dokumen keuangan nyata — faktur dengan status duplikat yang diketahui, laporan dengan tag yang diketahui — dan beri skor menggunakan kedua model dengan rubrik yang sama. Satu kali eksekusi itu akan menggantikan setiap angka dalam artikel ini dengan angka yang sebanding dan akan memberi tahu Anda apakah keunggulan finetune domain bertahan saat diuji dengan harness independen.

Sampai hal itu ada, tafsiran yang tepat adalah bahwa ini bukan pesaing. G​emini Decision 1 adalah pilihan yang lebih baik ketika probabilitasnya harus dapat dipercaya, pertanyaannya banyak, atau masukannya bukan teks. Drex for Finance adalah pilihan yang lebih baik ketika masukannya adalah dokumen keuangan, jawabannya harus semuanya benar sekaligus, dan volume kasus menjadikan $0.03 per juta token sebagai batas yang penting. Kedua pernyataan itu dapat dipertahankan berdasarkan angka yang dipublikasikan. Perbandingan yang menempatkan keduanya pada satu papan peringkat tidak demikian, dan akan butuh waktu sebelum hal itu ada.