Gemini Decision 1 vs Microsoft-Decision-1: Dua Penilai Hyperscaler, Selisih Empat Poin

Dua vendor cloud terbesar kini sama-sama menjual model yang menjawab dengan probabilitas alih-alih kalimat, dan tak satu pun akan memberi tahu Anda seberapa baik model itu bekerja. Microsoft-Decision-1 tersedia secara umum di Microsoft Foundry pada 8 Oktober 2026: basis Qwen3.5-9B yang menjalani pasca-pelatihan oleh Microsoft, masukan teks, konteks 32.768 token, keluaran berupa distribusi terkalibrasi, bobot tidak didistribusikan. Gemini Decision 1 hadir pada 11 November 2026 di Gemini Developer API: masukan teks, gambar, video, audio, dan PDF, konteks 262.144 token, hingga 1.000 pertanyaan bertipe per permintaan, $0,10 per juta token masukan, bobot juga tidak didistribusikan. Keduanya menyertakan bagian metodologi dan tidak menyertakan tabel hasil, yang menyisakan satu instrumen independen sebagai satu-satunya tempat keduanya dapat dibandingkan — Artificial Analysis, tempat keduanya terpaut empat poin, peringkat kesembilan dan kesepuluh dari delapan belas.

Empat poin bukanlah selisih yang menarik. Selisih yang menarik adalah bahwa pada evaluasi yang menjadi alasan sebagian besar model keputusan benar-benar dibeli, keduanya hanya terpaut lima poin sementara keduanya berada di dekat dasar peringkat, dan model yang memenangkan peringkat keseluruhan melakukannya di tempat yang sama sekali berbeda.

Apa yang masing-masing letakkan di hadapan Anda

Bentuk request-nya cukup mirip sehingga klien yang ditulis untuk salah satunya bisa diadaptasi ke yang lain dalam waktu satu sore, dan cukup berbeda sehingga pilihannya biasanya sudah ditentukan sebelum benchmark apa pun dibaca.

• Masukan — Gemini Decision 1 menerima teks, gambar, video, audio, dan PDF, hingga 100 MB inline per permintaan dan 15 MB per URL eksternal. Microsoft-Decision-1 menerima teks, yang diserialisasi menjadi 32.768 token. Formulir hasil pindai atau rekaman panggilan merupakan masukan asli bagi yang satu dan pekerjaan prapemrosesan bagi yang lain.

• Konteks — 262.144 token untuk Gemini Decision 1, dibagi bersama di seluruh input dan setiap pertanyaan. 32.768 untuk Microsoft-Decision-1, dengan input ditambah kumpulan opsi yang mengonsumsinya dan tidak ada anggaran generasi yang perlu dikurangkan karena tidak ada generasi.

• Bentuk pertanyaan — Gemini Decision 1 meresmikan tiga bentuk: ya/tidak yang dibatasi pada 0,01–0,99, pilihan atas 2 hingga 255 opsi bernama, dan skor atas 2 hingga 255 tingkat terurut yang mengembalikan tingkat ekspektasi berbobot probabilitas. Microsoft-Decision-1 mencakup ya/tidak, pilihan ganda, rating, klasifikasi, dan penilaian rubrik, serta secara eksplisit mendukung opsi abstain seperti "tidak dapat menentukan" di dalam kumpulan opsi.

• Pengelompokan dalam satu permintaan — hingga 1.000 pertanyaan independen untuk Gemini Decision 1, masing-masing terisolasi satu sama lain, semuanya terhadap satu pembacaan berbayar atas input bersama. Kontrak terbitan Microsoft-Decision-1 adalah satu state dan kumpulan pertanyaannya per pemanggilan, sehingga cakupan luas berasal dari pengelompokan pertanyaan, bukan dari batas maksimum per permintaan yang didokumentasikan.

• Harga — $0,10 per juta token masukan untuk Gemini Decision 1, tanpa biaya keluaran karena outputnya nol token. Papan mencatat $345 per juta tugas untuknya, dan $143 per juta tugas untuk Microsoft-Decision-1 pada tarif masukan yang dilacaknya.

• Akses — Gemini Developer API hanya di v1beta, dengan tier gratis 200 permintaan per menit dan 10.000 per hari, permintaan harian tak terbatas dari Tier 2, dan tidak ada pencantuman Vertex AI dalam dokumentasi yang dikirim Google. Microsoft-Decision-1 sebagai deployment Foundry di bawah portofolio Direct from Azure, dengan opsi serverless dan endpoint terpadu, SKU standar, autentikasi Azure dan satu jalur penagihan, inferensi batch dinonaktifkan, serta tidak ada unduhan bobot atau jalur fine-tuning.

Lini akses adalah tempat keputusan pengadaan dibuat, bukan keputusan teknis. Jika organisasi Anda membeli melalui komitmen Azure, Microsoft-Decision-1 adalah tagihan yang sudah Anda tahu cara membayarnya. Jika organisasi membeli melalui Google Cloud, Gemini Decision 1 saat ini bukanlah demikian — satu-satunya pintu yang didokumentasikan adalah kunci API Gemini, yang merupakan pos anggaran berbeda dan, bagi sebagian perusahaan, proses persetujuan yang berbeda.

Papan skor, komponen demi komponen

Indeks Keputusan Artificial Analysis menilai setiap evaluasi sebagai akurasi dikurangi penalti Brier atas keyakinan yang dilampirkan pada jawaban, dengan pembobotan di enam komponen. Berikut cara kedua model membaginya:

• AA-Paperclip, bobot 30% — Gemini Decision 1 56,8 versus Microsoft-Decision-1 51,8. Keduanya lemah. Tingkat lolos dokumen secara all-or-nothing adalah 33% untuk Gemini Decision 1 dan 20,9% untuk Microsoft-Decision-1, dibandingkan 63% untuk pemimpin kategori. Tidak satu pun model hyperscaler mampu mengekstrak lima belas fakta dari dokumen padat secara andal.

• EvalSafe-O*NET-AA, 15% — 87,1 dibandingkan 86,8. Praktis identik, dan keduanya berada di dekat puncak kelompok yang sangat rapat.

• When2Call, 10% — 80.5 berbanding 88.0. Microsoft-Decision-1 menang telak dalam perbandingan ini dan berada dekat posisi teratas; Gemini Decision 1 berada di peringkat keempat belas dari delapan belas.

• AA-Omniscience-Decision v1.1, 15% — 66,3 berbanding 54,9. Gemini Decision 1 menempati peringkat pertama di bidang ini; tingkat non-halusinasi sebesar 49,6% adalah alasannya. Microsoft-Decision-1 melaporkan non-halusinasi 21,7% di sini, dan angka itulah yang seharusnya mengkhawatirkan siapa pun yang berencana menetapkan ambang batas pada abstensinya.

• HLE-MultiChoice v1.1, 15% — 48,7 versus 39,4. Peringkat pertama versus peringkat kesebelas. Akurasi mentah 13,2% versus 8,6%, dan non-halusinasi 35,7% versus 15,1%.

• AA-Symmetry v1.1, 15% — 70.5 berbanding 70.4. Hasil imbang sempurna, keduanya di papan tengah, mempertahankan jawaban yang sama saat urutan diubah dan dinegasikan, masing-masing pada 38.3% dan 51.7% keluarga pertanyaan.

Skor komposit berada di 65,98 dan 62,07, peringkat kesembilan dan kesepuluh. Dengan membaca komponennya, bentuk setiap produk menjadi jelas. Microsoft-Decision-1 adalah penilai tool-call dan pertimbangan di tempat kerja yang solid, tetapi perilaku pengetahuan dan abstensinya lemah. Gemini Decision 1 adalah kebalikannya: skor pengetahuan dan abstensi terbaik di papan, dipasangkan dengan ekstraksi tingkat menengah dan kemampuan membedakan pilihan alat yang buruk.

Apa yang mereka miliki bersama itulah yang patut dicurigai.

Kedua vendor sama-sama tidak menerbitkan tabel tolok ukur. Kartu Microsoft-Decision-1 menjelaskan metodologinya — tolok ukur keputusan publik dan komunitas, set internal yang disisihkan, akurasi dan kesalahan kalibrasi, urutan opsi divariasikan, uji statistik berpasangan — dan mengklaim bahwa model tersebut "berperforma setara dengan model keputusan terkemuka dan lebih unggul daripada model keputusan terbuka lain yang dievaluasi dengan metodologi yang sama". Tidak ada tabel di bawah kalimat itu. Catatan rilis Gemini Decision 1 mengumumkan model tersebut dan menautkan dokumentasi API, yang mencantumkan kemampuan yang didukung dan tidak didukung serta tidak ada angka akurasi sama sekali.

Ini penting karena seluruh antarmuka model keputusan adalah angka yang menjadi dasar percabangan kode Anda. Model chat yang beberapa poin lebih lemah menghasilkan prosa yang lebih buruk; scorer yang salah kalibrasi diam-diam mengarahkan 8% tiket Anda ke antrean yang salah, dan tidak ada apa pun dalam respons yang memberi tahu Anda. Dua vendor terdepan merilis produk yang klaim utamanya — bahwa probabilitas itu berarti sebagaimana yang dinyatakannya — hanya dinyatakan dalam prosa dan diukur hanya oleh pihak ketiga.

Pihak ketiga, yang patut diakui, mengukur keduanya dengan instrumen yang sama, itulah sebabnya perbandingan ini bisa dilakukan. Namun satu papan tetaplah satu papan, komponen terbesarnya adalah 45% data privat, dan papan itu baru beberapa minggu memberi skor pada model keputusan. Anggaplah 66 dan 62 sebagai pembacaan luar pertama, bukan sebagai kapabilitas yang sudah mapan.

Mana yang harus diletakkan di belakang ambang pintu Anda

Pilih Microsoft-Decision-1 ketika keputusan tersebut berupa pemanggilan alat atau penilaian dokumen tempat kerja, ketika input adalah teks yang muat dengan nyaman dalam 32K token, dan ketika gerbang deployment berupa kontrak Azure dengan penagihan terpadu serta paket Responsible AI yang terlampir. Skor 88,0 pada When2Call dan 86,8 pada EvalSafe-O*NET merupakan kekuatan nyata, dan opsi abstensi eksplisitnya memungkinkan Anda merancang jalan keluar "tidak dapat memastikan" ke dalam kumpulan opsi, bukan menambahkannya belakangan.

Pilih Gemini Decision 1 ketika input panjang, multimodal, atau dibagikan di banyak pertanyaan, ketika pertanyaan pengetahuan dan pengendalian halusinasi menjadi fokus, dan ketika Anda siap membayar untuk konteks. Peringkat pertamanya pada kedua komponen pengetahuan dan tingkat non-halusinasi 49,6% pada AA-Omniscience adalah alasan untuk memilihnya dibandingkan model Microsoft yang lebih murah, dan tingkat kelulusan dokumen 33% adalah alasan untuk tidak memilihnya untuk pekerjaan ekstraksi.

Jangan pilih keduanya untuk ekstraksi dalam volume besar. Kedua penilai dari hyperscaler berada di separuh bawah komponen dokumen yang berbobot 30%, dan model yang memimpin di sana — model multimodal 27B dari Nace.AI dan encoder 421M dari Convai Innovations yang dapat Anda fine-tune sendiri — berbiaya lebih rendah per tugas dan, dalam kasus open-weight, dapat dilatih dengan dokumen Anda sendiri.

Sisa pipeline tidak harus disandera oleh hal ini.

OrcaRouter tidak membawa kedua model tersebut. Keduanya adalah endpoint yang hanya menghasilkan probabilitas—satu di Gemini Developer API, satu di Foundry—dan keduanya bukan target chat-completions, jadi kami tidak mencantumkannya. Yang ada di katalog adalah typesafe/jev-1.14 milik TypeSafe, model keputusan dengan skor 66,23 pada indeks yang sama, yang merupakan opsi ketiga yang wajar jika Anda ingin panggilan penilaian berada pada kunci yang sama dengan semua yang lain.

Panggilan yang mengapit si penilai adalah tempat sebuah router membuktikan nilainya, dan itulah separuh yang sengaja tidak ditangani kedua produk ini. Harus ada sesuatu yang menulis rubrik yang menjadi dasar penilaian si penilai, merangkum dokumen 60 halaman menjadi 32K token, atau menyusun jawaban kandidat yang akan diperingkat — dan sesuatu itu adalah model generatif yang harga dan kualitasnya berubah setiap beberapa minggu. Panggilan itu berjalan melalui satu endpoint yang memuat lebih dari 200 model dengan harga daftar penyedia yang diteruskan pada markup 0%, dengan failover otomatis saat penyedia mengalami penurunan dan DSL routing jika Anda ingin beberapa model menyusun satu jawaban. Jaga separuh penulisan tetap portabel dan keputusan penilaian tetap dapat dibalik, yang nilainya lebih dari empat poin indeks ketika kedua vendor merevisi dengan irama kuartalan.

Apa yang harus ditonton

Tiga sinyal akan mengubah peringkat, dan belum ada satu pun yang datang. Tabel tolok ukur Microsoft dengan kurva kalibrasi akan memungkinkan pelanggan Azure-nya menetapkan ambang batas berdasarkan bukti; kartu tersebut saat ini menawarkan metodologi dan klaim. Pencantuman di Vertex AI untuk Gemini Decision 1 akan memindahkannya dari pembelian kunci API ke pembelian kontrak cloud dan sepenuhnya mengubah perbandingan pengadaan. Dan dewan independen kedua yang menilai kedua model akan memberi tahu kita apakah selisih empat poin itu sinyal atau derau dari papan peringkat yang berumur tiga minggu.

Sampai saat itu, pembacaan yang dapat dipertahankan adalah ini: Gemini Decision 1 adalah model yang lebih baik pada dua komponen di mana mengetahui kapan harus menolak adalah keterampilannya, Microsoft-Decision-1 lebih baik dalam pemilihan alat dan sedikit lebih murah, dan keduanya berada di papan tengah pada ekstraksi dokumen yang sebenarnya menjadi sebagian besar beban kerja keputusan perusahaan. Jalankan 200 item berlabel milik Anda sendiri melalui masing-masing model sebelum angka mana pun menentukan apa pun.