Kartu judul yang dihasilkan berjudul 'Satu Uji, Sebagian Besar Keunggulan', dengan subjudul 'Microsoft-Decision-1.1 vs Gemini Decision 1, Decision Index v2.1', dengan kisi dua kali dua dari empat kartu label yang bertuliskan '67.78 vs 65.98', '95.08 vs 80.50', '123 ms vs 211 ms' dan '139.64 vs 344.90 dolar', keterangan yang bertuliskan 'per juta tugas, dibaca 19 November 2026', dan dua blok batang abu-abu berlabel Microsoft dan Gemini. Logo OrcaRouter dikompositkan di sudut kanan bawah.
Guides & Insights

Microsoft-Decision-1.1 vs Gemini Decision 1: Keunggulan Dua Poin yang Dibangun Hampir Seluruhnya pada Satu Tes

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Letakkan Microsoft-Decision-1.1 dan Gemini Decision 1 berdampingan pada Artificial Analysis Decision Index v2.1 dan selisihnya tampak seperti sebuah putusan: 67.78 berbanding 65.98, dengan model Microsoft juga hampir dua kali lebih cepat pada 123 ms per tugas versus 211 ms, dan kurang dari setengah biayanya pada $139.64 per juta tugas versus $344.90. Bongkar kompositnya dan putusannya menjadi lebih kecil dan lebih aneh. Seluruh keunggulan Microsoft-Decision-1.1 berasal dari satu komponen yang bernilai 10% dari indeks dan satu keputusan tingkat proses tentang bagaimana sebuah dokumen ditagih. Pada dua komponen pengetahuan, model Google menang — salah satunya dengan selisih lebih dari enam poin, dengan akurasi mentah hampir dua kali lipat.

Pemisahan itulah inti seluruh perbandingan, dan itu menentukan lebih dari sekadar posisi di papan peringkat. Gemini Decision 1 membaca 262.144 token dan menerima audio, video, serta PDF; Microsoft-Decision-1.1 membaca 32.768 token dan menerima teks, JSON, serta gambar. Model Google mengakui saat tidak tahu sebesar 49,6% dalam tes Omniscience; model Microsoft sebesar 49,4%. Pada tes perutean, model Microsoft unggul dua belas setengah poin. Jika keputusan Anda adalah "alat mana dari lima ini yang dibutuhkan permintaan ini", jawabannya tidak tipis. Jika keputusan Anda adalah "apakah klausul ini dalam kontrak 90 halaman ini benar", jawabannya berbalik, dan berbalik karena jendela konteks, bukan karena model.

Keduanya adalah pencetak skor, dan mereka adalah pencetak skor dengan pola yang sama.

Kedua API ini bertemu pada primitif yang hampir sama, yang membuat perbandingannya luar biasa bersih. Masing-masing menerima input bersama, sekumpulan pertanyaan bertipe, dan mengembalikan satu jawaban bertipe per pertanyaan dengan probabilitas yang disertakan. Keduanya tidak menulis sepatah kata pun.

• Jenis pertanyaan — keduanya menyediakan tiga jenis yang sama: probabilitas ya/tidak, pilihan dari kumpulan tetap dengan probabilitas per opsi, dan posisi pada skala berurutan. Microsoft menyebut yang pertama noul, Google juga menyebutnya noul, yang bukan kebetulan melainkan sebuah kategori yang menyepakati kosakata.

• Token output — nol pada keduanya, di setiap panggilan. Penagihan hanya berdasarkan input, jadi harga token yang Anda lihat adalah harga keseluruhannya.

• Penilaian paralel — keduanya mengevaluasi setiap pertanyaan terhadap input bersama secara independen, sehingga pertanyaan tidak dapat saling melihat dan menambahkan pertanyaan kesepuluh tidak mengubah sembilan pertanyaan pertama.

• Ukuran permintaan — Google mendokumentasikan 1 hingga 1.000 pertanyaan per panggilan, pertanyaan pilihan dengan 2 hingga 255 opsi, pertanyaan skor dengan 2 hingga 255 level. Microsoft mendokumentasikan "satu atau lebih pertanyaan bertipe" tanpa batas maksimum, dan posting peluncurannya menggambarkan permintaan yang membawa "ratusan pertanyaan".

• Input gambar — keduanya sekarang menerimanya. Microsoft menambahkannya pada 1.1; Google memilikinya sejak peluncuran, bersama audio dan video, yang secara eksplisit tidak diterima Microsoft.

Endpoint — di sinilah keduanya berbeda secara fisik. Gemini Decision 1 hanya dapat diakses melalui Decisions API Google pada Gemini Developer API v1beta. Microsoft-Decision-1.1 di-deploy sebagai resource Foundry dan merespons di /providers/microsoft/v1/systemone pada resource tersebut.

Komposit, terurai

Keunggulan indeks sebesar 1,8 poin yang hanya berada pada satu komponen berbobot 10% bukanlah artefak pembulatan, tetapi klaimnya jauh lebih sempit daripada "model yang lebih baik". Berikut adalah dekomposisi lengkap kedua entri, sebagaimana dipublikasikan Artificial Analysis, per 19 November 2026:

• Indeks keseluruhan — Microsoft-Decision-1.1 67,78 vs Gemini Decision 1 65,98

• Indeks akurasi (indeks yang dibangun ulang hanya dengan akurasi, tanpa faktor keyakinan) — 48.45 vs 45.53, jadi Microsoft juga unggul dalam ketepatan, hanya dengan selisih yang lebih kecil

• When2Call, bobot 10% — 95,08 vs 80,50. Selisih 14,6 poin dan sumber keunggulan

• AA-Paperclip, bobot 30% — Skor Keputusan 58,67 vs 56,83, dan 36,8% vs 33,0% dokumen sepenuhnya benar

• EvalSafe-O*NET-AA, 15% — 88,85 vs 87,05, dengan akurasi mentah 83,4% vs 82,0%

• AA-Omniscience-Decision v1.1, 15% — 60,46 vs 66,28, dengan akurasi mentah 33,2% vs 44,8% dan non-halusinasi 49,4% vs 49,6%

• HLE-MultiChoice v1.1, 15% — 46,11 vs 48,71, dengan akurasi mentah 6,29% vs 13,16% dan non-halusinasi 38,4% vs 35,8%

• AA-Symmetry, 15% — 75,72 vs 70,47, pada tingkat kelulusan penulisan ulang sebesar 47,5% berbanding 38,3%

Ada dua hal yang muncul dari daftar itu. Pertama, selisih tunggal terbesar ada pada komponen dengan bobot terkecil — When2Call menyumbang 9,5 poin pada skala 100 poin, sehingga selisih 14,6 poin di sana bernilai sekitar 1,5 poin indeks, yang merupakan sebagian besar dari total 1,8 poin. Kedua, keunggulan pengetahuan Gemini Decision 1 memang besar: 44,8% berbanding 33,2% pada akurasi mentah Omniscience bukanlah noise, dan itulah sebabnya model Google memiliki indeks akurasi yang lebih tinggi daripada yang disiratkan oleh kompositnya.

Dengan kata lain, Microsoft tidak mengungguli Google di semua bidang. Microsoft secara meyakinkan mengungguli Google pada satu uji yang menanyakan apakah model tahu kapan harus memanggil alat, dan kurang lebih menyamainya di semua uji lainnya, kalah pada uji pengetahuan dan menang pada uji konsistensi.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Gemini Decision 1 — the scoreboard'. The Microsoft column reads Decision Index 67.78, When2Call 95.08, Omniscience accuracy 33.2%, HLE accuracy 6.29%, context 32,768 tokens and cost per million tasks $139.64. The Gemini column reads Decision Index 65.98, When2Call 80.50, Omniscience accuracy 44.8%, HLE accuracy 13.16%, context 262,144 tokens and cost per million tasks $344.90. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Berapa sebenarnya biaya dari perbedaan jendela konteks

Jendela 262,144 token adalah angka yang menentukan beban kerja nyata, dan ini merupakan selisih 8x: Gemini Decision 1 membaca delapan kali lebih banyak daripada yang dibaca Microsoft-Decision-1.1. Dokumentasi Google mengalokasikan anggaran tersebut dengan cara tertentu — jendela itu mencakup input bersama dan semua pertanyaan sekaligus, sehingga satu kontrak panjang ditambah dua ratus pertanyaan rubrik bersaing untuk 262K yang sama.

Batas 32K Microsoft memiliki efek orde kedua yang muncul di kolom biaya. AA-Paperclip membebankan satu dokumen sekali untuk semua pertanyaannya dan menyelesaikan 15 jawaban per dokumen. Model yang tidak dapat menampung dokumen dalam satu panggilan harus diterapkan potongan demi potongan, yang melipatgandakan panggilan. Microsoft-Decision-1.1 menghasilkan $386 per juta tugas di Paperclip dibandingkan Gemini Decision 1 pada $946 — tetapi peringkat berdasarkan total biaya per tugas sudah dijelaskan oleh harga token, bukan oleh penanganan dokumen.

Ada mekanisme ketiga yang layak disebutkan, karena inilah yang sering terlewat oleh pembeli: input berulang dihitung penuh pada keduanya. API Decisions milik Google secara eksplisit tidak mendukung caching konteks, inferensi Batch, Flex, atau Priority, sehingga rubrik yang dikirim pada setiap permintaan dibayar pada setiap permintaan. Microsoft-Decision-1.1 juga tidak memiliki strategi caching dalam dokumentasinya. Tidak ada vendor yang menawarkan diskon untuk mengajukan 200 pertanyaan yang sama sebanyak sejuta kali, yang justru merupakan beban kerja yang menjadi tujuan kategori ini.

Penetapan harga, dengan jebakan SKU

Microsoft mencantumkan tiga tarif masukan — $0,042 per juta pada Global Standard, $0,046 pada US Data Zone, $0,05 pada EU dan APAC Data Zone — dan tidak mencantumkan tarif keluaran. Google mencantumkan satu: $0,10 per juta token masukan. Pada angka utama, Microsoft 58% lebih murah. Berdasarkan biaya terukur di seluruh indeks, Microsoft 60% lebih murah — $139,64 dibandingkan $345,41 per juta tugas — karena juga mengonsumsi lebih sedikit token per tugas pada sebagian besar komponen.

Namun tarif $0.042 adalah tarif global, dan beban kerja yang berbasis di UE pada SKU zona data membayar $0.05, yang mempersempit selisihnya menjadi 50%. Kedua angka tersebut tidak mencakup biaya panggilan di sekitar model keputusan, yang bagi sebagian besar pipeline produksi jauh lebih besar daripada panggilan penilaian itu sendiri — model yang menyusun jawaban kandidat, model yang menulis rubrik, model yang menangani apa pun yang membuat penilai abstain. Pengeluaran itulah tempat routing benar-benar menghemat uang, dan itulah bagian yang dicakup OrcaRouter: satu kunci untuk lebih dari 200 model dengan harga daftar penyedia dan markup 0%, sehingga perubahan harga vendor pada bagian generatif berlaku pada hari yang sama, dan fusion atau DSL routing dapat menempatkan penyusun draf murah di belakang penilai yang mahal tanpa integrasi kedua.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Mana yang sebenarnya akan Anda terapkan?

Three bentuk beban kerja, three jawaban yang berbeda, dan tidak satu pun di antaranya adalah "indeks yang lebih tinggi".

• Perutean, gating, dan pemilihan alat — {{1}}Microsoft-Decision-1.1{{/1}}. Skor 95,08 pada When2Call versus 80,50 adalah selisih komponen tunggal terbesar di papan, dan perutean adalah beban kerja yang menjadi alasan Microsoft membangun model tersebut. Median 123 ms juga penting di sini: router berada di jalur permintaan, dan perbedaan antara 123 ms dan 211 ms adalah perbedaan antara langkah yang tidak disadari siapa pun dan langkah yang harus diserap oleh anggaran latensi.

• Ekstraksi dokumen dan penilaian rubrik atas input panjang — Gemini Decision 1. Jika satu panggilan harus melihat kontrak 90 halaman plus pertanyaan tentangnya, batas 32K Microsoft jelas gagal, dan sebanyak apa pun performa When2Call tidak menyelamatkan panggilan yang tidak pernah terjadi. Akurasi Omniscience 44,8% dan akurasi HLE 13,2% Google memperkuat kesimpulan yang sama dari arah berbeda: ia mengetahui lebih banyak, dan ia dapat membaca lebih banyak.

• Penyaringan bervolume tinggi yang didominasi oleh tagihan — tidak keduanya, dan ini jawaban yang jujur. Celeris-1.1 Decision mencetak skor 62,0 dengan $14 per juta tugas; Decider v1.3 mencetak skor 70,4 dengan $68. Keduanya mengalahkan Microsoft-Decision-1.1 dalam hal biaya per tugas dan salah satunya mengalahkannya dalam hal indeks. Jika keputusan Anda murah dan berulang, opsi hyperscaler justru yang mahal.

Satu peringatan berlaku untuk ketiganya: selisih 1,8 poin dan baris kalibrasi berasal dari indeks yang merevisi pembobotannya sendiri pada 8 November 2026, menurunkan Omniscience dan HLE dari masing-masing 25% menjadi 15% dan memperkenalkan komponen dokumen sebesar 30%. Pembobotan ulang dapat menggeser peringkat ini lebih jauh daripada rilis model. Anggaplah perbandingan ini sebagai terkini dan bertanggal, bukan permanen.

A screenshot of the Artificial Analysis page for Gemini Decision 1, headed 'Release, Decision Index Score, Performance & Price'. The headline figures read a Decision Index at rank 14 of 25, 211 ms per task and $345 per million tasks. The comparison summary states the model is below average on the Decision Index and particularly expensive, slower than average, supports text and image input and carries a 262k-token context window, with a board median of 206 ms. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Di mana kedua model akan menyimpang selanjutnya

{{1}}Microsoft-Decision-1.1{{/1}} adalah upaya kedua pada basis baru — Gemma 4 26B A4B alih-alih Qwen3.5-9B — dengan mesin inferensi khusus dan pitch perutean. {{2}}Gemini Decision 1{{/2}} adalah entri pertama Google, terikat pada satu permukaan API dan satu ID model. Trajektorinya mengarah ke arah yang berlawanan: Microsoft melakukan iterasi pada model dasar dan stack penyajian, Google melakukan iterasi pada modalitas masukan dan anggaran konteks.

Implikasinya bagi keputusan yang dibuat bulan ini tidaklah glamor. Periksa apakah input terpanjang Anda muat dalam 32K sebelum Anda membaca satu pun angka benchmark, karena batasan itu langsung menyingkirkan salah satu dari dua model ini. Jika muat, jalankan dua puluh contoh berlabel Anda sendiri melalui kedua model dan bandingkan distribusi keyakinannya, bukan jawaban top-1 — scorer yang tidak dapat Anda beri ambang batas adalah scorer yang tidak dapat Anda rilis, dan keduanya berselisih dalam 0,2 poin pada non-halusinasi, yaitu baris yang menentukan apakah abstensi berperilaku sama pada data Anda seperti pada set uji publik.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini · Benchmark: Artificial Analysis · diperbarui setiap hari