Kartu judul yang dihasilkan berjudul 'MAI Decision 1 vs Microsoft Decision 1' dengan subjudul 'lini produk yang sama, terpaut enam poin indeks', dibagi menjadi dua panel membulat yang mengapit cakram 'vs'. Panel kiri, 'Microsoft-Decision-1.1', memuat subbaris 'GA 17 November 2026' dan baris-baris '67,78 indeks keputusan', '123 ms per tugas', 'gambar dan teks' serta 'Gemma 4 base'; panel kanan, 'Microsoft-Decision-1', memuat 'GA 8 Oktober 2026', '62,07 indeks keputusan', '274 ms per tugas', 'hanya teks' dan 'Qwen3.5 base'. Footer bertuliskan 'Keduanya tercantum pada /bin/bash.042 per juta token masukan.' Logo OrcaRouter dikompositkan pada strip putih di bawah karya seni.
Guides & Insights

Keputusan MAI 1 vs Keputusan Microsoft 1: Lini Produk yang Sama, Selisih Enam Poin

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Pertarungan ini mengandung jebakan, dan jebakannya adalah premisnya. MAI Decision 1 dan Microsoft Decision 1 bukanlah dua model yang bersaing. Keduanya adalah lini produk Microsoft yang sama, berselisih satu versi: model yang dalam liputan Ignite diberi label MAI Decision 1 adalah Microsoft-Decision-1.1, dan Microsoft-Decision-1 adalah rilis Oktober yang digantikannya. Jadi perbandingan yang berguna bukanlah "vendor mana yang menang" — melainkan "apa yang diperoleh dari lima minggu dan model dasar baru, dan apakah peningkatan ini layak untuk migrasi bagi siapa pun yang sudah berproduksi di endpoint lama". Jawaban singkatnya: enam poin indeks, separuh latensi, input gambar, dan daftar harga yang tidak berubah.

Penamaan, diputuskan sekali

Label di sebelah kiri perbandingan ini berasal dari liputan keynote, bukan dari Microsoft. String milik vendor sendiri adalah "Decision 1.1" dalam postingan lineup Ignite dan "Microsoft-Decision-1.1" di blog Foundry dan kartu model; awalan MAI ikut terbawa bersama MAI Code 2 dan MAI Cyber 2 Flash melalui tulisan pihak ketiga yang sama dan melekat. Jadi halaman ini membandingkan versi 1.1 dengan versi 1 dari satu lini produk, dan pertanyaan yang menarik bukanlah vendor mana yang menang, melainkan apa yang berubah dalam lima minggu dan dengan model dasar yang berbeda.

Versi 1 belum ditarik. Versi ini masih tercantum di Foundry dan masih dinilai di dewan independen, itulah sebabnya kedua nama tersebut terus muncul berdampingan dalam tabel perbandingan — kadang sebagai pesaing dari perusahaan berbeda, padahal bukan demikian.

Enam minggu, dua model, satu harga

Versi 1 menjadi GA pada 8 Oktober 2026: post-train khusus teks dari Qwen3.5-9B milik Alibaba, probabilitas terkalibrasi atas kumpulan opsi tetap, batas 32.768 token, tanpa bobot, tanpa angka tolok ukur yang dipublikasikan. Versi 1.1 hadir pada 17 November dengan basis Gemma 4 26B-A4B, input gambar, dan paparan performa lengkap — sementara daftar harga tetap persis seperti semula, yaitu $0.042 per juta token.

• Model dasar — Qw​en3.5-9B, dense, total 9B vs Gemma 4 26B-A4B, mixture-of-experts dengan sekitar 4B aktif; keduanya menjalani post-training secara internal

• Modalitas — hanya teks vs teks, JSON, dan gambar PNG/JPEG, hingga 8 per pertanyaan

• Batas maksimum input — 32.768 token vs 32.768 token, tidak berubah

• Jenis pertanyaan — ya/tidak, pilihan ganda, penilaian, klasifikasi, rubrik vs himpunan yang sama, diekspos sebagai tiga primitif bertipe (noul, choice, score)

• Harga — $0.042/juta token Standar Global, $0.05 UE dan APAC vs identik

• Latensi terukur — 274,25 ms per tugas vs 123,25 ms per tugas, Artificial Analysis

• Biaya terukur — $142,56 per juta tugas dibandingkan $139,64 per juta tugas, Artificial Analysis

• Indeks Keputusan v2.1 — 62.07 vs 67.78

• Bobot — tidak ada, hanya dihosting di Foundry vs tidak ada, hanya dihosting di Foundry

Baris yang tidak berubah adalah baris yang paling banyak dianggarkan oleh tim, dan yang paling berubah adalah yang tidak diiklankan siapa pun: latensi menjadi separuh sementara harga per token tetap sama, karena basis baru adalah model sparse yang melakukan jauh lebih sedikit pekerjaan per panggilan.

A generated two-column comparison scoreboard titled 'MAI Decision 1 vs Microsoft Decision 1 — the scoreboard'. The Microsoft-Decision-1.1 column reads Decision Index 67.78, Latency 123 ms, Base model Gemma 4 26B-A4B, Images up to 8 per question, Brier score 0.160, Price $0.042 per M tokens; the Microsoft-Decision-1 column reads 62.07, 274 ms, Qwen3.5-9B, text only, 0.197 and $0.042 per M tokens. The footer reads 'Index, latency and Brier per Artificial Analysis v2.1, 18 November 2026; price per Microsoft Foundry.' The OrcaRouter logo is composited in the white strip below the artwork.

Dari apa keenam poin itu terbuat?

Kesenjangan komposit sebesar 5,71 tidak tersebar merata, dan ketidakmerataan itu memberi tahu Anda untuk beban kerja apa peningkatan ini dirancang. Pada enam evaluasi konstituen Artificial Analysis, dengan membaca papan pada 18 November 2026:

• Pemanggilan tool When2Call — 95,1 pada 1.1 versus 87,9 pada versi 1, kenaikan 7,1 poin dan yang paling penting untuk guardrails agen

• Penilaian tempat kerja EvalSafe-O*NET — 88.8 dibandingkan 86.8

• Simetri AA, invariansi keputusan terhadap perubahan kata — 75,7 dibandingkan 70,4

• Keputusan dokumen AA-Paperclip — 58,7 berbanding 51,8, lonjakan absolut terbesar

• AA-Omniscience, pengetahuan dan halusinasi — 60,5 berbanding 54,9

• Penalaran pilihan ganda HLE — 46,1 dibandingkan 39,4

Setiap subskor meningkat, yang tidak biasa dan membuat agregatnya dapat dipercaya; komposit yang naik pada satu evaluasi dan turun pada dua evaluasi biasanya merupakan artefak pembobotan. Peningkatan invariansi adalah yang diam-diam perlu ditandai. Simetri mengukur apakah suatu keputusan tetap bertahan ketika opsi-opsinya diurutkan ulang atau pertanyaannya diformulasikan ulang — persis mode kegagalan yang diperingatkan dokumentasi Microsoft sendiri, dan persis properti yang menentukan apakah ambang yang Anda setel di staging masih akan terpicu di produksi. Berpindah dari 70 ke 76 pada hal itu adalah perubahan operasional yang lebih besar daripada berpindah dari 62 ke 68 pada angka utama.

Kalibrasi membaik ke arah yang sama. Skor Brier, yang mengukur selisih kuadrat antara probabilitas yang dinyatakan dan kebenaran, turun dari 0,1965 menjadi 0,1604 — semakin rendah semakin baik. Akurasi opsi yang dipilih naik dari 40,6 menjadi 48,5. Kedua angka tersebut adalah pengukuran Artificial Analysis pada tugasnya sendiri, bukan milik Microsoft, itulah alasan untuk memberi bobot padanya: kerangka peluncuran Microsoft sendiri untuk 1.1 adalah skor 68 "naik enam poin dari model pertama kami", dan dewan independen berada dalam setengah poin dari itu pada 67,78 dengan kenaikan 5,71 poin. Untuk sekali ini, vendor dan auditor secara luas sepakat.

A screenshot of the Artificial Analysis Decision Index v2.1 leaderboard page, the independent board from which the 67.78 and 62.07 composites, the six constituent evaluation scores, the accuracy figures and the Brier scores in this comparison are taken.

Ketika model lama masih menjadi pilihan yang tepat

Ada tiga alasan yang dapat dipertahankan untuk tetap menggunakan Microsoft-Decision-1, dan tidak satu pun dari alasan itu adalah performa.

Evaluasi yang dibekukan adalah yang pertama. Jika Anda mengalibrasi ambang batas terhadap versi 1 pada data berlabel milik Anda sendiri — dan seharusnya Anda melakukannya — maka perubahan model dasar membuat pekerjaan itu tidak berlaku. Model dense 9B yang dilatih lanjut untuk penilaian dan model MoE 26B yang dilatih lanjut untuk penilaian tidak gagal di tempat yang sama, dan dokumentasi untuk 1.1 menyatakan secara eksplisit bahwa kalibrasi paling kuat pada jenis tugas yang familier dan dapat bergeser seiring pilihan kata. Penyetelan ulang adalah biaya nyata, dan itu ditanggung oleh tim, bukan vendor.

Yang kedua adalah cakupan bahasa. Versi 1 membawa narasi pasca-pelatihan dalam 25 bahasa pada basis Qw​en dengan lebih dari 200 bahasa tersedia. Versi 1.1 membawa narasi dalam 25+ bahasa pada basis Gemma yang didokumentasikan pada 35+. Dua puluh lima lebih bukanlah dua puluh lima, dan jika Anda menjalankan antrean multibahasa, langkah jujurnya adalah menguji, bukan mengasumsikan bahwa jumlahnya bertambah.

Yang ketiga adalah bentuk dependensi Anda. Kedua versi hanya tersedia sebagai layanan hosted, dari satu vendor, satu daftar harga, satu rezim batas laju. Meningkatkan versi mengubah domain kegagalan Anda tanpa menguranginya. Jika Anda sudah membungkus endpoint di balik fallback milik Anda sendiri, tetap pada versi 1 membuat Anda mengorbankan latensi dan akurasi tetapi tidak ketersediaan; jika belum, meningkatkan versi memberi Anda model yang lebih cepat di balik titik kegagalan tunggal yang sama.

Menjalankan keduanya secara berdampingan sebelum Anda melakukan commit

Migrasi itu sendiri kecil, dan itulah bagian yang menyenangkan. Bentuk endpoint tidak berubah — sebuah state plus pertanyaan bertipe ke rute keputusan pada resource Foundry — dan deployment-nya merupakan perubahan versi model, bukan penulisan ulang integrasi. Yang berubah adalah semua yang berada di hilir respons: probabilitas, ambang batas, dan sub-skor di atas.

Jadi jalankan keduanya. Kirim batch berlabel yang sama ke kedua deployment, bandingkan akurasi opsi terpilih pada ambang yang benar-benar Anda gunakan, dan perhatikan secara khusus ekor distribusinya — kasus di mana versi 1 mengembalikan 0,55 dan versi 1.1 mengembalikan 0,88 adalah kasus yang akan diam-diam mengubah tingkat eskalasi Anda. Keuntungan simetri menunjukkan bahwa 1.1 seharusnya lebih stabil terhadap pengurutan ulang opsi; verifikasi itu pada prompt Anda sendiri alih-alih memercayai angka tersebut.

Hakim dan yang dihakimi berada pada satu kunci adalah pengaturan yang akhirnya diinginkan sebagian besar tim, dan tidak ada model Decision yang bisa memberi Anda itu: keduanya adalah endpoint ter-hosting khusus Foundry, jadi router di depan keduanya adalah kode Anda sendiri. Sementara itu, yang bisa dilakukan router adalah menyediakan kontrol. Gemma 4 26B A4B — versi dasar yang menjadi asal pasca-latihan versi 1.1 — dirutekan melalui OrcaRouter dengan $0.25 per juta token input dan $2.90 per juta token output, dan Jev 1.14, model keputusan yang menjadi tolok ukur benchmark Microsoft sendiri, dengan $0.042 per juta untuk input dan output. Keduanya tidak mereproduksi jawaban terkalibrasi milik 1.1. Keduanya memberi tahu Anda apakah model umum pada data Anda sendiri berada dalam selisih beberapa poin dari model keputusan, yang merupakan pertanyaan yang menentukan apakah Anda memerlukannya sama sekali.

A screenshot of the OrcaRouter model page for obsidian/gemma-4-26B-A4B, showing the OrcaRouter navigation, the model name obsidian/gemma-4-26B-A4B with Vision, Tools, JSON and Reasoning tags, a 2026-07-02 date, a description noting a mixture-of-experts build of Gemma 4 with 26B total parameters, about 4B active per token and a 262K-token context window, and pricing of $0.25 per million input tokens and $2.90 per million output tokens.

Pertanyaan versi, terjawab

Jika Anda memilih hari ini dan tidak memiliki ambang batas lama yang perlu dipertahankan, pilihlah 1.1. Versi ini lebih cepat berdasarkan pengukuran independen sebesar 2,2 kali, sedikit lebih murah per tugas, lebih terkalibrasi, lebih baik dalam gating panggilan alat, dan satu-satunya dari keduanya yang akan membaca tangkapan layar. Daftar harganya identik, jadi peningkatan versi ini gratis secara marginal.

Jika Anda sudah berada di produksi pada versi {{1}}1{{/1}}, peningkatan ini layak dilakukan dan tidak mendesak seperti halnya patch keamanan yang mendesak. Anggarkan waktu untuk penyetelan ulang, biarkan deployment lama tetap aktif sampai ambang batas baru bertahan pada lalu lintas langsung, dan perlakukan peningkatan simetri sebagai alasan untuk mengharapkan lebih sedikit kejutan, bukan sebagai janji bahwa tidak akan ada kejutan.

Perbandingan ini bukanlah pilihan antara vendor. Kedua nama itu menunjuk pada lini keputusan Microsoft, terpaut lima minggu dan satu model dasar, dengan harga yang sama $0.042 per million tokens. Pertanyaan yang menarik tidak pernah tentang mana yang menang; melainkan apakah yang kedua cukup lebih baik untuk membayar kalibrasi ulang. Di papan independen, jawabannya ya.