Kartu judul yang dihasilkan berjudul 'Peningkatan di Mana Satu Angka Bergerak Mundur', dengan subjudul 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — Decision Index v2.1', dengan empat chip label bertuliskan '67.78 vs 62.07', '123 ms vs 274 ms', '49.4% vs 21.7% abstensi', dan '6.29% vs 8.64% HLE', keterangan bertuliskan 'berselang enam minggu, harga token sama', dan dua blok batang abu-abu berlabel Kecepatan dan Pengetahuan. Logo OrcaRouter dikompositkan di sudut kanan bawah.
Guides & Insights

Microsoft-Decision-1.1 vs Microsoft Decision 1: Peningkatan Versi di Mana Satu Angka Bergerak Mundur

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Setiap angka yang dipublikasikan untuk Microsoft-Decision-1.1 lebih baik daripada angka untuk Microsoft-Decision-1 kecuali satu, dan pengecualian itulah bagian yang menarik. Pada Artificial Analysis Decision Index v2.1, model baru ini mencetak 67,78 berbanding 62,07, 2,2x lebih cepat pada 123 ms per tugas berbanding 274 ms, dan jauh lebih andal dalam abstain — 49,4% non-halusinasi pada AA-Omniscience-Decision berbanding 21,7%. Namun pada pertanyaan yang dijawab benar oleh model lama, model baru menjawab lebih sedikit dengan benar: akurasi mentah 6,29% pada HLE-MultiChoice v1.1 berbanding 8,64%, dan 47,5% pertanyaan AA-Symmetry dijawab secara konsisten berbanding 51,7%. Microsoft-Decision-1.1 bukanlah Microsoft-Decision-1 yang secara ketat lebih baik. Model ini dikalibrasi secara berbeda, dan arah pertukaran itulah yang menjadi penentu keputusan migrasi.

Kedua model itu berjarak enam minggu. Microsoft-Decision-1 mencapai ketersediaan umum pada 8 Oktober 2026 sebagai penilai khusus teks yang di-post-train dari Qwen3.5-9B. Microsoft-Decision-1.1 hadir pada 17 November 2026 di Ignite dengan Gemma 4 26B A4B, basis mixture-of-experts yang menurut Microsoft memiliki cukup parameter aktif untuk melakukan penilaian namun tetap cukup kecil untuk dilayani di seluruh perangkat keras A100, H100/200, dan GB200/300. Harga sama. Batas 32K sama. Tiga jenis pertanyaan sama. Backbone berbeda, kelas latensi berbeda, dan serangkaian kekuatan yang berbeda secara terukur.

Perubahan pada model dasar itulah rilisnya.

Versi 1 adalah model padat 9 miliar parameter. Versi 1.1 adalah campuran pakar 26 miliar parameter dengan sekitar 4 miliar parameter aktif per token, jika Anda membaca sufiks A4B seperti cara Google menggunakannya pada lini Gemma. Itu bukan pelatihan ulang inkremental; itu arsitektur yang berbeda, keluarga yang berbeda, dan serangkaian karakteristik penyajian yang berbeda. Postingan peluncuran Microsoft secara tegas menyatakan bahwa pergantian itu adalah keputusan biaya dan kecerdasan, dan memasangkannya dengan mesin inferensi kustom yang dibangun untuk penskoran alih-alih pembangkitan token demi token.

Apa yang diperoleh dari penukaran itu, dalam urutan yang akan diperhatikan seorang pembeli:

• Latensi — dari 274,25 ms menjadi 123,25 ms per tugas, diukur di seluruh indeks. Pada komponen tunggal tercepat, When2Call, model baru rata-rata 94 ms dibandingkan model lama 230 ms.

• Kalibrasi — Decision Score, yaitu akurasi dengan penalti Brier yang diterapkan, meningkat pada setiap satu dari lima komponen keputusan. Omniscience naik dari 54,89 ke 60,46, HLE dari 39,42 ke 46,11, Paperclip dari 51,82 ke 58,67, EvalSafe dari 86,82 ke 88,85, When2Call dari 87,95 ke 95,08.

• Perilaku penolakan — non-halusinasi pada Omniscience lebih dari dua kali lipat, dari 21,74% menjadi 49,40%. Pada HLE naik dari 15,05% menjadi 38,36%. Bagi model yang seluruh tujuannya adalah untuk dijadikan ambang batas, ini adalah perubahan paling berdampak dalam daftar.

• Modalitas — gambar kini bergabung dengan teks dan JSON sebagai input yang diterima. Audio dan video masih ditolak, dan model tetap tidak menghasilkan penjelasan, alasan, maupun token keluaran.

• Konteks — tidak berubah pada 32.768 token. Tidak ada yang berubah di sini, dan itu perlu dinyatakan secara gamblang karena "1.1" mengundang anggapan bahwa semuanya telah meningkat.

Di mana 1.1 lebih buruk, dan mengapa framing Microsoft sendiri memprediksinya

Regresi tersebut tidak acak. Regresi itu mengelompok pada dua komponen yang meminta model untuk mengetahui sesuatu, bukan memutuskan sesuatu.

Pada HLE-MultiChoice v1.1, akurasi mentah turun dari 8,64% menjadi 6,29% — penurunan relatif sebesar 27% dalam proporsi soal sulit yang dijawab dengan benar. Decision Score tetap naik, dari 39,42 menjadi 46,11, karena keyakinan model terhadap jawaban yang memang diberikannya menjadi jauh lebih selaras dengan benar tidaknya jawaban tersebut. Dengan kata lain: model menjadi lebih buruk dalam menebak dan jauh lebih baik dalam mengetahui bahwa ia sedang menebak. Skor komposit memberi imbalan pada hal kedua dan hampir tidak memedulikan hal pertama.

Pada AA-Symmetry, gambarnya lebih halus dan kurang menyanjung. Symmetry mengukur apakah pertanyaan yang sama, yang diubah kata-katanya — opsi diurutkan ulang, label ditukar, ya/tidak dinegasikan — menghasilkan jawaban yang sama dengan probabilitas yang sama. Versi 1 lulus 51,7% dari parafrase pada tingkat semua-lulus; versi 1.1 lulus 47,5%. Symmetry skornya tetap meningkat, 70,42 menjadi 75,72, karena ketika memang menyimpang, kini penyimpangannya tidak sejauh itu. Lebih sedikit hasil yang sempurna, lebih kecil kesalahannya. Itu adalah bentuk yang dapat dipertahankan untuk sebuah penskor, tetapi itu merupakan regresi pada satu sifat yang seharusnya dijamin oleh model keputusan: bahwa susunan kata tidak mengubah jawaban.

Keynote Microsoft mengatakan hal yang biasanya tidak diucapkan secara terang-terangan — model-model ini "secara eksplisit belum disetel untuk masalah-masalah yang lebih sulit, seperti penelitian sains fundamental dan kerja agentic dengan horizon yang sangat panjang", karena penyetelan untuk kemampuan tersebut akan menaikkan biaya setiap tugas rutin. Keputusan 1.1 adalah wujud kebijakan itu saat dijalankan. Tolok ukur pengetahuan menjadi lebih buruk dengan sengaja, atau setidaknya tanpa keberatan.

A screenshot of the Artificial Analysis page for Microsoft-Decision-1, dated October 2026, headed 'Release, Decision Index Score, Performance & Price'. The summary states the model is below average on the Decision Index and somewhat expensive, notably slow, supports text input only and carries a 33k-token context window. It scores 62 against a board median of 66, runs at 274 ms per task against a 206 ms median, prices at $0.042 per million input tokens and costs about $143 per million tasks, ranked 20 of 25 on cost. Component rows for Decision Index, AA-Paperclip, EvalSafe-O*NET-AA, When2Call, AA-Omniscience-Decision v1.1 and HLE-MultiChoice v1.1 sit below.

Yang tidak berubah: kartu harga, dan dinding 32K

Kedua versi mencantumkan $0.042 per juta token masukan pada Global Standard, $0.046 pada US Data Zone dan $0.05 pada deployment EU dan APAC Data Zone, dengan output ditagih sebesar nol karena tidak ada output. Frasa Microsoft adalah "lebih dari dua kali lebih cepat dengan biaya yang sama", dan harga token mendukungnya secara tepat.

Biaya terukur per tugas menunjukkan hal yang sedikit berbeda. Versi 1 berada pada $142,56 per juta tugas di indeks; versi 1.1 pada $139,64. Peningkatan 2%, bukan dua kali lipat. Alasannya adalah biaya per tugas sama dengan harga token dikali input yang dikonsumsi, dan model baru tidak mengonsumsi setengah token — model itu menjawab dalam separuh waktu. Jika batasan Anda adalah anggaran waktu nyata atau langkah perutean di dalam jalur permintaan, peningkatan ini besar dan jelas. Jika batasan Anda adalah pengeluaran, 1.1 tidak mengubah tagihan Anda, dan Microsoft tidak pernah mengklaim bahwa hal itu akan terjadi.

Angka lain yang tidak berubah adalah batas maksimumnya. Kedua model membaca 32,768 token, dan dokumentasi Microsoft untuk 1.1 mengulang frasa "input hingga 32K token" hampir verbatim dari halaman v1. Tidak ada dukungan caching yang didokumentasikan untuk keduanya, yang berarti rubrik 200 pertanyaan dibayar penuh pada setiap panggilan, di kedua versi, di setiap tingkat volume. Itu adalah faktor pengungkit terbesar terhadap ekonomi kategori ini dan tidak ada rilis yang menyentuhnya.

A generated two-column scoreboard headed 'Microsoft-Decision-1.1 vs Microsoft Decision 1 — the scoreboard'. The 1.1 column reads Decision Index 67.78, speed per task 123 ms, non-hallucination 49.4%, HLE accuracy 6.29%, symmetry pass rate 47.5% and context 32,768 tokens. The Decision 1 column reads Decision Index 62.07, speed per task 274 ms, non-hallucination 21.7%, HLE accuracy 8.64%, symmetry pass rate 51.7% and context 32,768 tokens. A footer reads 'All figures per Artificial Analysis Decision Index v2.1, read 19 November 2026.' The OrcaRouter logo is composited in the bottom-right corner.

Cara bermigrasi tanpa harus percaya buta

Bentuk API cukup stabil sehingga migrasi sebagian besar berupa konfigurasi, tetapi tidak sepenuhnya. Microsoft mendokumentasikan panggilan v1.1 sebagai state ditambah peta pertanyaan bertipe — noul, choice, score — yang dikirim ke /providers/microsoft/v1/systemone pada resource Foundry, dengan field model yang membawa nama deployment Anda, bukan nama model. Respons mengembalikan model yang mendasarinya, sehingga deployment yang dinamai untuk beban kerja Anda tetap dapat memberi tahu Anda versi mana yang menjawab.

Tiga langkah yang layak dilakukan secara berurutan, alih-alih menukar nama deployment dan mengawasi dasbor:

1. Catat ulang distribusi keyakinan set berlabel Anda, bukan akurasinya. Pergeseran dari 21,7% menjadi 49,4% non-halusinasi berarti 1.1 akan menolak porsi pertanyaan yang jauh lebih besar pada ambang yang sama. Jika pipeline Anda memperlakukan jawaban yang hilang sebagai kegagalan keras alih-alih sinyal perutean, peningkatan ini akan tampak seperti regresi di produksi sementara setiap benchmark menyatakan itu adalah peningkatan.

2. Setel ulang ambang batas. Ambang yang dipilih pada skala keyakinan versi 1 kini diterapkan pada distribusi yang telah bergeser. Panduan Microsoft sendiri adalah memvalidasi ambang batas terhadap contoh berlabel sebelum mengotomatiskan gerbang, yang merupakan saran yang sama seperti biasa dan kini menjadi penopang utama.

3. Uji regresi simetri pada frasa Anda sendiri. Jika prompt Anda dihasilkan dari templat dengan urutan opsi yang bervariasi — dan sebagian besar prompt routing memang demikian — tingkat all-pass 47,5% adalah angka yang perlu dikhawatirkan, bukan skor kompositnya. Duplikasikan dua puluh pertanyaan Anda dengan opsi diurutkan ulang dan ukur seberapa sering argmax bergeser.

Yang membuat langkah ketiga itu murah adalah karena abstensi punya tempat untuk dituju. Model keputusan yang menolak hanya berguna jika hal yang ditolaknya dapat menjawab, dan itulah bagian pipeline yang dibawa OrcaRouter: satu kunci untuk lebih dari 200 model dengan failover otomatis, sehingga hasil pilihan dengan keyakinan rendah dapat dirutekan ke model umum alih-alih memanggil manusia, dan DSL perutean dapat menyusun keduanya menjadi satu urutan panggilan. Gemma 4 26B A4B — model dasar di dalam Decision 1.1 — berada di katalog kami dengan harga $0,06 per juta input dan $0,33 per juta output, pada harga daftar penyedia dengan markup 0% yang diteruskan, yang menjadikan pemeriksaan kewajaran termurah yang mungkin atas keputusan mencurigakan sebagai panggilan aktual ke backbone-nya sendiri.

A screenshot of the OrcaRouter model page for google/gemma-4-26b-a4b-it, headed 'Gemma 4 26B A4B' with a 262K-token context badge and input modalities listed as text, image and video plus vision, tools, JSON and reasoning tags. The provider line reads Google, 2026-04-05, and the description identifies it as an instruction-tuned mixture-of-experts model from Google DeepMind with 25.28 total parameters and 3.8B active per token. Pricing reads $0.06 input and $0.33 output per million tokens, with zero data retention available and 76.0M tokens of usage.

Apakah akan pindah sama sekali

Ada alasan untuk tetap memakai versi 1, dan alasannya sempit tetapi nyata. Jika beban kerja Anda adalah pertanyaan pengetahuan sulit yang jawaban salahnya lebih buruk daripada tidak ada jawaban — profil HLE — versi 1 menjawab lebih banyak pertanyaan seperti itu. Jika prompt Anda dibuat dengan templat yang mengubah urutan opsi, versi 1 lebih stabil saat kalimatnya diubah. Dan jika Anda sudah menyetel ambang batas dan memvalidasinya terhadap data produksi berlabel, distribusi keyakinan yang baru membuat pekerjaan itu tidak berlaku.

Bagi semua orang, kasusnya sederhana. Throughput dua kali lipat pada harga token yang sama, tingkat kelulusan dokumen yang naik dari 20,9% menjadi 36,8%, input gambar yang sebelumnya tidak ada, dan model yang mengatakan "Saya tidak tahu" dua kali lebih sering tepat dalam situasi ketika komitmen yang salah menjadi mahal. Itulah sifat-sifat yang menjadi alasan lapisan keputusan dibeli. Benchmark pengetahuan yang dikorbankannya bukanlah hal yang membuat orang membeli model ini.

Migrasi, dalam satu baris: pindah ke 1.1 demi latensi dan abstensi, setel ulang ambang Anda pada minggu yang sama, dan simpan angka versi 1 di laci untuk hari ketika seseorang bertanya mengapa model baru berhenti menjawab pertanyaan yang dulu biasa dijawab model lama.