ScaleDown Classify vs Microsoft-Decision-1: Yang Satu Menerbitkan Angka, yang Lain Menerbitkan Metode

ScaleDown Classify dan Microsoft-Decision-1 adalah dua opsi tertutup dan dihosting dalam perbandingan ini. Keduanya tidak menyertakan bobot, keduanya bukan sesuatu yang Anda unduh, dan keduanya dibangun di atas premis yang sama: bahwa sebuah keputusan — kategori mana, opsi mana, yang mana di antara ini — harus dibaca dari probabilitas model alih-alih dituliskan sebagai teks oleh loop generasi. Microsoft-Decision-1 telah tersedia secara umum di Microsoft Foundry sejak 8 Oktober 2026 sebagai decoder padat 9 miliar parameter yang menjalani pascapelatihan oleh Microsoft, dengan 25 bahasa yang didukung dan konteks 32.768 token. ScaleDown Classify adalah mesin rubrik yang dihosting dengan harga $0,05 per juta token input dan $0 per juta token output, dengan batas input 1 juta token dan plafon dua puluh label. Hal yang membedakan keduanya bukanlah kemampuan. Melainkan apa yang bersedia dipublikasikan masing-masing perusahaan tentang modelnya sendiri, dan mereka memilih separuh yang berlawanan.

Inversi pengungkapan

Dokumentasi Foundry milik Microsoft-Decision-1 menjelaskan evaluasinya secara sangat rinci. Benchmark keputusan publik dan komunitas ditambah set internal yang disisihkan. Metrik termasuk akurasi dan kesalahan kalibrasi. Urutan opsi divariasikan. Uji statistik berpasangan. Harness yang identik untuk setiap model yang dibandingkan dengannya. Lalu dilaporkan bahwa model tersebut "tampil setara dengan model keputusan terdepan dan lebih unggul daripada model keputusan terbuka lain yang dievaluasi dengan metodologi yang sama" — dan tidak mencantumkan satu pun angka. Tidak ada angka akurasi, tidak ada kesalahan kalibrasi, tidak ada tabel per benchmark.

Yang memang dipublikasikan Microsoft adalah daftar keterbatasan, dan daftar itu bagus. Skor dapat bergeser sesuai frasa dan urutan opsi. Pertanyaan yang dirumuskan dengan buruk tetap menghasilkan skor. Kalibrasi paling kuat pada jenis tugas yang familiar. Tidak ada penjelasan yang dihasilkan. Kekuatan yang disebutkan dari model ini adalah penalaran, penerapan aturan, dan ketahanan terhadap pemformatan prompt; kelemahan yang disebutkan adalah pengetahuan domain khusus dan performa non-Inggris.

ScaleDown Classify menerapkan kebalikan persis dari kebijakan itu. Dokumentasinya masuk ke detail operasional tentang cara menulis permintaan — rubrik dijelaskan sebagai bagian terpenting dari permintaan klasifikasi, dirumuskan sebagai pertanyaan ya/tidak yang langsung, menghindari negasi, dijaga agar tidak tumpang tindih sehingga massa probabilitas tidak terbagi secara tak terduga — dan pemasaran vendor memuat klaim akurasi dan biaya, termasuk model berparameter sekitar setengah miliar yang mencapai 91,7% pada tugas klasifikasi sederhana dibandingkan 88,6% untuk model berparameter 72 miliar. Tidak satu pun dari semua itu disertai metodologi yang dijelaskan, dan ScaleDown Classify tidak memuat expected calibration error yang dipublikasikan pada harness publik mana pun.

Jadi pilihannya adalah antara vendor yang memberi tahu Anda bagaimana ia melakukan pengukuran dan bukan apa yang ditemukannya, dan vendor yang memberi tahu Anda apa yang ditemukannya dan bukan bagaimana ia melakukan pengukuran. Tidak satu pun merupakan pengungkapan penuh, dan tidak satu pun boleh dianggap demikian.

Bahasa: yang satu mempublikasikan jumlah, yang lain tidak mempublikasikan apa pun

Microsoft-Decision-1 mencantumkan 25 bahasa yang didukung dan menyatakan secara gamblang bahwa cakupan, kualitas, dan kalibrasi "dapat bervariasi menurut bahasa," dengan menyebut bahasa non-Inggris dan khususnya bahasa dengan sumber daya lebih rendah sebagai area yang berkinerja di bawah standar. Itu adalah pengungkapan yang dapat digunakan: ini memberi tahu Anda bahwa model tersebut multibahasa, memberi tahu Anda secara kasar seberapa multibahasa, dan memberi tahu Anda di mana jangan memercayainya.

Dokumentasi Classify milik ScaleDown tidak mempublikasikan daftar bahasa. Tidak ada apa pun di referensi API yang menyatakan bahasa mana yang ditangani oleh penilaian rubrik, atau apakah frasa rubrik dalam bahasa non-Inggris berperilaku sama, dan panduan rubrik — rumuskan sebagai pertanyaan ya/tidak langsung, hindari negasi — ditulis dengan cara yang secara implisit mengasumsikan pemanggil berbahasa Inggris yang menulis rubrik berbahasa Inggris. Bagi pengklasifikasi yang dalam praktiknya akan diarahkan ke tiket dukungan internasional, itulah celah yang harus ditutup sebelum Anda berkomitmen, dan itulah celah yang hanya dapat ditutup oleh evaluasi Anda sendiri.

Jika Anda membutuhkan jejak bahasa yang terdokumentasi, perbandingan ini berakhir di sini dan Microsoft menang secara default. Jika Anda hanya menggunakan bahasa Inggris, jumlahnya bukan faktor dan sisa keputusannya adalah tentang panjang input dan ambang batas.

Konteks: 32.768 token dibandingkan satu juta

Microsoft mendokumentasikan satu invokasi tunggal yang mencakup hingga 32.768 token. ScaleDown mendokumentasikan batas input 1 juta token, dan menyatakan bahwa kalibrasi per chunk identik baik ketika sebuah chunk dikirim sendiri maupun sebagai bagian dari batch lima puluh chunk, dengan profil bersama ditagih sekali per permintaan. Berdasarkan angka mentahnya, itu adalah perbedaan tiga puluh kali lipat dan merupakan kesenjangan tunggal terbesar antara kedua produk.

Yang diperoleh bukanlah throughput — melainkan apakah Anda memerlukan lapisan chunking. Utas dukungan, tiket beserta riwayatnya, bagian singkat yang diambil: semua itu muat dalam 32k dengan ruang untuk skema pertanyaan, dan kedua model kurang lebih setara pada ukuran tersebut. Kontrak lengkap, dokumen kebijakan multi-halaman, konteks panjang yang diambil, atau formulir hasil pindai: tidak ada yang muat dalam 32k, dan jalur dokumen Classify — base64 JPEG, PNG, TIFF, atau PDF, satu atau multi-halaman, dengan teks yang diekstrak dikembalikan dalam bidang ocr_text — berarti dokumen dapat dimasukkan sebagai byte alih-alih sebagai teks yang telah diproses terlebih dahulu.

Kedua angka tersebut berasal dari vendor sendiri. Klaim sejuta token ScaleDown belum dikonfirmasi secara independen, dan daftar katalog pihak ketiga untuk model tersebut menunjukkan panjang konteks sebagai tidak berlaku alih-alih mengulangi angka itu, yang merupakan keterbatasan katalog, bukan kontradiksi.

Penjelasan: satu menolak, satu menagih dua kali lipat

Microsoft-Decision-1 tidak menghasilkan penjelasan apa pun, dan halaman model mencantumkannya sebagai keterbatasan, bukan sebagai pilihan desain. ScaleDown Classify akan mengembalikan penjelasan satu kalimat tentang label teratasnya, dan dokumentasinya berhati-hati tentang apa kalimat itu: kalimat tersebut dihasilkan setelah label teratas ditetapkan, sehingga menjelaskan keputusan itu alih-alih meragukannya kembali, bersifat bebas, dan mengirim ulang label serta rubrik dengan biaya 2x token input yang ditagih. Fitur ini hanya tersedia untuk permintaan berlabel tunggal dengan satu input teks atau dokumen — permintaan multi-label dan batch tidak pernah mengembalikannya.

Untuk antrean tinjauan manusia, kalimat itu sering kali menjadi pembeda antara peninjau yang menerima suatu klasifikasi dan peninjau yang mengulanginya, sehingga biaya tambahan 2x mudah dibenarkan untuk sebagian lalu lintas yang sampai ke manusia. Untuk pipeline otomatis, itu adalah beban mati pada tagihan, dan seharusnya dinonaktifkan.

Keduanya tertutup, dan itu mengubah apa yang bisa Anda uji.

• Bobot — tidak ada yang menyediakannya; ScaleDown menawarkan self-hosting enterprise dan lisensi berdasarkan permintaan, halaman Microsoft tidak mendokumentasikan jalur fine-tuning sama sekali

• Batas opsi — ScaleDown 20 label per permintaan, 16 dalam mode multi-label, dinilai secara independen; batas set opsi Microsoft-Decision-1 tidak dicantumkan di halaman model

• Inferensi batch — ScaleDown mendokumentasikan hingga 50 chunk per permintaan terhadap profil label bersama; halaman Microsoft mencantumkan inferensi batch sebagai dinonaktifkan

• Pengungkapan penagihan — Tarif Classify dicantumkan, sebesar $0,05 per juta token masukan dan $0 per juta token keluaran; tarif per token Foundry tidak dicantumkan di halaman model

• Struktur harga — Classify dikalikan dengan jumlah label Anda dalam mode multi-label dan menjadi dua kali lipat saat reasoning diaktifkan; tarif Foundry dihitung per token tanpa pengganda label yang dipublikasikan

• Jawaban kosong — Classify mengembalikan pemenang bahkan ketika tidak ada yang cocok, jadi Anda menulis ambang batas; perilaku yang dinyatakan Microsoft adalah bahwa pertanyaan yang dirumuskan dengan buruk tetap mengembalikan skor

Konsekuensi dari keduanya yang tertutup adalah sama dalam kedua kasus: Anda tidak dapat memeriksa artefak, jadi satu-satunya verifikasi Anda adalah perilaku. Hal itu membuat kumpulan data berlabel milik Anda sendiri yang disisihkan menjadi wajib, dan hal itu menjadikan biaya beralih penyedia sebagai menjalankan ulang evaluasi tersebut, bukan sebagai perubahan kode.

Di mana OrcaRouter berada dalam pipeline yang dibangun di atas salah satu

Tidak satu pun dari model ini ada dalam katalog kami, dan tidak ada apa pun di sini yang merupakan klaim ketersediaan — keduanya adalah endpoint penilaian terstruktur, bukan target chat-completions, dan lapisan perutean bukanlah yang dibutuhkan oleh salah satu pun dari keduanya. Yang kami sediakan adalah lapisan di atas keduanya: lebih dari 200 model generatif di balik satu kunci yang kompatibel dengan OpenAI yang menghasilkan draf yang dinilai oleh pengklasifikasi, pada harga daftar penyedia yang diteruskan dengan markup 0%, dengan DSL perutean untuk menggabungkan beberapa model menjadi satu panggilan dan failover otomatis ketika jalur penyajian mengalami degradasi. Jika model keputusan membatasi apa yang boleh dikirim oleh lapisan generasi Anda, maka lapisan generasi adalah tempat risiko uptime Anda berada, dan itulah separuh yang dapat dikonsolidasikan oleh satu kunci.

Mana yang harus dipilih

Pilih Microsoft-Decision-1 jika Anda memerlukan jejak bahasa yang terdokumentasi, jika Anda sudah berada di dalam Azure, atau jika postur kepatuhan dari vendor besar lebih penting bagi pengadaan Anda daripada angka akurasi yang dipublikasikan. Terimalah bahwa Anda akan mengevaluasinya sepenuhnya berdasarkan data Anda sendiri, karena Microsoft memilih untuk tidak memberi Anda hal lain.

Pilih ScaleDown Classify jika input Anda melewati 32k token, jika Anda ingin langkah ekstraksi digabungkan ke dalam panggilan klasifikasi, atau jika Anda ingin rubrik per label yang dapat Anda tulis ulang tanpa melatih ulang apa pun. Terimalah bahwa argumen akurasi itu milik vendor sendiri dan tidak direproduksi, bahwa tidak ada angka kalibrasi yang dipublikasikan, dan bahwa Anda akan menulis ambang keyakinan Anda sendiri serta label penampung.

Pengukuran yang akan menentukan hal ini — kedua model pada input yang identik, urutan opsi yang sama, penyapuan ambang batas yang sama, dijalankan oleh pihak yang tidak memiliki kepentingan — belum diterbitkan oleh vendor mana pun. Sampai salah satu dari mereka menjalankannya, pembacaan yang jujur adalah bahwa Microsoft adalah default yang lebih aman dan ScaleDown adalah instrumen yang lebih mumpuni.

Perbandingan seperti ini juga menjadi tempat munculnya mode kegagalan: insiden AI yang terdokumentasi dan kegagalan agen di balik model di kelas ini dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda disengketakan.