
MAI Decision 1 vs Nimble v3: Pemberi Skor Terhosting versus Lisensi yang Tidak Bisa Anda Distribusikan
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 90 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 97 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-0711 tok/s
- OrcaBARUOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 87 tok/s
- OrcaBARUOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 134 tok/s
- OrcaBARUOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 per 1 juta token · 86 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 124 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 43 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 192 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 130 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 per 1 juta token · 135 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955Kecerdasan
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855Kecerdasan
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 per 1 juta token · 182 tok/s
Hal pertama yang membedakan MAI Decision 1 — model yang Microsoft rilis di Ignite sebagai Microsoft-Decision-1.1 — dari Nimble v3, yang diajukan di Hugging Face sebagai Bespoke-Nimble-9B-v3, bukanlah tolok ukur. Itu adalah klausul lisensi. Nimble v3 adalah adaptor LoRA yang dirilis di bawah CC BY-NC 4.0, yang oleh kartu model dijelaskan sebagai "tidak boleh digunakan untuk tujuan komersial". Model Microsoft adalah endpoint terkelola yang Anda sewa per token, jadi pertanyaan lisensi tidak pernah muncul dan pertanyaan self-hosting juga tidak pernah muncul. Salah satunya bisa Anda masukkan ke produk; yang lain bisa Anda masukkan ke notebook. Semua hal lain dalam perbandingan ini berasal dari percabangan itu, termasuk mengapa skor terbitan mereka tidak boleh dikurangkan satu sama lain.
Apa sebenarnya masing-masing itu, secara mekanis
Microsoft-Decision-1.1 adalah deployment Foundry, aktif sejak 17 November 2026, dilatih lanjut oleh Microsoft pada Gemma 4 26B-A4B. Anda mengirim state dan pertanyaan bertipe ke endpoint keputusan, lalu menerima probabilitas terkalibrasi kembali, dan Anda ditagih $0,042 per juta token input pada Global Standard atau $0,05 di zona data EU dan APAC. Tidak ada unduhan, tidak ada jalur fine-tuning, dan tidak ada opsi self-hosting di kartu model. Latensi 123 ms per tugas menurut pengukuran Artificial Analysis; konteks 32.768 token input; model ini membaca gambar maupun teks.
Nimble v3 adalah adapter PEFT lima file untuk Qwen3.5-9B, diunggah pada 30 September 2026 tanpa pengumuman pendamping, tanpa postingan blog, dan tanpa catatan rilis dari Bespoke Labs. Repositori tersebut berisi README, konfigurasi adapter, bobot adapter, konfigurasi skema, dan file gitattributes — itulah daftar lengkapnya. Anda menyediakan sendiri model dasar, mesin inferensi, dan GPU-nya. Repositori dataset pendampingnya memuat jalannya Decision Index secara penuh, mesinnya, dan instruksi reproduksinya, yang merupakan transparansi lebih besar daripada yang ditawarkan sebagian besar vendor dan juga lebih banyak pekerjaan daripada yang diharapkan sebagian besar pembeli.
• Bobot — hanya di-hosting, tanpa unduhan vs adapter BF16 20 GB yang Anda rakit ke Qwen3.5-9B
• Lisensi — ketentuan layanan Microsoft vs CC BY-NC 4.0, nonkomersial, dengan dasar Apache 2.0 yang tidak melonggarkan pembatasan adaptor
• Antarmuka — endpoint keputusan dengan pertanyaan bertipe dan probabilitas vs kode inferensi Anda sendiri, dipatok ke file prompt dan token kode opsi berdasarkan hash
• Konteks — 32,768 token vs 32,768 token, dengan permintaan yang terlalu besar ditolak, bukan dipotong
• Gambar — hingga 8 per pertanyaan, 280 hingga 1,568 piksel per sisi dibandingkan dengan teks saja
• Harga — $0.042 per juta token, hanya input vs perangkat keras, listrik, dan seorang insinyur
Skor yang dipublikasikan — 67,78 pada AA Decision Index v2.1 dibandingkan 56,88 pada Decision Index 0.2.1

Kedua angka itu tidak berada pada penggaris yang sama.
Poin terakhir itulah yang sering disalahgunakan dalam unggahan perbandingan, jadi perlu dikatakan terang-terangan: 56,88 dan 67,78 tidak dapat dibandingkan. Angka Nimble v3 berasal dari Decision Index 0.2.1, kit terbuka yang dijalankan sendiri oleh Bespoke Labs, menggunakan harness miliknya sendiri, dengan implementasi referensinya sendiri. Angka 67,78 milik Microsoft berasal dari Artificial Analysis Decision Index v2.1, komposisi evaluasi yang berbeda dengan bobot berbeda, fungsi penilaian yang berbeda, dan kumpulan model yang berbeda yang disertakan.
Kedua papan mengukur keluarga perilaku yang sama — Anda memilih di antara opsi terbatas dan dinilai berdasarkan akurasi yang didiskon oleh seberapa melesetnya keyakinan yang Anda nyatakan. Namun komposit berbobot enam evaluasi dengan suku simetri bukanlah instrumen yang sama dengan menjalankan kit publik, dan mengurangkan yang satu dari yang lain menghasilkan "selisih" 10,9 poin yang sebagian besar merupakan perbedaan penggaris. Siapa pun yang menunjukkan pengurangan itu kepada Anda entah ceroboh atau sedang menjual sesuatu.
Yang dapat dikatakan tanpa berlebihan adalah hal yang bersifat indikatif. Kartu milik Nimble v3 sendiri melaporkan satu angka saja dan tanpa rincian, dalam sebuah keluarga yang checkpoint sebelumnya menerbitkan tabel yang jauh lebih lengkap: kesesuaian 90,12% dengan label referensi dibandingkan dengan 93,21% untuk Jev 1.13.0 pada 324 pasangan kontrastif yang disisihkan, dan 75,7% dibandingkan dengan 76,0% pada 3.880 keputusan berlabel manusia di seluruh tiga belas kumpulan data publik. Itu adalah angka Nimble yang pertama, bukan angka v3, dan proyek tersebut melabelinya sebagai pengukurannya sendiri. Decision 1.1, sebaliknya, membawa angka independen 67,78 dengan enam subskor yang dipublikasikan dan Brier 0,160 pada papan peringkat yang juga memeringkat para pesaingnya dengan cara yang sama. Jika Anda memerlukan angka yang dapat Anda pertahankan dalam tinjauan pengadaan, hanya salah satu dari ini yang memberi Anda angka tersebut.

Lisensi adalah keseluruhan keputusannya, dan itu lebih buruk daripada yang terlihat.
CC BY-NC 4.0 pada adaptor berarti tidak untuk penggunaan komersial. Itu bukan area abu-abu yang bisa Anda akali dengan penalaran, dan akalan yang jelas tidak berhasil: model dasar, Qwen3.5-9B, adalah Apache 2.0, dan kartu Bespoke menyatakannya secara eksplisit — tetapi basis yang permisif tidak melonggarkan adaptor non-komersial, dan adaptor adalah tempat perilaku pengambilan keputusan berada. Lepaskan adaptor dan Anda mendapatkan model 9B umum yang sama sekali bukan model pengambilan keputusan.
Ada masalah kedua yang kurang dibahas. Repositori GitHub untuk proyek Nimble tidak melaporkan lisensi sama sekali melalui API, yang berarti kode pelatihan dan kurasi juga tidak memiliki ketentuan yang dinyatakan. Jika tim hukum Anda bertanya apa yang boleh Anda lakukan dengan pipeline yang menghasilkan bobot tersebut, jawabannya adalah proyek tersebut belum menyatakannya.
Bandingkan itu dengan model Microsoft: Anda tidak dapat mengunduhnya, jadi Anda tidak dapat mem-fork-nya, tetapi Anda juga tidak dapat secara tidak sengaja membangun produk di atas lisensi yang melarang produk tersebut. Bagi tim yang memilih di antara keduanya, kerangka praktisnya adalah bahwa yang satu merupakan pembelian dan yang lain adalah artefak riset. Jika beban kerjanya komersial, perbandingan berakhir di sini dan model hosted menang secara default. Jika bukan — harness evaluasi internal, studi akademis, prototipe yang ingin Anda ganti — maka adapter itu benar-benar menarik dan jejak 20 GB-nya berarti ia berjalan di satu GPU yang mungkin sudah Anda miliki.
Realitas penerapan di masing-masing pihak
Menjalankan Nimble v3 dengan benar bukanlah soal memuat {{1}}adapter{{/1}} lalu mengobrol dengannya. Kartu dataset menyatakan secara eksplisit bahwa mesin membangun prompt yang dipatok oleh konfigurasi skemanya berdasarkan hash dan membaca {{2}}setiap permintaan{{/2}} dengan pola atensi yang digunakan {{3}}model{{/3}} saat dilatih; memuat bobot sebagai model chat biasa, atau menghasilkan teks, tidak mereproduksi jawabannya. Mesin menolak dimuat jika file prompt atau token kode opsi berbeda dari pelatihan. Anda akan memerlukan {{4}}CUDA{{/4}}, {{5}}BF16{{/5}}, {{6}}torch 2.8{{/6}}, {{7}}transformers 5.17.0{{/7}}, {{8}}peft{{/8}}, dan {{9}}dua kernel atensi{{/9}}, dan permintaan yang melebihi batas konteks ditolak, bukan dipersingkat.
Itu adalah komitmen rekayasa yang nyata dan memberi Anda sesuatu yang tidak bisa diberikan oleh model yang dihosting: kemampuan berjalan tanpa egress jaringan, di perangkat keras Anda sendiri, dengan opsi untuk memeriksa setiap prompt. Untuk lingkungan teregulasi tempat panggilan model tidak boleh keluar dari gedung, hanya satu dari keduanya yang bahkan layak dipertimbangkan — dan lisensi nonkomersialnya mungkin tetap membuatnya tidak memenuhi syarat, dan itulah jebakannya.
Di sisi Microsoft, biayanya berbeda dan lebih kecil. Deployment Foundry, endpoint, nama deployment, kunci, atau token Entra. Tempatkan resource Foundry bersama aplikasi Anda jika latensi penting; gunakan deployment zona data jika inferensi harus tetap di dalam region, dengan $0.05 per juta token alih-alih $0.042. Integrasi Anda adalah panggilan HTTPS dengan body JSON, dan bentuk responsnya adalah probabilitas yang Anda tetapkan ambangnya.
• Waktu hingga panggilan pertama — kurang dari satu jam di Foundry vs penyiapan GPU, toolchain yang dipatok, dan proses reproduksi
• Mode kegagalan — batas laju atau gangguan wilayah vs CUDA OOM atau ketidakcocokan versi kernel
• Jalur peningkatan — tidak ada, vendor merilis versi baru vs tag adaptor baru yang dapat Anda pin atau abaikan
• Jalur keluar — tidak ada, hanya di-hosting vs bobot tetap di tempatnya, tunduk pada lisensi
Ketika penerus memperumit cerita
Nimble v3 bukan model Bespoke Labs saat ini, dan itu penting bagi siapa pun yang mengevaluasinya sekarang. Nimble-v4-max, yang diunggah pada 3 November 2026, adalah fine-tune penuh dari Qwen3.8-27B, bukan adapter, yang diterbitkan dengan riwayat tag dan tabel benchmark: 72,74 pada Decision Index 0.3 publik, naik dari 68,46 pada v4.0, di 43 benchmark yang skor per benchmark-nya disertakan dalam file JSON. Model ini membutuhkan sekitar 55 GB dalam BF16 dan satu GPU 80 GB. Model ini juga CC BY-NC 4.0.
Jadi, pembacaan jujur atas Nimble v3 hari ini adalah bahwa itu generasi sebelumnya dari lini yang sudah bergerak dua kali, dan satu-satunya skor terbitannya ada pada versi kit yang sudah ditinggalkan oleh model saat ini. Membandingkan produk unggulan yang dihosting milik vendor yang berusia tiga minggu dengan adaptor yang diunggah secara diam-diam yang sudah tertinggal dua revisi bukanlah perbandingan yang adil pada kedua sumbu. Pertanyaan produknya sebenarnya adalah Microsoft-Decision-1.1 versus Nimble-v4-max, dan bahkan di situ jawaban lisensinya tidak berubah.
Satu kunci, saat Anda masih menentukan pilihan
Kedua model itu tidak ada di katalog OrcaRouter, dan tulisan ini tidak akan menyiratkan sebaliknya: Microsoft-Decision-1.1 hanya tersedia di Foundry, dan adapter CC BY-NC bukanlah sesuatu yang dapat dilayani oleh router komersial. Yang memang dimuat katalog adalah lingkungan sekitarnya, yang merupakan tempat sebagian besar evaluasi sebenarnya dimulai.
Lingkungan ini masih berguna, karena kedua pihak dalam pertandingan ini menjadikan rival yang sama sebagai pembanding. Jev 1.14 adalah rival itu: Microsoft-Decision-1.1 mengalahkannya dengan selisih 1,55 poin di papan peringkat independen, dan checkpoint Bespoke yang lebih awal mengukur dirinya terhadap Jev 1.13.0 di README miliknya sendiri. Jev 1.14 menjawab pada $0,042 per juta token masuk dan keluar. Model dasar Gemma 4 26B A4B, yang menjadi basis post-training Microsoft, dapat dirutekan dengan biaya $0,25 per juta input dan $2,90 output. Tempatkan Jev dan model umum pada lalu lintas berlabel milik Anda sendiri di belakang satu endpoint, dengan failover otomatis, dan dalam satu sore Anda akan tahu apakah model keputusan layak mendapat tempatnya di jalur — sebelum siklus pengadaan, dan sebelum pembelian GPU. Jika ya, router tetap berada di depan model keputusan apa pun yang Anda terapkan, sehingga batas laju satu penyedia menjadi pengalihan rute, bukan insiden.

Yang tidak akan diberitahukan oleh harness itu kepada Anda adalah bagaimana Decision 1.1 sendiri berperilaku pada data Anda. Untuk itu, Anda memerlukan deployment Foundry dan label Anda sendiri, dan tidak ada jalan pintas untuk pelabelan.
Cara memilih
Ambil Microsoft-Decision-1.1 jika beban kerjanya komersial, jika Anda menginginkan skor terkalibrasi yang dapat Anda rujuk ke dewan independen, jika Anda memerlukan input gambar, atau jika Anda lebih memilih menyewa 123 ms daripada memiliki pipeline GPU. Itulah sebagian besar tim.
Pertimbangkan Nimble v3 hanya jika ketiga hal ini terpenuhi: penggunaannya non-komersial, panggilan model tidak dapat keluar dari infrastruktur Anda, dan Anda siap menjalankan mesin milik proyek itu sendiri alih-alih loader generik. Jika salah satunya gagal, lisensi atau aspek rekayasanya sudah membuat keputusan untuk Anda — dan jika Anda memang memilih Nimble hari ini, lihat Nimble-v4-max terlebih dahulu, karena satu-satunya skor terbit v3 adalah angka tertua dalam perbandingan.
Hal yang perlu ditolak adalah tabel yang rapi. Angka 56.88 versus 67.78 tampak seperti vonis padahal bukan; itu adalah dua kit berbeda, dua usia berbeda, dan dua lisensi berbeda yang didandani sebagai pacuan kuda. Model yang dikirimkan dalam produk Anda adalah model yang dihosting, dan model yang berjalan di laboratorium Anda adalah model terbuka — itulah pemisahan yang sebenarnya, dan tidak ada benchmark yang mengubahnya.
