
Karpo Decision 31B vs Nimble v3: Lisensi Menjawab Sebelum Papan Peringkat Menjawab
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 184 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 215 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 87 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 97 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 76 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 109 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gemma 4 fine-tune under Apache-2.0 with Gemma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.
Jadi ambil lisensinya dulu, karena itu satu-satunya bagian dari perbandingan ini yang sudah pasti sekaligus menentukan. Lalu lihat apa yang bisa dan tidak bisa disampaikan oleh angka-angka itu, karena di sisi itu hampir tidak ada yang pasti sama sekali.
Apa isi sebenarnya dari setiap repositori
Nimble v3 terdiri dari lima berkas: sebuah README, adapter_config.json, adapter_model.safetensors, sebuah schema_config.json dan .gitattributes. Ini adalah adapter PEFT, bukan model mandiri, dan mengharapkan Qwen/Qwen3.5-9B sebagai basisnya, yang tidak diduplikasi oleh repositori tersebut. Kartu modelnya menjelaskan sebuah konteks dan pertanyaan bertipe — pilihan di antara opsi, atau ya atau tidak — dan mengembalikan probabilitas untuk setiap opsi. Bespoke Labs tidak menerbitkan panjang konteks, batas maksimum opsi, suhu, maupun catatan perubahan untuk v3; checkpoint keluarga sebelumnya mendokumentasikan sebagian dari itu, yang ini tidak.
Karpo Decision 31B adalah checkpoint penuh, 62,5 GB bobot pada 31,3B parameter dalam bf16, ditambah kepala readout fp32 berukuran 255 × 5.376. Model ini membaca teks, JSON, dan gambar, menerima hingga 255 opsi per pertanyaan, membatasi sekuens pada 32.768 token, memecah permintaan yang lebih panjang berdasarkan pertanyaan, dan menolak apa pun yang masih tidak muat alih-alih memotongnya. Tersedia sebagai paket Python dan server HTTP dalam bentuk System One, POST /v1/systemone, karena tumpukan chat-completions generik tidak dapat menjalankannya: attention percabangan dan readout keduanya merupakan komponen vital, dan memuat checkpoint sebagai model chat biasa tidak akan mereproduksi jawabannya.
Perbedaan repositori ini punya sisi praktis. README Nimble v3 tidak memberi tahu Anda cara menyajikannya dengan benar; kartu Karpo melakukannya. Yang satu adalah checkpoint dengan buku manual pemilik, yang lain adalah checkpoint dengan satu baris lisensi.
Kesenjangan itu, dan instrumen yang harus Anda percayai untuk mempercayainya
On the Decision Index — the community board tracking open reproductions of TypeSafe's Jev, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.
Angka-angka publik pada setiap kartu adalah hasil uji vendor sendiri dengan kit resmi dan harus dibaca secara terpisah: 75,05 untuk Karpo dari 140.178 permintaan yang dinilai, dan 56,88 untuk Nimble v3 — angka yang dicetak kartunya pada suite 0.2.1 yang lebih lama, yang oleh pengujian ulang dewan ditempatkan pada 57,19 pada skala saat ini. Keduanya diadopsi oleh dewan, yang merupakan langkah tinjauan nyata dan bukan hal yang sama dengan laboratorium independen yang menjalankan model pada perangkat kerasnya sendiri. Tidak satu pun model muncul di Artificial Analysis. Tidak ada orang di luar dua repositori ini yang menilai salah satu dari keduanya.
Apa artinya dalam praktik adalah bahwa 22,8 poin lebih dapat dipercaya daripada sebagian besar perbandingan vendor dan kurang dapat dipercaya daripada pembacaan satu instrumen terhadap kedua model. Angka itu dihasilkan oleh satu organisasi pada satu suite dengan satu formula, yang benar-benar merupakan kasus terbaik yang tersedia untuk model keputusan terbuka — dan suite tersebut tidak resmi, pita seri adalah 0,9 poin, dan separuh privatnya tidak dapat Anda periksa. Anggaplah arahnya nyata dan besarnya perkiraan.
Di mana model 9B lebih dekat daripada yang diperkirakan oleh selisih ukuran

Jika lima skor kategori papan itu dipecah, ceritanya tidak lagi menjadi kemenangan mudah. Pada kategori alat dan otomasi, Nimble v3 meraih 84,24 berbanding 88,39 milik Karpo — selisih empat poin, dari model yang ukurannya sepertiga, pada kategori yang mencakup pemilihan alat dan gating agen. Itulah kasus penggunaan yang menjadi tujuan Bespoke Labs membangun keluarga model ini, dan hal itu bertahan dari perbedaan ukuran, kurang lebih secara utuh. Jika lapisan keputusan Anda ada untuk menjawab "haruskah agen ini memanggil alat tersebut, dan yang mana," adapter 9B berada dalam percakapan yang sama dengan checkpoint 31B.
Di semua bidang lain, selisihnya persis seperti yang Anda perkirakan. Pemahaman bahasa mencapai 60.68 berbanding 76.78, pengambilan informasi 55.48 berbanding 76.42, pengetahuan 40.96 berbanding 65.46, seni dan penilaian terbuka 44.05 berbanding 68.21. Keunggulan Karpo terkonsentrasi tepat pada hal-hal yang seharusnya menjadi manfaat dari kapasitas ekstra model 31B: konteks yang lebih panjang, pengetahuan dunia yang lebih luas, pembacaan yang lebih baik atas kondisi yang padat.
Latensi juga tidak mengikuti selisih ukuran itu. Pada perangkat keras acuan pelacak — satu GPU, satu permintaan dalam satu waktu — Nimble v3 mencatat median 73,9 ms dibandingkan Karpo 94,3 ms. Dua puluh milidetik bukanlah alasan untuk memilih sebuah model, tetapi itu menjadi pengingat bahwa adapter 9B yang telah digabungkan adalah objek yang berbeda untuk dioperasikan: ia muat di laptop dalam Q4, dimuat dalam hitungan detik, dan dapat berada di dalam loop agen per langkah tanpa perlu membicarakan anggaran GPU.
Kalibrasi, ketika model yang lebih kecil bukan sekadar lebih lemah, melainkan juga kurang jujur
Akurasi memberi tahu Anda seberapa sering jawaban teratas benar. Kalibrasi memberi tahu Anda apakah probabilitas yang melekat padanya dapat menopang ambang batas, dan bagi model keputusan itulah satu-satunya angka yang penting secara operasional.
Kartu Karpo melaporkan expected calibration error sebesar 4,8 poin pada 34.411 respons: rata-rata keyakinan 87,96% dibandingkan akurasi aktual 83,19%. Pada bucket teratas, yang mencakup 68,5% dari seluruh respons, prediksinya benar 95,7% dari waktu sambil mengklaim 98,7%. Terlalu percaya diri di ujung atas, sekitar tiga poin, dengan kurva selebihnya mengikuti.
Nimble v3 tercatat 12.29 poin pada 34,833 respons: keyakinan 87.26% dibandingkan akurasi 74.97%. Kelompok teratas menampung 67% respons, mengklaim 98.6% dan benar 89.1% — pernyataan berlebihan sebesar 9.5 poin di rentang tempat ambang batas benar-benar berada. Di bawahnya, kelompok rentang tengah bahkan lebih buruk: pada klaim 0.85, model benar sekitar 59% dari waktu. Itu bukan model dengan pergeseran kalibrasi kecil; itu adalah model yang keyakinannya tidak dapat digunakan sebagai gerbang tanpa penskalaan ulang, dan dokumentasi keluarga model itu sendiri tidak pernah menjanjikan sebaliknya.
Bacalah kedua paragraf itu secara bersamaan, dan kesimpulan jujurnya lebih sempit daripada yang disiratkan papan peringkat. Karpo lebih baik dalam mengambil keputusan dan lebih baik dalam mengetahui seberapa baik keputusannya. Nimble v3 lebih murah untuk dijalankan, dan pada satu kategori yang paling penting bagi pekerjaan agen, kemampuannya mendekati — tetapi jika Anda berencana menerima otomatis di atas 0,9 dan mengeskalasi di bawahnya, Anda akan menghabiskan minggu pertama Anda menyesuaikan koreksi untuk Nimble yang diberikan Karpo kepada Anda di kartunya.
Percabangan lisensi, dinyatakan tanpa keraguan
Nimble v3 berlisensi CC BY-NC 4.0. Itu tidak ambigu: kartu tersebut menyatakan bahwa model ini tidak boleh digunakan untuk tujuan komersial. Setiap checkpoint Nimble sebelumnya berlisensi Apache-2.0, dan model dasarnya adalah Apache-2.0, yang tidak mengubah apa pun — dasar yang permisif tidak melonggarkan adaptor non-komersial, dan adaptor itulah tempat perilakunya berada. Repositori GitHub yang menyimpan kode pelatihan dan kurasi proyek tidak melaporkan lisensi apa pun melalui API GitHub, yang merupakan masalah terpisah dan bisa dibilang lebih buruk bagi siapa pun yang berencana membangun di atasnya.
Karpo Decision 31B is Apache-2.0 for weights and code, with Gemma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.
Untuk buku catatan riset, evaluasi internal, atau makalah, perbedaannya tidak terlihat dan Nimble v3 adalah pilihan masuk yang lebih murah. Untuk apa pun yang menyentuh pendapatan — gerbang perutean di dalam produk komersial, model triase dalam pipeline berbayar, bahkan alat internal di perusahaan berorientasi laba — lisensinya menentukan hasil perbandingan sebelum 22,8 poin sempat dipertimbangkan. Bespoke Labs memiliki jalur API yang dihosting dan placeholder untuk varian 27B yang melaporkan 65,33 pada suite publik lama, dan keduanya tidak mengubah ketentuan pada adapter 9B.
Menyajikan salah satu pun merupakan masalah perutean sebelum menjadi masalah pemodelan.

Model keputusan sempit secara bawaan: model ini hanya menjawab pertanyaan yang Anda berikan, tidak dapat menulis, menjelaskan, atau mengembalikan opsi yang tidak Anda sediakan. Itu menjadikannya separuh kecil dari pola dua model, dan separuh yang paling mudah dipertahankan secara internal. Separuh generatif adalah bagian di mana satu endpoint membuktikan manfaatnya.
OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Jev 1.14, the target the whole board exists to reproduce, and the Gemma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.
Tiga hal yang akan mengubah pembacaan ini

Yang pertama adalah {{1}}perubahan lisensi{{/1}}. Adaptor Nimble yang dapat digunakan secara komersial di atas basis Qwen3.5-9B, dengan kontrak konteks dan suhu yang dinyatakan, akan membuat opsi 9B benar-benar kompetitif untuk gating agen — skor tools 84.24 menunjukkan bahwa kemampuannya sudah ada. Tidak ada apa pun dalam materi publik {{2}}Bespoke Labs{{/2}} yang mengisyaratkan hal itu akan datang; peralihan dari Apache-2.0 ke CC BY-NC bergerak ke arah sebaliknya.
Yang kedua adalah spesifikasi konteks dan prompt. Kartu Nimble v3 tidak mendokumentasikan keduanya, yang berarti siapa pun yang menjalankannya hanya menebak-nebak format prompt yang dulu disertakan oleh rilis-rilis sebelumnya. Model yang input-nya direkonstruksi oleh pengguna adalah model yang angka-angkanya sulit direproduksi, dan kesalahan kalibrasi 12,3 poin adalah jenis angka yang bisa menjadi lebih baik atau lebih buruk tergantung pada bagaimana Anda membingkai pertanyaannya.
Yang ketiga adalah instrumen independen apa pun yang membaca keduanya. Decision Index bersikap hati-hati, transparan soal metodenya, dan jujur tentang rentang serinya, dan itu tetap satu papan komunitas. Pada hari salah satu model muncul di Artificial Analysis di samping penilai hyperscaler, perbandingan berhenti menjadi aritmetika di antara dua kartu vendor dan mulai menjadi pengukuran. Itu belum terjadi untuk keduanya, dan sampai itu terjadi, posisi yang dapat dipertahankan adalah yang membosankan: Apache-2.0 dan lebih terkalibrasi pada 31B jika Anda bisa menjalankannya, nonkomersial dan murah pada 9B jika tidak, dan tidak ada alasan untuk memilih hanya berdasarkan skor.
