
Karpo Decision 31B vs Kev 27B: Model yang Lebih Terdokumentasi Kalah 14 Poin
- OrcaBARUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 juta token · 184 tok/s
- tencentBARUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 juta token · 223 tok/s
- GoogleBARUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 juta token · 87 tok/s
- AnthropicBARUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 juta token · 96 tok/s
- orcaBARUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 juta token · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 juta token · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 juta token · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 juta token · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 juta token · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 juta token · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Kecerdasan
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 juta token · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Kecerdasan
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 juta token · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Kecerdasan
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 juta token · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Kecerdasan
Ini adalah pertandingan langka ketika kedua model dinilai dengan instrumen yang sama oleh orang yang sama. Karpo Decision 31B dan Kev 27B sama-sama berada di Decision Index, papan komunitas yang menilai reproduksi terbuka Jev milik TypeSafe, dan selisih di antara keduanya tidak kecil: 73,9 Full untuk model MachinePulse dibandingkan 59,6 untuk Kev 27B milik Jared Palmer, selisih empat belas poin dalam tes privat yang identik. Karpo memimpin papan. Kev berada di peringkat ke-74 dari 307.
Hasil itu terasa janggal, karena Kev 27B adalah model yang dokumentasinya jauh lebih ketat, dan pada satu sifat yang benar-benar menjadi alasan orang memakai model keputusan — kejujuran probabilitasnya — model ini terukur lebih baik daripada model yang mengalahkannya. Kedua klaim itu berasal dari dua sumber yang sama, dan memahami mengapa keduanya tidak saling bertentangan adalah hal paling berguna dalam perbandingan ini.
Apa itu masing-masing model, sebelum skor
Kev 27B adalah fine-tune bobot penuh dari Qwen3.8-27B yang diterbitkan oleh Jared Palmer di bawah lisensi Apache-2.0. Versi keduanya, yang dirilis pada 30 September 2026, merupakan rata-rata berbobot: setiap tensor backbone bernilai 0,85 × bobot hasil fine-tune ditambah 0,15 × bobot versi sebelumnya, dengan pointer head yang dipertahankan dari proses baru. Checkpoint yang disajikan berukuran 25,6B pada backbone ditambah head dengan 2,6 juta parameter, 51,3 GB dalam bf16, dengan satu suhu kalibrasi sebesar 1,32 yang tertanam di berkas head. State berjalan hingga 65.536 token dengan setidaknya 8.192 per pertanyaan, dan angka tersebut tervalidasi, bukan sekadar nominal — kartu model menerbitkan selisih akurasi berpasangan pada setiap bucket dari 8k hingga 64k terhadap baseline 8k, beserta interval kepercayaannya.
Karpo Decision 31B adalah hasil fine-tune dari Gemma 4 31B yang di-fine-tune untuk instruksi, diterbitkan oleh MachinePulse pada 5 November 2026, juga Apache-2.0. Model ini mempertahankan 31,3B parameter dalam bf16 plus readout fp32 255 × 5,376 — 62,5 GB di disk — dan menjawab melalui head linear atas kode opsi, bukan head pointer atas token. Konteksnya 32.768 token per sekuens, dipecah per pertanyaan saat permintaan meluap, dengan penolakan langsung alih-alih pemotongan ketika satu pertanyaan tidak muat.
Pekerjaan sama, rekayasa berbeda. Kev membaca dokumen panjang dan menghasilkan distribusi. Karpo membaca dokumen yang agak lebih pendek dan menghasilkan distribusi, lebih cepat.
Ke-14 poin, dan apa yang menghasilkannya

Kedua baris berasal dari papan yang sama, jadi bagian ini adalah salah satu dari sedikit tempat di mana pengurangan langsung sah.
• Skor penuh — Karpo 73.9, Kev 59.6.
• Indeks publik — Karpo 75.05, Kev 56.69.
• Peringkat berdasarkan skor penuh — Karpo ke-1 (seri dengan GLiDE 27B pada 73,4), Kev ke-74 dari 307.
• Pengetahuan dan penalaran — Karpo 65,5 keterampilan terkoreksi peluang, Kev 45,7.
• Alat dan otomatisasi — Karpo 88.4, Kev 72.7.
• Seni dan selera manusia — Karpo 68.2, Kev 42.7.
• Latensi median, satu GPU, satu permintaan dalam satu waktu — Karpo 94 ms, Kev 135 ms.
Bentuk loss-nya konsisten di setiap kategori, dan selisih absolut terbesar ada pada pengetahuan, yaitu hampir dua puluh poin. Itulah yang seharusnya mengkhawatirkan siapa pun yang berencana menggunakan Kev untuk keputusan dokumen: model tersebut dilatih secara intensif pada pekerjaan dokumen dan perkakas pengembang — 24.000 dari 145.840 catatan pelatihannya berasal dari keluarga tugas berlisensi, 7.617 lainnya adalah dokumen panjang yang dirakit — dan tetap mencapai dua pertiga dari keterampilan pengetahuan Karpo.
Kartu milik Kev sendiri terbuka tentang arah perkembangannya. Diukur pada suite breadth-nya sendiri terhadap Jev milik TypeSafe, kartu itu melaporkan indeks 52,3 dengan interval kepercayaan [49,2, 55,4] berbanding Jev 54,0 [51,2, 57,0] — sebuah kekalahan yang diungkapkannya secara gamblang dan tidak dipercantik. Tim yang menerbitkan interval kekalahannya sendiri adalah tim yang angka-angka lainnya layak mendapat prasangka baik. Itulah tepatnya yang membuat 59,6 kredibel alih-alih memalukan.
Angka yang bergerak ke arah sebaliknya
Inilah kejutannya. Kesalahan kalibrasi — seberapa jauh probabilitas yang dinyatakan menyimpang dari tingkat hit yang teramati — menguntungkan Kev, dan tidak dengan selisih tipis.
Pelacak mencatat kesalahan kalibrasi yang diharapkan sebesar 2,18 poin untuk Kev 27B dibandingkan 4,77 untuk Karpo Decision 31B. Secara sederhana: ketika Kev mengatakan 0,8, jawabannya benar sekitar 80% dari waktu, dengan rata-rata meleset dua poin. Ketika Karpo mengatakan 0,8, rata-rata melesetnya mendekati lima poin. Kartu Kev menguatkan hal ini dari sisinya sendiri, dengan menerbitkan angka ECE per panel antara 0,014 dan 0,053 serta validasi silang lima lipat yang menurunkan kesalahan fitting dari 4,8% menjadi 3,8%.
Jadi model yang lebih buruk dalam menjawab lebih baik dalam mengetahui seberapa baik jawabannya. Itu bukan paradoks, melainkan perbedaan antara akurasi dan kalibrasi, dan itu menentukan model mana yang cocok di mana:
• Jika keputusan diotomatiskan pada ambang, kalibrasi adalah sifat yang menentukan. Gerbang yang ditetapkan pada 0,9 yang memicu jawaban 0,9 Karpo akan salah sekitar dua kali lebih sering daripada gerbang yang sama pada Kev. Akurasi Kev yang lebih rendah merugikan throughput Anda — lebih banyak kasus berada di bawah ambang dan masuk ke peninjauan — dan kalibrasinya yang lebih baik berarti kasus yang lolos ambang lebih aman.
• Jika keputusan ditinjau atau dinilai, akurasi mendominasi. Manusia atau proses hilir melihat jawaban teratas dan probabilitasnya, dan empat belas poin akurasi adalah empat belas poin pekerjaan yang dilakukan dengan benar. Keunggulan kalibrasi Kev tidak memberi manfaat apa pun ketika tidak ada yang menetapkan ambang batas.

Kedua model menyediakan tiga jenis pertanyaan yang sama — choice hingga 255 opsi, noul untuk benar/salah, score untuk rubrik terurut — dan keduanya mengekspos endpoint HTTP berbentuk System One, sehingga pilihan tersebut dapat dibalik dalam kode. Itu kabar baiknya: Anda dapat mengukurnya pada data Anda sendiri dalam satu sore alih-alih berdebat tentangnya.
Panjang dokumen adalah aspek di mana spesifikasi sebenarnya berbeda.
Batas 32.768 token Karpo berlaku per sekuens, dan aturan pemecahannya adalah "per pertanyaan, setiap bagian membawa status penuh". Untuk seratus pertanyaan pada kontrak 20k token, itu sekali jalan dan tanpa masalah. Untuk satu pertanyaan pada kontrak 40k token, permintaan ditolak — sembilan dari 140.178 permintaan dalam proses MachinePulse sendiri gagal persis seperti ini.
Kev menyajikan state 65.536 token, divalidasi dalam bucket, dan panel dokumen panjangnya adalah hal paling berguna di kartu itu bagi siapa pun yang memiliki kontrak nyata. Pada perjanjian komersial CUAD, Kev melaporkan akurasi 0,874 pada 2.194 pertanyaan, dengan angka per bucket tetap antara 0,867 dan 0,880 dari di bawah 8k hingga 32k–64k token. Akurasi tidak menurun seiring panjangnya. Yang bergeser adalah kalibrasi: kesalahan pada panel dokumen panjang itu adalah 0,053, sekitar tiga kali angka dokumen pendeknya. State panjang adalah tempat kepercayaan diri Kev menjadi longgar.
Jadi kompromi jujurnya soal panjang: Kev akan menerima dokumen yang ditolak Karpo, dan ia akan menjawabnya sedikit kurang andal dibandingkan saat menjawab dokumen pendek. Tidak ada dari kedua model itu yang akan memotong secara diam-diam, dan itu lebih penting daripada kedua angka tersebut — model keputusan yang diam-diam menghilangkan klausul yang Anda tanyakan lebih buruk daripada model yang mengatakan tidak.
Deployment, bobot, dan lisensi keduanya berbagi
Kedua model berlisensi Apache-2.0 untuk bobot dan head, keduanya memerlukan loader masing-masing, dan keduanya gagal parah jika diperlakukan sebagai model chat. Kev memerlukan GPU kelas 80 GB — state 64k token memuncak pada 87,1 GB di H200 — atau Mac dengan sekitar 96 GB. Karpo memerlukan GPU yang dapat menampung 62,5 GB bobot bf16. Keduanya tidak memiliki endpoint hosted dari penerbitnya; Kev dilayani oleh server repositorinya sendiri, Karpo oleh paketnya sendiri. Keduanya telah menarik kuantisasi komunitas, yang merupakan sinyal biasa bahwa orang benar-benar menjalankannya, bukan hanya membacanya.
Selisih 135 ms versus 94 ms itu adalah per permintaan pada perangkat keras yang tidak identik, jadi anggaplah itu sebagai indikasi arah. Yang bukan sekadar indikasi arah adalah bentuk operasionalnya: atensi non-kausal Kev atas seluruh sekuens memakan biaya lebih besar per token seiring state menjadi lebih panjang, sementara Karpo menghitung satu state bersama per permintaan dan mencabangkan pertanyaan darinya. Jika beban kerja Anda adalah banyak pertanyaan atas state yang pendek, Karpo memang dirancang untuk itu. Jika satu pertanyaan atas dokumen panjang, Kev.
Yang mana yang harus dijalankan
Pilih Kev 27B jika Anda perlu menyerahkan perjanjian 64k token kepada sebuah model, jika Anda ingin menetapkan ambang pada probabilitas dan peduli bahwa ambang itu benar-benar bermakna seperti yang dinyatakan, dan jika Anda menghargai vendor yang menerbitkan interval kepercayaan atas kerugiannya sendiri. Anda menerima sekitar empat belas poin akurasi pada papan tempat kedua model bersaing, dan Anda mendapatkan bukti terbaik di bidang ini tentang apa yang dicakup dan tidak dicakup oleh akurasi tersebut.
Pilih Karpo Decision 31B jika state-nya adalah tangkapan layar, tiket, atau halaman — singkat, banyak pertanyaan, sensitif latensi — dan jika Full score papan peringkat adalah bukti yang Anda bobot. Anda menerima kesalahan kalibrasi lima poin dan batas atas 32k, dan Anda mendapatkan pemimpin saat ini pada 94 ms.
Apa yang tidak diberikan keduanya kepada Anda adalah endpoint produksi. Jika lapisan keputusan harus berada di balik gerbang yang aktif sebelum setiap pemanggilan alat, Anda akan menjalankan salah satunya sendiri, atau memanggil sesuatu yang di-hosting. Jev 1.14 dari TypeSafe ada di katalog kami untuk peran itu tepatnya, dan itulah model yang ingin dikejar oleh kedua checkpoint — berguna sebagai kontrol dalam uji shadow, karena reproduksi terbuka yang mengalahkan targetnya di papan pihak ketiga juga seharusnya mengalahkannya pada trafik Anda. Katalog ini juga menyediakan kedua model dasar, Gemma 4 31B dan Qwen3.8-27B, melalui satu API untuk 200+ model dengan harga daftar penyedia tanpa markup, yang merupakan cara termurah untuk menentukan apakah lapisan keputusan layak dimiliki sama sekali sebelum Anda membeli GPU.
Pertanyaan terbuka yang ditinggalkan oleh pertandingan ini adalah pertanyaan yang tidak dapat dijawab oleh papan: apakah keunggulan empat belas poin Karpo bertahan saat berhadapan dengan beban kerja nyata, atau apakah itu jenis keunggulan yang berasal dari penyetelan pada distribusi yang lebih dekat ke {{1}}kumpulan uji privat{{/1}} daripada milik pesaingnya. Kartu Kev mendokumentasikan campuran pelatihannya hingga jumlah catatan; kartu Karpo tidak. Asimetri itu bukan bukti apa pun, dan itulah alasan untuk mengukur daripada mempercayai salah satu angka.

