Kartu judul yang dihasilkan berjudul 'Karpo Decision 31B vs Kev 27B' dengan subjudul 'Papan yang sama, selisih empat belas poin — dan pihak yang kalah memiliki kalibrasi yang lebih baik', empat chip bertuliskan 'Karpo 73.9 Full', 'Kev 59.6 Full', 'kesalahan kalibrasi 4.8 vs 2.18' dan 'tes privat yang identik', serta dua kartu bergaris luar berlabel 'Kev 27B' dan 'Karpo Decision 31B' yang dihubungkan oleh garis bertuliskan 'keduanya dinilai oleh Decision Index'.
Guides & Insights

Karpo Decision 31B vs Kev 27B: Model yang Lebih Terdokumentasi Kalah 14 Poin

Penulis

Elias Hawthorne

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Ini adalah pertandingan langka ketika kedua model dinilai dengan instrumen yang sama oleh orang yang sama. Karpo Decision 31B dan Kev 27B sama-sama berada di Decision Index, papan komunitas yang menilai reproduksi terbuka Jev milik TypeSafe, dan selisih di antara keduanya tidak kecil: 73,9 Full untuk model MachinePulse dibandingkan 59,6 untuk Kev 27B milik Jared Palmer, selisih empat belas poin dalam tes privat yang identik. Karpo memimpin papan. Kev berada di peringkat ke-74 dari 307.

Hasil itu terasa janggal, karena Kev 27B adalah model yang dokumentasinya jauh lebih ketat, dan pada satu sifat yang benar-benar menjadi alasan orang memakai model keputusan — kejujuran probabilitasnya — model ini terukur lebih baik daripada model yang mengalahkannya. Kedua klaim itu berasal dari dua sumber yang sama, dan memahami mengapa keduanya tidak saling bertentangan adalah hal paling berguna dalam perbandingan ini.

Apa itu masing-masing model, sebelum skor

Kev 27B adalah fine-tune bobot penuh dari Qwen3.8-27B yang diterbitkan oleh Jared Palmer di bawah lisensi Apache-2.0. Versi keduanya, yang dirilis pada 30 September 2026, merupakan rata-rata berbobot: setiap tensor backbone bernilai 0,85 × bobot hasil fine-tune ditambah 0,15 × bobot versi sebelumnya, dengan pointer head yang dipertahankan dari proses baru. Checkpoint yang disajikan berukuran 25,6B pada backbone ditambah head dengan 2,6 juta parameter, 51,3 GB dalam bf16, dengan satu suhu kalibrasi sebesar 1,32 yang tertanam di berkas head. State berjalan hingga 65.536 token dengan setidaknya 8.192 per pertanyaan, dan angka tersebut tervalidasi, bukan sekadar nominal — kartu model menerbitkan selisih akurasi berpasangan pada setiap bucket dari 8k hingga 64k terhadap baseline 8k, beserta interval kepercayaannya.

Karpo Decision 31B adalah hasil fine-tune dari Gemma 4 31B yang di-fine-tune untuk instruksi, diterbitkan oleh MachinePulse pada 5 November 2026, juga Apache-2.0. Model ini mempertahankan 31,3B parameter dalam bf16 plus readout fp32 255 × 5,376 — 62,5 GB di disk — dan menjawab melalui head linear atas kode opsi, bukan head pointer atas token. Konteksnya 32.768 token per sekuens, dipecah per pertanyaan saat permintaan meluap, dengan penolakan langsung alih-alih pemotongan ketika satu pertanyaan tidak muat.

Pekerjaan sama, rekayasa berbeda. Kev membaca dokumen panjang dan menghasilkan distribusi. Karpo membaca dokumen yang agak lebih pendek dan menghasilkan distribusi, lebih cepat.

Ke-14 poin, dan apa yang menghasilkannya

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

Kedua baris berasal dari papan yang sama, jadi bagian ini adalah salah satu dari sedikit tempat di mana pengurangan langsung sah.

• Skor penuh — Karpo 73.9, Kev 59.6.

• Indeks publik — Karpo 75.05, Kev 56.69.

• Peringkat berdasarkan skor penuh — Karpo ke-1 (seri dengan GLiDE 27B pada 73,4), Kev ke-74 dari 307.

• Pengetahuan dan penalaran — Karpo 65,5 keterampilan terkoreksi peluang, Kev 45,7.

• Alat dan otomatisasi — Karpo 88.4, Kev 72.7.

• Seni dan selera manusia — Karpo 68.2, Kev 42.7.

• Latensi median, satu GPU, satu permintaan dalam satu waktu — Karpo 94 ms, Kev 135 ms.

Bentuk loss-nya konsisten di setiap kategori, dan selisih absolut terbesar ada pada pengetahuan, yaitu hampir dua puluh poin. Itulah yang seharusnya mengkhawatirkan siapa pun yang berencana menggunakan Kev untuk keputusan dokumen: model tersebut dilatih secara intensif pada pekerjaan dokumen dan perkakas pengembang — 24.000 dari 145.840 catatan pelatihannya berasal dari keluarga tugas berlisensi, 7.617 lainnya adalah dokumen panjang yang dirakit — dan tetap mencapai dua pertiga dari keterampilan pengetahuan Karpo.

Kartu milik Kev sendiri terbuka tentang arah perkembangannya. Diukur pada suite breadth-nya sendiri terhadap Jev milik TypeSafe, kartu itu melaporkan indeks 52,3 dengan interval kepercayaan [49,2, 55,4] berbanding Jev 54,0 [51,2, 57,0] — sebuah kekalahan yang diungkapkannya secara gamblang dan tidak dipercantik. Tim yang menerbitkan interval kekalahannya sendiri adalah tim yang angka-angka lainnya layak mendapat prasangka baik. Itulah tepatnya yang membuat 59,6 kredibel alih-alih memalukan.

Angka yang bergerak ke arah sebaliknya

Inilah kejutannya. Kesalahan kalibrasi — seberapa jauh probabilitas yang dinyatakan menyimpang dari tingkat hit yang teramati — menguntungkan Kev, dan tidak dengan selisih tipis.

Pelacak mencatat kesalahan kalibrasi yang diharapkan sebesar 2,18 poin untuk Kev 27B dibandingkan 4,77 untuk Karpo Decision 31B. Secara sederhana: ketika Kev mengatakan 0,8, jawabannya benar sekitar 80% dari waktu, dengan rata-rata meleset dua poin. Ketika Karpo mengatakan 0,8, rata-rata melesetnya mendekati lima poin. Kartu Kev menguatkan hal ini dari sisinya sendiri, dengan menerbitkan angka ECE per panel antara 0,014 dan 0,053 serta validasi silang lima lipat yang menurunkan kesalahan fitting dari 4,8% menjadi 3,8%.

Jadi model yang lebih buruk dalam menjawab lebih baik dalam mengetahui seberapa baik jawabannya. Itu bukan paradoks, melainkan perbedaan antara akurasi dan kalibrasi, dan itu menentukan model mana yang cocok di mana:

• Jika keputusan diotomatiskan pada ambang, kalibrasi adalah sifat yang menentukan. Gerbang yang ditetapkan pada 0,9 yang memicu jawaban 0,9 Karpo akan salah sekitar dua kali lebih sering daripada gerbang yang sama pada Kev. Akurasi Kev yang lebih rendah merugikan throughput Anda — lebih banyak kasus berada di bawah ambang dan masuk ke peninjauan — dan kalibrasinya yang lebih baik berarti kasus yang lolos ambang lebih aman.

• Jika keputusan ditinjau atau dinilai, akurasi mendominasi. Manusia atau proses hilir melihat jawaban teratas dan probabilitasnya, dan empat belas poin akurasi adalah empat belas poin pekerjaan yang dilakukan dengan benar. Keunggulan kalibrasi Kev tidak memberi manfaat apa pun ketika tidak ada yang menetapkan ambang batas.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Kedua model menyediakan tiga jenis pertanyaan yang sama — choice hingga 255 opsi, noul untuk benar/salah, score untuk rubrik terurut — dan keduanya mengekspos endpoint HTTP berbentuk System One, sehingga pilihan tersebut dapat dibalik dalam kode. Itu kabar baiknya: Anda dapat mengukurnya pada data Anda sendiri dalam satu sore alih-alih berdebat tentangnya.

Panjang dokumen adalah aspek di mana spesifikasi sebenarnya berbeda.

Batas 32.768 token Karpo berlaku per sekuens, dan aturan pemecahannya adalah "per pertanyaan, setiap bagian membawa status penuh". Untuk seratus pertanyaan pada kontrak 20k token, itu sekali jalan dan tanpa masalah. Untuk satu pertanyaan pada kontrak 40k token, permintaan ditolak — sembilan dari 140.178 permintaan dalam proses MachinePulse sendiri gagal persis seperti ini.

Kev menyajikan state 65.536 token, divalidasi dalam bucket, dan panel dokumen panjangnya adalah hal paling berguna di kartu itu bagi siapa pun yang memiliki kontrak nyata. Pada perjanjian komersial CUAD, Kev melaporkan akurasi 0,874 pada 2.194 pertanyaan, dengan angka per bucket tetap antara 0,867 dan 0,880 dari di bawah 8k hingga 32k–64k token. Akurasi tidak menurun seiring panjangnya. Yang bergeser adalah kalibrasi: kesalahan pada panel dokumen panjang itu adalah 0,053, sekitar tiga kali angka dokumen pendeknya. State panjang adalah tempat kepercayaan diri Kev menjadi longgar.

Jadi kompromi jujurnya soal panjang: Kev akan menerima dokumen yang ditolak Karpo, dan ia akan menjawabnya sedikit kurang andal dibandingkan saat menjawab dokumen pendek. Tidak ada dari kedua model itu yang akan memotong secara diam-diam, dan itu lebih penting daripada kedua angka tersebut — model keputusan yang diam-diam menghilangkan klausul yang Anda tanyakan lebih buruk daripada model yang mengatakan tidak.

Deployment, bobot, dan lisensi keduanya berbagi

Kedua model berlisensi Apache-2.0 untuk bobot dan head, keduanya memerlukan loader masing-masing, dan keduanya gagal parah jika diperlakukan sebagai model chat. Kev memerlukan GPU kelas 80 GB — state 64k token memuncak pada 87,1 GB di H200 — atau Mac dengan sekitar 96 GB. Karpo memerlukan GPU yang dapat menampung 62,5 GB bobot bf16. Keduanya tidak memiliki endpoint hosted dari penerbitnya; Kev dilayani oleh server repositorinya sendiri, Karpo oleh paketnya sendiri. Keduanya telah menarik kuantisasi komunitas, yang merupakan sinyal biasa bahwa orang benar-benar menjalankannya, bukan hanya membacanya.

Selisih 135 ms versus 94 ms itu adalah per permintaan pada perangkat keras yang tidak identik, jadi anggaplah itu sebagai indikasi arah. Yang bukan sekadar indikasi arah adalah bentuk operasionalnya: atensi non-kausal Kev atas seluruh sekuens memakan biaya lebih besar per token seiring state menjadi lebih panjang, sementara Karpo menghitung satu state bersama per permintaan dan mencabangkan pertanyaan darinya. Jika beban kerja Anda adalah banyak pertanyaan atas state yang pendek, Karpo memang dirancang untuk itu. Jika satu pertanyaan atas dokumen panjang, Kev.

Yang mana yang harus dijalankan

Pilih Kev 27B jika Anda perlu menyerahkan perjanjian 64k token kepada sebuah model, jika Anda ingin menetapkan ambang pada probabilitas dan peduli bahwa ambang itu benar-benar bermakna seperti yang dinyatakan, dan jika Anda menghargai vendor yang menerbitkan interval kepercayaan atas kerugiannya sendiri. Anda menerima sekitar empat belas poin akurasi pada papan tempat kedua model bersaing, dan Anda mendapatkan bukti terbaik di bidang ini tentang apa yang dicakup dan tidak dicakup oleh akurasi tersebut.

Pilih Karpo Decision 31B jika state-nya adalah tangkapan layar, tiket, atau halaman — singkat, banyak pertanyaan, sensitif latensi — dan jika Full score papan peringkat adalah bukti yang Anda bobot. Anda menerima kesalahan kalibrasi lima poin dan batas atas 32k, dan Anda mendapatkan pemimpin saat ini pada 94 ms.

Apa yang tidak diberikan keduanya kepada Anda adalah endpoint produksi. Jika lapisan keputusan harus berada di balik gerbang yang aktif sebelum setiap pemanggilan alat, Anda akan menjalankan salah satunya sendiri, atau memanggil sesuatu yang di-hosting. Jev 1.14 dari TypeSafe ada di katalog kami untuk peran itu tepatnya, dan itulah model yang ingin dikejar oleh kedua checkpoint — berguna sebagai kontrol dalam uji shadow, karena reproduksi terbuka yang mengalahkan targetnya di papan pihak ketiga juga seharusnya mengalahkannya pada trafik Anda. Katalog ini juga menyediakan kedua model dasar, Gemma 4 31B dan Qwen3.8-27B, melalui satu API untuk 200+ model dengan harga daftar penyedia tanpa markup, yang merupakan cara termurah untuk menentukan apakah lapisan keputusan layak dimiliki sama sekali sebelum Anda membeli GPU.

Pertanyaan terbuka yang ditinggalkan oleh pertandingan ini adalah pertanyaan yang tidak dapat dijawab oleh papan: apakah keunggulan empat belas poin Karpo bertahan saat berhadapan dengan beban kerja nyata, atau apakah itu jenis keunggulan yang berasal dari penyetelan pada distribusi yang lebih dekat ke {{1}}kumpulan uji privat{{/1}} daripada milik pesaingnya. Kartu Kev mendokumentasikan campuran pelatihannya hingga jumlah catatan; kartu Karpo tidak. Asimetri itu bukan bukti apa pun, dan itulah alasan untuk mengukur daripada mempercayai salah satu angka.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.