pplx-decider vs Kev: Dua Sistem Satu Model yang Sudah Bisa Anda Tarik

Kebetulan yang berguna dalam pertandingan ini adalah Anda dapat menyelesaikannya di perangkat keras Anda sendiri sore ini. pplx-decider, model keputusan 27B milik Perplexity, muncul pada 2026-10-01 tanpa pengumuman apa pun dan revisi v1.1 pada 2026-10-05, dan keduanya ada di pustaka Ollama. Kev, lini reproduksi Jared Palmer, telah ada di Ollama sejak v2 hadir pada 2026-09-30 dan mencakup 0,5B hingga 27B. Keduanya menggunakan bentuk pemanggilan yang sama — sebuah state plus daftar pertanyaan bernama, satu forward pass, sebuah probabilitas yang dikembalikan, tanpa teks yang dihasilkan — yang berarti harness yang sama dapat menjalankan keduanya. Yang berbeda adalah segala sesuatu di bawahnya: bagaimana output dihasilkan, apa yang didokumentasikan penulis, dan seberapa banyak GPU yang dibutuhkan.

Mulailah dengan hal yang memungkinkan terjadinya uji banding. Tidak ada model yang menulis teks. Anda menyerahkan dokumen dan mengajukan pertanyaan berdasarkan nama, setiap pertanyaan menyatakan tipe jawabannya — pilihan dari 2 hingga 255 opsi berlabel, pembacaan ya/tidak/tidak diketahui, atau skor dari 2 hingga 10 level yang dijelaskan. Jawabannya datang sebagai probabilitas, dalam urutan yang Anda tanyakan. Tiket dengan enam puluh pertanyaan adalah satu kali proses pada model, bukan enam puluh panggilan.

Seberapa besar bagian dari masing-masing model yang sebenarnya mengambil keputusan?

Kartu Kev eksplisit tentang konstruksinya dengan cara yang jarang ditemui di luar tulisan internal, dan detailnya layak dibaca sebelum Anda memercayai angka darinya. Checkpoint 27B adalah fine-tune terawasi dengan bobot penuh pada Qwen/Qwen3.8-27B, lalu rata-rata bobot — 0,85 dari model baru dicampur dengan 0,15 dari v1 dalam fp32. Ukuran yang lebih kecil, 0,8B hingga 9B, dirilis sebagai adaptor LoRA pada basis Qwen3.5, bukan sebagai checkpoint penuh.

Bagian yang menentukan bagaimana output dibentuk terpisah dari backbone bahasa. Kev membawa pointer head — sekitar 2,6M parameter dalam fp32, bertumpuk di atas backbone 25,6B sehingga totalnya menjadi 26B — yang mengubah hidden state menjadi probabilitas atas opsi yang Anda beri nama. pplx-decider melakukan tugas yang sama dengan readout head yang telah dirilis berukuran [255, 5120]: 255 opsi pada hidden state selebar 5.120, dalam bf16.

Dua arsitektur, satu gagasan: model bahasa membaca, sebuah head kecil yang memutuskan. Itulah sebabnya keduanya tidak menghasilkan prosa, dan itu juga sebabnya skor benchmark dari yang satu tidak dapat dialihkan ke yang lain bahkan ketika keduanya dikutip terhadap model referensi yang sama.

Satu-satunya adu langsung yang tercatat, dan mengapa Anda tidak dapat menguranginya

Kedua proyek melapor kepada Jev, yang membuatnya menggoda untuk menyejajarkan keduanya. Jangan lakukan itu.

Kartu milik Kev sendiri memuat baris Decision Index 0.2 yang menempatkan Kev-27B v2 pada 52.3 berbanding 50.2 untuk v1, Jev pada 54.0, dan AutoJev-27B pada 50.0. Itu adalah perbandingan yang bersih, dengan suite yang sama dan versi yang sama, dan ini menunjukkan bahwa Kev v2 meningkat sekitar dua poin dan masih tertinggal dari Jev.

Kartu-kartu pplx-decider melaporkan keseluruhan berbobot suite sebesar 61,56 untuk v1.1, dibandingkan 56,4 untuk v1 dan 57,9 untuk Jev. Berdasarkan angka mereka sendiri, itu adalah kenaikan lebih dari lima poin dalam satu revisi dan keunggulan atas Jev lebih dari tiga setengah.

Kedua paragraf itu tidak dapat dikurangkan satu sama lain. Suite yang berbeda, campuran tugas yang berbeda, pembobotan yang berbeda — dan tidak ada proyek yang mempublikasikan pembobotannya. Apa yang dapat dikatakan memang lebih sempit, tetapi tetap berguna: keduanya bergerak ke arah yang sama pada jendela yang sama, keduanya melakukannya dengan mengubah cara readout dilatih, bukan dengan menukar backbone, dan margin yang diklaim pplx-decider atas Jev lebih besar daripada defisit terukur Kev. Itu alasan untuk menguji pplx-decider, bukan alasan untuk mempercayainya.

Hanya satu dari keduanya yang memiliki replikasi independen yang dikaitkan dengan angka-angkanya. Tag Ollama milik Kev memublikasikan jumlah kelulusan JevBench per tag — 205 dari 231 untuk kev:27b-nvfp4 termasuk 86 dari 111 pada split sulit, turun menjadi 146 dari 231 untuk kev:0.8b — dengan catatan eksplisit bahwa ini mengecualikan 303 tugas tersegel atau dinilai juri yang tidak tersedia dan bukan skor papan peringkat resmi. Ini adalah uji mandiri, tetapi uji mandiri yang dapat Anda ulangi. Tidak ada yang sebanding untuk pplx-decider.

Apa yang Kev dokumentasikan yang tidak dilakukan pplx-decider?

• Suhu — Kev hadir dengan T = 1.32, interval 90% sebesar [1.20, 1.45], diterapkan saat pemuatan, sehingga probabilitas yang Anda peroleh sudah diskalakan. Kartu pplx-decider sama sekali tidak mempublikasikan suhu, yang berarti kalibrasi apa pun yang Anda butuhkan, Anda sendiri yang harus menyesuaikannya.

• Catatan pelatihan — Kev v2 adalah 129 jam GPU pada 8× H200, satu epoch pada 145.840 catatan dan 337.130 pertanyaan, label yang diproduksi oleh GLM-5.3, DeepSeek-V4-Pro, Inkling, Mistral Large 3, gpt-oss-120b dan MiMo-V2.6-Pro tanpa menggunakan output Jev, dan penyaring kontaminasi yang menghapus 6.388 catatan di 102 partisi evaluasi. pplx-decider mendokumentasikan pipeline yang dibangun di atas Bespoke Nimble milik Bespoke Labs dengan subset benchmark yang dipatok berdasarkan ID catatan dan checksum, dan mengaitkan keuntungan v1.1 dengan menghilangkan causal mask serta data pelatihan tambahan — tetapi tidak mempublikasikan jumlah catatan, jam GPU, maupun daftar pelabel.

• Pelaporan regresi yang jujur — kartu Kev mencetak kesalahannya sendiri: transfer-v4 turun 0,8 poin, CUAD turun 1,6, expected calibration error pada breadth-v1 sebesar 0,015 berbanding 0,053 pada CUAD, dua hingga empat kali lebih buruk daripada v1, dan kartu itu menyebut adanya optimisme seleksi dalam evaluasinya sendiri. Tabel v1.1 pplx-decider menunjukkan tools merosot dari 79,3 ke 78,88 sementara setiap kategori lain naik, dan tidak ada apa pun di kartu yang mengomentarinya.

• Mode kegagalan — kartu Kev mencantumkan cakupan penyaringan kontaminasi dan kondisi di mana angka-angka yang dipublikasikannya dihasilkan. Keluarga Decider, lini Mapika, melangkah lebih jauh dan menyebutkan bentuk input spesifik yang merusaknya; pplx-decider diam soal pertanyaan itu.

Tidak ada dari semua ini yang mengatakan pplx-decider lebih buruk. Dokumentasi bukanlah kapabilitas — sebuah lab dengan postingan peluncuran dalam draf punya insentif yang berbeda dari individu yang menerbitkan catatan ke Hugging Face. Tetapi ketika dua model mengklaim kelas hasil yang sama dan hanya satu di antaranya yang memberi tahu Anda temperature-nya, yang memberi tahu Anda itulah yang bisa Anda terapkan di produksi bulan ini.

Akuntansi konteks, yang justru menjadi titik paling tajam perbedaan keduanya

• Kev — 65.536 token status, ditambah setidaknya 8.192 token per pertanyaan, dengan pelatihan hingga 32.768. Pada status 64k, jejak residen mencapai sekitar 87,1 GB pada puncak, waktu model 9,4 detik, 733 ms saat cache hit, dan 21,1 permintaan per detik pada satu klien versus 36,4 pada enam puluh empat.

• pplx-decider — 8.192 token untuk teks dan gambar gabungan, dengan input yang berukuran berlebihan ditolak, bukan dipotong. Build Ollama mencantumkan jendela konteks 256K, yang tidak dijelaskan oleh apa pun di repositori dan tidak selaras dengan batas kartu itu sendiri.

Kesenjangan itu adalah perbedaan paling konsekuensial antara keduanya untuk beban kerja nyata. Kev dirancang untuk keadaan yang panjang dan banyak pertanyaan terhadapnya. pplx-decider adalah model dense 27B dengan anggaran input yang relatif kecil, yang mendorongnya ke arah dokumen pendek, gambar, dan permintaan yang muat dalam beberapa ribu token.

• Bahasa — Hanya bahasa Inggris di keduanya, dinyatakan sebagai keterbatasan di keduanya.

• Visi — pplx-decider menerima teks, JSON, dan gambar, dengan token visi yang berbiaya sekitar lebar × tinggi / 1024 dan penyiapan evaluasi dibatasi hingga 512×512. Kev tidak memiliki visi di lini 27B.

• Batas minimum penyajian — Kev-27B memerlukan GPU kelas 80 GB: bobot bf16 51,3 GB, sekitar 65,5 GB residen, 87,1 GB pada status 64k, dan servernya mengikat secara terbuka kecuali KEV_API_KEY disetel. Bobot bf16 milik pplx-decider sekitar 49 GiB, jadi batas minimumnya serupa; build Ollama terkuantisasi berada di 17 GB, yang merupakan mesin yang sangat berbeda.

• Tingkat — Kev mencakup 0,5B, 0,6B, 0,8B, 4B, 8B, 9B, dan 27B, dengan ukuran kecil sebagai adaptor LoRA. pplx-decider adalah satu ukuran, direvisi dua kali.

Menjalankan uji banding tanpa bertaruh pada hasilnya

Kedua model dapat diakses sebagai bobot lokal, dan justru itulah situasi ketika lapisan routing membuktikan kegunaannya. OrcaRouter tidak melayani pplx-decider dan tidak melayani Kev — keduanya tidak ada di katalog, dan tidak ada apa pun di sini yang boleh dibaca sebagai klaim bahwa kami menghosting keduanya. Yang kami sediakan di kelas ini adalah typesafe/jev-1.13, diekspos melalui bentuk panggilan POST /v1/systemone yang sama dengan $0.042 per juta token masukan, dan ini adalah kelompok kontrol alami: antarmuka sama, jenis pertanyaan sama, tanpa GPU milik Anda sendiri.

Itu membuat uji banding tiga arah menjadi murah untuk disiapkan. Tempatkan pplx-decider lokal dan Kev lokal di balik harness yang sama untuk diadu dengan typesafe/jev-1.13 yang dirutekan, nilai ketiganya pada dokumen Anda sendiri, dan biarkan ketidaksepakatan di antara mereka memberi tahu Anda di mana ambang batas Anda sebenarnya berada. Failover otomatis lebih penting daripada biasanya dalam susunan itu, karena model 27B lokal pada satu kartu adalah komponen yang paling tidak andal dalam rantai; merutekan fallback melalui satu API untuk 200+ model — harga daftar penyedia diteruskan dengan markup 0% — mencegah eksperimen berubah menjadi gangguan layanan. Dan ketika model seperti pplx-decider akhirnya mencapai endpoint yang dihosting, kunci yang sama yang menjalankan lengan kontrol juga menjalankannya, tanpa kontrak kedua dan tanpa perubahan kode.

Apa yang bisa mengubah jawabannya

Empat hal, dan semuanya dapat diperiksa, bukan soal selera.

Jika pplx-decider mencapai penyedia inferensi, tabel benchmark-nya yang belum diverifikasi menjadi pertanyaan harga versus latensi, dan kesenjangan dokumentasi tidak lagi penting — Anda akan membayar untuk readout yang dihosting, bukan memeliharanya sendiri. Jika pihak independen mereproduksi angka JevBench dari masing-masing model pada harness yang dipublikasikan, seluruh perbandingan menyempit menjadi satu suite saja, bukan dua suite yang tidak kompatibel.

Jika kelemahan ECE Kev yang terdokumentasi pada CUAD ternyata dapat diperbaiki dengan refit alih-alih retrain, argumen kalibrasi yang menentangnya sebagian besar hilang, karena Kev sudah menyertakan temperature-nya dan mode kegagalannya sudah diketahui. Dan jika Anda memerlukan model keputusan pada satu kartu alih-alih dua, build terkuantisasi 17 GB dari pplx-decider adalah satu-satunya opsi di sini — bukan karena ia lebih baik, tetapi karena ia muat di tempat yang tidak bisa ditempati oleh 27B pada bf16.

Sampai salah satu dari itu terjadi, pembacaan praktisnya tidak glamor. Kev adalah pihak yang angka-angkanya dapat Anda ulangi hari ini dan yang kalibrasinya dapat dipercaya karena terdokumentasi; pplx-decider adalah pihak dengan plafon yang diklaim lebih tinggi dan jejak dokumen yang lebih lemah. Pilih yang pertama jika Anda akan merilis bulan ini. Tarik yang kedua ke dalam perangkat uji yang sama jika Anda adalah jenis tim yang lebih suka mengukur rilis senyap daripada menunggu postingan peluncuran.

Merutekan fallback melalui harga daftar penyedia yang diteruskan dengan markup 0% mencegah uji banding tiga arah berubah menjadi gangguan ketika checkpoint lokal adalah komponen yang paling tidak andal dalam rantai tersebut.

Uji banding tiga arah juga menjadi momen yang wajar untuk menanyakan apa yang sudah gagal di kelas ini: insiden AI dan kegagalan agen yang terdokumentasi yang melibatkan model keputusan dikumpulkan di OrcaRouter AI Incident Archive, di mana setiap entri mencantumkan sumbernya sendiri, tingkat keparahan, nilai keyakinan, dan penanda sengketa.