pplx-decider di Ollama: Model Keputusan 27B Senyap milik Perplexity Kini Dapat Dijalankan

Perplexity menerbitkan bobot dari pplx-decider-v1.1-27b pada 2026-10-05, dan checkpoint pertama yang digantikannya, pplx-decider (nama repo pplx-decider-v1-27b), pada 2026-10-01. Keduanya adalah fine-tune dari Qwen3.8-27B yang menjawab dalam probabilitas, bukan kalimat, dan keduanya berada dalam garis keturunan System One yang sama seperti yang dimiliki TypeSafe, Jev 1.13. Yang baru bukanlah modelnya: per hari ini, pplx-decider adalah entri di pustaka model Ollama sendiri, dapat dipasang dengan satu perintah. Sebelum pencantuman itu muncul, menjalankan checkpoint ini berarti memerlukan GPU CUDA dengan ruang sekitar 49 GiB untuk bobot bf16. Sekarang, ini adalah unduhan terkuantisasi 17 GB di laptop. Perubahan tunggal itulah yang dibahas halaman ini, dan model yang menjadi dapat dijalankan karenanya telah berusia empat belas hari.

Apa yang berubah, secara konkret

Entri pustaka Ollama dinamai pplx-decider, dan pustaka itu terus mengumpulkan model keputusan — Laya, Nimble, Kev, Clef, Strands Decider — sepanjang musim gugur. Yang ini adalah tambahan terbaru, dan pada registri yang dipelihara, ia menampilkan tiga tag (pplx-decider:latest, pplx-decider:27b dan pplx-decider:27b-q4_K_M) yang mengarah ke digest manifes yang sama. Satu artefak, bukan tangga ukuran.

• Format — GGUF yang dilayani oleh llama.cpp, dibandingkan dengan shard safetensors bf16 di Hugging Face

• Ukuran unduhan — sekitar 17 GB pada q4_K_M, dibandingkan dengan kira-kira 49 GiB bobot plus memori kerja untuk checkpoint bf16

• Lapisan visi — manifes membawa proyektor terpisah ~927 MB di samping lapisan model, sehingga masukan gambar dikemas bersama bobot teks

• Perangkat Keras — mesin kelas konsumen, bukan mesin CUDA

Antarmuka tersebut adalah endpoint /v1/systemone milik Ollama, yang ditambahkan pada v0.35.0 dan diperluas untuk model Clef pada v0.35.1. Antarmuka itu juga baru saja mendapatkan front end baris perintah: v0.40.4, yang dirilis 2026-10-12, menambahkan model keputusan ke ollama run, sehingga pertanyaan ya/tidak, pilihan label, atau skor rubrik dapat diajukan langsung dari terminal dengan --ask, --choice, dan --level. Rilis itu berusia tiga hari; model yang dipermudahkannya berusia dua minggu.

Apa yang sebenarnya didokumentasikan oleh repositori

Checkpoint ini bukan model chat dengan prompt ringkas. Kartunya menjelaskan tata letak keputusan native: backbone Qwen3.8-27B pada nama kelas yang dirilis, plus readout.safetensors terpisah yang menyimpan head keputusan bf16 [255, 5120] — readout 255 arah pada slot opsi, bukan head bahasa kosakata penuh. Tidak ada loop decoding. Setiap opsi dari setiap pertanyaan dinilai dalam satu forward pass, itulah sebabnya respons melaporkan nol token output.

Tiga detail di kartu ini lebih penting daripada tabel tolok ukur, karena itulah yang merusak integrasi naif:

• Mode perhatian.Lapisan full-attention menggunakan mode nonkausal yang tersimpan, dan kartu tersebut menyatakan secara jelas bahwa inferensi kausal default tidak mereproduksi penyiapan yang dievaluasi. Luncurkan checkpoint dengan loader kausal siap pakai dan Anda akan mendapatkan angka yang bukan angka yang dipublikasikan.

• Suhu kalibrasi. DecisionModel.predict yang disediakan menerapkan suhu yang tersimpan. Jika Anda membaca logit secara langsung, terapkan tepat satu kali — menerapkannya dua kali, atau tidak sama sekali, akan salah menskalakan setiap probabilitas yang kemudian Anda jadikan dasar percabangan.

• Batas keputusan yang nyata. Teks dan semua gambar untuk satu keputusan harus muat dalam anggaran 8.192 token, dan input yang melebihi batas ditolak, bukan dipotong. Pelatihan dan evaluasi yang dilaporkan membatasi gambar pada 512×512; menaikkan batas tersebut kini dapat dikonfigurasi melalui max_image_pixels, dengan nilai default 2048×2048, tetapi kartu memperingatkan bahwa resolusi yang lebih tinggi berada di luar distribusi pelatihan.

Repositori ini tergolong luar biasa lengkap untuk model yang tidak diumumkan oleh siapa pun: sebelas shard safetensors, sebuah decision_config.json, templat chat, dan sebuah release-manifest.json yang mencatat checksum berkas dan asal-usul checkpoint. Lisensinya adalah Apache 2.0.

Dua bagian dokumentasi telah melenceng. Kartu v1.1 masih menyuruh Anda melakukan autentikasi terhadap "repositori privat ini" — repositori tersebut kini dapat dibaca publik. Dan kartu v1 yang lebih lama membawa penunjuk new_version ke v1.1, yang merupakan sinyal jujur bahwa v1 telah digantikan.

Satu hal yang perlu diperiksa sebelum Anda menyusun rencana berdasarkan hal itu

Daftar Ollama mengiklankan jendela konteks 256K. Angka itu tampaknya diwarisi dari model dasar — Qwen3.8-27B memang membawa 262.144 posisi — dan itu bukan kontrak yang didokumentasikan oleh checkpoint keputusan untuk dirinya sendiri. Checkpoint tersebut menolak keputusan apa pun yang teksnya ditambah gambar melebihi 8.192 token. Rancang pipeline dengan 256K, beri ia kontrak 40.000 token ditambah empat gambar halaman, dan permintaannya gagal alih-alih dipangkas. Angka yang lebih besar menggambarkan arsitektur; angka yang lebih kecil menggambarkan API yang sebenarnya Anda panggil.

Dukungan gambar memiliki kasus batas yang serupa. Kartu model Ollama untuk pplx-decider menunjukkan permintaan gambar terhadap /v1/systemone, tetapi halaman kemampuan Ollama sendiri untuk endpoint tersebut menyatakan gambar "hanya untuk model Clef." Salah satu dari kedua dokumen itu sudah usang. Perlakukan input multimodal pada jalur ini sebagai belum terverifikasi sampai Anda menjalankannya sendiri — checkpoint yang mendasarinya jelas menerima gambar, dan manifesnya jelas menyertakan projector, tetapi gerbang yang didokumentasikan runtime lebih sempit daripada yang tersirat oleh kartu model.

Nomor vendor, dan nomor yang berbeda

Evaluasi Perplexity sendiri untuk checkpoint v1.1 melaporkan Decision Index 61,56 dibandingkan 57,9 untuk Jev pada suite yang sama dan 56,4 untuk checkpoint yang digantikannya, dengan kenaikan kategori terbesar pada bahasa (69,45) dan retrieval (61,26). Angka-angka itu dilaporkan vendor dan dihasilkan di sisi Perplexity; untuk checkpoint sebelumnya, kartu tersebut melangkah lebih jauh dan menyatakan bahwa hasilnya diukur melalui API Perplexity. Itu adalah hal yang sah untuk diterbitkan dan hal yang lemah untuk diandalkan.

Gambaran independen lebih berguna. Papan peringkat komunitas terbuka untuk kelas model ini, Jev Decision Index, telah menilai pplx-decider-v1.1-27b pada panelnya sendiri dan rilis data 2026-10-14 melaporkan checkpoint tersebut menyelesaikan 110.179 dari 110.201 kasus yang dinilai di 42 benchmark pada satu RTX PRO 6000. Di papan itu, model tersebut memperoleh skor keterampilan berimbang 62,75 dan peringkat keenam, dengan Jev berada di peringkat kedua belas pada 60,11. Dua hal yang tidak ditunjukkan tabel vendor muncul dari data yang sama:

• Di mana ia kuat. ARC-Easy 99.3, ARC-Challenge 97.0, keputusan ya/tidak pemanggilan fungsi (BFCL) 97.2, FinEntity 95.4, BPoMP 95.2, CLINC150 91.5. Tugas klasifikasi dan pengambilan klasik adalah tempat checkpoint ini membuktikan kegunaannya.

• Di mana hal itu tidak berlaku.Humanity's Last Exam 16.2, ChessBench 17.7, SATA-Bench 28.2, ACOS 28.2, kumpulan dialog berpandu skema 33.2, BRIGHT 50.9, GPQA Diamond 56.1. Penalaran multi-langkah yang sulit bukanlah yang bisa Anda dapatkan dari pembacaan satu kali, dan tumpukan yang diam-diam mengarahkan pekerjaan penalaran ke model keputusan akan menghasilkan cabang salah yang penuh keyakinan.

Kalibrasi layak mendapat barisnya sendiri, karena itulah inti dari model yang mengembalikan probabilitas alih-alih label. Pada 34.829 keputusan yang dinilai secara independen, checkpoint tersebut rata-rata mencapai akurasi 76,1 persen berbanding keyakinan rata-rata 82,9 persen — dengan expected calibration error 0,071 dan skor Brier 0,335, serta 2,0 persen kasus berada di atas keyakinan 0,95 dan tetap salah. Itu adalah permukaan probabilitas yang dapat digunakan tetapi tidak sempurna, dan secara terukur kalibrasinya lebih baik daripada ECE 0,074 milik Jev pada papan yang sama. Jika Anda menetapkan ambang 0,9 dan menganggapnya sebagai hampir pasti, 2 persen itulah angka yang perlu menjadi acuan dalam desain.

Latensi pada perangkat keras yang sama tercatat pada median 104 ms dan p95 835 ms dari 110.000 keputusan, yang merupakan argumen praktis untuk model keputusan dibandingkan model bahasa kecil dalam posisi gating: p95 adalah anggarannya, bukan rata-ratanya.

Berapa harga sebuah keputusan

Perplexity menjalankan API Decisions yang dihosting sendiri untuk checkpoint ini — POST https://api.perplexity.ai/v1/decisions, dengan pplx-decider-v1.1-27b sebagai ID model bawaan dan checkpoint sebelumnya masih dapat dialamatkan. Halaman harga tersebut mencantumkan $0,02 per juta token masukan, token keluaran gratis, dan tanpa biaya per permintaan, dengan batas maksimum 128 pertanyaan per permintaan, 262.144 token masukan dan 10 permintaan per detik per organisasi.

Sebaliknya, jalur lokal tidak memakan biaya per keputusan setelah 17 GB-nya selesai diunduh. Untuk antrean triase yang menjalankan beberapa pertanyaan bertipe per tiket, aritmetika itu menentukan sendiri — dan perlu diperhatikan bahwa plafon hosted sebesar 262.144 token masukan bukanlah batas yang akan diterapkan oleh salinan lokal Anda, karena anggaran checkpoint itu sendiri adalah 8.192.

Yang tidak dijawab oleh rute lokal adalah bagian lain dari stack di sekitar keputusan tersebut. Ini adalah model 27B yang mengembalikan satu probabilitas per opsi; model ini tidak akan menyusun draf balasan, merangkum tiket, atau memanggil alat. Jika Anda menginginkan keputusan sekaligus penulisannya di balik satu kunci, itulah gunanya OrcaRouter — satu API untuk 200+ model dengan harga daftar penyedia diteruskan tanpa markup per token, plus DSL routing ketika Anda ingin model pengambil keputusan dan model penulis dikomposisikan menjadi satu panggilan. Dua bagian dari kisah khusus ini sudah ada di platform: checkpoint dasar disajikan sebagai Qwen3.8-27B, sehingga Anda dapat membandingkan fine-tune dengan fondasinya sendiri pada kunci yang sama, dan model referensi yang menjadi tolok ukurnya disajikan sebagai Jev 1.13 melalui bentuk endpoint systemone yang sama. Decider milik Perplexity bukan salah satu yang kami sediakan — model itu tersedia melalui API Perplexity sendiri dan beberapa platform pihak ketiga — jadi jika Anda membutuhkannya secara khusus, penarikan lokal di atas dan endpoint Perplexity adalah rute Anda.

Tiga pertanyaan yang tidak dijawab oleh repositori

Checkpoint mana yang ada di artefak terkuantisasi? Entri pustaka Ollama dinamai berdasarkan keluarga, bukan versi, dan blok benchmark-nya menautkan ke v1 repositori — tabel 11 benchmark menunjukkan 85,7 persen, yang merupakan angka keseluruhan kartu v1 dan bukan suite Decision Index v1.1. v1.1 adalah checkpoint yang lebih kuat menurut perhitungan Perplexity sendiri, dan tidak jelas bahwa itulah yang Anda tarik. Periksa digest sebelum Anda membangun di atas asumsi itu.

Apakah Perplexity bermaksud agar ada bagian dari ini menjadi publik? Tidak ada pengumuman, pos blog, entri changelog, atau pemberitahuan ketersediaan API untuk bobot ini yang muncul. Checkpoint ini telah dibaca oleh ribuan orang — 2.740 unduhan pada v1 dan 3.154 pada v1.1 saat tulisan ini dibuat — tetapi perhatian pada kartu model tidak sama dengan vendor yang mengatakan bahwa model tersebut didukung. Anggap repositori publik sebagai artefak otoritatif dan segala hal lainnya sebagai inferensi.

Apakah versi yang dihosting vendor dan diumumkan secara resmi akan hadir? Tidak diketahui. Adanya Decisions API yang terdokumentasi dan berbayar di sisi Perplexity menunjukkan bahwa jalur hosting adalah produk yang dimaksudkan, dan bobot model berada di hulu dari produk tersebut. Namun itu adalah dugaan tentang niat, bukan fakta dari sebuah dokumen, dan hal itu dilabeli sebagai dugaan.

Siapa yang harus pindah, dan siapa yang tidak

Jika pipeline Anda sudah bercabang berdasarkan keputusan penyedia yang bertipe — perutean tiket, deteksi pengembalian dana, gating langkah agen — ini adalah checkpoint berusia dua minggu dengan skor yang direproduksi secara independen, lisensi Apache 2.0 dan, per hari ini, jalur 17 GB ke perangkat keras yang Anda miliki. Evaluasi tersebut menunjukkan bahwa model ini terkalibrasi lebih baik daripada model referensi dan sekitar dua peringkat lebih baik di papan peringkat publik, dan salinan lokal menghilangkan sepenuhnya harga per keputusan. Tarik model ini, jalankan terhadap contoh berlabel Anda sendiri, dan bandingkan dengan apa pun yang Anda gunakan sekarang. Anggaran keputusan 8,192-token adalah kendala yang harus diuji terlebih dahulu, bukan 256K yang diiklankan dalam listing.

Jika Anda memerlukan penalaran alih-alih klasifikasi, tunggu. Panel independen menempatkan checkpoint ini di kisaran belasan bawah pada tolok ukur pengetahuan yang sulit, dan permukaan probabilitas yang merasa yakin atas pertanyaan yang sebenarnya tidak dapat dijawabnya lebih buruk di produksi daripada model lambat yang berpikir lebih dulu. Alasan yang mendukung model keputusan adalah median 104 ms dan fakta bahwa enam puluh pertanyaan hanya memerlukan satu lintasan — dan tidak ada dari semua itu yang membantu ketika jawabannya salah.

Menjalankan langkah keputusan di perangkat keras Anda sendiri juga merupakan waktu yang tepat untuk melihat apa yang sudah pernah salah dalam kelas ini: insiden AI dan kegagalan agen yang terdokumentasi yang melibatkan model keputusan dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri memuat sumbernya sendiri, tingkat keparahan, tingkat keyakinan, dan penanda disengketakan.