pplx-decider-flash vs Laya: Dua Jenis Model Keputusan, Satu Perbandingan yang Keliru

Angka-angka yang beredar rapi dan tidak berguna. Satu indeks perbandingan memberi skor Laya 69,5 dan pplx-decider-flash-v1.2 68, nyaris seri. Indeks lain memberi Flash 73,7 dan menempatkannya di peringkat pertama dari 48. Indeks ketiga memberi Flash 451 dari 504 versus 240 milik Laya multilingual. Tiga sumber, tiga putusan, karena masing-masing mengukur model yang berbeda pada kumpulan tugas yang berbeda — dan setidaknya dua dari tiga mengukur varian Laya tanpa menyebut yang mana. Inilah perbandingan yang benar-benar penting, dan kalimat jujur pertamanya adalah belum ada yang menjalankannya dengan benar.

Yang bisa dibandingkan adalah bentuk kedua sistem: untuk apa keduanya dibangun, berapa biaya menjalankannya, dan apa yang masing-masing menuntut dari Anda sebelum menghasilkan probabilitas yang dapat digunakan. Pada poros-poros itu, keduanya bukan pesaing yang berdekatan. Keduanya adalah produk berbeda yang kebetulan memiliki sebutan pekerjaan yang sama.

Masing-masing satu paragraf.

pplx-decider-flash-v1.2 adalah model keputusan multimodal kelas 4B dari Perplexity, dibangun di atas backbone Qwen3.5-4B dengan kepala pembacaan 255 arah terpisah. Anda memberinya state — teks, JSON, atau gambar hingga 1,6 megapiksel — dan pertanyaan bertipe, lalu model mengembalikan probabilitas terkalibrasi dalam satu forward pass. Model ini dirancang untuk bekerja zero-shot: temperature tersimpan adalah 1,554, dan kartu model melaporkan akurasi 88,8% dengan expected calibration error 0,021 pada set pengembangan berisi 1.497 pertanyaan. Model ini berlisensi Apache-2.0, berukuran sekitar 9 GiB dalam BF16, dan biayanya $0,01 per juta token masukan di API Perplexity dengan output gratis.

Laya adalah keluarga encoder keputusan non-autoregresif dari Convai Innovations, dirilis pada 18 September 2026 dan juga Apache-2.0. Checkpoint bahasa Inggris adalah ModernBERT-large yang telah di-fine-tune dengan 421 juta parameter dan konteks 512 token; model multibahasa adalah mmBERT-base dengan 322 juta parameter dan 1.024 token; checkpoint ketiga, laya-typed-decisions, adalah yang mencatat skor utama. Model ini menjawab semua pertanyaan dalam sebuah panggilan dalam satu forward pass menggunakan token mask per opsi, tanpa langkah generasi dan tanpa masukan gambar.

Mengapa tabel perbandingan tidak sepakat

Ketidakcocokan dimulai dari tolok ukur yang dibangun masing-masing vendor. Perplexity menilai model-modelnya pada Decision Index 0.3, sebuah komposit atas pengetahuan, bahasa, pengambilan informasi, alat, dan seni. Convai menilai Laya pada tolok ukur keputusan bertipe dengan 400 kasus dan 2.000 keputusan yang juga mereka publikasikan. Tidak ada dari kedua model yang telah dijalankan pada harness milik pihak lain secara publik.

Indeks pihak ketiga mengisi celah itu dengan buruk. Komposit Anchor Terminal menempatkan Laya di peringkat keempat dengan 69,5 dan Flash di peringkat keenam dengan 68, selisih 1,5 poin yang jauh berada di dalam derau komposit yang tidak dapat diaudit oleh siapa pun. Ollaya Bench melaporkan 73,7 secara keseluruhan dan peringkat pertama dari 48 untuk Flash, dengan akurasi makro 82,4%, tetapi tidak menerbitkan harness. Rangkaian tugas yang ditulis Jev memberi Flash skor 451/504 dan Laya multilingual 240 — kekalahan telak, pada rangkaian yang ditulis oleh pengelola model pesaing. Halaman PublicAI bahkan mencatat Flash mengalahkan Laya 322M dan Laya multilingual sekaligus kalah 3–0 dari "Laya" yang tidak disebutkan namanya.

Entri terakhir itu adalah gambaran mini dari keseluruhan masalah. "Laya" bukan satu model. Membandingkan Flash dengan encoder Inggris 421M, encoder multibahasa 322M, dan spesialis benchmark yang telah di-fine-tune menghasilkan tiga jawaban berbeda, dan hanya satu di antaranya yang benar-benar akan Anda deploy.

Papan skor yang dapat kita pertahankan

Inilah dimensi-dimensi tempat kedua sistem benar-benar berbeda, dengan angka yang diterbitkan masing-masing pihak sendiri dan sumber yang dinyatakan.

• Parameter — pplx-decider-flash-v1.2 adalah kelas 4B (dokumen API menyebut 4B, header kartu menyebut 5B dalam BF16) vs Laya pada 421M bahasa Inggris dan 322M multibahasa.

• Konteks — 262.144 token pada Flash, dilatih hingga sekitar 32.000 vs 512 token pada Laya English dan 1.024 pada multibahasa.

• Modalitas — Flash menerima teks, JSON, dan gambar hingga 1,6 MP, sedangkan Laya hanya menerima teks.

• Penggunaan zero-shot — Flash dikirim dalam kondisi terkalibrasi, dengan temperature tersimpan dan metrik galat yang dipublikasikan dibandingkan checkpoint dasar Laya, yang oleh kartu itu sendiri disebut "basis cepat untuk dispesialisasi, bukan mesin keputusan zero-shot".

• Latensi — Laya pada 32,8 ms untuk satu pertanyaan di T4, 72,3 ms untuk sepuluh pertanyaan, 103–332 pertanyaan per detik dalam mode batch, dan 193–464 ms pada CPU vs Flash tanpa angka tingkat layanan yang dipublikasikan dari Perplexity; satu-satunya angka yang dipublikasikan vendor adalah uji dokumentasi dengan ~248.000 token masukan membutuhkan 16 detik.

• Harga — Flash seharga $0,01 per juta token input, output gratis, di API Perplexity vs Laya tanpa harga hosted karena ini adalah rilis bobot yang Anda jalankan sendiri.

Latensi dan perangkat keras: di mana Laya belum bisa menandingi

Inti dari pitch Laya adalah bahwa sebuah keputusan tidak memerlukan model generatif, dan angka latensinya mendukung hal itu. Satu pertanyaan dalam 32,8 ms di T4 untuk checkpoint multibahasa, 39,5 ms untuk bahasa Inggris; sepuluh pertanyaan dalam 72,3 ms; 103 hingga 332 pertanyaan per detik saat di-batch. Di CPU, setelah dimuat sebelumnya, ini berjalan dalam 193 hingga 464 ms. Encoder 322M cukup kecil untuk berada di dalam jalur permintaan yang tidak mampu menggunakan GPU.

Flash adalah kelas deployment yang berbeda. Sembilan gigabyte bobot BF16 muat di kartu konsumen 16 GB, dan satu benchmark pihak ketiga melaporkan sekitar 10,4 GB VRAM dan 90–127 ms per keputusan pada RTX 5090. Itu terbilang terhormat untuk model 4B dan kira-kira tiga kali latensi T4 milik Laya pada perangkat keras yang harganya beberapa kali lebih mahal. Jika batasan Anda adalah milidetik pada perangkat keras murah, argumennya sudah selesai sebelum akurasi ikut diperhitungkan.

Pertanyaan tentang fine-tuning

Inilah bagian yang disembunyikan oleh tabel perbandingan, dan ini menentukan.

Akurasi utama Laya sebesar 0,766 adalah milik laya-typed-decisions, sebuah checkpoint yang di-fine-tune pada split pelatihan benchmark itu sendiri. Checkpoint dasar bahasa Inggris mencetak 0,362 pada benchmark yang sama, dibandingkan dengan baseline kelas mayoritas 0,461 dan tebakan acak 0,318. Dengan kata lain, model yang Anda unduh mentah-mentah lebih buruk daripada selalu menjawab dengan label paling umum. Convai menyatakannya secara langsung di kartu model. Sebuah studi reproduksi independen di arXiv juga melaporkan bahwa salah satu metrik utama, soft accuracy sebesar 0,509 versus 0,471 yang dipublikasikan, gagal direproduksi, dan berargumen bahwa data kalibrasi terkontaminasi secara konstruksi.

Klaim Flash berbentuk sebaliknya: angka 60.05 yang dilaporkan vendor pada Decision Index dengan satu pertanyaan per permintaan, dari model yang seharusnya Anda gunakan apa adanya sesuai bawaan. Klaim itu belum terverifikasi — Perplexity membangun benchmark tersebut, dan kartunya menyatakan bahwa pekerjaan pelatihan mencakup split pelatihan resmi dari beberapa tugas Decision Index, yang didekontaminasi terhadap set pengujian. Itu adalah praktik yang dapat dipertahankan dan dinyatakan secara terang-terangan, tetapi itu juga berarti model telah melihat data dalam domain untuk benchmark yang menjadi dasar penilaiannya, dan dekontaminasi tersebut adalah klaim Perplexity sendiri, bukan fakta yang telah diaudit. Namun, bebannya berbeda. Dengan Laya, Anda harus melakukan fine-tuning dan kalibrasi ulang sebelum angka yang dipublikasikan berarti apa pun; kartunya merekomendasikan temperature fitting karena probabilitas mentah terlalu percaya diri, dengan ECE turun dari 0.466 menjadi 0.081 setelah penyetelan ulang. Dengan Flash, Anda mempercayai kalibrasi vendor pada data yang belum Anda lihat.

Keduanya tidak gratis. Yang satu memakan waktu engineering, yang lain memakan waktu verifikasi.

Bahasa dan kardinalitas

Laya multilingual mendukung lebih dari 100 bahasa secara prinsip dan 45 dari 51 secara praktik, menurut ambang "usable" kartunya sendiri, yaitu tiga kali acak. Skor XNLI-nya di luar bahasa Inggris adalah 0.731, dibandingkan 0.521 untuk checkpoint khusus bahasa Inggris, dan akurasi intent MASSIVE di 13 bahasa lain adalah 0.451. Angka-angka itu moderat, tetapi ada, dan Flash tidak memiliki evaluasi multibahasa yang dipublikasikan sama sekali. Jika trafik Anda bukan bahasa Inggris, vendor dengan evaluasi multibahasa adalah titik awal yang lebih aman bahkan ketika skornya rendah.

Kardinalitas berjalan sebaliknya. Laya memburuk parah pada pertanyaan pilihan berkardinalitas tinggi: 0,425 pada 72 label Banking77 versus 0,870 milik Jev, karena 77 opsi pada pengaturan default masing-masing menerima sekitar tiga hingga empat token. Kartu menyarankan menaikkan anggaran opsi atau memecah dari kasar ke halus. Flash menerima hingga 255 opsi dan tidak memiliki tolok ukur berkardinalitas tinggi yang dipublikasikan, jadi pembacaan yang aman adalah bahwa Flash dirancang untuk kasus yang didokumentasikan Laya sebagai kelemahan dan belum menunjukkan hasil kerjanya.

Berapa Harga Seribu Keputusan

Laya tidak memiliki harga per keputusan karena Anda yang menghostingnya. Pada T4 dengan 103–332 pertanyaan per detik, satu juta keputusan memerlukan waktu GPU sekitar 50 menit hingga tiga jam. Dengan tarif cloud umum, biayanya hanya beberapa sen hingga beberapa dolar, ditambah pekerjaan engineering untuk men-deploy dan memantaunya.

Flash di API mudah dihitung. State 400 token, satu pertanyaan: 1.000 keputusan adalah 400.000 token masukan, yang pada $0,01 per juta adalah $0,004. Satu juta keputusan sekitar $4. Menghosting sendiri bobot-bobotnya menghilangkan biaya per token, tetapi membawa Anda kembali ke GPU dengan bobot sekitar 9 GiB dan pola atensi nonkausal yang tidak direproduksi oleh server kausal standar.

Jebakannya adalah batching. Flash menagih state lagi untuk setiap pertanyaan, jadi tiga pertanyaan per state melipatgandakan tagihan. Jika gate Anda menanyakan beberapa hal sekaligus, model murah itu tidak murah.

Ini juga lapisan tempat pertanyaan routing muncul. Model keputusan adalah gerbang di depan generasi, dan sisi generasi adalah tempat sebagian besar pengeluaran berada. OrcaRouter menempatkan lebih dari 200 model di balik satu kunci tanpa markup pada harga daftar, sehingga generator yang lebih murah atau pemotongan harga vendor berlaku pada hari yang sama, dan failover otomatis mencegah permintaan yang salah rute gagal sepenuhnya. Kami tidak menghosting pplx-decider-flash atau Laya. Satu-satunya model keputusan yang kami layani adalah Jev dari TypeSafe, sebagai jev-1.13 dan jev-1.14, yang perlu diketahui jika Anda menginginkan decider terhosting tanpa menyiapkan GPU.

Cara memilih, secara berurutan

• Lalu lintas non-Inggris — mulai dengan Laya multibahasa, lalu ukur. Itu satu-satunya sisi dengan angka lintas bahasa yang dipublikasikan.

• Di bawah 100 ms pada perangkat keras biasa — Laya. Pada T4, ia menjawab dalam 33 ms; Flash memerlukan GPU modern dan dilaporkan membutuhkan 90–127 ms di sana.

• Gambar di negara bagian — Flash, tanpa kompetisi nyata. Laya tidak memiliki jalur visi.

• Status panjang — Flash. Jendela 512 token membuat Laya tidak mungkin digunakan untuk apa pun yang menyerupai dokumen.

• Tidak ada data berlabel dan tidak ada waktu untuk melakukan fine-tune — Flash, setidaknya sebagai titik awal. Checkpoint dasar Laya berada di bawah baseline mayoritas.

• Lebih dari 20 opsi per pertanyaan — Flash, atau Laya dengan anggaran opsi yang dinaikkan dan pemisahan dari kasar ke halus.

Ringkasan jujurnya adalah bahwa model-model ini bersaing untuk deskripsi pekerjaan yang sama dan hampir tidak pernah untuk penerapan yang sama. Laya adalah encoder kecil yang cepat dan dapat disesuaikan untuk klasifikasi bervolume tinggi dalam bahasa yang dapat Anda uji. Flash adalah juri multimodal serba guna yang terkalibrasi dengan konteks besar dan papan skor vendor di belakangnya. Tabel perbandingan yang menempatkan keduanya terpaut 1,5 poin tidaklah salah, melainkan tidak bermakna: tabel itu merata-ratakan justru sifat-sifat yang menentukan pilihan.