pplx-decider vs Kev: due modelli System One che puoi già scaricare

L'utile coincidenza in questo confronto è che puoi risolverlo sul tuo hardware questo pomeriggio. pplx-decider, il modello decisionale da 27B di Perplexity, è comparso il 2026-10-01 senza alcun annuncio e con una revisione v1.1 il 2026-10-05, ed entrambi sono nella libreria Ollama. Kev, la linea di riproduzione di Jared Palmer, è su Ollama da quando è arrivata la v2 il 2026-09-30 e copre da 0.5B a 27B. Parlano la stessa forma di chiamata — uno stato più un elenco di domande denominate, un solo forward pass, una probabilità in risposta, nessun testo generato — il che significa che lo stesso harness può eseguire entrambi. Ciò che differisce è tutto ciò che c'è sotto: come viene prodotto l'output, cosa hanno documentato gli autori e quanta GPU richiede.

Inizia con la cosa che rende possibile un bake-off. Nessuno dei due modelli scrive testo. Consegni un documento e fai domande per nome, ciascuna domanda dichiara il proprio tipo di risposta — una scelta tra 2 e 255 opzioni etichettate, un esito sì/no/sconosciuto, o un punteggio da 2 a 10 livelli descritti. La risposta arriva come probabilità, nell'ordine in cui hai posto le domande. Un ticket con sessanta domande è un singolo passaggio sul modello, non sessanta chiamate.

Quanta parte di ciascun modello prende effettivamente la decisione

La card di Kev è esplicita sulla sua costruzione in un modo che è raro al di fuori delle documentazioni interne, e il dettaglio vale la pena di essere letto prima di fidarsi di un numero che ne proviene. Il checkpoint 27B è un fine-tuning supervisionato a pesi completi su Qwen/Qwen3.8-27B, poi una media dei pesi — 0,85 del nuovo modello combinato con 0,15 di v1 in fp32. Le dimensioni più piccole, da 0,8B a 9B, vengono distribuite come adattatori LoRA su basi Qwen3.5 anziché come checkpoint completi.

La parte che decide la forma dell'output è separata dal backbone linguistico. Kev porta una pointer head — circa 2,6 M parametri in fp32, posta sopra un backbone da 25,6 B per arrivare a 26 B — ed è ciò che trasforma uno stato nascosto in una probabilità sulle opzioni che hai indicato. pplx-decider svolge lo stesso compito con una readout head rilasciata di [255, 5120]: 255 opzioni su uno stato nascosto largo 5.120, in bf16.

Due architetture, un'idea: il modello linguistico legge, una piccola testa decide. Ecco perché nessuna delle due genera prosa, ed è anche il motivo per cui un punteggio di benchmark dell'una non si trasferisce all'altra anche quando entrambe vengono rapportate allo stesso modello di riferimento.

L'unico confronto diretto documentato, e perché non puoi sottrarlo

Entrambi i progetti riportano a Jev, il che rende allettante allinearli. Non fatelo.

La scheda personale di Kev contiene una riga Decision Index 0.2 che colloca Kev-27 v2 a 52 con 50.2 per v1, Jev a 54.0 e AutoJev-27 a 50.0. Si tratta di un confronto pulito, a parità di suite, a parità di suite, e vede Kev-27 v2 avanti di circa due punti, pur restando ancora dietro a Jev.

Le schede di pplx-decider riportano un risultato complessivo ponderato per suite di 61,56 per la v1.1, contro 56,4 per la v1 e 57,9 per Jev. Secondo i loro stessi numeri, si tratta di un guadagno di oltre cinque punti in una sola revisione e di un vantaggio su Jev di oltre tre punti e mezzo.

Quei due paragrafi non possono essere sottratti l'uno dall'altro. Suite diverse, mix di attività diversi, ponderazioni diverse — e nessuno dei due progetti pubblica le ponderazioni. Quello che si può dire è più limitato e comunque utile: entrambi si sono mossi nella stessa direzione nella stessa finestra, entrambi lo hanno fatto cambiando il modo in cui viene addestrato il readout piuttosto che sostituendo il backbone, e il margine dichiarato da pplx-decider su Jev è maggiore del deficit misurato di Kev. Questo è un motivo per testare pplx-decider, non un motivo per crederci.

Solo uno dei due ha una replica indipendente associata a uno qualsiasi dei suoi numeri. I tag Ollama di Kev pubblicano i conteggi di superamento di JevBench per tag — 205 su 231 per kev:27b-nvfp4, inclusi 86 su 111 nello split difficile, fino a 146 su 231 per kev:0.8b — con una nota esplicita che questi escludono 303 attività non disponibili, sigillate o valutate da giudici, e non sono un punteggio ufficiale della classifica. È un'esecuzione autonoma, ma è un'esecuzione autonoma che puoi ripetere. Per pplx-decider non esiste nulla di comparabile.

Cosa documenta Kev che pplx-decider non documenta

• Temperatura — Kev viene fornito con T = 1.32, un intervallo al 90% di [1.20, 1.45], applicato al caricamento, quindi le probabilità che ottieni sono già scalate. Le schede di pplx-decider non pubblicano alcuna temperatura, il che significa che qualsiasi calibrazione ti serva, sta a te adattarla.

• Scheda di addestramento — Kev v2 totalizza 129 ore GPU su 8× H200, un'epoca su 145.840 record e 337.130 domande, etichette prodotte da GLM-5.3, DeepSeek-V4-Pro, Inkling, Mistral Large 3, gpt-oss-120b e MiMo-V2.6-Pro senza utilizzare alcun output di Jev, e uno screening di contaminazione che ha rimosso 6.388 record in 102 partizioni di valutazione. pplx-decider documenta una pipeline basata su Bespoke Nimble di Bespoke Labs con sottoinsiemi di benchmark fissati tramite ID del record e checksum, e attribuisce i miglioramenti della v1.1 alla rimozione della maschera causale più i dati di addestramento aggiunti — ma non pubblica né il conteggio dei record, né le ore GPU, né l'elenco degli etichettatori.

• Segnalazione onesta delle regressioni — la scheda di Kev riporta i propri errori: transfer-v4 ha perso 0.8 punti, CUAD è sceso di 1.6, errore di calibrazione atteso su breadth-v1 a 0.015 contro 0.053 su CUAD, da due a quattro volte peggiore di v1, e nomina l'ottimismo di selezione nella propria valutazione. La tabella v1.1 di pplx-decider mostra che gli strumenti scivolano da 79.3 a 78.88 mentre ogni altra categoria sale, e nulla nella scheda ne fa menzione.

• Modalità di guasto — la scheda di Kev elenca l'ambito di screening della contaminazione e le condizioni in cui sono stati prodotti i suoi numeri pubblicati. La famiglia Decider, la linea di Mapika, va oltre e indica specifiche forme di input che la mettono in crisi; pplx-decider tace sulla questione.

Niente di tutto ciò dice che pplx-decider sia peggiore. La documentazione non è capacità — un laboratorio con un post di lancio in bozza ha incentivi diversi da un individuo che pubblica note su Hugging Face. Ma quando due modelli rivendicano la stessa classe di risultato e solo uno dei due ti dice la sua temperatura, quello che te la dice è quello che puoi mettere in produzione questo mese.

La contabilità del contesto, che è il punto in cui i due divergono maggiormente

• Kev — 65.536 token di stato, più almeno 8.192 token per domanda, con addestramento fino a 32.768. Con uno stato da 64k il footprint residente raggiunge circa 87,1 GB al picco, il tempo del modello è di 9,4 secondi, 733 ms in caso di cache hit, e 21,1 richieste al secondo su un singolo client contro 36,4 con sessantaquattro.

• pplx-decider — 8.192 token per testo e immagini combinati, con input di dimensioni eccessive rifiutati anziché troncati. La build di Ollama riporta una finestra di contesto di 256K, che nulla nel repository spiega e che non si concilia con il limite della scheda stessa.

Quel divario è la differenza più significativa in assoluto tra i due per carichi di lavoro reali. Kev è progettato per stati lunghi e per molte domande su di essi. pplx-decider è un modello denso da 27B con un budget di input relativamente ridotto, il che lo spinge verso documenti brevi, immagini e richieste che rientrano in qualche migliaio di token.

• Lingua — Solo inglese su entrambi, indicato come limitazione su entrambi.

• Visione — pplx-decider accetta testo, JSON e immagini, con i token di visione che costano all'incirca larghezza × altezza / 1024 e una configurazione di valutazione con un limite di 512×512. Kev non ha la visione nella linea 27B.

• Soglia di serving — Kev-27B richiede una GPU di classe 80 GB: 51,3 GB di pesi bf16, circa 65,5 GB residenti, 87,1 GB con uno stato a 64k, e il suo server si espone apertamente se KEV_API_KEY non è impostata. I pesi bf16 di pplx-decider sono circa 49 GiB, quindi la soglia è simile; la build quantizzata di Ollama si attesta a 17 GB, che è una macchina molto diversa.

• Livelli — Kev copre 0,5B, 0,6B, 0,8B, 4B, 8B, 9B e 27B, con le dimensioni piccole come adattatori LoRA. pplx-decider è una singola dimensione, rivisto due volte.

Organizzare il bake-off senza puntare su di esso

Entrambi i modelli sono raggiungibili come pesi locali, che è esattamente la situazione in cui uno strato di routing si ripaga. OrcaRouter non serve pplx-decider e non serve Kev — nessuno dei due è nel catalogo, e nulla di quanto scritto qui va letto come un'affermazione che li ospitiamo. Ciò che invece offriamo in questa classe è typesafe/jev-1.13, esposto attraverso la stessa forma di chiamata POST /v1/systemone a $0.042 per milione di token di input, ed è il naturale braccio di controllo: stessa interfaccia, stessi tipi di domanda, nessuna GPU propria.

Ciò rende economico allestire una gara comparativa a tre. Metti un pplx-decider locale e un Kev locale dietro lo stesso banco di prova contro un typesafe/jev-1.13 instradato, valuta tutti e tre sui tuoi documenti e lascia che il disaccordo tra loro ti dica dove si trovano davvero le tue soglie. Il failover automatico conta più del solito in questa configurazione, perché un 27B locale su una singola scheda è il componente meno affidabile della catena; instradare il fallback attraverso una sola API per oltre 200 modelli — prezzo di listino del provider passato con markup dello 0% — evita che l'esperimento si trasformi in un'interruzione. E quando un modello come pplx-decider raggiunge infine un endpoint ospitato, la stessa chiave che esegue il braccio di controllo lo esegue, senza un secondo contratto e senza modifiche al codice.

Cosa cambierebbe la risposta

Quattro cose, e tutte quante sono verificabili piuttosto che una questione di gusto.

Se pplx-decider raggiunge un provider di inferenza, la sua tabella di benchmark non verificata diventa una questione di prezzo contro latenza, e il divario nella documentazione smette di contare — pagheresti per un readout ospitato, non per mantenerne uno. Se una parte indipendente riproduce i numeri JevBench di uno dei due modelli su un harness pubblicato, l'intera comparazione si riduce a una singola suite invece che a due suite incompatibili.

Se la debolezza documentata di Kev sull'ECE su CUAD si rivela risolvibile con un refit anziché con un retrain, l'argomento sulla calibrazione contro di esso scompare in gran parte, perché Kev include già la sua temperature e le sue modalità di errore sono grandezze note. E se ti serve un modello decisionale su una scheda anziché due, la build quantizzata da 17 GB di pplx-decider è l'unica opzione qui — non perché sia migliore, ma perché ci sta dove un 27B a bf16 non ci sta.

Finché non accade una di quelle cose, l'interpretazione pratica è poco glamour. Kev è quello i cui numeri puoi ripetere oggi e di cui puoi fidarti che la calibrazione sia documentata; pplx-decider è quello con il tetto dichiarato migliore e la traccia cartacea più debole. Scegli il primo se rilasci questo mese. Porta il secondo nello stesso harness se sei il tipo di team che preferirebbe misurare un rilascio silenzioso piuttosto che aspettare un post di lancio.

Instradare il fallback attraverso il prezzo di listino del provider passato con markup 0% impedisce che una gara di valutazione a tre si trasformi in un'interruzione quando il checkpoint locale è il componente meno affidabile della catena.

Un test comparativo a tre è anche un buon momento per chiedersi che cosa abbia già fallito in questa categoria: gli incidenti di IA documentati e i fallimenti degli agenti che coinvolgono modelli decisionali sono raccolti in the OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.