pplx-decider su Ollama: il modello decisionale silenzioso da 27B di Perplexity diventa eseguibile

Perplexity ha pubblicato i pesi di pplx-decider-v1.1-27b il 2026-10-05, e il primo checkpoint che ha sostituito, pplx-decider (nome del repository pplx-decider-v1-27b), il 2026-10-01. Entrambi sono fine-tuning di Qwen3.8-27B che rispondono in probabilità invece che in frasi, ed entrambi appartengono alla stessa discendenza System One di TypeSafe, come Jev 1.13. Ciò che è nuovo non è il modello: da oggi, pplx-decider è una voce nella libreria di modelli di Ollama stessa, installabile con un solo comando. Prima che comparisse quell'inserimento, eseguire questo checkpoint richiedeva una GPU CUDA con spazio per circa 49 GiB di pesi bf16. Ora è un download quantizzato da 17 GB su un laptop. È di questo singolo cambiamento che parla questa pagina, e il modello che rende eseguibile ha quattordici giorni.

Cosa è cambiato, in termini concreti

La voce della libreria Ollama si chiama pplx-decider, e la libreria ha raccolto costantemente modelli decisionali — Laya, Nimble, Kev, Clef, Strands Decider — nel corso dell'autunno. Questa è l'aggiunta più recente e, sul registro mantenuto, espone tre tag (pplx-decider:latest, pplx-decider:27b e pplx-decider:27b-q4_K_M) che risolvono allo stesso digest del manifest. Un singolo artefatto, non una scala di dimensioni.

• Formato — GGUF servito da llama.cpp, rispetto agli shard bf16 safetensors su Hugging Face

• Dimensione del download — circa 17 GB con q4_K_M, rispetto a circa 49 GiB di pesi più memoria di lavoro per il checkpoint bf16

• Livello di visione — il manifest include un proiettore separato da ~927 MB accanto al livello del modello, quindi l'input delle immagini è pacchettizzato insieme ai pesi testuali

• Hardware — una macchina consumer invece di una macchina CUDA

L'interfaccia è l'endpoint /v1/systemone di Ollama, che ha aggiunto nella v0.35.0 e ha esteso per i modelli Clef nella v0.35.1. Ha anche appena acquisito un front end a riga di comando: la v0.40.4, rilasciata il 2026-10-12, ha aggiunto modelli decisionali a ollama run, così si può chiedere direttamente da un terminale una domanda sì/no, la scelta di un'etichetta o un punteggio di rubric con --ask, --choice e --level. Quella versione è vecchia di tre giorni; il modello che essa rende comodo è vecchio di due settimane.

Che cosa documenta effettivamente il repository

Il checkpoint non è un modello conversazionale con un prompt conciso. La sua scheda descrive un layout decisionale nativo: il backbone Qwen3.8-27B con il nome di classe rilasciato, più un file separato readout.safetensors che contiene una testa decisionale bf16 [255, 5120] — un readout a 255 vie sugli slot delle opzioni, non una testa linguistica a vocabolario completo. Non esiste alcun ciclo di decodifica. Ogni opzione di ogni domanda viene valutata in un'unica passata in avanti, ed è per questo che la risposta riporta zero token di output.

Tre dettagli nella scheda contano più della tabella di benchmark, perché sono quelli che fanno fallire un'integrazione ingenua:

• Modalità di attenzione.I layer ad attenzione completa usano una modalità non causale salvata, e la scheda dice chiaramente che l'inferenza causale predefinita non riproduce la configurazione valutata. Avvia il checkpoint con un loader causale standard e ottieni numeri che non sono quelli pubblicati.

• Temperatura di calibrazione. Il metodo DecisionModel.predict fornito applica una temperatura salvata. Se leggi i logit direttamente, applicala esattamente una volta: applicarla due volte, o non applicarla affatto, altera la scala di ogni probabilità su cui poi dirami.

• Un limite decisionale reale. Il testo e tutte le immagini relative a una singola decisione devono rientrare in un budget di 8.192 token, e gli input che superano il limite vengono rifiutati anziché troncati. L'addestramento e la valutazione riportata limitavano le immagini a 512×512; ora è possibile innalzare tale limite tramite max_image_pixels, con valore predefinito 2048×2048, ma la scheda avverte che le risoluzioni più elevate si collocano al di fuori della distribuzione di addestramento.

Il repository è per il resto insolitamente completo per un modello che nessuno ha annunciato: undici shard safetensors, un decision_config.json, un template di chat e un release-manifest.json che registra i checksum dei file e la provenienza del checkpoint. La licenza è Apache 2.0.

Due parti della documentazione si sono disallineate. La scheda v1.1 ti dice ancora di autenticarti su "questo repository privato" — oggi il repository risulta pubblico. E la scheda v1 più vecchia contiene un puntatore new_version a v1.1, che è il segnale onesto che v1 è stata superata.

L'unica cosa da verificare prima di pianificare di conseguenza

L'annuncio di Ollama pubblicizza una finestra di contesto di 256K. Quel numero sembra essere ereditato dal modello di base — Qwen3.8-27B possiede effettivamente 262.144 posizioni — e non è il contratto che il checkpoint decisionale documenta per sé. Il checkpoint rifiuta qualsiasi decisione il cui testo più le immagini superi 8.192 token. Progetta una pipeline su 256K, forniscile un contratto da 40.000 token più quattro immagini di pagina, e la richiesta fallisce anziché essere ridotta. La cifra più grande descrive l'architettura; quella più piccola descrive l'API che stai effettivamente chiamando.

Il supporto immagini presenta un caso limite simile. La scheda del modello Ollama per pplx-decider mostra una richiesta di immagine verso /v1/systemone, ma la pagina delle capacità di Ollama per quell'endpoint afferma che le immagini sono "solo per i modelli Clef". Uno dei due documenti è obsoleto. Considera l'input multimodale su questo percorso come non verificato finché non l'hai eseguito tu stesso — il checkpoint sottostante accetta chiaramente immagini, e il manifest include chiaramente un proiettore, ma il gate documentato del runtime è più restrittivo di quanto lasci intendere la scheda del modello.

Un numero di fornitore e un numero diverso

La valutazione condotta da Perplexity stessa per il checkpoint v1.1 riporta un Decision Index di 61,56 contro 57,9 per Jev sulla stessa suite e 56,4 per il checkpoint che ha sostituito, con i maggiori incrementi per categoria in linguaggio (69,45) e retrieval (61,26). Queste cifre sono riportate dal fornitore e sono state prodotte internamente a Perplexity; per il checkpoint precedente, la scheda va oltre e afferma che i risultati sono stati misurati tramite l'API di Perplexity. È una cosa legittima da pubblicare e una cosa poco solida su cui basarsi.

Il quadro indipendente è più utile. Una classifica comunitaria aperta per questa classe di modelli, il Jev Decision Index, ha assegnato punteggi a pplx-decider-v1.1-27b sul proprio panel e il suo rilascio di dati del 2026-10-14 riporta che il checkpoint completa 110.179 dei 110.201 casi valutati su 42 benchmark su una singola RTX PRO 6000. In quella classifica il modello ottiene un punteggio di abilità bilanciato di 62,75 e la sesta posizione, con Jev dodicesimo a 60,11. Dagli stessi dati emergono due cose che la tabella del fornitore non mostra:

• Dove è forte.ARC-Easy 99.3, ARC-Challenge 97.0, decisioni sì/no per chiamate di funzione (BFCL) 97.2, FinEntity 95.4, BPoMP 95.2, CLINC150 91.5. Le classiche attività di classificazione e recupero sono il campo in cui questo checkpoint si dimostra prezioso.

• Dove non lo è. Humanity's Last Exam 16.2, ChessBench 17.7, SATA-Bench 28.2, ACOS 28.2, il set di dialoghi guidati da schema 33.2, BRIGHT 50.9, GPQA Diamond 56.1. Il ragionamento complesso a più passaggi non è ciò che ti offre una lettura in un'unica passata, e uno stack che instrada silenziosamente il lavoro di ragionamento verso un modello decisionale produrrà con sicurezza rami sbagliati.

La calibrazione merita una riga a sé, perché è il punto centrale di un modello che restituisce probabilità invece di etichette. Su 34.829 decisioni valutate in modo indipendente, il checkpoint ha ottenuto in media un'accuratezza del 76,1 per cento contro una confidenza media dell'82,9 per cento — un errore di calibrazione atteso di 0,071 e un punteggio di Brier di 0,335, con il 2,0 per cento dei casi che si collocava sopra una confidenza di 0,95 e risultava comunque sbagliato. Questa è una superficie di probabilità utilizzabile ma non impeccabile, ed è misurabilmente meglio calibrata rispetto all'ECE di 0,074 di Jev sulla stessa classifica. Se stai impostando una soglia di 0,9 e la tratti come quasi una certezza, quel 2 per cento è il numero attorno a cui progettare.

La latenza sullo stesso hardware è risultata pari a una mediana di 104 ms e a un p95 di 835 ms su 110.000 decisioni, il che costituisce l'argomento pratico a favore di un modello decisionale rispetto a un piccolo modello linguistico in posizione di gating: il p95 è il budget, non la media.

Quanto costa una decisione

Perplexity gestisce la propria API Decisions ospitata per questi checkpoint — POST https://api.perplexity.ai/v1/decisions, con pplx-decider-v1.1-27b come ID del modello predefinito e il checkpoint precedente ancora indirizzabile. Quella pagina dei prezzi elenca 0,02 $ per milione di token di input, token di output gratuiti e nessuna commissione per richiesta, con un massimo di 128 domande per richiesta, 262.144 token di input e 10 richieste al secondo per organizzazione.

Di contro, il percorso locale non costa nulla per decisione una volta che i 17 GB sono arrivati. Per una coda di triage che esegue una manciata di domande tipizzate per ticket, quell’aritmetica si risolve da sé — e vale la pena notare che il tetto della versione hosted di 262.144 token di input non è il limite che la tua copia locale imporrà, perché il budget del checkpoint stesso è 8.192.

Dove la route locale non è la risposta c'è il resto dello stack attorno alla decisione. Questo è un modello 27B che restituisce una probabilità per ogni opzione; non redigerà la risposta, non riassumerà il ticket né chiamerà lo strumento. Se vuoi la decisione e la scrittura dietro un'unica chiave, è a questo che serve OrcaRouter — una sola API su oltre 200 modelli con prezzo di listino del provider passato senza ricarico per token, più il DSL di routing quando vuoi un modello decisionale e un modello di scrittura composti in un'unica chiamata. Due elementi di questa particolare storia sono già sulla piattaforma: il checkpoint di base è servito come Qwen3.8-27B, così puoi confrontare il fine-tune con la sua stessa base sulla stessa chiave, e il modello di riferimento con cui viene misurato è servito come Jev 1.13 attraverso la stessa forma di endpoint systemone. Il decider di Perplexity non è tra quelli che offriamo — è disponibile tramite l'API di Perplexity stessa e diverse piattaforme di terze parti — quindi se ti serve specificamente, il pull locale sopra e l'endpoint di Perplexity sono le tue strade.

Tre domande a cui il repository non risponde

Quale checkpoint è presente nell'artefatto quantizzato? La voce della libreria Ollama prende il nome dalla famiglia, non da una versione, e il suo blocco di benchmark rimanda al repository v1 — la tabella degli 11 benchmark riporta l'85,7 per cento, che è il valore complessivo della scheda v1 e non la suite Decision Index di v1.1. v1.1 è il checkpoint più forte secondo i calcoli della stessa Perplexity, e non è evidentemente quello che stai scaricando. Controlla il digest prima di fondare le tue conclusioni su questo presupposto.

Perplexity intendeva che tutto questo fosse pubblico? Non è emerso alcun annuncio, post sul blog, voce di changelog o avviso di disponibilità API per questi pesi. I checkpoint sono stati letti da migliaia di persone — 2.740 download per la v1 e 3.154 per la v1.1 al momento della scrittura — ma l'attenzione su una model card non equivale a un fornitore che ne dichiara il supporto. Considera il repository pubblico come l'artefatto autorevole e tutto il resto come inferenza.

È in arrivo una versione ospitata dal fornitore e annunciata ufficialmente? Non è noto. L'esistenza di una Decisions API documentata e a pagamento da parte di Perplexity suggerisce che la via ospitata sia il prodotto previsto e che i pesi siano a monte di essa. Ma questa è una congettura sulle intenzioni, non un fatto tratto da un documento, ed è etichettata come tale.

Chi dovrebbe muoversi, e chi no

Se la tua pipeline dirama già su decisioni tipizzate del provider — instradamento dei ticket, rilevamento dei rimborsi, gating dei passi dell'agente — questo è un checkpoint di due settimane con punteggi riprodotti in modo indipendente, una licenza Apache 2.0 e, da oggi, un percorso da 17 GB su hardware di tua proprietà. La valutazione suggerisce che sia meglio calibrato del modello di riferimento e circa due posizioni meglio su una classifica pubblica, e la copia locale elimina del tutto il costo per decisione. Scaricalo, eseguilo sui tuoi esempi etichettati e confrontalo con qualunque cosa usi ora. Il budget decisionale di 8.192 token è il vincolo su cui testare per primo, non i 256K pubblicizzati nell'annuncio.

Se hai bisogno di ragionamento piuttosto che di classificazione, aspetta. Il panel indipendente colloca questo checkpoint nella fascia bassa dei dieci punti percentuali sui benchmark di conoscenza avanzata, e una superficie di probabilità che si mostra sicura su una domanda a cui non è in grado di rispondere davvero è peggiore in produzione di un modello lento che prima riflette. A favore di un modello decisionale ci sono la mediana di 104 ms e il fatto che sessanta domande costano una sola passata — e niente di tutto ciò serve quando le risposte sono sbagliate.

Eseguire la fase decisionale sul tuo hardware è anche un buon momento per dare un'occhiata a ciò che è già andato storto in questa categoria: gli incidenti AI documentati e i fallimenti degli agenti che coinvolgono modelli decisionali sono raccoltinell'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, il livello di gravità, il grado di confidenza e il flag di contestazione.