pplx-decider-flash: il giudice silenzioso da 4B di Perplexity, letto dal repository

Perplexity ha caricato pplx-decider-flash-v1.2 su Hugging Face alle 16:57 UTC del 15 ottobre 2026, circa nove ore dopo aver caricato pplx-decider-v1.2, il grande modello decisionale che il marketing chiama 27B e la model card chiama 26B. Non siamo riusciti a trovare alcun post di lancio sul blog dell'azienda. Quello che è seguito è stato un thread dall'account sviluppatore su X, una sezione nella documentazione dell'API Decisions e una conversione GGUF tre giorni dopo. Questo è l'intero resoconto pubblico, ed è sufficiente a descrivere il modello con precisione ma non a dirti se sia adatto ai tuoi dati.

Quanto segue separa le tre cose che le persone di solito confondono: ciò che il repository dimostra, ciò che afferma la documentazione del fornitore e ciò che nessuno al di fuori di Perplexity ha verificato. L'ultima categoria è più ampia delle prime due.

Cosa è stato effettivamente spedito, e in che giorno

La cronologia del repository è inequivocabile. Perplexity ha creato pplx-decider-v1-27b il 1º ottobre 2026, pplx-decider-v1.1-27b il 5 ottobre, entrambi i checkpoint v1.2 il 15 ottobre e pplx-decider-flash-gguf-v1.2 il 18 ottobre. Il checkpoint Flash è stato il secondo caricamento di quel giorno, che è la forma ordinaria di una release abbinata: prima il modello di punta, poi il fratello minore distillato dietro di esso, così che entrambi arrivino sotto lo stesso annuncio.

Che quell’ordine conti per l’inquadratura. Non si tratta di un modello trapelato né di un repository vagante sfuggito prima delle sue scartoffie. È un rilascio coordinato con un’impronta pubblica volutamente leggera: un thread per sviluppatori anziché un saggio di lancio, documentazione anziché un hub di benchmark. L’API di Hugging Face riporta 4.667 download sul checkpoint base e 9.428 sulla conversione GGUF al 4 novembre, e 63 like. I conteggi dei download su Hugging Face sono un segnale debole: contano le richieste, non gli utenti distinti, e il traffico dei mirror li gonfia. Sono coerenti con un pubblico reale ma modesto di pesi aperti, non con un rilascio virale.

Che cosa ti dice il repository

La model card è insolitamente tecnica per una release di un fornitore, e gran parte di ciò che è conoscibile proviene da essa.

• Backbone — Qwen3.5-4B, con una testa di lettura BF16 separata di forma [255, 2560] invece di una testa di modello linguistico a vocabolario completo. Questo è un checkpoint decisionale, non un modello di chat con un wrapper di classificazione.

• Dimensione — 25 file per un totale di circa 9 GiB in BF16, che è quanto serve per contenere i pesi; la memoria di lavoro si aggiunge a questo.

• Numero di parametri — la documentazione API indica 4B, l'intestazione della model card indica 5B in BF16 e un indice di terze parti elenca 4,5B. Il backbone è un modello da 4B. Considera "4B class" la descrizione onesta e non citare un singolo valore come se fosse stato misurato.

• Attenzione — i layer ad attenzione completa operano in modo non causale sull'intera richiesta, mentre i layer ad attenzione lineare restano causali. Questo è il dettaglio che ti darà problemi: uno stack di serving causale standard produrrà numeri diversi, e i prompt scritti per la v1.1 non sono trasferibili.

• Posizione di lettura — la testa si attiva in corrispondenza di ogni <|fim_suffix|> marcatore anziché sul token finale, ed è così che un singolo passaggio in avanti può valutare più domande rispetto a un unico stato.

• Contesto — max_lengthil valore predefinito è 262.144 token, in linea con il backbone. L'addestramento ha utilizzato sequenze fino a circa 32.000 token, e la scheda specifica esplicitamente che input più lunghi sono supportati ma meno validati.

• Immagini — con limite massimo di 1,6 megapixel (1.638.400 pixel), minimo 65.536 pixel, con un'immagine da 1,6 MP che occupa circa 1.600 posizioni.

• Calibrazione — una temperatura salvata di 1,554. Su un set di sviluppo di 1.497 domande la scheda riporta un'accuratezza dell'88,8%, un errore di calibrazione atteso di 0,021 e un Brier score di 0,163; senza la temperatura l'errore sale a 0,057. Un fornitore che pubblica i propri numeri di calibrazione e il costo di trascurarli ti sta dicendo qualcosa di reale sull'uso previsto.

Una riga nella card non regge il confronto con l'API. Dice che il repository è privato e richiede un token con accesso. L'API di Hugging Face restituisce gated: false e private: false, e i pesi si scaricano senza richiesta di accesso. Una riga obsoleta in una card è una piccola cosa, ma è il tipo di piccola cosa che ti dice che la card è stata scritta prima della pubblicazione e non riletta dopo.

Cosa aggiunge la documentazione API

Il prezzo è il punto da cui parte il discorso su Flash. Sull'API Decisions, pplx-decider-flash-v1.2 costa 0,01 $ per milione di token di input. I token di output sono gratuiti e non c'è alcuna tariffa per richiesta, perché non ci sono token di output nel senso usuale — il modello restituisce probabilità e un punteggio atteso, e la documentazione conta ogni domanda come un token di output ai fini della contabilità.

La stessa pagina definisce l'inviluppo operativo:

• Alias — pplx-decider-flash-latest segue sempre la versione più recente, quindi una soglia configurata la settimana scorsa può puntare silenziosamente a un modello diverso dopo un aggiornamento. Fissa l'id con versione in tutto ciò che conta.

• Limiti di frequenza — 4.000.000 di token al minuto e 240.000.000 all'ora, con un tetto di 10 richieste al secondo condiviso tra entrambi i modelli decisionali a livello di organizzazione.

• Tipi di domanda — noul restituisce P(sì) da 0 a 1, choice restituisce probabilità su un massimo di 255 opzioni, e score restituisce una distribuzione sui livelli della rubrica.

• Budget delle domande — la documentazione consiglia una domanda per richiesta. Non è una nota di stile; è la differenza tra il prezzo che ti è stato quotato e il prezzo che paghi.

La regola di fatturazione che ribalta la raccomandazione

Il modello 27B risponde a ogni domanda di una richiesta in un'unica passata raggruppata e addebita lo stato una sola volta. Flash risponde a ciascuna domanda in modo indipendente, senza vedere le altre, e addebita di nuovo lo stato per ogni domanda. La documentazione fornisce l'esempio pratico: tre domande su uno stato di 10.000 token costano circa 30.000 token di input su Flash.

Fai il calcolo. Una domanda su uno stato da 10.000 token costa $0,0001 su Flash e $0,0002 sul 27B. Due domande costano $0,0002 su Flash e $0,0002 sul modello più grande: un pareggio. Tre domande costano $0,0003 su Flash e $0,0002 sul 27B. Il punto di incrocio è due domande per stato. La documentazione di Perplexity stessa afferma che il modello più grande «di solito costa meno di Flash» a partire da tre domande; il punto preciso è una domanda prima, e vale a qualsiasi prezzo di listino in cui Flash costa esattamente la metà della tariffa del 27B.

Questa è la cosa più utile in assoluto del rilascio, ed è facile da non notare perché il titolo è uno sconto del 50%. Un modello 4B a metà prezzo costa meno solo finché gli chiedi una cosa alla volta.

Il numero di cui diffidare

Perplexity riporta punteggi Decision Index 0.3 per entrambi i modelli. Flash ottiene 60.05 con una domanda per richiesta e 58.88 con richieste congiunte; il 27B ottiene 68.09 con richieste congiunte e 67.75 con una domanda per richiesta. Sul Vision Decision Index, Flash è 72.53 contro 77.43.

La ripartizione per categoria è più informativa del dato principale, perché mostra dove il 4B perde terreno. Sui numeri della prova congiunta di Flash rispetto ai numeri della prova congiunta del 27B:

• Conoscenze — 42,0 vs 56,3. Questo è il divario più ampio, 14,3 punti, ed è quello che decide se il modello è in grado o meno di gestire conoscenze aperte sul mondo.

• Lingua — 63,3 vs 72,8.

• Recupero — 64,8 vs 68,4. Il divario più ristretto, pari a 3,6 punti, che è coerente con il compito previsto: valutare se un passaggio risponde a una domanda è un compito più leggero che sapere la risposta.

• Strumenti — 76,7 vs 84,4.

• Arti — 46,8 vs 56,2.

• Complessivo — 58,88 vs 68,09.

Ognuna di quelle cifre proviene da un benchmark mantenuto da Perplexity. La scheda del 27B — l'insegnante in questa distillazione — è insolitamente schietta sul versante dell'addestramento: una parte del lavoro, si afferma, ha portato il modello "nel dominio" per alcune attività del Decision Index includendo gli split di addestramento ufficiali forniti da diversi benchmark, con gli split "decontaminati rispetto ai set di test" affinché il confronto resti equo. Si tratta di una posizione più accorta di quanto lasciasse intendere la copertura attorno al rilascio, e lascia comunque il tabellone nelle mani del fornitore. Nessuna terza parte ha verificato la disciplina degli split e nessuno ha riprodotto i numeri.

C'è una stranezza minore all'interno dei numeri stessi del fornitore che contrasta con il marketing. Flash ottiene un punteggio più alto quando risponde a una domanda alla volta — 60,05 contro 58,88. Il raggruppamento penalizza il 4B nel complesso anche se aiuta nei compiti strettamente accoppiati di selezione di tutte le opzioni applicabili, che è esattamente ciò che dice la documentazione. Il modello viene venduto sulla velocità delle richieste congiunte ed è misurato meglio senza di essa.

Ciò che non è ancora conoscibile

Le lacune sono specifiche, ed è per questo che si tratta di un articolo su ciò che sappiamo anziché di una recensione.

• Nessun benchmark indipendente. Nessuno al di fuori di Perplexity ha pubblicato riproduzioni del Decision Index né un confronto testa a testa su un harness neutrale.

• Nessun livello di servizio per la latenza. L'unico dato di velocità pubblicato dal fornitore è un test di documentazione datato 19 ottobre in cui circa 248.000 token di input hanno richiesto 16 secondi su Flash contro 53 secondi sul 27B. Si tratta di una misurazione lato fornitore senza hardware né percentile specificati.

• Nessuna valutazione multilingue. La scheda e la documentazione descrivono testo e immagini; nessuna delle due riporta l'accuratezza al di fuori dell'inglese.

• Nessun volume pubblicato di dati di addestramento. La scheda indica che Flash è stato distillato dal 27B sulle richieste di addestramento del modello più grande, con lo studente che apprende le distribuzioni di probabilità complete dell'insegnante anziché solo le sue risposte, e che diverse esecuzioni sono state combinate tramite media dei pesi. Non specifica quanto dati ciò abbia comportato, da dove provengano né dove si collochi il limite temporale.

• Nessuna analisi degli errori pubblicata. Per un modello il cui output è una probabilità sulla quale applicherai una soglia, non esiste una suddivisione di dove fallisce — per tipo di domanda, per numero di opzioni, per lingua o per contenuto dell'immagine.

Dove si colloca un modello come questo all'interno di uno stack

Vale la pena chiarire a cosa serve Flash, perché il nome induce un'aspettativa sbagliata. Non scrive nulla. Gli si passa uno stato — testo, JSON, immagini — e una o più domande tipizzate, e restituisce una probabilità o una distribuzione su cui il tuo codice applica una soglia. L'architettura naturale è un filtro economico davanti a qualcosa di costoso: classificare la richiesta, decidere se recuperare, scegliere uno strumento, poi generare.

Quel gate non sostituisce il livello di generazione, ed è qui che il routing conta. OrcaRouter espone oltre 200 modelli di generazione dietro un'unica chiave API senza ricarichi sui prezzi di listino dei provider, così un taglio di prezzo da qualsiasi fornitore upstream è attivo lo stesso giorno invece di aspettare il foglio di calcolo di un rivenditore. Se il gate classifica erroneamente, il failover automatico evita che la richiesta muoia all'hop successivo. Ciò che non facciamo è ospitare pplx-decider-flash: non è nel nostro catalogo, e il modo onesto di eseguirlo oggi è l'API del fornitore stesso o i pesi Apache-2.0 sulla tua GPU.

I calcoli per il self-hosting sono ragionevoli se hai già l'hardware. Circa 9 GiB di pesi BF16 entrano in una scheda consumer da 16 GB, e la copertura del rilascio ha ripetuto un'affermazione dell'amministratore delegato di Perplexity secondo cui Flash gira su un Mac M4 con 16 GB di memoria. Nessun dato pubblicato sul throughput lo supporta, e l'attenzione non causale significa che non puoi semplicemente inserirlo in un server di inferenza causale standard e aspettarti i punteggi della scheda.

Cosa cambierebbe questa valutazione?

Quattro cose, in ordine di utilità. Una riproduzione neutrale di Decision Index 0.3 che confermi il 60.05 oppure spieghi la discrepanza. Una distribuzione della latenza pubblicata dall’API anziché un singolo test nella documentazione. Prove su input multilingue, dato che un classificatore 4B è esattamente il tipo di modello che i team indirizzeranno verso traffico non inglese senza verificarlo. E un post tecnico di prima parte che descriva i dati di addestramento dietro quella distillazione.

Fino ad allora, la posizione difendibile è ristretta e utile: pplx-decider-flash-v1.2 è un modello decisionale reale, scaricabile, Apache-2.0, di classe 4B, con un prezzo pubblicato, una temperatura di calibrazione documentata e una regola di fatturazione che lo rende più costoso del suo fratello maggiore nel momento in cui si inviano le domande in batch. Tutto il resto è la classifica di Perplexity, e dovresti trattarlo come un'ipotesi da testare sui tuoi dati etichettati piuttosto che come un risultato.