pplx-decider-flash vs pplx-decider: il 4B è più economico finché non fai tre domande

Sul listino prezzi, pplx-decider-flash-v1.2 costa la metà di quanto pplx-decider-v1.2 costa: $0,01 per milione di token di input contro $0,02. Secondo le regole di fatturazione, quello sconto vale per esattamente una domanda. Fai due domande sullo stesso stato e i due modelli costano lo stesso. Fanne tre e il modello 4B è quello più costoso, perché Flash fattura di nuovo lo stato per ogni domanda mentre il 27B lo fattura una volta sola. Il modello più economico è più economico solo se gli fai una piccola domanda alla volta.

Quell'inversione è la parte utile di questo confronto. Il resto è un consueto compromesso sulle dimensioni: un checkpoint da 4B che vince in latenza e memoria contro un modello da 26 miliardi di parametri che vince in accuratezza, con entrambi distribuiti sotto la stessa licenza Apache-2.0 e lo stesso contesto predefinito di 262.144 token.

Due checkpoint, una release, compiti diversi

Perplexity li ha pubblicati entrambi il 15 ottobre 2026, il modello large alle 07:40 UTC e Flash alle 16:57. Condividono un design: un backbone Qwen, una testa di readout a 255 vie invece di una testa di modello linguistico, strati di full-attention non causale e una temperatura di calibrazione salvata. Non condividono il backbone. pplx-decider-v1.2 è basato su Qwen3.8-27B e viene distribuito a circa 52 GiB in BF16. pplx-decider-flash-v1.2 è basato su Qwen3.5-4B e viene distribuito a circa 9 GiB.

La denominazione è più approssimativa dei numeri. Il modello large è venduto come 27B, ma la sua stessa scheda indica 26B in BF16. Flash è venduto come 4B nella documentazione API, mentre l'intestazione della sua scheda indica 5B in BF16 e il suo backbone è un modello da 4B. Nessuna delle due discrepanze cambia una decisione di deployment; entrambe è utile conoscerle prima di indicare un numero di parametri in un piano di capacità.

Il listino prezzi, prima dell'asterisco

• Prezzo di input — pplx-decider-flash-v1.2 a $0,01 per milione di token rispetto a pplx-decider-v1.2 a $0,02.

• Prezzo dell'output — gratuito su entrambi, senza alcun costo per richiesta. Ogni domanda conta come un token di output solo ai fini contabili.

• Limiti di frequenza — 4.000.000 di token al minuto e 240.000.000 all'ora, con un tetto di 10 richieste al secondo condiviso tra entrambi i modelli a livello di organizzazione.

• Alias — pplx-decider-flash-latest e pplx-decider-latest passano entrambi alla versione più recente, quindi una soglia calibrata su una versione può incontrare silenziosamente un'altra.

L'asterisco non è nascosto. La documentazione di Perplexity afferma chiaramente che Flash è progettato per una domanda per richiesta, che inviare più domande produce risposte indipendenti senza alcun interscambio e che lo stato viene fatturato di nuovo per ciascuna di esse. Porta persino l'esempio: tre domande su uno stato da 10.000 token costano circa 30.000 token di input.

Dove la seconda domanda cancella lo sconto

La forma generale è semplice. Per uno stato di s token e q domande, Flash costa q × s × $0,01 per milione e il 27B costa s × $0,02 per milione. Il costo di Flash supera quello del modello grande alla terza domanda.

• Una domanda, stato di 10.000 token — Flash $0.0001 vs 27B $0.0002. Flash vince a metà prezzo.

• Due domande, stesso stato — Flash $0.0002 vs 27B $0.0002. Un pareggio, non uno sconto.

• Tre domande — Flash $0.0003 vs 27B $0.0002. Il 4B costa il 50% in più.

• Cinque domande — Flash $0.0005 vs 27B $0.0002. Il 4B ha un prezzo due volte e mezzo superiore.

In termini assoluti si tratta di frazioni di centesimo, ed è per questo che la regola è facile da trascurare e che si accumula con il volume. Un gate che esegue un milione di richieste da tre domande su stati da 10.000 token costa circa 300 $ su Flash e 200 $ sul 27B. Il modello che sembra il 50% più economico è il 50% più costoso nel carico di lavoro in cui il batching sarebbe normalmente un'ottimizzazione.

La documentazione di Perplexity afferma che il modello più grande "di solito costa meno di Flash" con tre o più domande. Il punto esatto di pareggio è due. Se le tue domande sono davvero accoppiate — aspetti di tipo seleziona tutte le opzioni applicabili di un'unica decisione — anche il percorso congiunto è quello accurato. Se sono punteggi di candidati indipendenti, la documentazione consiglia di suddividerle in richieste separate, il che fa salire ulteriormente il costo di Flash lasciando invariato quello del 27B.

Il divario di accuratezza, categoria per categoria

Entrambi i modelli vengono valutati sul Decision Index 0.3, la metrica composita proprietaria di Perplexity. Il dato principale è 60,05 per Flash con una domanda per richiesta, contro 68,09 per il 27B con richieste congiunte. La ripartizione per categoria, confrontando run congiunti con run congiunti, mostra da dove deriva il divario di 9,2 punti tra i run congiunti.

• Conoscenze — 42,0 vs 56,3. Un divario di 14,3 punti, e quello che dovrebbe decidere la maggior parte dei deployment. Se la domanda richiede di sapere qualcosa anziché di giudicare qualcosa, il 4B non è un sostituto.

• Lingua — 63,3 vs 72,8.

• Retrieval — 64,8 vs 68,4. Il divario più stretto: 3,6 punti. Giudicare se un passaggio supporta un'affermazione è il compito per cui Flash è stato creato, e i numeri lo dimostrano.

• Strumenti — 76,7 vs 84,4. Entrambi i modelli sono più forti qui in termini assoluti, il che si adatta al caso d'uso del routing.

• Arti — 46,8 vs 56,2.

• Vision — 72,53 vs 77,43 sul Vision Decision Index, un divario di 4,9 punti più contenuto di quello sul testo, che rende Flash più competitivo sulle immagini che sulla prosa.

L'avvertenza ovvia vale per ogni dato riportato sopra: il benchmark appartiene al fornitore e nessuna terza parte lo ha riprodotto. La scheda del 27B afferma che il lavoro di addestramento includeva le suddivisioni ufficiali di addestramento di diverse attività del Decision Index, decontaminate rispetto ai set di test; si tratta di una prassi dichiarata, non sottoposta ad audit. Considera il profilo per categorie come un'ipotesi su dove ciascun modello sia forte — conoscenza e arti per il 27B, recupero e strumenti per entrambi — anziché come un risultato misurato.

L'asimmetria della richiesta congiunta

Raggruppare le domande aiuta il modello grande e danneggia quello piccolo, e i numeri di Perplexity lo confermano.

• pplx-decider-v1.2 — 68,09 congiunto vs 67,75 singolo per richiesta. Il raggruppamento aggiunge 0,34 punti.

• pplx-decider-flash-v1.2 — 58,88 in modalità congiunta vs 60,05 uno per richiesta. Il raggruppamento costa 1,17 punti.

La documentazione spiega il meccanismo: il 4B perde precisione quando risponde a più domande insieme, ed è per questo che una domanda per richiesta è l'impostazione predefinita consigliata. Ciò che i numeri aggiungono è che la perdita è abbastanza grande da emergere nel punteggio complessivo, non solo nei casi limite. Il modello è pubblicizzato per la velocità in un singolo passaggio e ottiene misurazioni migliori senza il singolo passaggio. Se raggruppi comunque per inseguire il throughput, stai pagando due volte per la velocità: una in token e una in precisione.

Calibrazione: più vicina di quanto suggerisca il divario di accuratezza

Entrambe le schede rendono pubblica la calibrazione in modo onesto, il che è abbastanza raro da meritare una menzione.

• Temperatura salvata — 1.554 su Flash rispetto a 1.382 sul 27B.

• Accuratezza sul set di sviluppo — 88,8% su 1.497 domande per Flash contro 91,3% per il 27B.

• Errore di calibrazione atteso dopo la temperatura — 0,021 per Flash vs 0,014 per il 27B.

• Punteggio di Brier — 0,163 vs 0,134.

Flash è meno accurato e meno ben calibrato, come ci si aspetta a un settimo della dimensione, ma il divario di calibrazione è di 0,007 ECE — abbastanza piccolo che una soglia messa a punto sul 27B spesso si trasferirà. La scheda del 27B è anche schietta nel dire che i dati decisionali tenuti da parte restano in qualche modo troppo sicuri, con ECE intorno a 0,05, quindi nessuno dei due modelli è un sostituto per l'ottimizzazione delle soglie sui propri dati. La documentazione di Perplexity dice esattamente questo: valuta entrambi su dati etichettati alle soglie che intendi usare e mantieni Flash solo se raggiunge il tuo obiettivo di accuratezza.

Self-hosting: 9 GiB contro 52 GiB

Entrambi sono Apache-2.0, quindi il prezzo della versione hosted è una comodità più che un vincolo. La differenza hardware è la separazione più netta tra i due.

• Pesi — circa 9 GiB BF16 per Flash rispetto a circa 52 GiB per il 27B, più la memoria di lavoro su entrambi.

• Hardware — Flash entra in una scheda consumer da 16 GB; il 27B richiede un acceleratore serio o una suddivisione multi-GPU.

• Servizio — nessuno dei due si inserisce invariato in un server causale standard. I layer ad attenzione completa operano in modo non causale e i prompt scritti per la v1.1 non sono trasferibili.

• Contesto — 262.144 token su entrambi per impostazione predefinita, con addestramento convalidato solo fino a circa 32.000 e le schede che avvertono che gli input più lunghi sono meno testati.

L'auto-hosting di Flash è l'unica variante di questo confronto in cui il 4B vince incondizionatamente. Una singola scheda da 16 GB, una licenza permissiva e nessun costo per token sono un prodotto genuinamente diverso da un checkpoint da 52 GiB che richiede un team di serving.

Una regola decisionale che puoi applicare

• Una domanda per stato, volume elevato — Flash. Il vantaggio economico è reale e la perdita di precisione è concentrata nei compiti di conoscenza che puoi indirizzare altrove.

• Due o più domande per stato — il 27B. Con due il prezzo è in parità, da tre in poi costa meno ed è più accurato in modalità congiunta; il divario si amplia con ogni domanda aggiuntiva.

• Valutazioni ad alta intensità di conoscenza o di rubriche — il 27B. Un divario di 14,3 punti sulla conoscenza non è qualcosa che un prompt migliore riesce a colmare.

• Gating del recupero e scelta degli strumenti — Flash è difendibile. I divari lì sono di 3,6 e 7,7 punti, e il carico di lavoro è esattamente ciò per cui il modello è stato creato.

• Distribuzione su dispositivo o su singola GPU — Flash, senza una vera alternativa in questa coppia.

• Visione — una delle due, con il 27B avanti di 4,9 punti; se già usi il 27B per il testo, spostare la visione su Flash comporta pochi benefici.

Su qualunque lato dello split ti trovi, il decider è la parte economica della pipeline. La generation che esso controlla è dove vanno i soldi, ed è quello lo strato che vale la pena ottimizzare. OrcaRouter metteoltre 200 modelli dietro un'unica chiavesenza ricarichi sui prezzi di listino dei provider, così un taglio di prezzo a monte arriva lo stesso giorno, e il failover automatico copre il caso in cui il gate invii una richiesta a un modello degradato. Il DSL di routing compone i modelli che serviamo; nessuno dei due checkpoint pplx-decider è tra questi, quindi uno split Flash-contro-27B deve risiedere nel tuo codice. Il decider ospitato nel nostro catalogo è Jev di TypeSafe, come jev-1.13 e jev-1.14.

Il test che nessuno dei due fornitori ha pubblicato

Tutto quanto sopra è una decisione basata sulla documentazione del fornitore. Il test che lo risolverebbe è noioso e specifico: prendere mille richieste reali, etichettarle ed eseguire entrambi i modelli alla soglia che intendi usare con una domanda e con tre. Registrare accuratezza, errore di calibrazione e token totali fatturati. La previsione basata sui numeri pubblicati è che Flash vince il carico di lavoro con una sola domanda sul costo e perde quello con tre domande sia sul costo sia sull'accuratezza. Se questo vale, la scelta è una proprietà della forma delle vostre richieste, non del vostro budget — e il team che lo misura sceglierà correttamente, mentre chiunque legga il listino prezzi sceglierà il modello che è il 50% più economico sulla carta e il 50% più caro in produzione.