pplx-decider-flash vs Laya: due tipi di modello decisionale, un confronto sbagliato

I numeri che circolano sono ordinati e inutili. Un indice di confronto assegna a Laya 69,5 e a pplx-decider-flash-v1.2 68, un quasi pareggio. Un altro assegna a Flash 73,7 e lo colloca al primo posto su 48. Un terzo dà a Flash 451 su 504 contro i 240 di Laya multilingual. Tre fonti, tre verdetti, perché ciascuna misura un modello diverso su un insieme di attività diverso — e almeno due delle tre misurano una variante di Laya senza dire quale. Questo è il confronto che conta davvero, e la prima frase onesta è che nessuno lo ha ancora eseguito come si deve.

Ciò che può essere confrontato è la forma dei due sistemi: ciò che sono progettati per fare, quanto costa farli funzionare e ciò che ciascuno richiede da te prima di produrre una probabilità utilizzabile. Su questi assi non sono rivali vicini. Sono prodotti diversi che si trovano a condividere un titolo professionale.

Un paragrafo ciascuno

pplx-decider-flash-v1.2 è un modello decisionale multimodale di classe 4B di Perplexity, costruito su una backbone Qwen3.5-4B con una testa di lettura separata a 255 vie. Gli si fornisce uno stato — testo, JSON o un'immagine fino a 1,6 megapixel — e domande tipizzate, e restituisce probabilità calibrate in un'unica passata forward. È progettato per funzionare zero-shot: la temperatura salvata è 1,554 e la card riporta un'accuratezza dell'88,8% con un errore di calibrazione atteso di 0,021 su un set di sviluppo di 1.497 domande. È Apache-2.0, circa 9 GiB in BF16, e costa $0,01 per milione di token di input sull'API di Perplexity con output gratuito.

Laya è una famiglia di encoder decisionali non autoregressivi di Convai Innovations, rilasciata il 18 settembre 2026 e anch'essa con licenza Apache-2.0. Il checkpoint inglese è un ModernBERT-large perfezionato da 421 milioni di parametri con una finestra di contesto di 512 token; il modello multilingue è un mmBERT-base da 322 milioni di parametri con 1.024 token; un terzo checkpoint, laya-typed-decisions, è quello che ottiene i punteggi principali. Risponde a tutte le domande di una chiamata in un unico passaggio in avanti utilizzando token maschera per opzione, senza alcuna fase di generazione e senza input di immagini.

Perché le tabelle di confronto non concordano

La discrepanza nasce dal benchmark che ciascun fornitore ha costruito. Perplexity valuta i propri modelli su Decision Index 0.3, un indice composito che copre conoscenza, linguaggio, retrieval, strumenti e arti. Convai valuta Laya su un benchmark di decisioni tipizzate da 400 casi e 2.000 decisioni, che pubblica anch'esso. Nessuno dei due modelli è stato eseguito pubblicamente sull'harness dell'altro.

Gli indici di terze parti colmano male quella lacuna. Il composito di Anchor Terminal colloca Laya al quarto posto con 69,5 e Flash al sesto con 68, una differenza di 1,5 punti che rientra ampiamente nel rumore di un composito che nessuno può verificare. Ollaya Bench riporta 73,7 complessivo e il primo posto su 48 per Flash, con un'accuratezza macro dell'82,4%, ma non pubblica alcun harness. Una suite di task realizzata da Jev assegna a Flash 451/504 e a Laya multilingual 240 — una disfatta, su una suite scritta dai maintainer di un modello concorrente. La pagina di PublicAI riesce a registrare che Flash batte Laya 322M e Laya multilingual, mentre perde anche 3–0 contro una "Laya" senza nome.

Quell'ultima voce è l'intero problema in miniatura. "Laya" non è un unico modello. Confrontare Flash con un encoder inglese da 421M, un encoder multilingue da 322M e uno specialista di benchmark fine-tuned produce tre risposte diverse, e solo una di esse è quella che metteresti effettivamente in produzione.

Il tabellone che possiamo difendere

Queste sono le dimensioni in cui i due sistemi divergono realmente, con i dati pubblicati da ciascuna delle due parti e le fonti indicate.

• Parametri — pplx-decider-flash-v1.2 è di classe 4B (la documentazione API indica 4B, l'intestazione della card indica 5B in BF16) rispetto a Laya con 421M in inglese e 322M multilingue.

• Contesto — 262.144 token su Flash, addestrato a circa 32.000 rispetto a 512 token su Laya English e 1.024 su multilingue.

• Modalità — Flash accetta testo, JSON e immagini fino a 1,6 MP, mentre Laya accetta solo testo.

• Uso zero-shot — Flash viene fornito già calibrato, con una temperatura salvata e metriche di errore pubblicate rispetto ai checkpoint di base di Laya, che la card stessa definisce "una base veloce da specializzare, non un motore decisionale zero-shot".

• Latenza — Laya a 32,8 ms per una domanda su una T4, 72,3 ms per dieci, 103–332 domande al secondo in batch, e 193–464 ms su CPU rispetto a Flash senza alcuna cifra di livello di servizio pubblicata da Perplexity; l'unica cifra pubblicata dal fornitore è un test di documentazione in cui ~248.000 token di input hanno richiesto 16 secondi.

• Prezzo — Flash a $0,01 per milione di token di input, output gratuito, sull'API di Perplexity rispetto a Laya senza prezzo per l'hosting perché è un rilascio di pesi che esegui da solo.

Latenza e hardware: dove Laya non è all'altezza

L'intera proposta di Laya è che una decisione non ha bisogno di un modello generativo, e i numeri sulla latenza lo confermano. Una domanda in 32,8 ms su una T4 per il checkpoint multilingue, 39,5 ms per l'inglese; dieci domande in 72,3 ms; da 103 a 332 domande al secondo quando in batch. Su CPU, precaricato, viene eseguito in 193-464 ms. Un encoder da 322M è abbastanza piccolo da stare all'interno di un percorso di richiesta che non può permettersi una GPU.

Flash è una classe di deployment diversa. Nove gigabyte di pesi BF16 stanno su una scheda consumer da 16 GB, e un benchmark di terze parti riporta circa 10,4 GB di VRAM e 90–127 ms per decisione su una RTX 5090. È un risultato rispettabile per un modello 4B e circa tre volte la latenza di Laya su T4 su hardware che costa molte volte di più. Se il tuo vincolo sono i millisecondi su hardware economico, il discorso è chiuso prima ancora che entri in gioco la precisione.

La questione della regolazione fine

Questa è la parte che le tabelle comparative nascondono, ed è decisiva.

La metrica principale di Laya, un'accuratezza di 0,766, appartiene a laya-typed-decisions, un checkpoint fine-tuned sullo split di addestramento del benchmark stesso. Il checkpoint base inglese ottiene 0,362 sullo stesso benchmark, rispetto a una baseline della classe maggioritaria di 0,461 e a una scelta casuale di 0,318. In altre parole, il modello che scarichi a freddo è peggiore del rispondere sempre con l'etichetta più comune. Convai lo dice direttamente sulla card. Uno studio indipendente di riproduzione su arXiv ha inoltre riportato che una metrica principale, l'accuratezza soft di 0,509 rispetto al valore pubblicato di 0,471, non è stata riprodotta, e ha sostenuto che i dati di calibrazione sono contaminati per costruzione.

L'affermazione di Flash ha una forma opposta: un 60,05 dichiarato dal fornitore su Decision Index con una domanda per richiesta, da un modello che dovresti usare così come distribuito. Quella affermazione non è verificata: Perplexity ha creato il benchmark, e la sua scheda dice che il lavoro di addestramento ha incluso gli split ufficiali di addestramento di diverse attività di Decision Index, decontaminati rispetto ai set di test. È una pratica difendibile, dichiarata apertamente, ma significa anche che il modello ha visto dati in-domain per il benchmark su cui viene valutato, e la decontaminazione è un'affermazione di Perplexity, non un fatto verificato tramite audit. Ma l'onere è diverso. Con Laya devi fare fine-tuning e ricalibrare prima che i numeri pubblicati abbiano un senso; la scheda consiglia il temperature fitting perché le probabilità grezze tendono a essere eccessivamente sicure, con l'ECE che scende da 0,466 a 0,081 dopo il ricalibraggio. Con Flash ti stai fidando della calibrazione di un fornitore su dati che non hai visto.

Nessuno dei due è gratuito. Uno costa tempo di ingegneria, l'altro costa tempo di verifica.

Lingua e cardinalità

Laya multilingual supporta in principio più di 100 lingue e in pratica 45 su 51, secondo la soglia di "utilizzabile" dichiarata dalla scheda stessa, pari a tre volte il caso. Il suo punteggio XNLI al di fuori dell'inglese è 0,731, contro 0,521 del checkpoint solo inglese, e l'accuratezza sull'intento MASSIVE in altre 13 lingue è 0,451. Sono numeri modesti, ma esistono, mentre Flash non ha alcuna valutazione multilingue pubblicata. Se il vostro traffico non è in inglese, il fornitore con la valutazione multilingue è il punto di partenza più sicuro anche laddove i suoi punteggi sono bassi.

La cardinalità va nella direzione opposta. Laya peggiora nettamente sulle domande a scelta con alta cardinalità: 0,425 sulle 72 etichette di Banking77 contro 0,870 di Jev, perché 77 opzioni con le impostazioni predefinite ricevono circa tre o quattro token ciascuna. La scheda consiglia di aumentare il budget per le opzioni o di suddividere dal grossolano al fine. Flash accetta fino a 255 opzioni e non ha un benchmark pubblicato per l'alta cardinalità, quindi l'interpretazione prudente è che Flash sia progettato per il caso che Laya documenta come debolezza e non abbia mostrato come ci arriva.

Quanto costano mille decisioni

Laya non ha un prezzo per singola decisione perché sei tu a ospitarlo. Su una T4, a 103–332 domande al secondo, un milione di decisioni richiede tra 50 minuti e tre ore di tempo GPU. Ai prezzi correnti del cloud, si parla di centesimi fino a qualche dollaro, più l'ingegneria necessaria per distribuirlo e monitorarlo.

Calcolare Flash sull'API è facile. Uno stato di 400 token, una domanda: 1.000 decisioni sono 400.000 token di input, che a $0,01 per milione fanno $0,004. Un milione di decisioni costa circa $4. Il self-hosting dei pesi elimina il costo per token, ma vi riporta su una GPU con circa 9 GiB di pesi e un pattern di attenzione non causale che i server causali standard non riproducono.

La trappola è l'accorpamento. Flash addebita di nuovo lo stato per ogni domanda, quindi tre domande per stato triplicano il conto. Se il tuo gate chiede più cose contemporaneamente, il modello economico non è economico.

Questo è anche il livello in cui emerge la questione del routing. Un modello decisionale è un punto di controllo prima della generazione, e il lato della generazione è dove si concentra la maggior parte della spesa. OrcaRouter mette oltre 200 modelli dietro un'unica chiave senza ricarichi sui prezzi di listino, così un generatore più economico o una riduzione dei prezzi del fornitore si applica lo stesso giorno, e il failover automatico impedisce che una richiesta instradata erroneamente fallisca del tutto. Non ospitiamo pplx-decider-flash o Laya. L'unico modello decisionale che serviamo è Jev di TypeSafe, come jev-1.13 e jev-1.14, cosa utile da sapere se vuoi un decisore ospitato senza dover predisporre una GPU.

Come scegliere, in ordine

• Traffico non in inglese — inizia con Laya multilingual, poi misura. È l'unica parte con numeri interlinguistici pubblicati.

• Meno di 100 ms su hardware di uso comune — Laya. Su una T4 risponde in 33 ms; Flash richiede una GPU moderna e, stando ai dati, impiegherebbe 90–127 ms.

• Immagini nello stato — Flash, senza vera concorrenza. Laya non ha un percorso di visione.

• Stati lunghi — Flash. Una finestra di 512 token esclude Laya da qualsiasi cosa assomigli a un documento.

• Nessun dato etichettato e nessun tempo per il fine-tuning — Flash, almeno come punto di partenza. Il checkpoint di base di Laya è al di sotto della baseline di maggioranza.

• Più di 20 opzioni per domanda — Flash, oppure Laya con un budget di opzioni aumentato e una suddivisione dal grossolano al fine.

Il riassunto onesto è che questi modelli competono per la stessa descrizione del lavoro e quasi mai per lo stesso deployment. Laya è un encoder veloce, minuscolo e fine-tunabile per la classificazione ad alto volume in lingue che puoi testare. Flash è un giudice multimodale, calibrato e di uso generale, con un contesto ampio e una classifica del fornitore alle spalle. Le tabelle comparative che li collocano a 1,5 punti di distanza non sono tanto sbagliate quanto prive di significato: fanno una media proprio delle proprietà che decidono la scelta.