pplx-decider-flash vs Laya : deux types de modèle de décision, une comparaison erronée

Les chiffres qui circulent sont bien rangés et inutiles. Un indice de comparaison donne à Laya une note de 69,5 et à pplx-decider-flash-v1.2 68, soit une quasi-égalité. Un autre attribue à Flash 73,7 et le classe premier sur 48. Un troisième donne à Flash 451 sur 504, contre les 240 de Laya multilingual. Trois sources, trois verdicts, parce que chacune mesure un modèle différent sur un ensemble de tâches différent — et au moins deux des trois mesurent une variante de Laya sans préciser laquelle. C'est la comparaison qui compte vraiment, et la première phrase honnête est que personne ne l'a encore menée correctement.

Ce qui peut être comparé, c’est la forme des deux systèmes : ce qu’ils sont conçus pour faire, ce que leur exploitation coûte, et ce que chacun exige de vous avant de produire une probabilité utilisable. Sur ces axes, ce ne sont pas des concurrents proches. Ce sont des produits différents qui se trouvent partager un même intitulé de poste.

Un paragraphe chacun

pplx-decider-flash-v1.2 est un modèle de décision multimodal de classe 4B de Perplexity, construit sur une base Qwen3.5-4B avec une tête de lecture distincte à 255 voies. Vous lui fournissez un état — texte, JSON ou image jusqu’à 1,6 mégapixel — et des questions typées, et il renvoie des probabilités calibrées en une seule passe avant. Il est conçu pour fonctionner en mode zéro-shot : la température enregistrée est de 1,554 et la fiche indique une précision de 88,8 % avec une erreur de calibration attendue de 0,021 sur un jeu de développement de 1 497 questions. Il est sous licence Apache-2.0, pèse environ 9 Gio en BF16 et coûte 0,01 $ par million de jetons d’entrée sur l’API de Perplexity, les sorties étant gratuites.

Laya est une famille d'encodeurs de décision non autorégressifs de Convai Innovations, publiée le 18 septembre 2026 et également sous licence Apache-2.0. Le checkpoint anglais est un ModernBERT-large affiné de 421 M de paramètres avec un contexte de 512 tokens ; le modèle multilingue est un mmBERT-base de 322 M de paramètres avec 1 024 tokens ; un troisième checkpoint, laya-typed-decisions, est celui qui affiche les scores phares. Il répond à toutes les questions d'un appel en une seule passe avant en utilisant des tokens de masque par option, sans étape de génération ni entrée d'image.

Pourquoi les tableaux de comparaison ne concordent pas

Le décalage commence avec le benchmark que chaque fournisseur a construit. Perplexity évalue ses modèles sur Decision Index 0.3, un indice composite portant sur les connaissances, le langage, la recherche d'informations, les outils et les arts. Convai évalue Laya sur un benchmark de décisions typées de 400 cas et 2 000 décisions, qu'il publie également. Aucun des deux modèles n'a été exécuté publiquement sur le harnais de l'autre.

Les index tiers comblent mal cette lacune. Le composite d’Anchor Terminal place Laya quatrième à 69,5 et Flash sixième à 68, un écart de 1,5 point qui se situe largement dans le bruit d’un composite que personne ne peut auditer. Ollaya Bench rapporte 73,7 au global et classe Flash premier sur 48, avec 82,4 % de précision macro, mais ne publie aucun harnais. Une suite de tâches conçue par Jev attribue à Flash 451/504 et à Laya multilingual 240 — une déroute, dans une suite écrite par les mainteneurs d’un modèle concurrent. La page de PublicAI parvient à consigner que Flash bat Laya 322M et Laya multilingual tout en perdant 3–0 face à une « Laya » sans nom.

Cette dernière entrée est tout le problème en miniature. « Laya » n’est pas un seul modèle. Comparer Flash à un encodeur anglais de 421 M, à un encodeur multilingue de 322 M et à un spécialiste des benchmarks affiné produit trois réponses différentes, et une seule d’entre elles est ce que vous déploieriez réellement.

Le tableau des scores que nous pouvons défendre

Voici les dimensions dans lesquelles les deux systèmes divergent véritablement, avec les chiffres publiés par chaque partie et les sources précisées.

• Paramètres — pplx-decider-flash-v1.2 est de classe 4B (la documentation de l’API indique 4B, l’en-tête de la fiche indique 5B en BF16) contre Laya à 421M en anglais et 322M en multilingue.

• Contexte — 262 144 tokens sur Flash, entraîné jusqu’à environ 32 000, contre 512 tokens sur Laya English et 1 024 sur la version multilingue.

• Modalité — Flash accepte le texte, le JSON et les images jusqu'à 1,6 MP, tandis que Laya n'accepte que le texte.

• Utilisation zero-shot — Flash est fourni calibré, avec une température sauvegardée et des métriques d'erreur publiées par rapport aux checkpoints de base de Laya, que la fiche elle-même appelle « une base rapide à spécialiser, pas un moteur de décision zero-shot ».

• Latence — Laya à 32,8 ms pour une question sur un T4, 72,3 ms pour dix, 103–332 questions par seconde en traitement par lots, et 193–464 ms sur CPU contre Flash, sans chiffre de niveau de service publié par Perplexity ; le seul chiffre publié par le fournisseur provient d’un test de documentation où environ 248 000 jetons d’entrée ont pris 16 secondes.

• Prix — Flash à 0,01 $ par million de tokens d'entrée, sortie gratuite, sur l'API de Perplexity, contre Laya sans prix hébergé car il s'agit d'une publication de poids que vous exécutez vous-même.

Latence et matériel : là où Laya n’est pas à la hauteur

L’argumentaire de Laya tient tout entier à l’idée qu’une décision n’a pas besoin d’un modèle génératif, et les chiffres de latence le confirment. Une question en 32,8 ms sur un T4 pour le checkpoint multilingue, 39,5 ms pour l’anglais ; dix questions en 72,3 ms ; de 103 à 332 questions par seconde en traitement par lots. Sur CPU, préchargé, il tourne en 193 à 464 ms. Un encodeur de 322 M est assez petit pour s’insérer dans un chemin de requête qui ne peut pas se permettre de GPU.

Flash appartient à une autre catégorie de déploiement. Neuf gigaoctets de poids BF16 tiennent sur une carte grand public de 16 Go, et un benchmark tiers rapporte environ 10,4 Go de VRAM et 90–127 ms par décision sur une RTX 5090. C’est respectable pour un modèle 4B et environ trois fois la latence de Laya sur T4, sur un matériel qui coûte plusieurs fois plus cher. Si votre contrainte est le nombre de millisecondes sur du matériel bon marché, le débat est clos avant même que la précision n’entre en jeu.

La question de l'ajustement fin

C'est la partie que les tableaux comparatifs dissimulent, et elle est décisive.

La précision phare de Laya, 0,766, revient à laya-typed-decisions, un checkpoint affiné sur la propre partition d'entraînement du benchmark. Le checkpoint anglais de base obtient 0,362 sur le même benchmark, contre une référence de classe majoritaire à 0,461 et une réponse aléatoire à 0,318. Autrement dit, le modèle que vous téléchargez tel quel est moins bon que de toujours répondre avec l'étiquette la plus fréquente. Convai le dit directement sur la fiche. Une étude de reproduction indépendante sur arXiv a également signalé qu'une métrique phare, la soft accuracy de 0,509 contre 0,471 publiée, n'a pas pu être reproduite, et a soutenu que les données de calibration sont contaminées par construction.

L’affirmation de Flash est de forme opposée : un 60,05 rapporté par le fournisseur sur Decision Index, avec une question par requête, d’un modèle que vous êtes censé utiliser tel que livré. Cette affirmation n’est pas vérifiée — Perplexity a construit le benchmark, et sa fiche indique que le travail d’entraînement a inclus les splits d’entraînement officiels de plusieurs tâches Decision Index, décontaminés par rapport aux ensembles de test. C’est une pratique défendable, énoncée clairement, mais cela signifie aussi que le modèle a vu des données du domaine pour le benchmark sur lequel il est évalué, et que la décontamination est une affirmation de Perplexity plutôt qu’un fait audité. Mais la charge de preuve est différente. Avec Laya, vous devez fine-tuner et recalibrer avant que les chiffres publiés ne signifient quoi que ce soit ; la fiche recommande un ajustement de température parce que les probabilités brutes sont trop confiantes, l’ECE passant de 0,466 à 0,081 après recalibrage. Avec Flash, vous faites confiance à la calibration d’un fournisseur sur des données que vous n’avez pas vues.

Ni l'une ni l'autre n'est gratuite. L'une coûte du temps d'ingénierie, l'autre du temps de vérification.

Langue et cardinalité

Laya multilingue prend en charge plus de 100 langues en principe et 45 sur 51 en pratique, selon le seuil « utilisable » de trois fois le hasard retenu dans la fiche produit. Son score XNLI hors anglais est de 0,731, contre 0,521 pour le checkpoint monolingue anglais, et la précision d’intention MASSIVE sur 13 autres langues est de 0,451. Ce sont des chiffres modestes, mais ils existent, et Flash n’a aucune évaluation multilingue publiée. Si votre trafic n’est pas en anglais, le fournisseur qui dispose de l’évaluation multilingue est un point de départ plus sûr, même lorsque ses scores sont faibles.

La cardinalité joue en sens inverse. Laya se dégrade fortement sur les questions à choix de forte cardinalité : 0,425 sur les 72 étiquettes de Banking77, contre 0,870 pour Jev, car 77 options aux réglages par défaut reçoivent environ trois à quatre tokens chacune. La fiche conseille d’augmenter le budget d’options ou de procéder par division grossière puis affinage. Flash accepte jusqu’à 255 options et ne dispose d’aucun benchmark publié pour la forte cardinalité ; l’interprétation prudente est donc que Flash est conçu pour le cas que Laya documente comme une faiblesse et n’a pas démontré ses résultats.

Ce que coûtent mille décisions

Laya n’a pas de prix par décision, car c’est vous qui l’hébergez. Sur une T4, à 103–332 questions par seconde, un million de décisions représente entre 50 minutes et trois heures de temps GPU. Aux tarifs standard du cloud, cela coûte de quelques centimes à quelques dollars, plus le travail d’ingénierie nécessaire pour le déployer et le surveiller.

Le calcul de Flash sur l'API est simple. Un état de 400 tokens, une question : 1 000 décisions représentent 400 000 tokens d'entrée, ce qui, à 0,01 $ par million, coûte 0,004 $. Un million de décisions coûte environ 4 $. L'auto-hébergement des poids supprime le coût par token, mais vous ramène sur un GPU avec environ 9 GiB de poids et un schéma d'attention non causal que les serveurs causals standard ne reproduisent pas.

Le piège, c’est le traitement par lots. Flash facture à nouveau l’état pour chaque question, donc trois questions par état triplent la facture. Si votre garde-fou demande plusieurs choses à la fois, le modèle bon marché n’est pas bon marché.

C'est aussi la couche où se pose la question du routage. Un modèle de décision est une porte située devant la génération, et c'est du côté de la génération que se concentre l'essentiel des dépenses. OrcaRouter place plus de 200 modèles derrière une seule clé sans marge sur les prix catalogue, de sorte qu'un générateur moins cher ou une baisse de prix d'un fournisseur s'applique le jour même, et le basculement automatique évite qu'une requête mal routée échoue purement et simplement. Nous n'hébergeons pas pplx-decider-flash ni Laya. Le seul modèle de décision que nous servons est Jev de TypeSafe, en jev-1.13 et jev-1.14, ce qu'il est bon de savoir si vous voulez un décideur hébergé sans avoir à monter un GPU.

Comment choisir, dans l'ordre

• Trafic non anglophone — commencez par Laya multilingual, puis mesurez. C'est le seul côté avec des chiffres interlinguistiques publiés.

• Moins de 100 ms sur du matériel courant — Laya. Sur un T4, il répond en 33 ms ; Flash nécessite un GPU moderne et prendrait 90 à 127 ms sur cette configuration, selon les rapports.

• Images dans l'État — Flash, sans véritable concurrence. Laya n'a aucune voie pour la vision.

• États longs — Flash. Une fenêtre de 512 jetons exclut Laya pour tout ce qui ressemble à un document.

• Aucune donnée étiquetée et pas le temps d'affiner le modèle — Flash, au moins comme point de départ. Le checkpoint de base de Laya est inférieur à la baseline majoritaire.

• Plus de 20 options par question — Flash, ou Laya avec un budget d'options relevé et un découpage du plus grossier au plus fin.

Pour être honnête, ces modèles répondent à la même fiche de poste et presque jamais au même déploiement. Laya est un encodeur rapide, minuscule et affinable pour la classification à fort volume dans des langues que vous pouvez tester. Flash est un juge multimodal, calibré et polyvalent, doté d’un large contexte et avec le tableau de bord d’un fournisseur derrière lui. Les tableaux comparatifs qui les séparent de 1,5 point ne sont pas tant faux qu’insignifiants : ils gomment précisément les propriétés qui décident du choix.