Jev vs Laya : 33 millisecondes sur un T4, et une baseline aléatoire

La carte de modèle de Laya contient la phrase qui tranche cette comparaison, et elle a été écrite par les personnes qui ont créé Laya. « Laya est une base rapide à spécialiser, pas un moteur de décision zero-shot. » Convai Innovations a publié Laya le 18 septembre 2026, trois jours après que TypeSafe AI a lancé Jev 1.13 (typesafe/jev-1.13), sous Apache 2.0, avec des poids sur Hugging Face et un point d’entrée pip install laya. Il répond à des questions typées en une seule passe avant, sans décodage token par token, ce qui constitue le même pari architectural que Jev. L’argument principal est une latence p50 de 32,8 millisecondes par décision sur une Tesla T4, présentée comme environ 7,8 fois plus rapide que la p50 publiée de Jev — 236–276 ms — via son API hébergée. L’affirmation est réelle, et elle mesure aussi deux choses différentes — un GPU local face à un appel réseau — et les chiffres de précision qui la sous-tendent sont la partie qui devrait déterminer si vous le téléchargez. En zero-shot, Laya obtient 0,362 au benchmark typed-decisions de TypeSafe. Une supposition aléatoire obtient 0,318. La baseline de classe majoritaire obtient 0,461. Laya, tel quel, est plus proche du hasard que de la baseline triviale. Ce qui est nouveau n’est ni l’un ni l’autre des modèles, mais l’endroit où l’un d’eux peut être appelé : le 24 septembre 2026, OrcaRouter a ajouté typesafe/jev-1.13 à son catalogue — le modèle lui-même est celui de TypeSafe, du 15 septembre — ce qui est la seule chose qui ait changé récemment dans cette comparaison.

Ce qu'est réellement Laya

Laya se présente sous la forme de deux checkpoints derrière un routeur intégré qui achemine chaque entrée vers le bon. Le checkpoint anglais est ModernBERT-large, avec 421 M de paramètres et un contexte de 512 tokens. La variante multilingue est mmBERT-base, avec 322 M de paramètres et une fenêtre de 1 024 tokens couvrant plus de 100 langues. Les deux sont non autorégressifs : une seule passe avant renvoie la réponse, donc pas de boucle de décodage, pas de JSON à analyser et aucun espace pour émettre du texte en dehors du type déclaré. Cette dernière propriété est la même garantie structurelle qu’offre Jev, atteinte par une autre voie, et elle est réellement précieuse pour quiconque a écrit une logique de réessai autour d’un modèle qui oublie parfois de fermer une accolade.

Jev est le pendant fermé, et la distinction qui compte entre les deux est qui exécute le modèle, pas lequel obtient le meilleur score. Le premier modèle System One de TypeSafe AI, lancé le 15 septembre 2026, est hébergé — il n'y a aucun poids à télécharger — et il est routable via nous sous typesafe/jev-1.13 via POST /v1/systemone, en mode non-streaming, sur un contexte de 65 536 tokens. Laya est l'autre configuration : des poids ouverts Apache 2.0 que vous exécutez vous-même, sur du matériel que vous possédez déjà, sans aucun endpoint dans le chemin. Jev prend trois primitives typées — Choice à partir d'une liste que vous fournissez, Score sur un barème ordonné, et Noul, une affirmation oui/non avec une probabilité calibrée. Toutes les questions sont évaluées en parallèle par rapport à une même lecture partagée de l'état. La tarification est de 0,042 $ par million de tokens d'entrée, la sortie étant facturée à zéro, car il n'y a aucun token de sortie à mesurer. Son architecture, son nombre de paramètres et son calcul d'entraînement ne sont pas divulgués, et TypeSafe a déclaré que les détails étaient gardés secrets, avec éventuellement un article plus tard.

L'affirmation sur la latence, mesurée comme il se doit

Le p50 de 32,8 ms de Laya sur un T4 est un chiffre bien réel, et même un bon chiffre. C’est dans la comparaison d’un facteur 7,8 avec les 236–276 ms de Jev que la prudence s’impose, et la fiche de Laya elle-même est d’une honnêteté inhabituelle sur la raison : les chiffres de Jev sont des nombres publiés par des tiers que Convai n’a jamais mesurés lui-même, et la comparaison oppose une passe avant locale sur GPU à un appel d’API hébergé qui inclut l’aller-retour réseau et la mise en file d’attente. Si l’on retire le réseau de l’équation, la comparaison architecturale se fait entre deux modèles à passe unique, l’un à 421 M de paramètres et l’autre d’une taille non divulguée que TypeSafe n’a jamais publiée.

Il y a aussi un chiffre de traitement par lots qu’il vaut la peine de connaître : avec un lot de dix, Laya rapporte 7,2 ms par question. C’est la forme du produit. Laya est conçu pour être exécuté localement à grande échelle, et les ports communautaires sur appareil tels que laya-mlx étendent cela à Apple Silicon. Les affirmations virales de « 50 fois plus rapide que Jev » ne sont pas étayées par les benchmarks publiés par le projet lui-même, et la formulation honnête est celle d’un large écart entre local et cloud, en partie architectural et en partie simplement dû à la différence entre votre GPU et l’API de quelqu’un d’autre.

Ce que disent les chiffres de précision, dans l’ordre

C'est là que la comparaison cesse d'être flatteuse, et il vaut la peine d'exposer cela dans l'ordre, car la séquence importe.

• Zéro-shot sur le benchmark typed-decisions de TypeSafe — Laya 0,362, aléatoire 0,318, classe majoritaire 0,461, Jev 0,727. Laya est au-dessus du hasard et en dessous de la référence triviale.

• Affiné sur la propre partition d’entraînement du benchmark — Laya 0,766 contre les 0,727 de Jev. Laya l’emporte, et cette victoire vient d’un checkpoint qui a vu les données d’entraînement du benchmark, ce qui en fait un constat sur le fine-tuning, pas sur le modèle de base.

• Classification d'intentions Banking77, où l'ensemble d'options est vaste — Laya 0,425 contre 0,870 pour Jev. Laya se dégrade fortement au-delà d'environ 20 options, et les champs Choice de Jev sont documentés pour gérer jusqu'à 255 avant que le modèle de scoring en deux étapes ne soit nécessaire.

• Calibration — Laya est livré avec une erreur de calibration attendue moyenne de 0,466, qui ne s’améliore à 0,081 qu’après un réajustement de température par type de question. Jev est entraîné avec une méthode que TypeSafe appelle RLCD, Reinforcement Learning for Calibrated Decisions, et fournit chaque réponse avec une distribution de probabilités — bien que TypeSafe indique aussi aux utilisateurs de valider les seuils sur leurs propres données étiquetées, et un audit indépendant a constaté que la calibration de Jev variait fortement selon la tâche.

Le schéma est sans ambiguïté. Laya est une base solide à affiner et un moteur de décision zéro-shot faible, et elle le dit elle-même. Jev est un puissant moteur de décision zéro-shot dont la calibration doit encore être vérifiée à chaque déploiement. Ce sont des produits différents avec des structures de prix différentes, et choisir entre eux est surtout une question de savoir si vous disposez de données étiquetées et d’une boucle d’entraînement.

L’arithmétique des coûts n’a pas la même forme que celle de Jev.

Jev coûte 0,042 $ par million de tokens d'entrée, avec une sortie à 42 $ par milliard, et un appel de taille maximale, dans le budget de requête de 64K tokens, coûte bien moins d'un centime. Le chiffre souvent cité d'environ 32 000 tokens est le plafond de l'état plus la plus longue question prise isolément, et non le plafond de la requête — TypeSafe documente 64K par requête, en couvrant l'état et les questions, et notre modèle pour type/jev-1.13 indique un contexte de 65 536 tokens. Le test interne d'Every a traité 777 jugements sur 37 exécutions pour environ un quart de centime.

Le coût par appel de Laya est nul à la marge et non nul au total, et le total n'est pas négligeable. Un modèle de 421 M de paramètres sur un T4 est peu coûteux à exécuter et vous coûte quand même un GPU, et l'étape de fine-tuning qui rend Laya compétitif est là où se situe la véritable dépense — l'étiquetage des données, l'exécution de l'entraînement, le harnais d'évaluation, et le réajustement de la température par type de question qui fait passer son erreur de calibration de 0,466 à 0,081. Pour une taxonomie fixe qui ne change jamais, c'est un coût unique qui s'amortit au volume. Pour une taxonomie qui dérive, c'est un coût récurrent, et la baseline zero-shot de Jev à 0,727 devient une bien meilleure affaire.

Il y a un troisième coût facile à négliger : le checkpoint anglais de Laya dispose d'une fenêtre de contexte de 512 tokens. Ce n'est pas un modèle de décision avec un petit budget de contexte — c'est un modèle de décision dimensionné pour un paragraphe. Le budget de requête de 64K tokens de Jev est plus de cent fois plus grand, et même cela reste d'un ordre de grandeur inférieur aux modèles génératifs par rapport auxquels les deux sont tarifés. Si votre état est un fil de support plutôt qu'un message de support, la fenêtre d'aucun des deux modèles n'est la contrainte par rapport à laquelle vous devriez optimiser.

La question du déploiement est la véritable différence

L'argument le plus fort de Laya n'est pas la latence. C'est que des poids sous Apache 2.0 sur Hugging Face signifient que la décision ne quitte jamais votre infrastructure et que le point de terminaison n'a jamais de limite de débit. Pour une décision de routage prise sur un dossier médical, un document juridique ou l'historique de compte d'un client, ce n'est pas une préférence — c'est le facteur décisif, et aucun point de terminaison hébergé, à quelque prix que ce soit, ne peut l'emporter face à cet argument. La page d'accueil de TypeSafe elle-même décrit encore Jev comme étant en accès anticipé, et la documentation du fournisseur indique que ses limites de débit s'ajustent dynamiquement et peuvent changer sans préavis.

Le contre-argument, c’est ce à quoi vous renoncez. L’architecture plus vaste non divulguée de Jev fait le travail que les 421 M de paramètres de Laya ne peuvent pas faire : l’écart zéro-shot de 0,727 contre 0,362 et l’écart Banking77 de 0,870 contre 0,425 mesurent tous deux la quantité de connaissances présente dans le modèle avant que vous ne l’entraîniez. La réponse de Laya, c’est que vous fournissez vous-même ces connaissances par le fine-tuning, et sur un domaine étroit et fixe, cette réponse fonctionne — le résultat de 0,766 après fine-tuning en est la preuve.

Où se situe la couche de décision dans une pile réelle

Aucun des deux modèles ne génère de texte, donc aucun ne constitue à lui seul l’intégralité d’un workflow. Le schéma pour lequel les deux sont conçus repose sur deux modèles : une couche de décision qui effectue l’appel typé, et un modèle génératif qui se charge de la partie nécessitant de la prose, du code ou une explication. Cette séparation impliquait autrefois un second contrat fournisseur, car la moitié décisionnelle n’était pas quelque chose que l’on pouvait appeler avec la même clé que la moitié générative. Elle l’est désormais. Jev est routable via nous en tant que typesafe/jev-1.13 via POST /v1/systemone — non-streaming, un contexte de 65 536 tokens, 0,042 $ par million de tokens d’entrée, la sortie étant facturée à zéro. Notre propre relevé de service sur sept jours pour cette route indique un p50 de 151 millisecondes, qui correspond à notre propre trafic sur notre propre matériel plutôt qu’à un benchmark. Il s’agit d’une mesure réseau, différente de la passe avant locale de 32,8 ms ci-dessus. Laya reste l’autre configuration : des poids ouverts que vous exécutez vous-même, que nous n’hébergeons pas et n’avons pas besoin d’héberger. La moitié générative de ce schéma est exactement ce que nous couvrons : plus de 200 modèles derrière une seule clé compatible OpenAI à prix catalogue du fournisseur répercuté avec 0 % de marge, de sorte qu’un changement de prix fournisseur est effectif de notre côté le jour même. L’architecture à deux modèles est testable sans un second contrat fournisseur — pour la moitié décisionnelle autant que pour la moitié générative — et avec le basculement automatique, le chemin génératif ne devient pas un point de défaillance unique pendant que vous décidez si la couche de décision bon marché est suffisamment calibrée pour être automatisée.

Le verdict

Si vous disposez d'une taxonomie fixe et étroite, d'exemples étiquetés et d'une exigence de confidentialité ou de latence qui exclut une API hébergée, Laya est le choix le plus défendable, et les chiffres obtenus après affinage le confirment. Si vous avez besoin que la décision fonctionne immédiatement, sans configuration, si vos ensembles d'options dépassent vingt catégories, ou si l'état est plus long qu'un paragraphe, la fiche de modèle de Laya elle-même vous indique que ce n'est pas le produit pour ce travail — et le score zéro-shot de 0,362 face à une référence majoritaire de 0,461 est le chiffre à garder en tête quand on vous cite le chiffre de latence de 7,8x.

Ce que les deux ont en commun est plus utile que ce qui les sépare. Tous deux éliminent la classe d’erreurs issue du formatage de la sortie et ne font rien contre celle qui vient du jugement. Tous deux fournissent des probabilités, et aucun ne publie de diagramme de fiabilité auquel on puisse se fier sans vérification. Testez la calibration sur vos propres cas étiquetés avant d’automatiser avec l’un ou l’autre — la latence est déjà banalisée et la valeur de confiance est la partie qui doit être gagnée pour chaque déploiement.