Une carte de titre générée intitulée « Décision Karpo 31B vs Laya », avec le sous-titre « Un leader de 31B face à un encodeur de 421M que vous pouvez exécuter sur un ordinateur portable », trois pastilles indiquant « Karpo : 31,3B, 62,5 Go, 32 768 tokens », « Laya : 421M, 808 Mo, 512 tokens » et « Score complet 73,9 vs 9,2 », ainsi qu'une paire d'icônes plates — une baie de GPU de centre de données étiquetée « nécessite un GPU » et un ordinateur portable étiqueté « tourne sur un ordinateur portable ».
Guides & Insights

Karpo Decision 31B vs Laya : un leader de 31B face à un encodeur de 421 M que vous pouvez exécuter sur un ordinateur portable

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Mettez Karpo Decision 31B à côté de Laya et la première réaction honnête est que quelqu’un a commis une erreur d’unités. Karpo est un fine-tuning de Gemma 4 de 31,3 milliards de paramètres qui nécessite 62,5 Go de poids et un GPU de centre de données. Laya est un encodeur ModernBERT de 421 millions de paramètres de Convai Innovations, sous Apache-2.0, de 808 Mo sur disque, qui tourne sur un ordinateur portable et répond en environ 33 millisecondes. Sur le Decision Index, le tableau communautaire où les deux figurent, l’écart de score Full est de 73,9 contre 9,2 — la plus grande différence de toute cette série de comparaisons.

Et pourtant, Laya est le modèle qui fournit un paquet pip maintenu, un serveur MCP, des versions ONNX et Core ML, ainsi qu’un parcours de fine-tuning avec un gain de précision documenté de 0,362 à 0,766 sur un ensemble de workflows réels. Karpo fournit un README et un dépôt. La question intéressante n’est pas de savoir quel modèle est meilleur. C’est de savoir à quoi chacun sert réellement, car l’écart de score et l’écart d’utilisabilité pointent dans des directions opposées et seul l’un des deux compte à un moment donné.

Ce que signifient les deux nombres, et pourquoi la comparaison est déséquilibrée par conception

Le score Full de 9,21 de Laya sur le tracker est un indicateur de compétence corrigé pour le hasard, et sa précision brute sur la même suite est de 37,7 % avec une couverture de 0,76 — ce qui signifie qu’environ un quart des requêtes de la suite n’ont jamais reçu de réponse. Le tracker consigne la raison : 320 requêtes marquées comme non prises en charge, dans l’écrasante majorité parce qu’une instruction dépassait le budget natif de Laya et que le modèle refuse plutôt que de tronquer. Sur une suite conçue pour des modèles qui acceptent un état de 32k tokens, un encodeur à 512 tokens ne rivalise pas, il se contente du comportement par défaut.

Karpo répond à la même suite avec une couverture de 99,87 % et une précision brute de 83,2 %. Neuf requêtes ont été refusées, toutes parce qu’une question et son état dépassaient 32 768 tokens.

Ainsi, une comparaison directe des scores vous indique qu’un modèle conçu pour la classification courte sur une fenêtre de 512 tokens obtient de mauvais résultats sur un benchmark conçu pour des modèles de décision sur documents longs. Ce n’est pas une critique de Laya ; c’est une observation sur la suite. La comparaison utile se fait tâche par tâche, et la fiche de Laya en contient une : sur la classification d’intentions MASSIVE, elle obtient 0,783 en anglais et, sur XNLI, 0,860, sur des entrées qui tiennent dans sa fenêtre. Karpo n’a aucun chiffre publié équivalent pour une tâche courte de classification unique, car sa fiche ne publie pas du tout de résultats au niveau des tâches.

Les spécifications, et ce que chacune implique

A generated two-column scoreboard titled 'Karpo Decision 31B vs Laya — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB', 'Context: 32,768 tokens', 'Full score: 73.9', 'Coverage: 99.87%', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Laya column reads 'Params: 421M, 808 MB', 'Context: 512 tokens', 'Full score: 9.21', 'Coverage: 0.76', 'Latency: 5.8 ms median' and 'Licence: Apache-2.0'. The footer reads 'Full score and coverage per the Decision Index; Laya latency per the tracker and its model card.'

• Paramètres — Karpo 31,3B plus une lecture de 255 × 5 376, 62,5 Go en bf16 ; Laya 421M, environ 808 Mo téléchargés.

• Architecture — un backbone de modèle de langage causal exécuté uniquement en préremplissage avec une lecture linéaire, par rapport à un encodeur bidirectionnel qui évalue chaque option à son propre [MASK] jeton.

• Contexte — Karpo : 32 768 jetons par séquence, répartis par question avec l’état répété ; Laya : 512 jetons au total dans la configuration livrée, dont 192 réservés à l’invite d’option, ce qui laisse environ 320 pour l’état.

• Multimodalité — Karpo lit les images et le texte ; Laya lit uniquement le texte. Il n’existe aucune voie de vision dans le checkpoint anglais.

• Latence — Karpo 94 ms en médiane sur un GPU de référence ; Laya 39,5 ms mesurés sur sa propre carte, et le tracker enregistre une médiane de 5,8 ms sur son matériel.

• Licence — Apache-2.0 pour les deux, poids et code, aucune restriction d'utilisation.

• Hébergement — aucun des deux n’est sur un point de terminaison hébergé par son éditeur. Laya n’a besoin de rien d’autre que pip install laya.

La ligne de contexte constitue toute la décision. 320 tokens utilisables pour l’état, c’est un ticket d’assistance, un e-mail, un message de chat, un titre de produit, une ligne de journal. Ce n’est pas une facture avec des lignes de détail ni une politique de quarante pages. Si votre état dépasse un paragraphe, il est impossible de poser la question à Laya — pas maladroitement, pas lentement, mais pas du tout.

Là où le petit modèle est véritablement la bonne réponse

Il existe une classe de décisions pour lesquelles Karpo est absurde, et la conception de Laya vise précisément celle-ci. Considérez un agent qui doit, à chaque étape, obtenir un oui/non sur le point de savoir si le résultat d’un outil semble satisfaire l’intention, ou déterminer vers laquelle de six sources de récupération une requête doit être dirigée, ou encore si un message utilisateur contient un signal d’attrition. Ce sont des questions à l’échelle de la microseconde portant sur une phrase de contexte, et il peut y en avoir cinquante dans une seule conversation.

À 94 ms et avec un modèle résident de 62,5 Go, cinquante appels représentent près de cinq secondes de temps GPU par conversation, sur un matériel dont le coût dépasse ce que le trafic justifie. À 5,8 ms en médiane avec un modèle de 800 Mo qui tourne sur la même machine que votre application, les mêmes cinquante appels coûtent un tiers de seconde et aucune ligne de facturation de centre de données. Ce n’est pas une différence marginale dans une boucle à chaque étape ; c’est la différence entre une fonctionnalité qui est livrée et une autre qui ne l’est pas.

La fiche de Laya documente également honnêtement les modes de défaillance, ce qui vaut plus qu'une fiche de spécifications impeccable. Le checkpoint anglais s'effondre sur les écritures non latines — le khmer à 0,000 de précision tout en affichant 0,952 de confiance — ce qui est exactement l'échec « confiant mais faux » qu'une couche de décision ne doit pas présenter. Le Router livré détecte l'écriture en moins d'une demi-milliseconde en Python pur et route vers le checkpoint multilingue avant la passe avant. Les questions à cardinalité élevée se dégradent aussi : 77 options dans un budget de 256 tokens donnent à chaque libellé trois ou quatre tokens, et la précision sur Banking77 tombe à 0,425 contre 0,870 pour Jev. La fiche vous indique d'augmenter le budget de la tête plutôt que de prétendre que la valeur par défaut fonctionne.

A capture of the Hugging Face model card for convaiinnovations/laya showing the Text Classification tag, the Laya_system-one, calibrated-decisions and reinforcement-learning tags, the apache-2.0 licence, the summary describing a multilingual non-autoregressive System 1 decision model that returns calibrated probabilities in a single forward pass of about 33 ms across 100+ languages, the 'pip install laya' line with its onnx, mcp, langchain and serve extras, and the 0.4B-parameter file listing.

Cette combinaison — un petit modèle dont les modes de défaillance sont publiés, avec un correctif documenté pour chacun — est plus utile sur le plan opérationnel qu'un meilleur score sans ventilation par tâche.

Là où le modèle 31B justifie ses 62 Go

Les avantages de Karpo sont ceux qui découlent de la présence d’un véritable modèle de langage en son sein. Il lit une capture d’écran. Il maintient un document de politique et un dossier client dans le même état de 32 768 jetons et répond à une centaine de questions sur les deux en une seule passe, car l’état est calculé une fois et chaque question se ramifie à partir du bloc partagé sans voir les options des autres. Il gère des choix à 255 possibilités sans pénurie de jetons, puisque le mécanisme de lecture note des codes plutôt que d’intégrer le texte des options dans un budget fixe.

Le profil par catégorie le confirme d’une manière qui correspond clairement à ce qu’un grand modèle vous apporte. La compétence de Karpo en connaissances et en raisonnement est de 65,5 contre 2,9 pour Laya — un chiffre qui reflète surtout les questions de connaissances à contexte long de la batterie de tests, que l’on ne peut pas poser à Laya. Sa compétence en outils et automatisation est de 88,4 contre 5,8. Il ne s’agit pas de fines distinctions entre deux modèles comparables ; ce sont deux classes d’instruments différentes.

Ce qui manque à Karpo, c’est tout l’échafaudage opérationnel. Pas d’export ONNX, pas de build Core ML, pas de serveur MCP, pas d’agent installable via pip que l’on peut pointer vers une description de workflow et fine-tuner en un après-midi. La communauté a déjà commencé à le quantifier — un GGUF IQ3_M et une build NVFP4 sont apparus en l’espace de deux semaines — mais à l’heure où nous écrivons, il n’existe pas de voie officielle à faible empreinte ni de prix.

L'écart de fine-tuning, qui décide de plus de déploiements que le classement

Le nombre le plus important sur la fiche de Laya n’est pas un score de référence. C’est 0,766 contre 0,362 : la précision d’un checkpoint affiné par rapport au modèle anglais de base sur 2 000 décisions réparties sur quatre flux de travail. L’affinage a plus que doublé la précision sur les charges de travail qui comptaient.

Voilà l’argument en faveur d’un modèle de 421M en une ligne. Un petit modèle que vous pouvez réentraîner sur vos propres décisions étiquetées en une heure battra un modèle de 31B que vous ne pouvez pas réentraîner du tout, sur votre trafic, avec votre schéma. Le 73,9 de Karpo est une moyenne sur une suite privée ; votre distribution n’est pas cette suite. Le score de base de 0,362 de Laya est aussi une moyenne sur les décisions de quelqu’un d’autre, et les deux modèles évolueront une fois que les données seront les vôtres — mais un seul d’entre eux s’accompagne d’un chemin documenté pour opérer ce changement.

Karpo est un fine-tuning complet d’un checkpoint de 31 B, sans recette d’entraînement publiée ni adaptateur. Le fine-tuner est possible en principe, mais ce n’est pas quelque chose que la fiche prend en charge, documente ou prévoit.

Faire les deux, ce qui est plus souvent la réponse que l’un ou l’autre.

Les deux modèles sont davantage complémentaires que substituables, et la séparation est mécanique. Routez les états courts vers l'encodeur et les longs vers le 31B. Le Router est déjà la valeur par défaut livrée côté Laya ; côté Karpo, l'équivalent est une vérification de la taille de l'état avant l'envoi.

C'est dans le troisième cas qu'une couche de routage justifie son intérêt : le niveau intermédiaire entre les deux. Si vos états se situent entre 512 tokens et 32 768, aucun des deux n'est vraiment adapté — Laya refuse et Karpo est surdimensionné et coûteux. C'est dans cette plage intermédiaire qu'un modèle de décision servi a du sens, et Jev 1.14 figure dans notre catalogue pour cela, appelable avec la même clé que tout le reste. Placer une politique de seuil en amont d'un point de terminaison de routage unique — l'état court vers l'encodeur que vous hébergez, l'état long vers un modèle servi, la sortie incertaine vers une file de révision — est un travail d'ingénierie plus modeste que d'exploiter un checkpoint de 62,5 Go, et il garde le remplacement de modèle en dehors de votre code applicatif. Le catalogue propose plus de 200 modèles, facturés au prix catalogue du fournisseur sans marge, et comprend également Gemma 4 31B, le modèle de base à partir duquel Karpo a été affiné, ce qui est un moyen économique de vérifier ce que l'affinage a réellement apporté avant d'y consacrer un GPU.

Si l’on ne devait retenir qu’une recommandation : commencez par Laya. Cela ne coûte rien, s’installe en une minute, et pour les décisions courtes et à fort volume qu’un agent prend à chaque étape, c’est l’instrument approprié — pas un compromis. Passez à Karpo Decision 31B lorsqu’un état ne tient plus dans un paragraphe, et acceptez qu’alors vous achetez un GPU, un téléchargement de 62 Go et un modèle sans prix, sans annonce et sans score indépendant. L’écart de 64 points au classement est réel et il mesure quelque chose qui ne compte qu’une fois votre entrée assez longue pour en avoir besoin.

A capture of the Hugging Face model card for MachinePulseAI/karpo-decision-31B showing the Text Classification tag, the gemma4 image-text-to-text tag, the apache-2.0 licence, the line 'Ranked #1 on the Decision Index, with the highest Full score, 73.9', the description of a multimodal decision model that returns a probability for every option of every question in one forward pass without generating text, 'Fine-tuned from google/gemma-4-31B', 'Parameters: 31.3B in bf16, plus a 255 x 5,376 readout in fp32', the screenshot input at state.viewport_screenshot, and the base-model link to google/gemma-4-31B.