Une carte de titre générée portant le titre « Karpo Decision 31B vs Kev 27B », avec le sous-titre « Même tableau, quatorze points d'écart — et le perdant a la meilleure calibration », quatre pastilles indiquant « Karpo 73.9 Full », « Kev 59.6 Full », « erreur de calibration 4.8 vs 2.18 » et « tests privés identiques », et deux cartes à contour libellées « Kev 27B » et « Karpo Decision 31B » reliées par une ligne indiquant « tous deux notés par le Decision Index ».
Guides & Insights

Karpo Decision 31B vs Kev 27B : le modèle mieux documenté perd de 14 points

Auteur

Elias Hawthorne

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

C'est un duel rare, dans lequel les deux modèles ont été évalués sur le même instrument par les mêmes personnes. Karpo Decision 31B et Kev 27B figurent tous deux sur le Decision Index, le tableau communautaire qui note les reproductions ouvertes de Jev de TypeSafe, et l'écart entre eux n'est pas mince : 73,9 Full pour le modèle MachinePulse, contre 59,6 pour Kev 27B de Jared Palmer, soit un écart de quatorze points sur des tests privés identiques. Karpo est en tête du tableau. Kev est 74e sur 307.

Ce résultat est gênant, car Kev 27B est le modèle le plus rigoureusement documenté, et de loin, et sur la seule propriété pour laquelle on engage réellement un modèle de décision — l’honnêteté de ses probabilités — il est mesurablement meilleur que le modèle qui le bat. Ces deux affirmations proviennent des deux mêmes sources, et comprendre pourquoi elles ne se contredisent pas est la chose la plus utile dans cette comparaison.

Ce qu’est chaque modèle, avant les scores

Kev 27B est un ajustement fin portant sur l'ensemble des poids de Qwen3.8-27B publié par Jared Palmer sous Apache-2.0. Sa deuxième version, publiée le 30 septembre 2026, est une moyenne pondérée : chaque tenseur du backbone est 0,85 × le poids ajusté plus 0,15 × celui de la version précédente, la tête de pointeur étant conservée depuis le nouvel entraînement. Le checkpoint servi est de 25,6 B dans le backbone plus une tête de 2,6 M de paramètres, 51,3 Go en bf16, avec une température de calibration unique de 1,32 intégrée au fichier de la tête. Les états vont jusqu'à 65 536 tokens, avec au moins 8 192 par question, et ce chiffre est validé plutôt que nominal — la fiche publie la différence de précision appariée à chaque tranche de 8k à 64k par rapport à la référence de 8k, avec des intervalles de confiance.

Karpo Decision 31B est un modèle affiné de Gemma 4 31B ajusté sur instructions, publié par MachinePulse le 5 novembre 2026, également sous Apache-2.0. Il conserve 31,3 milliards de paramètres en bf16, ainsi qu’un readout fp32 de 255 × 5 376 — 62,5 Go sur disque — et répond via une tête linéaire sur des codes d’option plutôt qu’une tête pointeur sur des tokens. Le contexte est de 32 768 tokens par séquence, découpé par question lorsqu’une requête déborde, avec un refus catégorique plutôt qu’une troncature lorsqu’une seule question ne tient pas.

Même travail, ingénierie différente. Kev lit un long document et produit une distribution. Karpo en lit un un peu plus court et produit une distribution, plus rapidement.

Les 14 points, et ce qui les a produits

A generated two-column scoreboard titled 'Karpo Decision 31B vs Kev 27B — the scoreboard'. The Karpo column reads 'Full score: 73.9', 'Rank: first of 307, tied', 'Calibration error: 4.77 points', 'Context: 32,768 tokens', 'Latency: 94 ms median' and 'Licence: Apache-2.0'; the Kev column reads 'Full score: 59.6', 'Rank: 74th of 307', 'Calibration error: 2.18 points', 'Context: 65,536 tokens', 'Latency: 135 ms median' and 'Licence: Apache-2.0'. The footer reads 'Scores and calibration per the Decision Index; latency per each model card, hardware not identical.'

Les deux lignes proviennent du même tableau, donc cette section est l’un des rares endroits où une soustraction directe est légitime.

• Score total — Karpo 73,9, Kev 59,6.

• Indice public — Karpo 75,05, Kev 56,69.

• Classement par score complet — Karpo 1er (à égalité avec GLiDE 27B à 73,4), Kev 74e sur 307.

• Connaissances et raisonnement — Karpo : 65,5 de compétence corrigée du hasard, Kev : 45,7.

• Outils et automatisation — Karpo 88,4, Kev 72,7.

• Arts et goût humain — Karpo 68,2, Kev 42,7.

• Latence médiane, un GPU, une requête à la fois — Karpo 94 ms, Kev 135 ms.

Le profil de la perte est homogène dans toutes les catégories, et l’écart absolu le plus important concerne les connaissances, avec près de vingt points. C’est celui qui devrait inquiéter quiconque envisage d’utiliser Kev pour des décisions documentaires : le modèle a été massivement entraîné sur des tâches documentaires et d’outillage pour développeurs — 24 000 de ses 145 840 enregistrements d’entraînement proviennent de familles de tâches sous licence, 7 617 autres sont des documents longs assemblés — et il atteint encore les deux tiers de la compétence en connaissances de Karpo.

La propre fiche de Kev est sans détour sur la direction que cela prend. Mesurée sur sa propre suite d’évaluation de l’étendue face au Jev de TypeSafe, elle rapporte un indice de 52,3 avec un intervalle de confiance de [49,2 ; 55,4], contre 54,0 [51,2 ; 57,0] pour Jev — une perte qu’elle énonce clairement et n’enjolive pas. Une équipe qui publie son propre intervalle perdant est une équipe dont les autres chiffres méritent le bénéfice du doute. C’est précisément ce qui rend le 59,6 crédible plutôt que gênant.

Le numéro qui va dans l’autre sens

Voici le twist. L’erreur de calibration — à quel point la probabilité annoncée s’écarte du taux de réussite observé — favorise Kev, et pas de peu.

Le tracker enregistre une erreur de calibration attendue de 2,18 points pour Kev 27B, contre 4,77 pour Karpo Decision 31B. En termes simples : quand Kev annonce 0,8, il a raison environ 80 % du temps, avec un écart moyen de deux points. Quand Karpo annonce 0,8, l’écart moyen est plus proche de cinq points. La fiche de Kev corrobore cela de son côté, en publiant des chiffres ECE par panneau entre 0,014 et 0,053 et une validation croisée quintuple qui réduit l’erreur d’ajustement de 4,8 % à 3,8 %.

Ainsi, le modèle qui est moins bon pour répondre est meilleur pour savoir à quel point ses réponses sont bonnes. Ce n’est pas un paradoxe, c’est la distinction entre exactitude et calibration, et cela détermine quel modèle doit aller où :

• Si la décision est automatisée à un seuil, la calibration est la propriété déterminante. Un seuil fixé à 0,9 qui se déclenche sur les réponses à 0,9 de Karpo se trompera environ deux fois plus souvent que le même seuil appliqué à Kev. La plus faible précision de Kev coûte en débit — davantage de cas passent sous le seuil et partent en révision — et sa meilleure calibration signifie que ceux qui franchissent la barre sont plus sûrs.

• Si la décision est examinée ou notée, la précision prime. Un humain ou un processus en aval voit la meilleure réponse et la probabilité, et quatorze points de précision correspondent à quatorze points de travail accompli correctement. L’avantage de calibration de Kev n’apporte rien quand personne n’applique de seuil.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

Les deux modèles proposent les mêmes trois types de questions — choix jusqu’à 255 options, noul pour vrai/faux, score pour une grille d’évaluation ordonnée — et tous deux exposent un point de terminaison HTTP de type System One, si bien que le choix est réversible dans le code. C’est la bonne nouvelle : vous pouvez mesurer cela sur vos propres données en un après-midi plutôt que d’en débattre.

La longueur du document est le point où les spécifications divergent réellement.

Le plafond de 32 768 jetons de Karpo s’applique par séquence, et la règle de découpage est « par question, chaque partie portant l’état complet ». Pour cent questions sur un contrat de 20 k jetons, cela tient en une seule passe, sans problème. Pour une seule question sur un contrat de 40 k jetons, la requête est refusée : neuf des 140 178 requêtes de l’exécution de MachinePulse elle-même ont échoué exactement de cette manière.

Kev prend en charge des états de 65 536 tokens, validés par tranches, et son panneau de documents longs est l’élément le plus utile de la fiche pour quiconque travaille avec de vrais contrats. Sur les accords commerciaux CUAD, il rapporte une exactitude de 0,874 sur 2 194 questions, les chiffres par tranche se maintenant entre 0,867 et 0,880, depuis moins de 8 k jusqu’à 32 k–64 k tokens. L’exactitude ne s’effondre pas avec la longueur. Ce qui change, c’est la calibration : l’erreur sur ce panneau de documents longs est de 0,053, soit environ trois fois son chiffre pour les documents courts. C’est sur les états longs que la confiance de Kev devient floue.

Donc, le compromis honnête sur la longueur : Kev acceptera un document que Karpo refuse, et il y répondra avec une fiabilité légèrement moindre qu’à un document court. Aucun des deux modèles ne tronquera silencieusement, ce qui compte davantage que l’un ou l’autre de ces chiffres — un modèle de décision qui omet discrètement la clause sur laquelle portait votre question est pire qu’un modèle qui répond non.

Le déploiement, les poids et la licence partagent tous deux

Les deux modèles sont sous Apache-2.0 pour les poids et la tête, tous deux nécessitent leur propre loader, et tous deux échouent lamentablement si on les traite comme des modèles de chat. Kev a besoin d’un GPU de la classe 80 Go — un état de 64k tokens a culminé à 87,1 Go sur un H200 — ou d’un Mac doté d’environ 96 Go. Karpo nécessite un GPU pouvant contenir 62,5 Go de poids bf16. Ni l’un ni l’autre ne dispose d’un endpoint hébergé par son éditeur ; Kev est servi par le serveur de son propre dépôt, Karpo par son propre paquet. Tous deux ont suscité des quantifications communautaires, ce qui est le signal habituel que des gens les exécutent réellement plutôt que de se contenter de lire à leur sujet.

L’écart de 135 ms contre 94 ms est mesuré par requête sur du matériel qui n’est pas identique, donc à considérer comme indicatif. Ce qui n’est pas indicatif, c’est la forme opérationnelle : l’attention non causale de Kev sur toute la séquence coûte plus cher par token à mesure que les états s’allongent, tandis que Karpo calcule un état partagé unique par requête et en dérive les questions. Si votre charge de travail consiste en de nombreuses questions sur un état court, Karpo est conçu exactement pour cela. S’il s’agit d’une seule question sur un long document, c’est Kev.

Lequel exécuter

Choisissez Kev 27B si vous devez confier à un modèle un contrat de 64 k tokens, si vous voulez appliquer un seuil sur la probabilité et que vous tenez à ce que ce seuil signifie bien ce qu’il dit, et si vous appréciez un fournisseur qui publie des intervalles de confiance sur ses propres pertes. Vous acceptez environ quatorze points de précision sur un classement auquel les deux modèles ont participé, et vous obtenez la meilleure preuve du domaine quant à ce que cette précision couvre et ne couvre pas.

Choisissez Karpo Decision 31B si l'état est une capture d'écran, un ticket ou une page — court, beaucoup de questions, sensible à la latence — et si le score Full du board est la preuve que vous pondérez. Vous acceptez une erreur de calibration de cinq points et un plafond de 32k, et vous obtenez le leader actuel à 94 ms.

Ce qu'aucun des deux ne vous fournit, c'est un endpoint de production. Si la couche de décision doit se trouver derrière un filtre qui s'active avant chaque appel d'outil, vous devrez en exploiter un vous-même, ou faire appel à un service hébergé. Jev 1.14 de TypeSafe figure dans notre catalogue précisément pour ce rôle, et c'est le modèle que les deux checkpoints ont été conçus pour concurrencer — utile comme témoin dans un test fantôme, puisqu'une reproduction ouverte qui dépasse sa cible sur un tableau tiers devrait aussi la dépasser sur votre trafic. Le catalogue propose également les deux modèles de base, Gemma 4 31B et Qwen3.8-27B, via une API unique pour plus de 200 modèles au prix catalogue du fournisseur, sans marge, ce qui est la manière la plus économique de déterminer si une couche de décision vaut la peine d'être possédée avant d'acheter le GPU.

La question ouverte que laisse cette confrontation est celle à laquelle le classement ne peut pas répondre : si l’avance de quatorze points de Karpo résiste au contact d’une charge de travail réelle, ou s’il s’agit du genre d’avance qui provient d’un réglage sur une distribution plus proche du jeu de test privé que celle de son concurrent. La fiche de Kev documente son mélange d’entraînement jusqu’au nombre d’enregistrements ; celle de Karpo, non. Cette asymétrie ne prouve rien, et c’est la raison pour laquelle il faut mesurer plutôt que se fier à l’un ou l’autre chiffre.

A capture of the Hugging Face model card for jaredpalmer/kev-27b showing the Text Classification tag, the qwen3.8 and typesafe tags, the apache-2.0 licence, the summary describing a decision model that returns a calibrated probability distribution in a single forward pass over documents of up to 64k tokens, 'a full-weight fine-tune of Qwen3.8-27B averaged with version 1', the model-details block listing a Qwen3.8-27B backbone of 64 layers with 48 Gated DeltaNet and 16 full-attention layers, 25.6B backbone parameters plus 2.6M in the head, bf16 precision in a 51.3 GB checkpoint, and states of up to 65,536 tokens.