
Karpo Decision 31B vs Kev 27B : le modèle mieux documenté perd de 14 points
- OrcaNOUVEAUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 par million de tokens · 184 tok/s
- tencentNOUVEAUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 par million de tokens · 223 tok/s
- GoogleNOUVEAUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 par million de tokens · 87 tok/s
- AnthropicNOUVEAUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 par million de tokens · 96 tok/s
- orcaNOUVEAUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 par million de tokens · 90 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 par million de tokens · 131 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 par million de tokens · 77 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 par million de tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 par million de tokens · 114 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 par million de tokens · 69 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligence
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 par million de tokens · 209 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligence
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 par million de tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligence
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 par million de tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligence
C'est un duel rare, dans lequel les deux modèles ont été évalués sur le même instrument par les mêmes personnes. Karpo Decision 31B et Kev 27B figurent tous deux sur le Decision Index, le tableau communautaire qui note les reproductions ouvertes de Jev de TypeSafe, et l'écart entre eux n'est pas mince : 73,9 Full pour le modèle MachinePulse, contre 59,6 pour Kev 27B de Jared Palmer, soit un écart de quatorze points sur des tests privés identiques. Karpo est en tête du tableau. Kev est 74e sur 307.
Ce résultat est gênant, car Kev 27B est le modèle le plus rigoureusement documenté, et de loin, et sur la seule propriété pour laquelle on engage réellement un modèle de décision — l’honnêteté de ses probabilités — il est mesurablement meilleur que le modèle qui le bat. Ces deux affirmations proviennent des deux mêmes sources, et comprendre pourquoi elles ne se contredisent pas est la chose la plus utile dans cette comparaison.
Ce qu’est chaque modèle, avant les scores
Kev 27B est un ajustement fin portant sur l'ensemble des poids de Qwen3.8-27B publié par Jared Palmer sous Apache-2.0. Sa deuxième version, publiée le 30 septembre 2026, est une moyenne pondérée : chaque tenseur du backbone est 0,85 × le poids ajusté plus 0,15 × celui de la version précédente, la tête de pointeur étant conservée depuis le nouvel entraînement. Le checkpoint servi est de 25,6 B dans le backbone plus une tête de 2,6 M de paramètres, 51,3 Go en bf16, avec une température de calibration unique de 1,32 intégrée au fichier de la tête. Les états vont jusqu'à 65 536 tokens, avec au moins 8 192 par question, et ce chiffre est validé plutôt que nominal — la fiche publie la différence de précision appariée à chaque tranche de 8k à 64k par rapport à la référence de 8k, avec des intervalles de confiance.
Karpo Decision 31B est un modèle affiné de Gemma 4 31B ajusté sur instructions, publié par MachinePulse le 5 novembre 2026, également sous Apache-2.0. Il conserve 31,3 milliards de paramètres en bf16, ainsi qu’un readout fp32 de 255 × 5 376 — 62,5 Go sur disque — et répond via une tête linéaire sur des codes d’option plutôt qu’une tête pointeur sur des tokens. Le contexte est de 32 768 tokens par séquence, découpé par question lorsqu’une requête déborde, avec un refus catégorique plutôt qu’une troncature lorsqu’une seule question ne tient pas.
Même travail, ingénierie différente. Kev lit un long document et produit une distribution. Karpo en lit un un peu plus court et produit une distribution, plus rapidement.
Les 14 points, et ce qui les a produits

Les deux lignes proviennent du même tableau, donc cette section est l’un des rares endroits où une soustraction directe est légitime.
• Score total — Karpo 73,9, Kev 59,6.
• Indice public — Karpo 75,05, Kev 56,69.
• Classement par score complet — Karpo 1er (à égalité avec GLiDE 27B à 73,4), Kev 74e sur 307.
• Connaissances et raisonnement — Karpo : 65,5 de compétence corrigée du hasard, Kev : 45,7.
• Outils et automatisation — Karpo 88,4, Kev 72,7.
• Arts et goût humain — Karpo 68,2, Kev 42,7.
• Latence médiane, un GPU, une requête à la fois — Karpo 94 ms, Kev 135 ms.
Le profil de la perte est homogène dans toutes les catégories, et l’écart absolu le plus important concerne les connaissances, avec près de vingt points. C’est celui qui devrait inquiéter quiconque envisage d’utiliser Kev pour des décisions documentaires : le modèle a été massivement entraîné sur des tâches documentaires et d’outillage pour développeurs — 24 000 de ses 145 840 enregistrements d’entraînement proviennent de familles de tâches sous licence, 7 617 autres sont des documents longs assemblés — et il atteint encore les deux tiers de la compétence en connaissances de Karpo.
La propre fiche de Kev est sans détour sur la direction que cela prend. Mesurée sur sa propre suite d’évaluation de l’étendue face au Jev de TypeSafe, elle rapporte un indice de 52,3 avec un intervalle de confiance de [49,2 ; 55,4], contre 54,0 [51,2 ; 57,0] pour Jev — une perte qu’elle énonce clairement et n’enjolive pas. Une équipe qui publie son propre intervalle perdant est une équipe dont les autres chiffres méritent le bénéfice du doute. C’est précisément ce qui rend le 59,6 crédible plutôt que gênant.
Le numéro qui va dans l’autre sens
Voici le twist. L’erreur de calibration — à quel point la probabilité annoncée s’écarte du taux de réussite observé — favorise Kev, et pas de peu.
Le tracker enregistre une erreur de calibration attendue de 2,18 points pour Kev 27B, contre 4,77 pour Karpo Decision 31B. En termes simples : quand Kev annonce 0,8, il a raison environ 80 % du temps, avec un écart moyen de deux points. Quand Karpo annonce 0,8, l’écart moyen est plus proche de cinq points. La fiche de Kev corrobore cela de son côté, en publiant des chiffres ECE par panneau entre 0,014 et 0,053 et une validation croisée quintuple qui réduit l’erreur d’ajustement de 4,8 % à 3,8 %.
Ainsi, le modèle qui est moins bon pour répondre est meilleur pour savoir à quel point ses réponses sont bonnes. Ce n’est pas un paradoxe, c’est la distinction entre exactitude et calibration, et cela détermine quel modèle doit aller où :
• Si la décision est automatisée à un seuil, la calibration est la propriété déterminante. Un seuil fixé à 0,9 qui se déclenche sur les réponses à 0,9 de Karpo se trompera environ deux fois plus souvent que le même seuil appliqué à Kev. La plus faible précision de Kev coûte en débit — davantage de cas passent sous le seuil et partent en révision — et sa meilleure calibration signifie que ceux qui franchissent la barre sont plus sûrs.
• Si la décision est examinée ou notée, la précision prime. Un humain ou un processus en aval voit la meilleure réponse et la probabilité, et quatorze points de précision correspondent à quatorze points de travail accompli correctement. L’avantage de calibration de Kev n’apporte rien quand personne n’applique de seuil.

Les deux modèles proposent les mêmes trois types de questions — choix jusqu’à 255 options, noul pour vrai/faux, score pour une grille d’évaluation ordonnée — et tous deux exposent un point de terminaison HTTP de type System One, si bien que le choix est réversible dans le code. C’est la bonne nouvelle : vous pouvez mesurer cela sur vos propres données en un après-midi plutôt que d’en débattre.
La longueur du document est le point où les spécifications divergent réellement.
Le plafond de 32 768 jetons de Karpo s’applique par séquence, et la règle de découpage est « par question, chaque partie portant l’état complet ». Pour cent questions sur un contrat de 20 k jetons, cela tient en une seule passe, sans problème. Pour une seule question sur un contrat de 40 k jetons, la requête est refusée : neuf des 140 178 requêtes de l’exécution de MachinePulse elle-même ont échoué exactement de cette manière.
Kev prend en charge des états de 65 536 tokens, validés par tranches, et son panneau de documents longs est l’élément le plus utile de la fiche pour quiconque travaille avec de vrais contrats. Sur les accords commerciaux CUAD, il rapporte une exactitude de 0,874 sur 2 194 questions, les chiffres par tranche se maintenant entre 0,867 et 0,880, depuis moins de 8 k jusqu’à 32 k–64 k tokens. L’exactitude ne s’effondre pas avec la longueur. Ce qui change, c’est la calibration : l’erreur sur ce panneau de documents longs est de 0,053, soit environ trois fois son chiffre pour les documents courts. C’est sur les états longs que la confiance de Kev devient floue.
Donc, le compromis honnête sur la longueur : Kev acceptera un document que Karpo refuse, et il y répondra avec une fiabilité légèrement moindre qu’à un document court. Aucun des deux modèles ne tronquera silencieusement, ce qui compte davantage que l’un ou l’autre de ces chiffres — un modèle de décision qui omet discrètement la clause sur laquelle portait votre question est pire qu’un modèle qui répond non.
Le déploiement, les poids et la licence partagent tous deux
Les deux modèles sont sous Apache-2.0 pour les poids et la tête, tous deux nécessitent leur propre loader, et tous deux échouent lamentablement si on les traite comme des modèles de chat. Kev a besoin d’un GPU de la classe 80 Go — un état de 64k tokens a culminé à 87,1 Go sur un H200 — ou d’un Mac doté d’environ 96 Go. Karpo nécessite un GPU pouvant contenir 62,5 Go de poids bf16. Ni l’un ni l’autre ne dispose d’un endpoint hébergé par son éditeur ; Kev est servi par le serveur de son propre dépôt, Karpo par son propre paquet. Tous deux ont suscité des quantifications communautaires, ce qui est le signal habituel que des gens les exécutent réellement plutôt que de se contenter de lire à leur sujet.
L’écart de 135 ms contre 94 ms est mesuré par requête sur du matériel qui n’est pas identique, donc à considérer comme indicatif. Ce qui n’est pas indicatif, c’est la forme opérationnelle : l’attention non causale de Kev sur toute la séquence coûte plus cher par token à mesure que les états s’allongent, tandis que Karpo calcule un état partagé unique par requête et en dérive les questions. Si votre charge de travail consiste en de nombreuses questions sur un état court, Karpo est conçu exactement pour cela. S’il s’agit d’une seule question sur un long document, c’est Kev.
Lequel exécuter
Choisissez Kev 27B si vous devez confier à un modèle un contrat de 64 k tokens, si vous voulez appliquer un seuil sur la probabilité et que vous tenez à ce que ce seuil signifie bien ce qu’il dit, et si vous appréciez un fournisseur qui publie des intervalles de confiance sur ses propres pertes. Vous acceptez environ quatorze points de précision sur un classement auquel les deux modèles ont participé, et vous obtenez la meilleure preuve du domaine quant à ce que cette précision couvre et ne couvre pas.
Choisissez Karpo Decision 31B si l'état est une capture d'écran, un ticket ou une page — court, beaucoup de questions, sensible à la latence — et si le score Full du board est la preuve que vous pondérez. Vous acceptez une erreur de calibration de cinq points et un plafond de 32k, et vous obtenez le leader actuel à 94 ms.
Ce qu'aucun des deux ne vous fournit, c'est un endpoint de production. Si la couche de décision doit se trouver derrière un filtre qui s'active avant chaque appel d'outil, vous devrez en exploiter un vous-même, ou faire appel à un service hébergé. Jev 1.14 de TypeSafe figure dans notre catalogue précisément pour ce rôle, et c'est le modèle que les deux checkpoints ont été conçus pour concurrencer — utile comme témoin dans un test fantôme, puisqu'une reproduction ouverte qui dépasse sa cible sur un tableau tiers devrait aussi la dépasser sur votre trafic. Le catalogue propose également les deux modèles de base, Gemma 4 31B et Qwen3.8-27B, via une API unique pour plus de 200 modèles au prix catalogue du fournisseur, sans marge, ce qui est la manière la plus économique de déterminer si une couche de décision vaut la peine d'être possédée avant d'acheter le GPU.
La question ouverte que laisse cette confrontation est celle à laquelle le classement ne peut pas répondre : si l’avance de quatorze points de Karpo résiste au contact d’une charge de travail réelle, ou s’il s’agit du genre d’avance qui provient d’un réglage sur une distribution plus proche du jeu de test privé que celle de son concurrent. La fiche de Kev documente son mélange d’entraînement jusqu’au nombre d’enregistrements ; celle de Karpo, non. Cette asymétrie ne prouve rien, et c’est la raison pour laquelle il faut mesurer plutôt que se fier à l’un ou l’autre chiffre.

