Une carte-titre générée intitulée « Karpo Decision 31B vs Drex Max 1.1 » avec le sous-titre « Deux tableaux, un chiffre chacun — et pas de comparaison directe », deux panneaux arrondis côte à côte étiquetés « Decision Index » indiquant « Karpo Decision 31B 73.9 » et « Artificial Analysis v2.1 » indiquant « Drex Max 1.1 72.62 », et une petite pastille verticale dans l’espace entre eux indiquant « aucun instrument commun ».
Guides & Insights

Karpo Decision 31B vs Drex Max 1.1 : deux cartes, un numéro chacune

Auteur

Elias Hawthorne

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Karpo Decision 31B et Drex Max 1.1 sont suffisamment proches en taille, forme et description de poste pour qu'une fiche technique les fasse passer pour le même produit venant de deux entreprises. Tous deux sont des modèles denses d'environ 30B affinés pour répondre à des questions typées sur un état en une seule passe avant, sans générer de texte. Tous deux embarquent une tête de lecture à 255 voies, tous deux acceptent des images, tous deux refusent plutôt que de tronquer une question surdimensionnée. La divergence ne se situe pas dans l'architecture. Elle réside dans ce que chaque fournisseur a bien voulu laisser quelqu'un d'autre mesurer, et dans ce que vous êtes autorisé à faire avec les poids par la suite. Karpo, de MachinePulse, dispose d'un score Full tiers et d'aucun prix. Drex Max 1.1, de Nace.AI, dispose d'un chiffre indépendant Artificial Analysis, d'un tarif publié et d'une licence qui restreint l'usage commercial.

Aucun de ces échanges n’est manifestement le bon choix. Voici ce que coûte réellement chaque côté de l’échange.

D’où viennent les chiffres, car ils ne viennent pas du même endroit

Commençons par le point dérangeant : aujourd’hui, aucun classement ne donne un score aux deux modèles à la fois.

Karpo Decision 31B figure sur le Decision Index, le tableau communautaire qui suit les reproductions ouvertes de Je​v de TypeSafe. Son score Full est de 73,9, calculé par les mainteneurs du tableau sur des tests privés, et il partage actuellement la première place avec GLiDE 27B à 73,4. Son indice public de 75,05 provient de l’exécution du kit officiel réalisée par MachinePulse elle-même et a été adopté par le tableau, le fichier de résultats de 140 178 requêtes étant publié pour que chacun puisse le réexécuter. Artificial Analysis n’a aucune ligne pour Karpo.

Drex Max 1.1 en est l’image miroir. Artificial Analysis lui attribue un score de 72,62 sur Decision Index v2.1 — deuxième sur 25 modèles de décision, derrière Liquid AI d1.2-ultra à 74,85 et devant SubQ Snap 1.2 à 72,58. Ce chiffre est celui d’AA, mesuré sur le matériel d’AA avec le jeu de documents privé d’AA. Ce que Karpo possède et que Drex Max 1.1 n’a pas : le tracker Je​v contient une ligne pour Drex Max v1 à 66,60 Full, et aucune ligne du tout pour v1.1.

Donc, la seule comparaison à instrument identique disponible est Karpo Decision 31B à 73,9 contre Drex Max v1 à 66,6 — un écart de 7,3 points sur un seul tableau, entre deux versions différentes du modèle Nace, soit exactement le genre de comparaison qui flatte le camp que l’on favorise. Tracez la ligne dans l’autre sens et Drex Max 1.1 affiche 72,62 là où Karpo n’a rien d’imprimé. Les deux phrases sont vraies. Aucune n’est un face-à-face.

Les caractéristiques, dimension par dimension

A generated two-column scoreboard titled 'Karpo Decision 31B vs Drex Max 1.1 — the scoreboard'. The Karpo column reads 'Params: 31.3B, 62.5 GB bf16', 'Context: 32,768 tokens', 'Score: 73.9, Decision Index', 'Price: none published', 'Licence: Apache-2.0' and 'Hosting: self-host only'; the Drex Max 1.1 column reads 'Params: dense 27B, 49 GB bf16', 'Context: 16,384 default, up to 131,072', 'Score: 72.62, Artificial Analysis', 'Price: $0.03 per million input', 'Licence: Nace.AI Open RAIL-M' and 'Hosting: served by Nace.AI'. The footer reads 'Karpo figures per the Decision Index and its model card; Drex figures per Artificial Analysis and Nace.AI.'

• Paramètres — Karpo 31,3B en bf16, plus un readout fp32 de 255 × 5 376, environ 62,5 Go sur disque ; Drex Max 1.1 est un modèle dense de 27B, environ 49 Go en bf16 et 26 Go avec le backbone en 8 bits.

• Modèle de base — Gemma 4 31B affiné par instruction pour Karpo, Qwen3.8-27B pour Drex Max 1.1. Des corpus de préentraînement différents, des tokeniseurs différents, et tout ce qui en découle différent.

• Contexte — Karpo utilise 32 768 jetons par séquence et découpe une requête plus longue par question, chaque partie portant l’état complet ; Drex Max 1.1 utilise par défaut 16 384 jetons par requête, et la documentation du fournisseur porte ce chiffre à 131 072 par question.

• Multimodalité — les deux lisent les images nativement, et tous deux rendent la capture d'écran visible pour chaque question de la requête plutôt que pour une seule.

• Types de questions — surface identique : choice jusqu'à 255 options, noul pour vrai/faux, score pour un niveau ordonné.

• Interface — Karpo sert System One sur POST /v1/systemone depuis son propre paquet Python ; Drex Max 1.1 présente la même structure, avec en plus des forks llama.cpp et Ollama pour Apple silicon et CPU.

• Licence — Apache-2.0 pour les poids et le code de Karpo ; Nace.AI Open RAIL-M pour Drex Max 1.1, qui est un modèle à poids ouverts assorti de restrictions d'utilisation.

• Hébergement — Karpo n'en propose aucun. Drex Max 1.1 est servi par Nace.AI à 0,03 $ par million de tokens d'entrée, signalé sur le tableau AA comme un tarif de lancement temporaire.

A capture of the community Decision Index leaderboard, headed with the multimodalart jev-decision-index attribution, listing Karpo Decision 31B at 73.86 in first place ahead of GLiDE 27B at 73.37, REAX 1.3 at 72.64, Logits Sigma-1 Duo at 72.28, Copernicus-31B at 72.11, KnowLine 31B Gen1.5 at 71.91, Copernicus-57B at 71.8, FlexDM-LoRA 2.1 at 71.66, Sieve 31B v3 at 71.10, OneJev1.6g-31B at 70.86 and Turion Jev 31B at 70.47.

La ligne de contexte est celle que tout le monde survole. Un plafond absolu de 32 768 tokens assorti d'un refus explicite constitue une contrainte d'ingénierie différente d'une valeur par défaut de 16 384 tokens que l'on peut porter à 131 072 au moyen d'une variable d'environnement. Si vos états sont des factures et des tickets de support, aucun de ces deux chiffres n'a d'importance. Si vos états sont des contrats, on peut en confier dix au modèle Nace, alors qu'on ne peut pas en confier un seul à Karpo.

À quoi ressemble un écart de 11 points de calibration dans un pipeline

L’exactitude est le chiffre que l’on cite et celui qui compte le moins pour cette classe de modèles. Tout l’intérêt d’un modèle décisionnel est que sa sortie soit une probabilité sur laquelle un seuil peut agir, donc la question est de savoir si cette probabilité est honnête.

La fiche de Karpo signale une erreur de calibration de 4,8 points : lorsque le modèle annonce 0,9, il a raison un peu moins de 90 % du temps, d’environ cinq points en moyenne. Le profil AA de Drex Max 1.1 affiche un score de Brier de 0,16 sur l’ensemble des questions, ce qui est une statistique différente et non directement comparable, mais le même tableau montre aussi son échelle de confiance : dans la tranche de confiance de 0,98, le modèle a raison 97,5 % du temps. C’est un modèle dont les réponses à confiance maximale peuvent être prises au pied de la lettre.

La répartition intéressante pour Drex Max 1.1 se situe dans l’évaluation des connaissances. Sur AA-Omniscience, il obtient un score de décision de 60,3 — mais ce score composite provient de 28 % de précision brute face à un taux de non-hallucination de 65,3 %. Considérez ces chiffres ensemble : vous avez un modèle qui répond correctement à environ un quart des questions de connaissances et refuse de répondre à une grande partie des autres. L’indice le récompense pour avoir refusé plutôt qu’inventé, ce qui est le comportement attendu d’une couche de décision et une mauvaise adéquation pour tout ce qui nécessite une réponse réelle.

Chez Karpo, le même instinct se manifeste ailleurs : neuf requêtes sur 140 178 ont été purement et simplement refusées parce qu’une question et son état dépassaient la fenêtre. Refuser plutôt que tronquer silencieusement est le bon comportement par défaut. C’est aussi un mode de défaillance qu’il faut contourner, et un plafond de 32 768 jetons le rend plus fréquent.

Latence et forme du déploiement

La médiane enregistrée par Karpo est de 94 ms par requête sur le matériel de référence du tracker, un GPU, une requête à la fois. AA mesure Drex Max 1.1 à 283 ms par tâche et un coût de 102,7 $ par million de tâches au prix de lancement actuel. Les deux chiffres ne correspondent pas à la même mesure — par requête contre par tâche, et une tâche sur le corpus de documents d’AA correspond à plusieurs décisions sur un long document —, donc considérez l’écart comme indicatif plutôt que précis.

En tendance, cela dit quelque chose de réel : un readout dérivé de Gemma de 31B avec une seule passe d’état partagé est un objet plus léger qu’un modèle de 27B dont les couches d’attention non causales réécrivent toute la séquence. Le fait d’être plus léger compte ou non selon l’endroit où se situe l’appel. Une barrière qui se déclenche avant chaque appel d’outil doit s’inscrire dans le budget du tour. Une réévaluation nocturne de mille tickets n’a que faire de 200 ms.

La question de licence que personne ne pose avant que le service des achats ne s’en préoccupe

Karpo Decision 31B est sous Apache-2.0, poids et code, avec la licence propre à Gem​ma 4 fournie en parallèle dans le dépôt. C'est l'extrémité permissive de l'open.

Drex Max 1.1 est régi par la licence Nace.AI Open RAIL-M. Open RAIL-M est véritablement ouvert — vous pouvez le télécharger, l’exécuter, le modifier et le redistribuer — mais il comporte des restrictions d’utilisation qui s’imposent aux utilisateurs en aval, et il vous oblige à transmettre ces mêmes restrictions. Pour un notebook de recherche, cette distinction est invisible. Pour un produit où le modèle se trouve dans un pipeline destiné aux clients, cela implique une revue juridique, et cette revue demandera ce qui se passe lorsque vous le fine-tunez et livrez le dérivé. La réponse est « les restrictions l’accompagnent ».

Si la couche de décision est un outil interne, la licence n’est qu’une note de bas de page. Si elle est intégrée à quelque chose que vous vendez, Apache-2.0 élimine une réunion du chemin critique.

Lequel convient vraiment

Prenez Drex Max 1.1 si vous voulez un chiffre que vous n’avez pas eu à calculer, un prix que vous pouvez inscrire dans un budget, et des états qui durent longtemps. Il est mesurable aujourd’hui, il est hébergé aujourd’hui, et son échelle de confiance au sommet est la propriété qui rend un seuil automatisé défendable. Les coûts sont les restrictions de licence et un prix de lancement que AA signale explicitement comme temporaire.

Prenez Karpo Decision 31B si l’absence de point de terminaison hébergé ne pose pas de problème — vous disposez du GPU ou d’une tâche par lots —, si la permissivité d’Apache-2.0 compte et si le score Full du classement est la preuve à laquelle vous vous fiez. Les coûts sont de 62,5 GB de poids, un plafond de 32 768 tokens et un fournisseur qui n’a publié ni prix, ni page produit, ni annonce.

Il existe une troisième position, et pour la plupart des équipes, c'est la bonne ce mois-ci : ni l'une ni l'autre. Karpo a deux semaines, avec une tête à égalité et aucun score indépendant ; Drex Max 1.1 repose sur une remise qui expire. Testez les deux sur votre propre échantillon annoté et comparez le taux de réponses confiantes et fausses plutôt que le chiffre d'affichage. Pour le tenant du titre de ce test fantôme, la référence la moins chère disponible est le modèle de TypeSafe lui-même — Jev 1.14 figure dans notre catalogue, de sorte qu'une politique de seuil peut être validée face à ce que toutes les reproductions ouvertes cherchent à égaler, avec la même clé que celle que vous utiliseriez pour Qwen3.8-27B ou Gemma 4 31B, les deux modèles de base dont ces checkpoints ont été construits. Les deux bases sont servies via une API unique pour plus de 200 modèles au prix catalogue du fournisseur, sans marge, ce qui est utile précisément parce qu'une couche de décision est l'endroit où l'on veut changer de modèle tout en gardant le code.

La seule chose qui permettrait de trancher ce duel est un chiffre : l’apparition de Karpo Decision 31B au tableau AA. D’ici là, la comparaison oppose un 73,9 bien documenté à un 72,62 bien documenté, produits par deux organisations qui n’ont jamais noté la même copie.

A capture of the Artificial Analysis Decision Index v2.1 page showing the six weighted evaluations — AA-Paperclip at 30%, EvalSafe-O*NET-AA at 15%, When2Call at 10%, AA-Omniscience-Decision at 15%, HLE-MultiChoice at 15% and AA-Symmetry at 15% — the methodology note that all evaluations are conducted independently by Artificial Analysis, the 'Update Oct 30, 2026' stamp, and the worked example of a support-ticket state scored by a decision model.