Une carte de titre générée intitulée « Karpo Decision 31B vs Microsoft-Decision-1 » avec la ligne « L'un a un score au classement et aucun prix. L'autre a une liste de prix Azure et aucun score publié. » En dessous, deux cartes : « Karpo Decision 31B » indiquant « 73.86 Score total », « aucun prix publié » et « poids Apache-2.0 » ; et « Microsoft-Decision-1 » indiquant « 62.07 sur Artificial Analysis », « API Azure uniquement » et « aucun tableau de benchmarks ».
Guides & Insights

Karpo Decision 31B vs Microsoft-Decision-1 : l’un a un prix, l’autre a un score

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Placez Karpo Decision 31B à côté de Microsoft-Decision-1 et la première chose que vous remarquez, c’est qu’aucune des deux entreprises ne vous a fourni ce dont vous avez besoin pour choisir entre elles. Karpo Decision 31B, le fine-tune de Gemma 4 à 31,3 milliards de paramètres que MachinePulse a publié sur Hugging Face le 5 novembre 2026 sans article de lancement, possède un chiffre au classement et aucun prix. Microsoft-Decision-1, disponible sur Microsoft Foundry depuis le 8 octobre 2026, a un prix, un contrat Azure, un dossier d’IA responsable et aucune table de référence publiée. L’un est mesurable et invendable. L’autre est vendable et, par choix de son fournisseur, non mesuré.

Cette inversion, c’est toute la comparaison, et il vaut la peine de résister à la tentation de la résoudre par l’arithmétique. Le 73,86 que porte Karpo et le 62,07 qu’Artificial Analysis attribue à Microsoft-Decision-1 ne sont pas deux lectures d’une même chose. Ils proviennent de tableaux différents, de compositions de tâches différentes, de formules de notation différentes et de conceptions différentes de ce à quoi sert un modèle décisionnel. La question utile n’est pas de savoir quel nombre est le plus grand. C’est de savoir lequel des deux écarts — le prix manquant ou le score manquant — votre déploiement peut réellement absorber.

Qu’est-ce que Microsoft vend, exactement ?

Microsoft-Decision-1 est un modèle Qwen3.5-9B post-entraîné qui répond par une distribution de probabilités sur des options plutôt que par de la prose. Le contrat est étroit : oui/non, choix multiple, une échelle d'évaluation, un ensemble de classification ou une grille d'évaluation, sur un maximum de 32 768 tokens de texte. Pas d'images, pas d'audio, pas de champ d'explication, pas de tokens générés. Microsoft précise explicitement qu'il n'est pas destiné aux questions ouvertes, à la traduction ni au résumé, et déconseille de l'utiliser comme seule base pour des décisions en matière de crédit, d'emploi, de logement, d'assurance, d'éducation ou de santé.

Ce qu’il apporte bel et bien, c’est ce qu’un checkpoint ouvert ne peut pas apporter : un déploiement Foundry au sein du portefeuille Direct from Azure, serverless ou point de terminaison unifié, SKU standard, authentification Azure, une seule facture, l’inférence par lots délibérément désactivée, et aucune voie de téléchargement des poids ni de fine-tuning. Pour une banque ou un groupe hospitalier, ce dernier ensemble de faits vaut souvent plus que vingt points sur un classement, car c’est la différence entre un modèle qu’une équipe plateforme peut approuver et un modèle autour duquel une équipe plateforme doit bâtir une stack de serving.

Le prix est réel, mais difficile à citer. La page du modèle n’affiche pas de tarif par token ; elle renvoie vers la page de tarification d’Azure. Ce qu’Artificial Analysis suit pour ce modèle, c’est 143 $ par million de tâches au tarif d’entrée, contre 345 $ par million de tâches pour Gemini Decision 1 de Google. Karpo n’a pas de chiffre comparable, car Karpo n’a aucune grille tarifaire, quelle qu’elle soit : ni hôte, ni console, ni essai, ni coût publié par GPU.

Ce que le conseil a mesuré, et ce qu’il n’a pas mesuré

A generated two-panel diagram titled 'Two numbers, two instruments'. The left panel is headed 'Karpo Decision 31B — Decision Index 0.4.1' and lists 'Full score 73.86 — private tests, board-computed', 'Same-skills 70.94', 'New-domains 61.5' and 'Public index 75.05 — vendor run, all 140,178 requests, 11 refused'. The right panel is headed 'Microsoft-Decision-1 — Artificial Analysis Decision Index v2.1' and lists 'Composite 62.07', 'When2Call 88.0', 'AA-Paperclip 51.8 — 20.9% document pass' and 'HLE-MultiChoice 39.4 — 8.6% raw'. The footer reads 'The two panels are different instruments and are not subtractable.'

Le score de Karpo est communautaire. Le Decision Index, le classement ouvert qui suit les reproductions de Jev de TypeSafe, le place à 73,86 Full dans l’édition 0.4.1 — premier ex æquo sur 307 lignes dans l’export publié du classement, à égalité avec GLiDE 27B à 73,37, car le classement regroupe tout ce qui se situe à moins de 0,9 point du leader. Ce score Full est bien celui d’un tiers au sens qui compte : les responsables du classement ont exécuté des tests privés que le fournisseur n’a jamais vus, répartis à peu près à 60 % sur des compétences identiques et à 40 % sur de nouveaux domaines. La répartition de Karpo affiche 70,94 sur les compétences familières et 61,5 sur celles qui ne le sont pas, ce qui est la forme habituelle pour un modèle qui a été fortement ajusté sur une suite connue.

Le 75.05 sur la fiche du modèle est d’une tout autre nature, et la fiche est honnête à ce sujet : il s’agit de la propre exécution par MachinePulse du kit de notation officiel, 140 178 requêtes notées, dont onze refusées pour dépassement de la fenêtre, adoptée par le conseil après qu’un nouveau score du kit est revenu égal à la revendication. Public et reproductible, mais toujours de première main. La ligne du conseil elle-même confirme l’adoption et note que la concordance des tests privés avec les lignes soumises était de 100 % sur 827 lignes.

Microsoft-Decision-1 ne présente rien de tout cela. Sa page de catalogue comporte un onglet Benchmarks contenant un paragraphe de méthodologie et aucun chiffre : benchmarks de décision publics et communautaires, ensembles internes tenus à l’écart, erreur d’exactitude et de calibration, ordre des options varié, tests statistiques appariés appliqués. Microsoft indique que le modèle est « au niveau des principaux modèles de décision et devant les autres modèles de décision ouverts évalués selon la même méthodologie », puis refuse de montrer l’évaluation. Toute affirmation de performance à son sujet est aujourd’hui rapportée par le fournisseur et non reproduite.

Le seul instrument qui l’a évalué est Artificial Analysis, sur Decision Index v2.1, et les composantes sont plus informatives que le score composite. Microsoft-Decision-1 obtient 88,0 sur When2Call, proche des leaders, et 86,8 sur EvalSafe-O*NET. Il obtient 51,8 sur AA-Paperclip avec un taux de réussite documentaire tout ou rien de 20,9 %, 54,9 sur AA-Omniscience-Decision avec un taux d’absence d’hallucination de 21,7 %, et 39,4 sur HLE-MultiChoice avec une précision brute de 8,6 %. Le profil est celui d’un évaluateur compétent du jugement en milieu professionnel, mais faible en matière de comportement de connaissances, et le chiffre d’abstention est celui sur lequel il faut s’arrêter : un modèle qui refuse de répondre à 78 % des questions de connaissances protège sa calibration au détriment de son utilité.

Les formes de requête, côte à côte

A generated two-column comparison titled 'The request shapes, side by side'. The Karpo Decision 31B column reads '31.3B bf16 plus fp32 readout — about 62.5 GB', 'text, JSON and images', '32,768 tokens, split by question, refuses overflow', 'choice up to 255 options, noul, score', '94 ms median per request' and 'Apache-2.0 weights'. The Microsoft-Decision-1 column reads '9B dense, API only, no weights', 'text only', '32,768 tokens, no way to raise it', 'yes/no, multiple choice, rating, classification, rubric', '274 ms per task' and 'no published rate on the model card'. A footer line reads 'Latency figures are not the same measurement: per request for one, per task over a document set for the other.'

• Paramètres — Karpo 31,3 B en bf16, plus une lecture fp32 de 255 × 5 376, environ 62,5 Go sur disque ; Microsoft-Decision-1, une base dense de 9 B servie uniquement via une API.

• Entrée — Karpo accepte du texte, du JSON et des images, avec une capture d'écran transmise en tant que state.viewport_screenshot ; Microsoft-Decision-1 n'accepte que du texte, sérialisé en 32 768 tokens.

• Contexte — 32 768 jetons pour les deux, avec une différence importante dans le mode de défaillance : Karpo découpe une longue requête par question et refuse tout ce qui ne rentre toujours pas, tandis que le plafond de Microsoft correspond à l’entrée plus l’ensemble des options, sans moyen de l’élever.

• Types de questions — Karpo choice jusqu’à 255 options, noul pour vrai/faux, score pour un niveau ordonné ; Microsoft oui/non, choix multiple, évaluation, classification et grille d’évaluation, avec des options d’abstention telles que « impossible à déterminer » prises en charge au sein de l’ensemble.

• Traitement par lots — Karpo encode un seul état et de nombreuses questions dans une seule séquence, si bien qu’une centaine de questions sur une même facture coûte environ une passe sur la facture ; le contrat publié par Microsoft prévoit un seul état et son ensemble de questions par invocation, l’étendue provenant du regroupement.

• Latence — 94 ms en médiane par requête sur le matériel de référence du tracker, un GPU, une requête à la fois pour Karpo ; 274 ms par tâche pour Microsoft-Decision-1 selon la mesure d’AA, une valeur par tâche sur un ensemble de documents plutôt qu’une valeur par requête.

• Licence et accès — pondérations sous Apache-2.0, avec en parallèle les conditions de Gemma 4 pour Karpo ; aucune pondération pour Microsoft-Decision-1, qui est uniquement accessible via API sous les conditions Azure.

• Prix — aucun tarif publié pour Karpo ; 143 $ par million de tâches selon le suivi d’AA pour Microsoft-Decision-1, le tarif d’entrée par jeton étant indiqué sur la page de tarification d’Azure plutôt que sur la fiche du modèle.

La calibration est l’axe sur lequel les deux ont quelque chose à dire.

Pour un modèle dont toute la sortie est une probabilité, le chiffre qui régit le déploiement n’est pas l’exactitude, mais de savoir si la probabilité veut dire ce qu’elle dit. La fiche de Karpo rapporte une erreur de calibration de 4,8 points : sur 34 411 réponses évaluées, sa confiance moyenne s’établissait à 87,96 % pour une exactitude de 83,19 %, et dans la tranche de confiance la plus élevée — 68,5 % de toutes les réponses — il avait raison dans 95,7 % des cas tout en annonçant 98,7 %. Voilà un modèle auquel on peut appliquer un seuil, avec une dérive connue à l’extrémité supérieure.

Microsoft ne publie ni erreur de calibration attendue, ni score de Brier, ni courbe de fiabilité. Ce que les scores par composante d’AA impliquent, c’est un modèle dont la confiance est dépensée avec prudence : les taux élevés de non-hallucination sur Omniscience et HLE signifient qu’il s’abstient plutôt que de répondre lorsqu’il n’est pas sûr, ce qui est le comportement qu’attend un garde-fou et non un classifieur. On ignore si son 0,8 signifie 0,8 en dehors de l’évaluation propre à Microsoft, et la documentation de Microsoft le dit à sa manière en demandant aux intégrateurs de valider sur des données représentatives et de fixer les seuils à partir du coût de leurs erreurs.

Cette asymétrie a une conséquence pratique. Avec Karpo, vous héritez d’une courbe d’étalonnage publiée et pouvez fixer un seuil de départ avant de lancer quoi que ce soit. Avec Microsoft-Decision-1, vous héritez d’une méthodologie et d’une promesse, et vos deux premières semaines sont un projet de mesure. Ni l’un ni l’autre n’est rédhibitoire ; ce sont simplement des types de travail différents.

La version dont aucun titre ne fait mention

Microsoft-Decision-1 n’est plus le modèle actuel de sa propre famille. Microsoft-Decision-1.1 est arrivé le 17 novembre 2026 à Ignite sur une base de mélange d’experts Gemma 4 26B A4B, au même prix et avec le même plafond de 32K, et Artificial Analysis l’évalue à 67,78 — soit 5,7 points de plus que la version 1, à 123 ms par tâche au lieu de 274 ms, avec un taux de non-hallucination sur Omniscience en hausse de 21,7 % à 49,4 %. Il s’est également dégradé sur les points sur lesquels un évaluateur est censé être stable : 6,29 % de précision brute sur HLE-MultiChoice contre 8,64 %, et 47,5 % des familles de questions AA-Symmetry répondues de manière cohérente contre 51,7 %.

Quiconque compare Karpo au « modèle de décision de Microsoft » fin novembre le compare donc à une version remplacée. Cela ne rend pas la comparaison sans objet — la version 1 reste celle sur laquelle un très grand nombre de déploiements Foundry ont été dimensionnés —, mais cela signifie que le score à battre côté Microsoft est 67,78, et la question secondaire est de savoir si un modèle qui échange la précision des connaissances contre une discipline d’abstention est, dès le départ, la bonne forme pour votre pipeline.

Ce que chaque camp ne peut pas vous apporter

Karpo ne peut pas vous fournir de contrat. Il n’y a ni endpoint, ni grille tarifaire, ni canal de support, ni SLA, ni déclaration du fournisseur au-delà d’une fiche modèle et d’un README. Si votre organisation ne peut pas exécuter un checkpoint de 62,5 Go sur son propre matériel, la comparaison s’arrête là, quel que soit le score. Le charger comme un modèle de chat ordinaire ne reproduira pas non plus ses réponses : l’attention par branches et la lecture en 255 codes sont toutes deux nécessaires, et le paquet Python et le POST /v1/systemone serveur existent précisément parce qu’une pile d’inférence générique ne fera pas l’affaire.

Microsoft-Decision-1 ne peut pas vous donner un chiffre que vous n’avez pas accepté sur parole, ne peut pas être affiné sur vos propres données de décision, ne peut pas lire une capture d’écran et ne peut pas fonctionner hors ligne. Il ne peut pas non plus être évalué par vous avec le même instrument que Karpo, car le Decision Index est un registre de reproductions ouvertes et un modèle API fermé n’a pas de poids à reproduire. Les deux modèles continueront de se rater : un classement n’affichera jamais le scoreur de Microsoft, et Artificial Analysis n’a aucune ligne pour Karpo.

Il existe une troisième position, plus utile que l'une ou l'autre des colonnes. Si ce dont vous avez réellement besoin est une couche de décision à côté d'un pipeline génératif, le générateur est la moitié que vous pouvez déjà standardiser. OrcaRouter n'héberge ni Karpo Decision 31B ni Microsoft-Decision-1, et aucun des deux n'a sa place derrière une route chat-completions. Ce qu'il héberge, ce sont les deux modèles autour desquels cette comparaison ne cesse de tourner : Gemma 4 31B, la base à partir de laquelle Karpo a été affiné, et Jev 1.14 de TypeSafe, le modèle que le tableau de reproduction ouverte vise à rattraper. Les deux se trouvent derrière une seule clé compatible OpenAI, aux côtés de plus de 200 autres modèles au prix catalogue du fournisseur, répercuté sans marge, si bien qu'une baisse de prix d'un fournisseur arrive de notre côté le jour même, et le basculement automatique maintient une boucle de scoring en vie lorsqu'un fournisseur vacille.

Lequel choisir

A generated decision card titled 'Which one to reach for'. The left card is headed 'Microsoft-Decision-1.1' with the subtitle 'when the estate is Azure' and the rows 'approval trail, one invoice', 'text that fits in 32K', 'budget a calibration study first' and '67.78 on Artificial Analysis'. The right card is headed 'Karpo Decision 31B' with the subtitle 'when you own the hardware' and the rows 'screenshots and JSON inputs', 'Apache-2.0 weights', 'published 4.8-point calibration error' and '73.86 Full score, private tests'. A wide strip underneath reads 'Do not choose on 73.86 versus 62.07. Different boards, different suites, no shared grading.'

Prenez Microsoft-Decision-1, ou plus raisonnablement Microsoft-Decision-1.1, si la couche de décision doit résider dans un environnement Azure, si vous avez besoin d’une traçabilité des approbations plutôt que d’une position dans un classement, et si vos données d’entrée sont du texte tenant dans 32K. Prévoyez une étude de calibration, car Microsoft ne vous en a pas fourni, et fixez vos seuils d’abstention à partir du coût de vos erreurs plutôt que de la description qu’en donne le fournisseur.

Prenez Karpo Decision 31B si vous avez le GPU, si les captures d’écran ou l’état JSON font partie du travail, si Apache-2.0 compte pour un produit que vous comptez livrer, et si un score de test privé tiers accompagné d’une courbe de calibration publiée constitue la preuve que votre équipe accepte. Acceptez en échange que vous êtes désormais le fournisseur : aucun support, aucun SLA, aucun prix sur lequel établir un budget, et un modèle vieux de deux semaines dont le dépôt était encore en cours de modification le 16 novembre.

Ne choisissez ni l’un ni l’autre sur la foi de 73,86 contre 62,07. Ces chiffres ont été produits par des organisations qui n’ont jamais corrigé la même copie, sur des batteries de tests dont les proportions de tests privés et les formules de notation diffèrent, et l’interprétation honnête est que les deux modèles sont plausibles et qu’aucun n’est prouvé supérieur à l’autre. Le test qui permettrait de trancher — la présence de Karpo dans un classement indépendant qui évalue aussi le modèle de Microsoft, ou la publication par Microsoft du tableau de résultats décrit dans sa section méthodologie — n’a pas eu lieu. D’ici là, la décision repose sur les achats, le matériel et la modalité d’entrée, et c’est sur ces éléments qu’elle aurait dû porter dès le départ.