Une carte de titre générée intitulée « Karpo Decision 31B vs Nimble v3 », avec le sous-titre « La licence répond avant le classement. » En dessous, deux cartes : « Nimble v3 » indiquant « adaptateur LoRA 9B », « CC BY-NC 4.0 — pas d’utilisation commerciale » et « Score total : 51.06 » à côté d’un cadenas fermé ; et « Karpo Decision 31B » indiquant « checkpoint complet 31.3B », « poids Apache-2.0 » et « Score total : 73.86 » à côté d’un cadenas ouvert.
Guides & Insights

Karpo Decision 31B vs Nimble v3 : la licence répond avant le classement.

Auteur

Elias Hawthorne

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Two decision models shipped in the same autumn with almost no announcement, and they land on opposite sides of the one question that usually decides a purchase. Nimble v3 — filed as Bespoke-Nimble-9B-v3, uploaded to Hugging Face on 30 September 2026 — is a 9B LoRA adapter under CC BY-NC 4.0, which the card glosses as "it may not be used for commercial purposes." Karpo Decision 31B, created on 5 November 2026 by MachinePulse, is a 31.3B Gem​ma 4 fine-tune under Apache-2.0 with Gem​ma 4's own terms carried alongside. Everything else in this matchup — a 22-point leaderboard gap, a three-times difference in weight size, a calibration error that differs by a factor of two and a half — is downstream of that fork, and most teams discover it after they have already picked a winner on benchmarks.

Prenez d’abord la licence, car c’est le seul élément de cette comparaison qui soit à la fois établi et décisif. Ensuite, examinez ce que les chiffres peuvent et ne peuvent pas vous dire, car de ce côté-là, presque rien n’est établi du tout.

Ce que contient réellement chaque dépôt

Nimble v3 comprend cinq fichiers : un README, adapter_config.json, adapter_model.safetensors, un schema_config.json et .gitattributes. Il s'agit d'un adaptateur PEFT, et non d'un modèle autonome, et il attend Qwen/Qwen3.5-9B comme modèle de base, que le dépôt ne duplique pas. La fiche décrit un contexte et des questions typées — un choix parmi des options, ou oui ou non — et renvoie une probabilité pour chaque option. Bespoke Labs n'a publié ni longueur de contexte, ni plafond d'options, ni température, ni note de modification pour la v3 ; les points de contrôle antérieurs de la famille documentaient une partie de ces éléments, celui-ci ne le fait pas.

Karpo Decision 31B est un checkpoint complet, 62,5 Go de poids pour 31,3 milliards de paramètres en bf16, plus une tête de lecture 255 × 5 376 en fp32. Il lit le texte, le JSON et les images, accepte jusqu’à 255 options par question, limite une séquence à 32 768 tokens, découpe les requêtes plus longues par question et refuse tout ce qui ne tient toujours pas plutôt que de le tronquer. Il est livré avec un package Python et un serveur HTTP dans la forme System One, POST /v1/systemone, car une pile générique de complétion de chat ne peut pas l’exécuter : l’attention par branche et la lecture sont toutes deux porteuses, et charger le checkpoint comme un modèle de chat ordinaire ne reproduira pas ses réponses.

La différence entre les dépôts a une dimension pratique. Le README de Nimble v3 ne vous explique pas comment le servir correctement ; la fiche Karpo, si. L’un est un checkpoint accompagné d’un manuel du propriétaire, l’autre un checkpoint accompagné d’une ligne de licence.

L’écart, et les instruments auxquels il faudrait se fier pour y croire

On the Decision Index — the community board tracking open reproductions of TypeSafe's Je​v, now in edition 0.4.1 — the two numbers are 73.86 and 51.06 on the Full score. That is a 22.8-point gap. The Full figure is the one worth trusting most, because the maintainers ran it themselves: roughly 60% of it comes from tests over the same skills as the public suite and 40% from domains nobody published for, and neither vendor saw either half beforehand. Karpo's split is 70.94 same-skills against 61.5 new-domains. Nimble v3's is 52.34 against 38.2.

Les chiffres publics figurant sur chaque fiche proviennent des propres exécutions du kit officiel par les fournisseurs et doivent être lus séparément : 75,05 pour Karpo sur 140 178 requêtes notées, et 56,88 pour Nimble v3 — le chiffre que sa fiche affiche sur l’ancienne suite 0.2.1, que la nouvelle exécution du comité situe à 57,19 sur l’échelle actuelle. Les deux ont été adoptés par le comité, ce qui constitue une véritable étape de revue et non l’équivalent d’un laboratoire indépendant testant le modèle sur son propre matériel. Aucun des deux modèles n’apparaît sur Artificial Analysis. Personne en dehors de ces deux dépôts n’a évalué l’un ou l’autre.

En pratique, cela signifie que les 22,8 points sont plus dignes de confiance que la plupart des comparaisons de fournisseurs, mais moins qu’une lecture des deux modèles par un seul instrument. Ils ont été produits par une seule organisation, sur une seule suite et avec une seule formule, ce qui constitue véritablement le meilleur cas de figure disponible pour les modèles de décision ouverts — et la suite est non officielle, la bande d’égalité est de 0,9 point, et la moitié privée ne peut pas être inspectée par vous. Considérez la direction comme réelle et l’ampleur comme approximative.

Là où le modèle 9B est plus proche que ne le laisse penser l’écart de taille

A generated dual-bar chart titled 'Five category scores, one board' with rows reading 'Tools and automation — 84.24 / 88.39', 'Language understanding — 60.68 / 76.78', 'Retrieval — 55.48 / 76.42', 'Knowledge and reasoning — 40.96 / 65.46' and 'Arts and open-ended — 44.05 / 68.21', each pairing a shorter blue Nimble v3 bar with a longer cyan Karpo Decision 31B bar. The top row carries a warm outline and a tag reading 'closest'. The footer reads 'Decision Index 0.4.1 category scores; both models scored by the same maintainers on the same suite.'

Décomposez les cinq scores par catégorie du tableau et l’histoire cesse d’être à sens unique. Sur les outils et l’automatisation, Nimble v3 obtient 84,24 contre 88,39 pour Karpo — quatre points, avec un modèle trois fois plus petit, sur la catégorie qui couvre la sélection d’outils et le contrôle des agents. C’est le cas d’usage pour lequel Bespoke Labs a conçu cette famille, et il résiste plus ou moins intact à la différence de taille. Si votre couche de décision existe pour répondre à « cet agent doit-il appeler l’outil, et lequel ? », l’adaptateur 9B se situe dans la même conversation que le checkpoint 31B.

Partout ailleurs, l’écart est celui que l’on pouvait prévoir. La compréhension du langage atteint 60,68 contre 76,78, la récupération d’informations 55,48 contre 76,42, les connaissances 40,96 contre 65,46, les arts et le jugement ouvert 44,05 contre 68,21. L’avantage de Karpo se concentre exactement là où la capacité supplémentaire d’un modèle 31B devrait payer : un contexte plus long, davantage de connaissances du monde, une meilleure lecture d’un état dense.

La latence ne suit pas non plus l’écart de taille. Sur le matériel de référence du tracker — un GPU, une requête à la fois — Nimble v3 enregistre une médiane de 73,9 ms contre 94,3 ms pour Karpo. Vingt millisecondes ne justifient pas de choisir un modèle, mais rappellent qu’un adaptateur 9B fusionné est un objet différent à exploiter : il tient sur un ordinateur portable en Q4, se charge en quelques secondes et peut s’intégrer dans une boucle d’agent par étape sans avoir à discuter du budget GPU.

Calibration, où le modèle plus petit n’est pas seulement plus faible, mais moins honnête

L'exactitude vous dit à quelle fréquence la réponse principale est correcte. La calibration vous dit si la probabilité qui lui est associée peut supporter un seuil, et pour un modèle de décision, c'est le seul nombre qui compte sur le plan opérationnel.

La carte de Karpo rapporte une erreur de calibration attendue de 4,8 points sur 34 411 réponses : une confiance moyenne de 87,96 % contre une exactitude réelle de 83,19 %. Dans la tranche supérieure, qui contient 68,5 % de toutes les réponses, elle a raison 95,7 % du temps tout en annonçant 98,7 %. Surestimation de la confiance dans le haut de l’échelle, d’environ trois points, la courbe suivant par ailleurs.

Celui de Nimble v3 est de 12,29 points sur 34 833 réponses : une confiance de 87,26 % contre une exactitude de 74,97 %. La tranche supérieure contient 67 % des réponses, annonce 98,6 % et a raison dans 89,1 % des cas — une surestimation de 9,5 points dans la bande où un seuil existe réellement. En dessous, les tranches intermédiaires sont encore pires : à un niveau annoncé de 0,85, le modèle a raison environ 59 % du temps. Ce n’est pas un modèle avec une légère dérive de calibration ; c’est un modèle dont la confiance ne peut pas servir de seuil sans recalibrage, et la documentation de la famille elle-même n’a jamais promis le contraire.

Lisez ces deux paragraphes ensemble, et la conclusion honnête est plus étroite que ne le suggère le classement. Karpo est meilleur pour prendre des décisions et meilleur pour savoir à quel point ses décisions sont bonnes. Nimble v3 coûte moins cher à exécuter, et sur la seule catégorie qui compte le plus pour le travail des agents, il est proche — mais si vous prévoyez d’accepter automatiquement au-dessus de 0,9 et d’escalader en dessous, vous passerez votre première semaine à ajuster une correction pour Nimble que Karpo vous donne dans sa fiche.

Le fork de licence, énoncé sans détour

Nimble v3 est sous licence CC BY-NC 4.0. Ce n’est pas ambigu : la fiche indique qu’il ne peut pas être utilisé à des fins commerciales. Tous les points de contrôle Nimble antérieurs étaient sous Apache-2.0, et le modèle de base est sous Apache-2.0, ce qui ne change rien — une base permissive ne desserre pas un adaptateur non commercial, et c’est dans l’adaptateur que réside le comportement. Le dépôt GitHub qui contient le code d’entraînement et de curation du projet n’indique aucune licence via l’API GitHub, ce qui constitue un problème distinct et sans doute plus grave pour quiconque envisage de s’appuyer dessus.

Karpo Decision 31B is Apache-2.0 for weights and code, with Gem​ma 4's terms carried alongside in the repository. That is the permissive end of open, with the usual Gemma caveat that downstream redistribution has to carry those terms too.

Pour un carnet de recherche, une évaluation interne ou un article, la distinction est invisible et Nimble v3 constitue l’entrée la moins coûteuse. Pour tout ce qui touche aux revenus — un mécanisme de routage au sein d’un produit commercial, un modèle de triage dans un pipeline payant, même un outil interne dans une entreprise à but lucratif —, la licence tranche le match avant même que les 22,8 points soient examinés. Bespoke Labs dispose d’une voie API hébergée et d’un emplacement réservé pour une variante 27B qui affiche 65,33 sur l’ancienne suite publique, et ni l’un ni l’autre ne modifie les conditions applicables à l’adaptateur 9B.

Servir l’un ou l’autre est un problème de routage avant d’être un problème de modélisation.

A generated architecture diagram titled 'The decision head and the generative half'. A left card labelled 'Decision model, self-hosted' lists 'Karpo Decision 31B — Apache-2.0', 'Nimble v3 — CC BY-NC 4.0' and 'answers only the options you supply', and an arrow runs right into a centre card labelled 'One OpenAI-compatible key' listing '200+ models', 'provider list price, no markup' and 'automatic failover'. Two arrows fan out from the centre to cards reading 'TypeSafe Jev 1.14' and 'Gemma 4 31B'. The footer reads 'Neither decision model is hosted here; they stay where their licence permits.'

Les modèles décisionnels sont étroits par construction : ils ne répondent qu’aux questions que vous leur soumettez, ils ne peuvent ni rédiger, ni expliquer, ni renvoyer une option que vous n’avez pas fournie. Cela en fait la petite moitié d’un schéma à deux modèles, et la moitié la plus facile à garder en interne. La moitié générative est celle où un point de terminaison unique justifie sa présence.

OrcaRouter runs neither of these checkpoints, and neither would make sense behind a chat-completions route. The two models it does serve sit one layer down: TypeSafe's Je​v 1.14, the target the whole board exists to reproduce, and the Gem​ma 4 31B checkpoint that Karpo was fine-tuned from. One key covers both, pricing follows the provider's list with nothing added on top, so a vendor change reaches you the same day. What suits a decision head is the routing layer in front of it — a routing DSL that sends each request class to the model that should answer it, with failover behind that — so a nightly rescoring job and a live guardrail share one contract while the decision model itself stays wherever its licence allows.

Trois éléments qui changeraient cette lecture

A generated checklist card titled 'Three things that would change this reading', with three numbered rows: 'A commercially usable Nimble adapter' — 'Apache-2.0 on a Qwen3.5-9B base, with a context contract'; 'A published context and prompt spec' — 'Nimble v3 documents neither, so its inputs are reconstructed'; and 'One instrument scoring both' — 'A single board reading both models on the same suite'. The footer reads 'Until then: Apache-2.0 and better-calibrated at 31B, or non-commercial and cheap at 9B.'

Le premier point est un changement de licence. Un adaptateur Nimble utilisable commercialement sur une base Qwen3.5-9B, avec un contrat de contexte et une température déclarée, rendrait véritablement l’option 9B compétitive pour le contrôle des agents — le score de 84,24 aux outils indique que la capacité est déjà là. Rien dans les documents publics de Bespoke Labs ne suggère que cela se profile ; le passage d’Apache-2.0 à CC BY-NC va dans la direction opposée.

La seconde est une spécification de contexte et d’invite. La fiche de Nimble v3 ne documente ni l’une ni l’autre, ce qui signifie que quiconque l’exécute doit deviner un format d’invite que les versions précédentes fournissaient. Un modèle dont les entrées sont reconstruites par l’utilisateur est un modèle dont les chiffres sont difficiles à reproduire, et l’erreur de calibration de 12,3 points est le genre de chiffre qui s’améliore ou se dégrade selon la façon dont on formule la question.

Le troisième est tout instrument indépendant qui évalue les deux. Le Decision Index est prudent, transparent sur sa méthode et honnête sur ses bandes d’égalité, et il reste un tableau de bord communautaire. Le jour où l’un ou l’autre modèle apparaît sur Artificial Analysis à côté d’un évaluateur de hyperscaler, la comparaison cesse d’être de l’arithmétique entre deux fiches fournisseurs et devient une mesure. Cela ne s’est produit pour aucun des deux, et tant que ce n’est pas le cas, la position défendable est la plus ennuyeuse : Apache-2.0 et mieux calibré à 31B si vous pouvez l’exécuter, non commercial et bon marché à 9B si vous ne pouvez pas, et aucune raison de choisir sur le seul score.