Benchmarks de Kimi K3.1 Pro : chaque score, qui l'a produit et où le tableau reste encore vide

Le nombre le plus utile dans le lancement de Kimi K3.1 Pro ne figure pas sur le graphique de Moonshot lui-même. Artificial Analysis, qui mène ses propres évaluations plutôt que de citer les tableaux des fournisseurs, mesure Kimi K3.1 Pro à 55 sur son Intelligence Index — quatrième sur 215 modèles de sa catégorie, deux points au-dessus de GPT-6 Astra à 53, et trois points en dessous de Claude Opus 5.5 à 58. Les supports de lancement de Moonshot racontent une histoire différente et plus flatteuse : 65,7 % à Terminal-Bench 4.0, soit une avance de 7,5 points sur les 58,2 % que Moonshot attribue à Astra. Les deux chiffres sont réels, tous deux ont été produits honnêtement, et ils ne s’accordent pas sur qui est en tête. Ce désaccord est ce qu’il faut comprendre avant de transférer une charge de travail sur ce modèle.

Ce qui suit regroupe chaque chiffre publié pour Kimi K3.1 Pro, avec la source et le paramétrage associés à chaque ligne, ainsi qu'une note partout où la case est vide. C'est le même traitement que ce blog réserve aux modèles d'Anthropic et d'OpenAI, et pour la même raison : un tableau de benchmarks est une affirmation sur un harnais autant que sur un modèle.

Le numéro indépendant, en premier

Artificial Analysis a évalué le modèle sur la version 4.3.2 de son indice, qui combine dix évaluations en un seul chiffre. Les quatre chiffres qui comptent pour un acheteur sont les suivants :

• Indice d’intelligence — 55, classé 4e sur 215 modèles. À titre de référence, la médiane de sa catégorie est de 27, et GPT-6 Astra (Max) obtient 53 tandis que Claude Opus 5.5 obtient 58 sur la même version de l’indice.

• Coût par tâche — $2.11 par tâche de l'Intelligence Index, classé 85e sur 113 pour le coût. L'équivalent de GPT-6 Astra est de $3.26. C'est le chiffre qui transforme un prix par token en coût de charge de travail, et le faible prix par token du modèle est en partie absorbé par sa verbosité.

• Verbosité — 150 millions de jetons de sortie générés pendant l’exécution d’indexation, contre une médiane de 87 millions. L’évaluateur qualifie le modèle de « très verbeux », et cela compte directement : la sortie est la ligne coûteuse sur la grille tarifaire propre à ce modèle, à 10 $ par million de jetons.

• Vitesse — 73,5 jetons de sortie par seconde sur le fournisseur de l'évaluateur, plus lent que la moyenne de 82. Sur notre propre route, le temps médian jusqu'au premier jeton est de 7,15 secondes, le chiffre qui détermine la sensation du modèle lors d'une session de codage interactive.

Une mention sur cette page mérite d’être signalée : Artificial Analysis classe Kimi K3.1 Pro comme un modèle propriétaire, car au 24 octobre les poids sont promis mais non publiés. Cette classification devrait changer d’ici le 4 novembre si Moonshot tient sa date.

Le tableau des fournisseurs, ligne par ligne, avec le paramètre joint

Moonshot a publié un large tableau de ses propres évaluations parallèlement au lancement, et à plusieurs endroits, elle y compare Kimi K3.1 Pro à Claude Opus 5.5 et GPT-6 Astra sur les mêmes lignes. Chaque chiffre ci-dessous est rapporté par le fournisseur, sauf indication contraire sur la ligne.

• Terminal-Bench 4.0 — 65,7 % pour Kimi K3.1 Pro, contre 66,4 % pour Claude Opus 5.5 et 58,2 % pour GPT-6 Astra. C’est le chiffre phare. C’est aussi la ligne qui appelle le plus de réserves : les 66,4 % d’Anthropic ont été obtenus avec un effort xhigh, un niveau au-dessus de sa valeur par défaut ; l’exécution de Kimi se fait quant à elle au niveau par défaut du modèle, max. Les deux chiffres proviennent de harnais différents.

• Kimi Code Bench 3.0, long horizon — 61,2 % contre 55,95 % pour Kimi K3. C'est la comparaison avec le prédécesseur la plus nette du lancement, et la plus contrôlée par le fournisseur : le benchmark comme le harness appartiennent tous deux à Moonshot.

• BenchCAD avec outils — 92,7 % pour Kimi K3.1 Pro, contre 96,2 % pour Claude Opus 5.5 et 95,9 % pour GPT-6 Astra. Sans outils, 72,8 % contre 73,0 % pour Opus ; Astra n'a pas communiqué de chiffre sans outils. C'est la ligne où le challenger perd visiblement, et elle se situe au beau milieu de l'argumentaire de création 3D du lancement lui-même.

• Kimi Hallu Bench Hard — un taux d'hallucination de 8,3 % au niveau des affirmations avec outils, 5,4 % sans. Sur le même benchmark, GPT-6 Astra fait mieux avec outils (5,5 contre 8,3) et mieux sans (4,2 contre 5,4) ; Claude Opus 5.5 est moins bon dans les deux cas (15,0 et 6,8). Moonshot indique également que le taux est passé de 23,4 % sur Kimi K3, et que les réponses contenant au moins une erreur factuelle représentent désormais 42,4 % du taux de son prédécesseur.

• Évaluations financières et commerciales, internes — Financial Modeling 57,6 contre 50,4 pour K3, Financial Research 70,4 contre 58,8, Business Operation 37 contre 8,9. Le dernier représente une amélioration d’un facteur quatre sur une tâche où l’ancien modèle était proche d’être non fonctionnel. Considérez les ordres de grandeur comme indicatifs ; il s’agit des propres suites de Moonshot.

• OfficeQA Pro v2 — 64,4, que Moonshot qualifie d'état de l'art. Aucun chiffre d'un second fournisseur n'apparaît sur la ligne.

• xdev-bench-hard, pass@3 — 81,0 % pour le modèle livré, 90,5 % pour un checkpoint entraîné sans les mesures de réduction des risques cyber de l'entreprise, 33,3 % pour Kimi K3. Cet écart de 9,5 points est le prix que Moonshot affirme avoir payé pour maintenir la capacité cyber offensive sous un seuil.

Là où le tableau est encore vide

Trois lacunes méritent d’être nommées, car la couverture de ce lancement les a largement ignorées.

La première se trouve dans la propre documentation API de Moonshot. Le jour du lancement, la page de démarrage rapide de Kimi K3.1 Pro contenait encore des chaînes de remplacement littérales — "[xx.x%]" — là où devraient figurer les scores Terminal-Bench 4.0, Terminal-Bench-Science 0.1 et les scores de codage internes, tandis que l’article marketing contenait les chiffres définitifs. Il s’agit d’un pipeline de documentation déployé avant la rédaction, pas d’une fabrication, mais c’est une raison de lire les chiffres depuis la page du blog plutôt que depuis la documentation.

Le second est Terminal-Bench-Science 0.1, où Anthropic publie 58,7 % pour Claude Opus 5.5 et où la documentation de Moonshot indique seulement que Kimi K3.1 Pro est « au-dessus de K3 », sans chiffre. Une ligne sans aucun chiffre d’un côté comme de l’autre d’une comparaison n’est pas une ligne.

Le troisième est SWE-bench. C'est le benchmark que la plupart des équipes citent encore lorsqu'elles parlent d'agents de codage, et l'article de lancement mentionne DeepSWE v1.1 et SWE-Marathon v1.1 en notes de bas de page sans publier de scores. Quelle qu'en soit la raison, le chiffre le plus demandé est absent.

Comment lire un 65,7

Deux choses influencent davantage un score Terminal-Bench que le modèle lui-même : l’échafaudage qui l’entoure et le réglage de l’effort de raisonnement. Le tableau Opus 5.5 d’Anthropic montre ces deux effets au sein d’un même modèle — CursorBench 4.0 passe de 57,8 % avec l’effort xhigh à 52,5 % avec medium, tandis que FrontierCode varie de 0,2 point entre ces deux mêmes réglages. Kimi K3.1 Pro dispose de trois réglages et utilise par défaut le plus coûteux ; une exécution fournisseur qui n’indique pas son niveau d’effort est donc probablement une exécution maximale, qu’elle le dise ou non.

C'est pourquoi l'indice indépendant et le tableau du fournisseur classent ces trois modèles différemment. Sur la ligne Terminal-Bench de Moonshot, Kimi devance Astra de 7,5 points. Sur l'indice à dix évaluations d'Artificial Analysis, Kimi devance Astra de 2 points et accuse un retard de 3 points sur Opus. Aucun des deux classements n'est faux ; ils répondent à des questions différentes avec des harnais différents, et le seul résumé défendable est que les trois modèles se situent à quelques points l'un de l'autre en capacités générales, le prix variant d'un facteur cinq entre le moins cher et le plus cher.

Que faire des chiffres

Pour une charge de travail où le volume de sortie domine — génération de code longue, rédaction de documents, boucles agentiques qui écrivent bien plus qu’elles ne lisent —, c’est le chiffre de verbosité qu’il faut prendre en compte dans la planification. À 150 millions de tokens par exécution d’index contre 60 millions pour Astra, Kimi K3.1 Pro produit environ 2,5 fois plus de sortie pour une tâche, et même à un cinquième du prix de sortie, cela réduit encore considérablement l’avantage de coût. Le chiffre de 2,11 $ par tâche en tient déjà compte, et c’est pourquoi il constitue un meilleur nombre de planification que la grille tarifaire.

Pour une charge de travail où un point de précision décide du résultat, l'écart de trois points avec Claude Opus 5.5 sur l'indice indépendant est le chiffre qui compte, et aucun tableau de fournisseur ne devrait vous en dissuader.

Kimi K3.1 Pro est appelable via OrcaRouter à {{1}}2,00 $ par million de jetons d'entrée et 10,00 $ par million de jetons de sortie{{/1}}, avec {{2}}1 048 576 jetons de contexte, jusqu'à 943 718 jetons de sortie et trois formats de point de terminaison — Chat Completions, Responses et Messages — sur la même clé que le reste de votre pile{{/2}}. {{3}}Le prix catalogue du fournisseur est ce que vous payez, sans marge ajoutée{{/3}}, ce qui signifie que {{4}}l'arithmétique ci-dessus est l'arithmétique que vous obtenez{{/4}}. {{5}}La seule chose que cette page ne peut pas vous donner, c'est votre propre benchmark : exécutez un échantillon de votre trafic réel à faible, haut et maximum effort avant de choisir une valeur par défaut, car le réglage influe plus sur le coût que le choix du modèle{{/5}}.