Carte de titre 16:9 générée avec le titre « Step 5 Preview vs Kimi K3.1 Pro » et le sous-titre « Les deux chiffres ont changé lorsque l’index a été reconstruit le 27 octobre 2026 », ainsi que trois puces indiquant « 29 vs 46 sur Intelligence Index v5 », « 1,00 $/2,70 $ vs 2,00 $/10,00 $ par million de tokens », et « poids publiés vs poids attendus le 4 novembre ». Un pied de page indique « Indice selon Artificial Analysis v5.0 ; prix selon les grilles tarifaires de StepFun et Moonshot. » Le logo OrcaRouter se trouve dans le coin inférieur droit.
Guides & Insights

Step 5 Preview vs Kimi K3.1 Pro : les deux modèles ont été réévalués la semaine dernière. Voici ce qui survit

Auteur

Alistair Wren

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Si vous aviez cherché Step 5 Preview et Kimi K3.1 Pro il y a une semaine, vous auriez obtenu deux chiffres : 44 et 55. Les deux ont disparu. Les 27 et 28 octobre 2026, Artificial Analysis a remplacé son Intelligence Index par la version 5, qui tire 60 % de son score d’ensembles de tests privés ou réservés, et un même modèle évalué selon l’ancienne grille et la nouvelle ne relève pas de la même mesure. Step 5 Preview obtient 29 avec la v5. Kimi K3.1 Pro obtient 46. L’écart de neuf points entre eux est désormais une comparaison que vous pouvez faire honnêtement, et il diffère de celui autour duquel la couverture du lancement avait été construite.

Ce qui suit est cette comparaison, ainsi que la partie que personne ne met dans un tableau comparatif : les deux modèles se situent aux antipodes sur une question de poids qui sera tranchée le 4 novembre, et un seul d’entre eux peut être appelé via OrcaRouter aujourd’hui.

Generated 16:9 comparison card headed "Step 5 Preview vs Kimi K3.1 Pro" with two columns. Left column, Step 5 Preview: 600B total / 27B active; 1M-token context; text, image and video input; $1.00 input, $2.70 output; 90 per cent cache discount; 179.1 output tokens per second; Intelligence Index v5 score 29; $2.35 per index task; weights published October 15. Right column, Kimi K3.1 Pro: 2.8T total / 104B active; 1,048,576-token context; text and image input; $2.00 input, $10.00 output, $0.20 cache read; around 73 output tokens per second; Intelligence Index v5 score 46; $1.98 per index task; weights due November 4. A footer reads "Specs and pricing per each vendor; speed, index and cost per task per Artificial Analysis."

Les deux chiffres que tout le monde cite sont désormais faux tous les deux.

Kimi K3.1 Pro a été lancé le 23 octobre 2026 avec un score de l’Intelligence Index de 55 et un {{1}}début à la quatrième place{{/1}}, onze points au-dessus de Kimi K3. Quatre jours plus tard, il affichait 46. Rien n’avait changé dans le modèle ; c’est le barème qui avait changé. Artificial Analysis a reconstruit le composite en neuf évaluations réparties en quatre catégories — travail intellectuel, programmation, science et général — et en a retiré trois des plus anciennes, dont GDPval-AA v2.1, SciCode et AA-LCR v1.1. Elle a ajouté FrontierCode 2.0, un ensemble de 132 tâches de programmation privées, notées selon qu’un correctif mérite d’être fusionné, et Terminal-Bench-Science.

L’aperçu de l’étape 5 a subi le même coup, plus durement encore. Il affiche 29 sous v5.0, contre 44 sous l’indice précédent, et il perd davantage de ses éléments de preuve à l’appui que Kimi, parce que le matériel de lancement de StepFun s’appuyait précisément sur les évaluations qui ont été retirées. Le 88,3 sur AA-LCR et le 58,9 sur SciCode qui apparaissent dans la plupart des couvertures de ce modèle sont désormais des scores issus de benchmarks qui ne contribuent plus à l’indice principal. Ce sont toujours de véritables mesures de quelque chose. Elles ne sont plus ce que l’indice mesure.

La conséquence sur le classement mérite d’être énoncée clairement : selon v5, un modèle à poids ouverts — ou promis comme tels — à 46 est 12 points derrière le leader à 58, alors que selon v4, l’écart avait été de 3. C’est une affirmation sur le barème, non sur un effondrement soudain des capacités, et tout article qui présente les choses comme ce dernier cas de figure lit mal sa propre source.

Les lignes de spécifications, une dimension à la fois

• Paramètres totaux et actifs — Step 5 Preview : 600B au total, 27B actifs par token, 8 experts sur 352 plus un partagé. Kimi K3.1 Pro : 2.8T au total, 104B actifs.

• De quel type de version il s’agissait — Step 5 Preview : un nouveau produit phare livré sous forme d’aperçu, les poids devant suivre. Kimi K3.1 Pro : une version post-entraînée de Kimi K3 avec une puissance de calcul de post-entraînement plus importante, incluant un apprentissage par renforcement conjoint sur des centaines de domaines — pas une nouvelle architecture.

• Fenêtre de contexte — Aperçu de l’étape 5 : 1 M de tokens. Kimi K3.1 Pro : 1 048 576 tokens.

• Modalités d’entrée — Étape 5 Aperçu : texte, images et vidéo. Kimi K3.1 Pro : texte et images.

• Prix d'entrée par million de tokens — Step 5 Preview : 1,00 $. Kimi K3.1 Pro : 2,00 $, tarif unique sur toute la fenêtre de contexte, sans surcoût pour le long contexte.

• Prix de sortie par million de tokens — Step 5 Preview : 2,70 $. Kimi K3.1 Pro : 10,00 $.

• Entrée mise en cache — Aperçu de l’étape 5 : une remise de 90 % sur le tarif d’entrée. Kimi K3.1 Pro : 0,20 $ par million de tokens lus, avec des écritures dans le cache à 2,00 $ pour un TTL de cinq minutes et à 4,00 $ pour un TTL d’une heure.

• Poids — Step 5 Preview : publiés le 15 octobre 2026, en BF16 et FP8, sous StepFun Model License 1.0. Kimi K3.1 Pro : non publiés ; Moonshot a indiqué que les poids sont attendus pour le 4 novembre 2026.

• Score indépendant selon l'Intelligence Index v5.0 — Step 5 Preview : 29. Kimi K3.1 Pro : 46.

Coût par tâche terminée, avec la mise en garde jointe.

Artificial Analysis rapporte 2,35 $ par tâche de l'Intelligence Index pour Step 5 Preview et 1,98 $ pour Kimi K3.1 Pro. Cela ressemble à un léger avantage pour Kimi, et il vaut la peine de comprendre pourquoi il ne s'agit pas manifestement d'un avantage.

Les deux chiffres n’ont pas été produits sur le même jeu de tâches, car le jeu de tâches a été reconstruit entre les deux mesures. Les deux correspondent au « coût par tâche d’index » selon le composite en vigueur au moment où le chiffre a été relevé, ce qui rend la comparaison tout au plus indicative. Ce qui n’est pas ambigu, c’est le mécanisme : Kimi K3.1 Pro est verbeux, dépensant environ 55 000 tokens de sortie par tâche et 150 millions sur une exécution complète, contre une médiane de 87 millions ; et à 10 $ par million de tokens de sortie, cette verbosité coûte cher. Son coût de 1,98 $ est une conséquence du fait qu’il termine en moins d’étapes facturables, et non d’un token moins cher.

Step 5 Preview est le token le moins cher, par un facteur de 3,7 en sortie et de 2 en entrée, et le modèle le plus rapide de loin selon la mesure disponible : 179,1 tokens de sortie par seconde sur l’API de StepFun, contre une médiane de catégorie de 74,1, où Kimi K3.1 Pro mesure environ 73. Si votre charge de travail est sensible à la latence et gourmande en sortie, cet ordre correspond à celui des prix et la décision est facile. Si votre charge de travail est de celles où l’écart de qualité de réponse de 17 points d’indice compte davantage que le temps jusqu’au premier token, les mêmes chiffres indiquent l’inverse.

Screenshot of the Artificial Analysis page for Step 5 Preview, headed 'Step 5 Preview Intelligence, Performance & Price Analysis'. The header marks it an open-weights model from StepFun, released September 2026. Four cards read Intelligence 29 at rank 6 of 17, Speed 179.1 output tokens per second at rank 8 of 78, Cost $2.35 per Intelligence Index task with In $1.00, Out $2.70 and a 90% cache discount, and Verbosity 130M output tokens. The Comparison Summary text says the model is above average in intelligence but somewhat expensive and notably fast, scoring 29 against a median of 23. Technical specifications list reasoning yes, input modality icons for text, image, audio and video, output text, 1M-token context, 600B total parameters, 27B active parameters, StepFun Model License 1.0 and weights on Hugging Face. The panel ends '124 models in this class'.

Poids : l’un est écarté, l’autre est une promesse assortie d’une date.

C’est l’asymétrie que les tableaux de référence cachent. Les poids de Step 5 Preview sont téléchargeables depuis le 15 octobre : checkpoints BF16 et FP8 sur Hugging Face et ModelScope, recettes vLLM et SGLang le jour même, un article technique décrivant la pile étroite-profonde à 92 couches et le schéma d’attention GQA clairsemé. Le checkpoint FP8 demande environ 773 Go de VRAM et au moins quatre GPU, avec B300 comme cible par défaut et huit H200 sur la voie Hopper. La licence est celle de StepFun, non approuvée par l’OSI : attribution sur les sorties utilisées de manière substantielle, négociation séparée pour les fabricants de matériel et licence commerciale pour les opérateurs de modèle-as-a-service au-delà de 20 millions de dollars de revenus annuels.

Les poids de Kimi K3.1 Pro n’existaient pas le jour du lancement — Artificial Analysis classait encore le modèle comme propriétaire le 24 octobre — et la date annoncée est le 4 novembre 2026. Lorsqu’ils arriveront, le modèle de Moonshot deviendra le modèle téléchargeable au meilleur score de l’indice v5, ce qui constitue un événement véritablement important pour quiconque veut une capacité proche de la frontière sans qu’un fournisseur intervienne.

Jusqu'au 4 novembre, la comparaison se fait entre un modèle que vous pouvez exécuter et un modèle que vous ne pouvez qu'appeler. Ce n'est pas un désavantage permanent pour Kimi, mais c'en est un bien réel cette semaine, et c'est la raison pour laquelle une décision prise aujourd'hui pourrait ne pas être celle que vous prendriez dans neuf jours.

Screenshot of the Kimi Platform Model Inference Pricing page, headed 'Model Inference Pricing', with a banner reading 'Kimi K3.1 Pro has launched! Start exploring now!'. A line above the table notes that all K3 series models support a 1,048,576-token context window. Three rows list kimi-k3.1-pro at $2.00 input, $10.00 output, $0.20 cached input, $2.00 for five-minute cache writes and $4.00 for one-hour writes; kimi-k3.1-pro-highspeed at $4.00, $20.00, $0.20, $4.00 and $8.00; and kimi-k3 at $3.00, $15.00, $0.30, $3.00 and $6.00, all per million tokens. A note explains that context caching is enabled automatically with a default five-minute TTL.

Où chacun est joignable en ce moment

L'un de ces deux modèles est sur OrcaRouter et l'autre non. Kimi K3.1 Pro figure dans le catalogue actif sous le nom kimi/kimi-k3.1-pro, aux côtés de cinq autres modèles Kimi. Step 5 Preview n'y figure pas : le catalogue contient 214 ID de modèles chez 16 fournisseurs, et il n'y a aucune entrée StepFun dedans au 29 octobre 2026. Si vous voulez Step 5 Preview aujourd'hui, vous appelez l'API propre à StepFun ou vous hébergez le checkpoint.

Cette asymétrie est la partie utile de cette comparaison pour une décision de routage. Parce que nous répercutons le prix catalogue du fournisseur sans marge, la grille tarifaire Kimi que vous voyez ici est celle de Moonshot — 2,00 $ et 10,00 $ — et il en va de même pour toute réduction que Moonshot appliquera par la suite. Et comme le basculement est automatique, la version pratique de « Kimi est l’option économique et mesurée » est que vous pouvez le placer en premier dans une chaîne et laisser la plateforme basculer lorsqu’un fournisseur se dégrade, plutôt que d’intégrer un repli dans votre client et de le maintenir.

La question de la migration, si vous changez

Trois choses vous coûteront du temps, quelle que soit la direction dans laquelle vous vous déplacez.

Le premier est le volume de sortie. Le profil de coût de Kimi K3.1 Pro est dominé par la quantité qu'il écrit, et non par son tarif. Un prompt qui produit une réponse concise sur Step 5 Preview peut générer trois fois plus de tokens sur Kimi, et votre facture suivra les tokens plutôt que la grille tarifaire. Mesurez les tokens de sortie par tâche sur votre propre charge de travail avant même de comparer les deux prix.

Le deuxième point, c’est l’économie du cache. Step 5 Preview applique une remise de 90 % sur les entrées mises en cache. Kimi K3.1 Pro facture 0,20 $ par million pour lire un cache, mais facture aussi l’écriture d’un cache — 2,00 $ avec un TTL de cinq minutes et 4,00 $ pour une heure. Une boucle d’agent qui renvoie un long prompt système à chaque étape est une proposition très différente selon ces deux schémas, et la grille tarifaire qui semble moins chère n’est pas toujours la boucle la moins chère.

Le troisième point est la sensibilité au harnais. Le propre tableau de Moonshot place Kimi K3.1 Pro à 65,7 % sur Terminal-Bench 4.0, contre 66,4 % pour Claude Opus 5.5 et 58,2 % pour GPT-6 Astra ; l’évaluateur indépendant rapporte 67 % pour le même modèle. Les chiffres de Terminal-Bench varient de dizaines de points selon le scaffolding, de sorte qu’un écart de 1,7 point entre les exécutions de deux laboratoires ne mesure pas une différence de capacité de 1,7 point. Considérez chaque ligne inter-fournisseurs de cette comparaison comme une affirmation quant à la direction.

Que faire cette semaine, concrètement : si votre charge de travail est à long contexte, intensive en sortie et sensible à la latence, Step 5 Preview à 1,00 $ et 2,70 $ est l'expérience la moins chère, et les poids en font une option portable. Si le travail est du codage agentique où la qualité des patchs fait tout le produit, le 46 de Kimi K3.1 Pro sur v5 et son 67 % sur Terminal-Bench 4.0 en font l'achat le plus solide, et le 4 novembre est la date qui le fait passer d'un pari à un actif. Dans les deux cas, ne fondez pas une décision sur le 44 et le 55. Ces chiffres appartiennent à une grille d'évaluation qui n'existe plus.

Comparés dans cet article1

Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement