DeepSeek V4.1 Flash vs Kimi K3 : lire l'affirmation, puis les preuves

DeepSeek V4.1 Flash est arrivé avec une affirmation précise et vérifiable : qu'il surpasse Kimi K3 sur les benchmarks de cybersécurité et de codage — et sur les lignes que le fournisseur a sélectionnées, c'est le cas. Terminal-Bench 2.1 : 90,6 contre 88,3. CyberGym : 88,1 contre 80,0. DeepSWE v1.1 : 74,2 contre 67,5. NL2Repo-Bench : 65,4 contre 58,0. Chacun de ces chiffres de DeepSeek provient du propre harnais de DeepSeek, selon le propre niveau d'effort de raisonnement de DeepSeek, et chacun des chiffres de Kimi K3 auxquels il est comparé provient d'ailleurs. Ce n'est pas une raison de rejeter l'affirmation. C'est la raison pour laquelle l'affirmation doit être décortiquée avant que vous n'achetiez quoi que ce soit en vous fondant sur elle.

Voici à quoi ressemblent réellement les bases de preuves des deux modèles, ce qui se passe lorsqu’on les place sur une même échelle, et le seul chiffre qui survit à chaque version de cette comparaison.

Deux bases de données probantes qui se recoupent à peine

C'est l'aspect inhabituel de cette confrontation, et cela explique la majeure partie des désaccords que vous trouverez en ligne.

DeepSeek a publié un tableau de benchmarks de lancement. Terminal-Bench 2.1, DeepSWE v1.1, CyberGym, ProgramBench, NL2Repo-Bench, Automation-Bench — tous déclarés par le fournisseur. Ce sont les lignes que DeepSeek a choisies d’exécuter, sur des harnais configurés par DeepSeek, avec DeepSeek définissant l’effort de raisonnement. À savoir avant de les comparer à quoi que ce soit : Artificial Analysis a constaté que l’exécution de ces suites à l’effort de raisonnement maximal consomme environ 2,5 fois plus de tokens de sortie qu’un réglage intermédiaire, tout en récupérant la majeure partie de la précision en dessous. Un tableau de fournisseur à effort maximal est une mesure de plafond, pas une mesure typique.

Les chiffres de Kimi K3 ne proviennent majoritairement pas de Moonshot. Artificial Analysis a utilisé son propre harnais de test et publié des résultats par benchmark sur une échelle comparable pour tous les modèles qu'il suit : GPQA Diamond 93,5, Humanity's Last Exam 46,9, Long-Context Recall 88,7, SciCode 59,5, Terminal-Bench 2.1 85,0 — ainsi qu'un indice composite. Ce sont les mesures d'un tiers.

Ainsi, « DeepSeek bat Kimi K3 en codage » se résout en quelque chose de plus étroit que cela n'en a l'air. Sur le harnais de DeepSeek, le modèle de DeepSeek remporte les lignes de codage que DeepSeek a sélectionnées. C'est un vrai signal — les fournisseurs ne publient généralement pas les tableaux qu'ils perdent —, mais c'est une catégorie de preuves différente de celle d'une suite exécutée de façon indépendante, et les deux ne devraient jamais apparaître dans la même colonne sans étiquette.

Sur une échelle, l'écart est de quatre points.

Placez les deux sur l'Intelligence Index d'Artificial Analysis et le tableau est plus serré que ne le suggère le marketing de l'un ou l'autre camp. Kimi K3 obtient 44. DeepSeek V4.1 Flash obtient 40.

Quatre points. Sur les lignes par benchmark, l'avance de Kimi K3 est constante et concentrée là où le raisonnement à long horizon se manifeste : Humanity's Last Exam 46,9 contre 36,8, SciCode 59,5 contre 51,9, GPQA Diamond 93,5 contre les 90,9 annoncés par DeepSeek, Long-Context Recall 88,7 contre 84,0. Kimi K3 se classe également deuxième sur le tableau d'Artificial Analysis de 113 modèles, contre DeepSeek V4.1 Flash à la sixième place.

Ce sont de véritables lacunes, indépendantes et reproductibles. Aucun avantage de prix ne les comble pour une tâche qui en dépend.

Ils sont eux aussi à quatre points d’écart — le même écart de quatre points qui sépare DeepSeek V4.1 Flash de Grok 4.6, et plus petit que l’écart de cinq points qui le sépare de Qwen3.8-Max. Un écart de quatre points sur un indice composite est une fourchette étroite. Cela vous dit que Kimi K3 est le modèle le plus performant, et cela ne commence même pas à vous dire que cette performance se manifeste dans votre charge de travail.

Le nombre qui survit à toutes les versions de cette comparaison

Coût par tâche de l'Indice d'Intelligence, mesuré par la même organisation qui a produit l'indice : 0,27 $ pour DeepSeek V4.1 Flash, 2,00 $ pour Kimi K3.

7,4x. C'est la différence la plus grande, la plus robuste et la plus vérifiable par recoupement entre ces deux modèles, et contrairement aux lignes de benchmark, elle ne dépend pas du harnais qui a servi à l'obtenir — les décomptes de tokens sont les décomptes de tokens.

Il varie aussi en fonction du caractère agentique de votre charge de travail. Le chiffre de 2,00 $ provient d’une suite mixte ; sur le banc de codage agentique de Vals AI, l’écart rapporté s’élargit à environ 40 fois : 0,41 $ par tâche contre 17,59 $, l’exécution DeepSeek se terminant en environ 15 minutes contre environ 90 minutes. Plus vous vous éloignez d’un simple prompt et de sa réponse pour aller vers une longue boucle d’appels d’outils, plus les deux modèles tarifaires divergent — car c’est là que la mise en cache et le volume de sortie dominent la facture.

• Tarif — DeepSeek V4.1 Flash 0,15 $/0,60 $ par million en heures creuses (0,30 $/1,20 $ en heures pleines, en semaine de 01:00 à 04:00 et de 06:00 à 10:00 UTC) contre Kimi K3 3,00 $/15,00 $ par million, tarif unique

• Remise sur le cache — 98 % vs 90 % ; lecture du cache 0,003 $ par million vs 0,30 $ par million

• Contexte — 1 048 576 jetons chacun, et aucun des deux n’applique de surcharge de contexte long

• Débit — 214,4 tokens/s contre 34,7, un écart de 6,2x

• Verbosité — 250M tokens de sortie sur l'ensemble de l'index contre 160M

• Paramètres — 552B au total, 8B actifs lors du préremplissage et 16B lors du décodage, contre 2,8T au total avec 16 experts sur 896 actifs par token

• Échantillonnage — surface complète temperature / top_p / seed vs aucune ; Kimi K3 n’expose que reasoning_effort et la réflexion ne peut pas être désactivée

• Licence — MIT vs MIT modifiée, qui ajoute des clauses de marque au-delà de 100 M d'utilisateurs mensuels ou de 20 M$ de revenus mensuels

Là où le côté bon marché est véritablement pire

Deux coûts figurent du côté DeepSeek du grand livre, et tous deux sont faciles à négliger.

Verbosité. DeepSeek V4.1 Flash a émis 250 M de jetons de sortie sur l’Intelligence Index, contre 160 M pour Kimi K3. Ici, la sortie est facturée 4 fois l’entrée. Un modèle vingt fois moins cher par jeton mais qui parle 50 % de plus n’est pas vingt fois moins cher — c’est exactement pourquoi le chiffre honnête s’établit à 7,4x et non au 20x que laisse entendre la grille tarifaire. DeepSeek est le modèle le plus verbeux de cette comparaison ; Grok 4.6 est le moins, avec 94 M.

Vitesse. La grille tarifaire indique que DeepSeek est moins cher. Le chronomètre dit aussi qu’il est 6,2 fois plus rapide — 214,4 tokens/s contre 34,7 pour Kimi K3. Le mode de réflexion de Kimi K3 ne peut pas être désactivé et son effort de raisonnement est par défaut au maximum, de sorte qu’il n’existe aucune voie rapide et économique de repli pour les appels faciles. Vous achetez du raisonnement de pointe à chaque requête, que celle-ci en ait besoin ou non. Sur une tâche de codage difficile, c’est ce qui fait la valeur du produit. Sur une passe de classification, c’est du gaspillage.

Ce que dit le trafic, ce qu'aucun benchmark ne capture

Nos propres données de routage ajoutent le seul signal qu'aucun fournisseur ni analyste ne peut produire. Au cours des sept derniers jours, Kimi K3 a fait transiter environ 3,04 milliards de tokens via OrcaRouter. DeepSeek V4.1 Flash a fait transiter environ 59,1 milliards — soit environ dix-neuf fois plus, dans un modèle qui est en service depuis moins d'une semaine.

Une partie de cela est structurelle. DeepSeek redirige toutes les requêtes V4 Pro vers V4.1 Flash et les facture aux tarifs de Flash jusqu'à la sortie de V4.1 Pro, si bien qu'une large base installée a été migrée vers ce modèle sans que personne n'ait rien choisi. Mais le volume qui en résulte reste la preuve disponible la plus claire qu'un nombre considérable de charges de travail de production étaient déjà servies de manière suffisamment satisfaisante par le modèle moins cher — et c'est là un verdict que les benchmarks ne peuvent pas vous donner, car les benchmarks mesurent ce qu'un modèle peut faire, tandis que le trafic mesure ce que les équipes étaient prêtes à mettre devant des utilisateurs payants.

Choisir entre eux

Les deux se trouvent derrière le même point de terminaison compatible OpenAI sur OrcaRouter, ce qui rend la répartition pratique plutôt qu’un projet de migration : acheminez la session de codage à long horizon, où l’avance de Kimi K3 en matière de raisonnement justifie le coût, et le trafic agentique et de travail intellectuel à fort volume, où les deux se tiennent à moins de quatre points d’indice, vers DeepSeek V4.1 Flash. Comme la passerelle répercute le tarif du fournisseur sans majoration, le coût par jeton que vous voyez est celui du fournisseur lui-même — à vérifier deux fois par jour du côté de DeepSeek, car ses fenêtres de pointe doublent le tarif les matins de semaine en UTC.

Le verdict suit les preuves plutôt que le tableau de lancement. Si votre travail consiste en un seul appel de raisonnement difficile — une question scientifique, un algorithme inédit, un document que vous ne pouvez pas vous permettre de mal lire — Kimi K3 est le modèle le plus performant, les écarts indépendants sont cohérents, et le prix est secondaire. Si votre travail est un agent de codage, une longue boucle d'appels d'outils, ou quoi que ce soit comportant un préfixe volumineux mis en cache rejoué en volume, les deux sont suffisamment proches en capacités pour que le coût devienne le critère décisif, et là, l'écart va de 7,4x à environ 40x selon le caractère plus ou moins agentique de la tâche.

Le propre tableau de benchmark de DeepSeek surestime à quel point cette victoire est nette. Le prix, lui, ne le fait pas.