
MAI Code 2 vs SWE-2 : les deux mêmes benchmarks, publiés par un seul d’entre eux
- OrcaNOUVEAUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 par million de tokens · 180 tok/s
- tencentNOUVEAUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 par million de tokens · 223 tok/s
- GoogleNOUVEAUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 par million de tokens · 89 tok/s
- AnthropicNOUVEAUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 par million de tokens · 98 tok/s
- orcaNOUVEAUOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 par million de tokens · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 par million de tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 par million de tokens · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 par million de tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 par million de tokens · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 par million de tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligence
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 par million de tokens · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligence
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 par million de tokens · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligence
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 par million de tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligence
MAI Code 2 et SWE-2 citent presque exactement les mêmes benchmarks dans leurs supports de lancement, et un seul d'entre eux indique le score obtenu. L'article de Microsoft du 17 novembre 2026 cite DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas et FrontierCode v1.1, puis indique des ratios : 96 % des performances de Claude Opus 5.5 pour 5 % du coût. L'article de Cognition sur SWE-2, publié le 10 septembre 2026, cite les deux mêmes premiers benchmarks et affiche un chiffre pour chacun : 73,0 % sur DeepSWE 1.1, 92,8 % sur Terminal-Bench 2.1, 27,3 % sur Terminal-Bench 4.0. C'est ce troisième chiffre qu'il faut retenir, car c'est l'édition que Microsoft n'a pas communiquée — et il montre ce qui se passe pour un modèle de code lorsque le benchmark de terminal devient plus difficile.
Les deux modèles partagent également une contrainte de distribution qui les rend inhabituels dans cette catégorie : aucun des deux ne dispose d’une API publique par token. MAI Code 2 est accessible en le sélectionnant dans un client GitHub Copilot. SWE-2 fonctionne dans Devin. Deux modèles que vous ne pouvez pas appeler depuis votre propre code, dont l’un publie ses chiffres.
L’édition de référence que personne ne met en avant
Le tableau de Cognition est l’artefact le plus utile publié par l’un ou l’autre des fournisseurs, et ce n’est pas parce que SWE-2 y gagne quoi que ce soit. Il est utile parce qu’il montre le même modèle mesuré sur deux éditions du même benchmark.
• Terminal-Bench 2.1 — SWE-2 à 92,8 %, contre 91,4 % pour Claude Fable 5.1, 89,9 % pour GPT-6 Astra et 88,3 % pour Kimi K3
• Terminal-Bench 4.0 — SWE-2 à 27,3 %, contre 55,8 % pour Claude Fable 5.1, 57,9 % pour GPT-6 Astra et 21,5 % pour Kimi K3
• DeepSWE 1.1 — SWE-2 à 73,0 %, contre 74,1 % pour GPT-6 Astra, 72,7 % pour GPT-5.6 Sol et 67,4 % pour Claude Fable 5.1
FrontierCode 1.1 Main — SWE-2 à 50,0 %, contre 53,3 % pour GPT-6 Astra et 50,9 % pour Claude Fable 5.1
Lisez les deux premières lignes ensemble. SWE-2 est deuxième sur 2.1 et avant-dernier sur 4.0, soit une chute d’environ 65 points, et il n’est pas seul : Kimi K3 perd 67 points sur la même paire. Les modèles qui tiennent bon sont ceux qui sont ajustés pour le travail à long horizon. Ce n’est pas une particularité du harnais d’un seul laboratoire — c’est l’édition du benchmark qui devient plus difficile, et c’est précisément pourquoi « nous avons exécuté Terminal Bench 2.1 » est une affirmation plus faible en novembre 2026 qu’elle ne l’était en septembre.
Microsoft a exécuté Terminal Bench 2.1. Microsoft n'a publié aucun score à ce sujet. Microsoft n'a rien publié sur la version 4.0. Ces trois faits, pris ensemble, signifient qu'un acheteur ne peut pas déterminer quel type de modèle de codage est MAI Code 2 : celui qui tient le coup lorsque les tâches dans le terminal s'allongent, ou celui qui ne tient pas.
Ce que chaque fournisseur a réellement divulgué
L’écart de divulgation est plus large que le prix des modèles, il vaut donc la peine de le dire clairement.
Cognition a publié un tableau de sept modèles avec quatre benchmarks, un ensemble de comparaison explicitement défini, une note précisant que les modèles concurrents ont été exécutés dans le CLI propre à Cognition à leur meilleur effort de raisonnement, ainsi qu’une divulgation honnête d’un élément qu’elle a exclu : Claude Fable 5.1, à effort maximal, a obtenu 50,3 % sur FrontierCode à 12,83 $ par tâche, soit en dessous de son propre résultat à effort moyen, et a donc été retiré du graphique. Un fournisseur qui vous indique quel point de données il a supprimé est un fournisseur qui vous donne les moyens de relativiser son tableau.
Microsoft a publié les noms des benchmarks, le harnais — MSBench, sa plateforme d’évaluation interne, via la CLI GitHub Copilot avec les sous-agents désactivés et chaque modèle à l’effort de raisonnement maximal — et les ratios moyens obtenus par ces benchmarks. Il n’a publié aucun taux de réussite pour MAI Code 2 sur aucun des quatre, aucun nombre de paramètres, aucun plafond de sortie, ni aucun tableau comparatif avec des concurrents nommés au-delà des deux ratios. Artificial Analysis n’a pas de ligne pour le modèle au 18 novembre 2026, il n’existe donc aucune évaluation tierce pour s’y substituer.
L’une de ces divulgations vous permet de reproduire le raisonnement. L’autre vous demande d’accepter une conclusion.
Aucun des deux modèles n’est un point de terminaison, et cela change l’achat.
SWE-2 n'a pas de prix publié par token et ne dispose d'aucune API publique. La publication de Cognition indique qu'il est disponible dans Devin Desktop et la CLI, avec un déploiement progressif vers Devin Web et Fusion, et les seuls chiffres de coût qu'elle contient sont des coûts de benchmark par tâche — le genre de chiffre qu'on cite pour montrer qu'un concurrent est cher, pas celui sur lequel on facture.
MAI Code 2 dispose bien d'une carte tarifaire, publiée par GitHub : 0,50 $ par million de tokens d'entrée, 0,025 $ en cache, 2,50 $ en sortie, à titre promotionnel jusqu'au 17 mai 2027, puis 1,00 $ / 0,05 $ / 5,00 $. Il ne dispose pas de sa propre surface d'API. MAI Code 2 Flash, le petit frère, est le seul modèle de la famille à en avoir une — un aperçu à accès limité dans Microsoft Foundry via une API Responses compatible OpenAI.
• Prix — MAI Code 2 à 0,50 $ / 0,025 $ / 2,50 $ par million de tokens, en promotion jusqu’au 17 mai 2027, contre aucun prix par token publié pour SWE-2
• Accès — un siège GitHub Copilot sur Pro, Pro+, Max, Business et Enterprise, face à un abonnement Devin dans Desktop et CLI
• Poids — non répartis d’un côté ou de l’autre
• Contexte — aucun chiffre de contexte publié pour SWE-2, contre 1 million de tokens sur MAI Code 2, disponible uniquement dans Visual Studio Code et Copilot CLI
• Scores de benchmark publiés — aucun pour MAI Code 2, contre quatre pour SWE-2
• Ligne d’index indépendante — aucun des deux modèles n’en possède
En pratique, les deux achats sont des achats de sièges plutôt que des achats de jetons, et un seul d’entre eux s’accompagne d’un compteur que vous pouvez modéliser. Si votre équipe financière a besoin d’un coût unitaire, MAI Code 2 vous en fournit un et SWE-2 non. Si votre équipe d’ingénierie a besoin de savoir si le modèle améliore vos dépôts, SWE-2 vous fournit un tableau comparatif et MAI Code 2 vous fournit un ratio.

Ce que chaque modèle a été conçu pour faire
Le brief de Microsoft pour MAI Code 2 porte sur le travail d'entreprise courant : mettre du code en production, déboguer en profondeur, implémenter sur plusieurs fichiers, raisonner à l'échelle du dépôt, interfaces et tableaux de bord. Le billet d'annonce reconnaît franchement que les modèles ne sont « explicitement pas encore ajustés pour les problèmes plus difficiles, comme la recherche scientifique fondamentale et le travail agentique à très long horizon » — une phrase qui détonne à côté d'une affirmation sur Terminal Bench 2.1, car Terminal-Bench est un benchmark agentique de long horizon. Le positionnement de Microsoft lui-même indique qu'il n'a pas ajusté les modèles pour ce que ce benchmark mesure.
Le brief de Cognition pour SWE-2 va dans l'autre sens : moins d'étapes, des rollouts moins coûteux, un modèle co-conçu avec l'agent qui l'exécute. Le post rapporte un nombre moyen d'étapes par exécution qui tombe à 53 sur SWE-2 medium contre 127 pour SWE-1.7, medium coûtant 81 % de moins que SWE-1.7, et une médiane de 18 étapes jusqu'à la première véritable modification contre 48. Ce sont des affirmations d'ingénierie sur l'efficacité de l'agent, et elles importent davantage pour un abonné Devin que n'importe quelle ligne de benchmark, car elles déterminent quelle part de l'allocation mensuelle une tâche consomme.
Ainsi, les deux modèles sont à nouveau optimisés selon des objectifs différents : l’un pour la tâche quotidienne dans un IDE, l’autre pour le nombre d’étapes dans un agent autonome. Aucun n’est une meilleure version de l’autre.
Là où un routeur gagne sa place quand aucun des deux modèles n'est routable
Ni MAI Code 2 ni SWE-2 ne figurent au catalogue d'OrcaRouter, et il n'existe aucune façon honnête de suggérer le contraire : l'un est une entrée du sélecteur de modèles Copilot, l'autre se trouve dans Devin. Ce qu'une couche de routage change, ce n'est pas l'accès à ces deux modèles, mais le coût de construction de la comparaison. Le contrôle dans toute évaluation de ceux-ci doit être un modèle que l'on peut appeler et mesurer — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — et ceux-ci se trouvent derrière une seule clé, au prix catalogue du fournisseur, avec 0 % de marge, de sorte qu'une exécution de benchmark sur ceux-ci est facturée exactement au tarif du fournisseur.
Cela compte davantage ici que dans la plupart des comparaisons, car la question intéressante concernant les deux modèles est comparative : un codeur du quotidien bat-il un modèle de pointe sur le coût par fusion, sur votre code ? Vous ne pouvez pas y répondre en lisant deux tableaux de fournisseurs produits sur deux harnais. Vous pouvez y répondre en exécutant le modèle mesurable aux côtés de celui des deux que votre équipe peut réellement atteindre, et en comptant les tâches terminées plutôt que les jetons. Le basculement automatique est ce qui maintient cette comparaison en cours lorsqu'une limite de débit d'un fournisseur survient en cours d'exécution, et comme les tarifs sont répercutés au prix catalogue, le coût par tâche du témoin n'est pas gonflé par la couche que vous utilisez pour le mesurer.
Lequel choisir, compte tenu de ce que vous pouvez vérifier
• Votre équipe utilise Devin et vous voulez moins d’étapes par rollout — SWE-2, et ce sont les chiffres du nombre d’étapes et de réduction des coûts dans la publication de Cognition qui décident.
• Votre équipe utilise Copilot et vous voulez des jetons bon marché pour les réparations de routine — MAI Code 2 à 0,50 $ et 2,50 $, modélisé selon le tarif doublé de mai 2027 ainsi que le tarif promotionnel.
• Vous devez défendre le choix avec un nombre — SWE-2, car il en publie quatre et l’autre modèle n’en publie aucun.
• Il faut du travail agentique à long horizon — aucun des deux, au vu des éléments disponibles. Microsoft affirme ne pas l’avoir optimisé pour cela ; le propre tableau de SWE-2 montre l’effondrement de 65 points lorsque le benchmark devient plus difficile.
• Il vous faut un modèle de coût par token — MAI Code 2, puisque SWE-2 n'a pas de tarif publié à modéliser.

Ce qu’il faut surveiller, c’est de savoir si Microsoft publiera un jour le chiffre qui rendrait cette comparaison réelle. Un taux de réussite sur Terminal Bench 2.1 ferait l’affaire ; un taux sur Terminal Bench 4.0 trancherait, car c’est l’édition où le propre tableau de SWE-2 montre à quoi ressemble un modèle de code quand les tâches s’allongent. Tant que l’un de ces chiffres n’existe pas, MAI Code 2 est une grille de taux assortie d’une promesse et SWE-2 est un tableau assorti d’un nombre d’étapes, et un seul des deux peut être vérifié depuis l’extérieur du fournisseur.

Comparés dans cet article1
Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement
