SWE-2 Flash vs SWE-2 : ce que vaut réellement une victoire de 0,2 point

Le propre tableau comparatif de Cognition n'accorde à SWE-2 Flashqu'une seule victoire sur SWE-2 : 24,0 contre 23,8 sur FrontierCode 2.0. Deux dixièmes de point, sur le benchmark maison de Cognition, dans un tableau que Cognition a conçu pour montrer le plus petit modèle sous son meilleur jour. C'est aussi le chiffre le plus utile de la publication, à cause de ce que font les lignes en dessous — et de ce que la seule ligne au-dessus de la ligne de flottaison omet discrètement.

Version courte pour quelqu’un qui décide à son bureau plutôt que de lire jusqu’au bout : le Flash n’est pas un SWE-2 plus petit. C’est un modèle différent, issu d’une base différente, ajusté pour la partie limitée du travail, et proposé au cinquième du prix au sein du même produit. Le gain de 0,2 point est réel et il signifie moins que cela n’en a l’air.

Deux éditions du même benchmark ne concordent pas, et c’est là le premier constat

Placez les deux lignes FrontierCode côte à côte et le tableau cesse d’être l’histoire d’un petit modèle qui rattrape les autres.

• FrontierCode 2.0 — SWE-2 Flash 24.0 vs SWE-2 23.8

• FrontierCode 1.1 Main — 45,5 vs 50,0

Même instrument, deux éditions, verdicts opposés. Sur l'édition la plus récente, le Flash est légèrement en tête ; sur la plus ancienne, il accuse 4,5 points de retard. L'une de ces lignes finira dans une diapositive de lancement, l'autre non, et le choix de celle qui est retenue en dit plus long sur le présentateur que sur le modèle.

Il existe une lecture défendable selon laquelle les deux lignes sont vraies et aucune n’est contradictoire : l’édition 2.0 est plus difficile, les scores absolus se compressent, et un ensemble de tâches plus récent peut récompenser ce pour quoi Flash a été post-entraîné. Il existe aussi une lecture moins flatteuse : un écart de 4,5 points entre deux éditions d’un même benchmark mesure la sensibilité de l’instrument, et une marge de 0,2 point se situe dans cette sensibilité. Cognition ne publie ni intervalles de confiance ni exécutions répétées, de sorte que la différence entre 24,0 et 23,8 ne peut être distinguée du bruit avec les informations fournies. Ce que l’on peut affirmer est plus étroit et reste utile — sur le tout dernier benchmark de Cognition, les deux modèles sont à égalité, et non séparés.

Où vont les treize points

Le reste du tableau n'est pas proche, et c'est la forme de l'écart qui est instructive.

• DeepSWE 1.1 — SWE-2 Flash 60.1 contre SWE-2 73.0

• Terminal-Bench 4.0 — 20,0 vs 27,3

• SWE-Atlas QA — 50,0 vs 56,3

• Terminal-Bench 2.1 — 89,2 contre 92,8

• SWE-Bench Pro v2 Hard — 89,9 vs 90,6

• ExploitBench — 34,8 contre 36,1

Classez-les selon la liberté que la tâche accorde à l’agent, et un schéma apparaît. Sur SWE-Bench Pro v2 Hard — un problème bien spécifié avec un correctif défini — le Flash est à 0,7 point de retard. Sur Terminal-Bench 2.1, il est à 3,6 points de retard. Sur Terminal-Bench 4.0, l’écart est de 7,3, et sur DeepSWE 1.1, la ligne à long horizon, il est de 12,9. Plus la tâche exige du modèle qu’il décide quoi faire ensuite, plus l’écart se creuse.

C’est un mécanisme plausible, pas démontré. Un modèle doté d’un dixième des paramètres actifs a moins de capacité à maintenir un plan long cohérent, et c’est dans les benchmarks à long horizon que cela se manifeste d’abord. Mais Cognition ne publie pas le nombre de tours, de tokens ni la ventilation par tâche pour Flash comme il l’a fait pour SWE-2 — où il rapportait une baisse du nombre moyen d’étapes de 127 à 53 à effort moyen —, si bien que le mécanisme est déduit de la forme du tableau plutôt que démontré. À considérer comme une hypothèse qui correspond ou non à votre propre expérience.

Prix et vitesse, dans la seule devise que Cognition cite.

Aucun des deux modèles n’a de prix par jeton, car aucun des deux n’a de point de terminaison. Ce que Cognition publie, c’est un ratio : SWE-2 Flash coûte un cinquième de SWE-2 et s’exécute trois fois plus vite, à 200 tok/s contre 60. Les deux chiffres proviennent de la même méthodologie de rejeu — l’exécution de chaque modèle sur la tâche gsea-proteomics de Terminal-Bench 4.0, rejouée à des débits simulés avec des transcriptions raccourcies à une longueur égale — de sorte que tous deux décrivent un profil de service visé plutôt que mesuré.

Le ratio reste le chiffre le plus déterminant pour la décision dans la version publiée, à condition de passer à l'étape suivante. Le prix par unité de travail n'est pas la même chose que le coût par tâche résolue, et c'est ce second chiffre qu'une équipe paie réellement. Si le cinquième correspond à un cinquième du coût d'une tâche — la seule lecture qui rende l'affirmation significative au sein d'un produit par abonnement — alors l'arithmétique est simple.

• Sur {{1}}DeepSWE 1.1{{/1}} — Flash résout 82 % du nombre de tâches pour un cinquième du coût, soit environ 4,1 fois moins cher par tâche résolue, même sur la ligne où il perd le plus.

• Sur FrontierCode 2.0 — il résout légèrement plus de tâches pour un cinquième du coût, soit environ 5 fois moins cher par tâche résolue.

• Sur Terminal-Bench 4.0 — il en résout 73 % du nombre pour un cinquième du coût, soit environ 3,7 fois moins cher par tâche résolue.

Chacun de ces chiffres suppose que le cinquième s’applique au coût d’une tâche et non à celui d’un token, et que les taux de résolution se transposent à votre file d’attente. Cognition ne précise pas lequel, et cette hypothèse joue un rôle déterminant. Si le cinquième est un prix par token sur un modèle qui émet davantage de tokens par tâche, l’avantage se réduit et pourrait même s’inverser sur les lignes à long horizon. L’arithmétique est un contrôle de sensibilité, pas une mesure, et il faudrait la refaire à partir de vos propres journaux.

Ce qui ne fait aucun doute, c'est la fenêtre promotionnelle. SWE-2 Flash est gratuit dans Devin Desktop et la CLI jusqu'au 30 novembre 2026. La propre fenêtre de gratuité de SWE-2 s'est terminée le 10 octobre. Pour les prochaines semaines, la comparaison de prix au sein de Devin est d'un cinquième contre zéro, ce qui n'est pas une comparaison du tout — c'est une période d'évaluation avec une échéance.

Ils ne sont pas de la même lignée, et l’écart de paramètres est l’aspect le moins intéressant à leur sujet.

SWE-2 est post-entraîné à partir de Kimi K3 : 2,8 billions de paramètres, 104 milliards actifs par token, une base qui avait déjà fait l’objet d’un RL intensif pour le codage agentique. SWE-2 Flash est post-entraîné à partir d’Inkling-Small : 276 milliards au total, 12 milliards actifs, Apache 2.0, de Thinking Machines. Le tableau des tailles de Cognition lui-même place le Flash à 1x et SWE-2 à 10,1x. En paramètres actifs, le rapport est plus proche de neuf pour un.

Maintenant, mettez cela en regard des scores. Une différence d’un facteur huit et demi sur les paramètres actifs rapporte 4,5 points sur FrontierCode 1.1 Main et rien du tout sur FrontierCode 2.0. En revanche, l’étape de post-entraînement elle-même vaut bien plus que la différence de paramètres : le tableau de Cognition montre Inkling-Small à 21,5 sur FrontierCode 1.1 Main et Flash à 45,5, soit un gain de 24 points dû au mid-training et au RL sur la même base. La variance attribuable au post-entraînement est environ cinq fois celle attribuable à l’ensemble de l’écart de paramètres entre les deux modèles.

C’est là le constat que le duo produit ensemble, et il dépasse chacun des deux modèles pris séparément. Cela explique aussi pourquoi Cognition est prêt à vendre le plus petit à un cinquième du prix : la partie coûteuse de SWE-2 n’a jamais été le modèle de base. C’étaient les données, les vérificateurs et les environnements RL, et Flash réutilise cet investissement sur une base moins chère.

Deux réserves s’imposent ici. La comparaison se limite au tableau d’un seul fournisseur, portant sur des benchmarks que ce fournisseur contrôle, et rien de tout cela n’a été reproduit de manière indépendante. Et les modèles de base ne sont pas des entrées équivalentes — Kimi K3 arrive avec un contexte d’un million de tokens et une vision native, tandis qu’Inkling-Small est une architecture différente avec un support multimodal différent —, si bien que « même post-entraînement, base moins chère » relève du cadrage de Cognition plutôt que d’une variable isolée.

L'asymétrie de réglage de l'effort

SWE-2 a été livré avec trois niveaux documentés d’effort de raisonnement — moyen, élevé et maximal — et le lancement de septembre de Cognition expliquait à quoi servait chacun : le niveau moyen passe plus tôt à l’action, tandis que les niveaux élevé et maximal planifient davantage, explorent davantage la base de code et consacrent plus de ressources à la vérification. Il indiquait également que le meilleur score de chaque modèle, tous réglages d’effort confondus, était rapporté.

SWE-2 Flash ne documente aucun contrôle de l’effort. Le billet d’annonce n’en mentionne aucun, et le tableau des benchmarks ne comporte aucune colonne de réglage. La comparaison telle que publiée oppose donc SWE-2 dans sa meilleure configuration à Flash dans une configuration non précisée — ce qui n’est une comparaison à configuration égale que si Flash n’a qu’un seul réglage, et une comparaison injuste dans une direction inconnue s’il en a plusieurs.

Si le Flash n’a véritablement aucun contrôle de l’effort, il s’agit d’une différence produit qu’il vaut la peine de nommer, plutôt que d’une lacune de documentation. L’effort est ce qui permet d’arbitrer entre coût et profondeur tâche par tâche, et un modèle qui en est dépourvu ne vous offre qu’un seul réglage pour une file d’attente qui contient à la fois des tâches triviales et difficiles. C’est précisément l’arbitrage que le ratio est censé vous permettre de faire.

À quelle file chacun appartient-il

Le cadrage propre à Cognition est le guide le plus honnête ici. Il indique que les modèles plus petits « sont de plus en plus capables de gérer une part significative du travail que réalisent les agents logiciels, comme les automatisations, la revue de code, le développement de fonctionnalités et la mise à jour de la documentation », et que SWE-2 Flash a été développé pour ce travail. Confrontez cette liste à la structure du benchmark : les deux concordent — des tâches délimitées, une définition claire de ce qui est terminé, un volume élevé, une faible tolérance à la latence.

• Si la tâche tient dans un prompt et que la définition de « terminé » est sans ambiguïté — une passe de relecture, une mise à jour de documentation, une petite fonctionnalité, une automatisation planifiée —, Flash est le choix par défaut approprié, et l’arithmétique du coût par tâche résolue ci-dessus indique qu’il est plusieurs fois moins cher, même lorsqu’il résout moins de tâches.

• Si l’agent doit décider quoi faire ensuite plus d’une poignée de fois — une migration, une refactorisation inter-dépôts, une session de débogage où la première hypothèse est généralement fausse — l’écart de 13 points DeepSWE est exactement ce que vous achetez avec SWE-2, et le ratio ne le compense pas.

• Si vous ne parvenez pas à déterminer à laquelle de ces catégories appartient une tâche, commencez-la sur le Flash, puis escaladez. C'est la décision pour laquelle Cognition a conçu les niveaux d'effort sur SWE-2, et l'absence de contrôle de l'effort sur le Flash fait de l'escalade une décision de routage plutôt qu'un paramètre.

L’erreur à éviter est de prendre ce gain de 0,2 point comme une autorisation de déplacer la file des tâches difficiles. Il ne s’agit que d’un benchmark, d’une édition, d’un fournisseur, et cela se situe dans la sensibilité propre de l’instrument.

En dehors de Devin, ni l'un ni l'autre n'est candidat.

Aucun des deux modèles n’a d’API. Aucun n’a de poids publics. Si votre harnais vous est propre, le duo n’est pas un choix que vous pouvez faire, et la fenêtre gratuite ne vous aide pas — c’est un essai à l’intérieur d’un produit que vous devez acheter.

La moitié accessible de cette pile constitue la base. Kimi K3 est routé sur OrcaRouter en tant que kimi/kimi-k3, à 3,00 $ par million de tokens d'entrée et 15,00 $ par million de tokens de sortie, avec une fenêtre de contexte de 1 M de tokens et un appel d'outils natif, au prix catalogue du fournisseur, sans marge ajoutée. Une seule API couvre plus de 200 modèles, ce qui rend la répartition de la file d'attente ci-dessus implémentable en dehors de Devin : une règle de routage peut envoyer les tâches bornées vers un modèle peu coûteux et escalader les tâches à long horizon vers un modèle plus puissant, sans que le client sache lequel a répondu. Le basculement automatique doit se trouver derrière le chemin escaladé, car le modèle vers lequel vous escaladez est celui dont vous ne pouvez pas vous permettre l'indisponibilité.

C'est un produit différent de SWE-2 Flash, et ce n'est pas un substitut à celui-ci. C'est ce que vous faites lorsque ce que vous voulez évaluer n'a pas de point de terminaison.

Qu'est-ce qui réglerait la question ?

Trois révélations feraient passer cette comparaison d’un tableau de fournisseur à une preuve. Une exécution indépendante de DeepSWE 1.1 et Terminal-Bench 4.0 sur les deux modèles, par une personne qui n’est pas Cognition et n’utilise pas le harnais de Cognition. Une indication du niveau d’effort et du scaffold derrière chaque ligne du tableau Flash, correspondant à ce que le lancement de SWE-2 a fourni. Et une exécution répétée, afin qu’une marge de 0,2 point puisse être distinguée de la variance d’une exécution à l’autre.

D’ici là, la lecture défendable est la plus étroite. SWE-2 Flash est un homologue optimisé pour le coût, construit sur une base bien plus petite, au niveau de SWE-2 sur le benchmark le plus récent et clairement en retard sur les tâches à long horizon, commercialisé selon un rapport qui le rend plusieurs fois moins cher par tâche résolue, d’après les éléments disponibles. C’est une bonne décision produit et une prétention technique modeste. La victoire de 0,2 point ne prouve pas qu’il a remplacé quoi que ce soit — elle prouve que, sur un instrument, un jour donné, l’écart s’est refermé assez pour se dissoudre dans le bruit.