SWE-2 Flash vs Flint v1.0 : une seule ligne de benchmark honnête et beaucoup de bruit

Deux petits modèles de codage à mélange d’experts à faible activation, publiés à quinze jours d’intervalle, revendiquant tous deux le même niveau de performance pour une fraction du coût d’un modèle phare. SWE-2 Flash, de Cognition, le 4 novembre 2026, compte 276 Md de paramètres au total, avec 12 Md actifs. Flint v1.0, de Recursive, le 21 octobre 2026, compte 39,8 Md de paramètres au total, avec environ 2,5 Md actifs. Il s’agit du même pari architectural à des échelles très différentes — et la façon honnête de les comparer est d’admettre d’emblée que leurs tableaux publiés ne se recoupent que sur exactement une ligne.

Cette ligne correspond à Terminal-Bench 2.1 : 89,2 pour SWE-2 Flash contre 54,9 pour Flint v1.0. C’est un écart de 34 points, c’est le chiffre le plus fort que l’une ou l’autre des deux entreprises ait produit dans cette confrontation, et il s’accompagne de deux réserves suffisamment importantes pour changer la façon dont vous l’interprétez. Tout le reste que vous pourriez être tenté de comparer relève soit d’une autre version du benchmark, soit d’un autre sous-ensemble du même benchmark.

Même pari, licence opposée

La thèse commune est que ce sont les paramètres actifs, et non les paramètres totaux, qui déterminent le coût d’inférence — on peut donc construire un grand modèle sparse et ne payer que pour la partie qui s’active. Flint met à contribution 6 des 256 experts routés, plus un expert partagé, par token, sur 49 couches, dont 35 à fenêtre glissante avec une fenêtre de 513 tokens et 14 en attention complète. SWE-2 Flash hérite de cette structure de sa base Inkling-Small : 276B au total, 12B actifs, post-entraîné avec une étape de mi-entraînement que Cognition n’avait jamais utilisée auparavant.

La différence qui compte plus que n'importe quel détail d'architecture, c'est ce que vous êtes autorisé à faire avec la sortie :

• Poids — Flint v1.0 est sous Apache 2.0 sur Hugging Face en BF16, FP8 et formes quantisées. SWE-2 Flash est entièrement retenu, avec un programme de partage avec des partenaires promis mais pas encore précisé.

• Distribution — Flint fonctionne sous llama.cpp, Ollama, LM Studio, vLLM et SGLang sur du matériel que vous possédez. SWE-2 Flash fonctionne dans Devin Desktop et Devin CLI, et nulle part ailleurs.

• Prix — le coût marginal de Flint est votre GPU. SWE-2 Flash est gratuit jusqu’au 30 novembre 2026 et n’a aucun tarif par token publié après cette date.

• Contexte — Flint publie 262 144 tokens, configurables jusqu’à environ 512K. SWE-2 Flash ne publie rien.

Ce n’est pas une petite différence de posture. L’un est un artefact que l’on peut inspecter, quantifier, affiner et exécuter sur un ordinateur portable. L’autre est un produit avec un mois gratuit.

La seule ligne que vous pouvez comparer

Terminal-Bench 2.1 est le seul benchmark où les deux entreprises rapportent un chiffre sur la même version. Le 54,9 de Flint a été produit via Terminus 2, avec un pass@1 moyenné sur au moins cinq tentatives. Le 89,2 de SWE-2 Flash a été produit sur un harnais d’évaluation que Cognition ne nomme pas, avec un niveau d’effort qu’elle ne divulgue pas, à partir d’une publication de lancement qui omet l’annexe méthodologique que portait son prédécesseur de septembre.

Ainsi, l’écart de 34 points est réel dans la mesure où les deux chiffres ont été rapportés sur le même ensemble de tâches, et relatif dans la mesure où un côté vous a expliqué comment il y est parvenu et l’autre non. Un modèle évalué au sein d’un échafaudage d’agent co-conçu — ce qu’est Devin — battra généralement le même modèle évalué via un harnais générique. Le chiffre de Flint est le plus prudent précisément parce que Recursive a publié la méthode.

Si vous voulez une seule phrase : sur la seule ligne commune, SWE-2 Flash est largement en tête, et aucune des deux entreprises n’a donné à un tiers indépendant la possibilité de vérifier.

Les deux scores Pro qui semblent identiques et ne le sont pas

C'est le piège de cette confrontation, et cela mérite qu'on s'y attarde. Recursive annonce Flint v1.0 à 89,7 sur SWE-bench Pro v2. Cognition annonce SWE-2 Flash à 89,9 sur SWE-Bench Pro v2 Hard. Deux chiffres, séparés de 0,2 point, côte à côte dans toutes les agrégations que vous trouverez.

Ce ne sont pas les mêmes mesures. « Hard » est un sous-ensemble — une tranche filtrée de l’ensemble des tâches, et non sa totalité. Le chiffre de Flint correspond à l’exécution complète de Pro v2 sous mini-swe-agent, les solutions récupérées sur le Web étant comptées comme des échecs, ce qui est une convention de notation plus stricte que celle adoptée par la plupart des fournisseurs. Placer 89.9 à côté de 89.7 et parler d’égalité relève du type de comparaison qui produit des conclusions fausses mais énoncées avec assurance.

La même prudence vaut pour une ligne qui n’est commune à aucun des deux tableaux. Flint rapporte un score de 74,2 à SWE-bench Verified. SWE-2 Flash ne communique aucun résultat pour Verified — il rapporte à la place Pro v2 Hard, DeepSWE 1.1 et SWE-Atlas QA. Ainsi, le benchmark pour lequel la plupart des équipes ont une intuition n’est pas disponible pour le modèle plus récent, ce qui fait de « Flint est en retard sur SWE-bench » une affirmation non étayée plutôt qu’un constat.

Le contexte est la spécification qui décide.

Pour le codage agentique, la fenêtre de contexte n’est pas un détail — elle détermine si un modèle peut retenir la surface pertinente d’un dépôt en une seule étape de planification ou s’il faut la lui fournir par morceaux. Flint annonce 262 144 tokens. SWE-2 Flash n’annonce rien, et après trois jours de couverture, aucun média ne l’a établi.

Le contexte de Flint s'accompagne de sa propre mise en garde. Les mesures de la communauté montrent un effondrement du débit en contexte long — environ 110 tokens par seconde sur des prompts courts, tombant vers 9 tokens par seconde près de 115 000 tokens. Une fenêtre de 262K qui tourne à 9 tok/s est une fenêtre que l'on utilise délibérément, pour une seule grande lecture, pas une que l'on laisse ouverte pendant une longue session. La quantification adoucit le coût de calcul, mais pas cette courbe.

La fenêtre non publiée de SWE-2 Flash constitue l'inconnue la plus importante, car Devin est un produit conçu pour les sessions longues. Si vous choisissez entre eux en partant du principe que le modèle fermé gère mieux les dépôts plus volumineux, vous vous fondez sur un chiffre que personne n'a publié.

La vitesse que l’on peut vérifier face à celle que l’on ne peut pas.

Cognition affirme que SWE-2 Flash tourne à environ 200 jetons par seconde, contre 60 pour SWE-2. Ce chiffre provient de la relecture de retranscriptions de sessions raccourcies à des débits simulés, et non de la mesure d'un point de terminaison en direct. Il s'agit d'une démonstration, pas d'une mesure, et il n'existe actuellement aucun moyen pour quiconque en dehors de Cognition de la vérifier.

Les affirmations de débit de Flint sont modestes en comparaison et beaucoup plus faciles à réfuter : environ 125 à 131 tokens par seconde sur un MacBook Pro M4 Pro, plus de 150 sur une RTX Spark avec 64 Go. Ces mesures ont été effectuées sur du matériel que vous pouvez acheter, par des personnes qui ont publié la configuration. La version quantifiée NVFP4 serait à environ 0,7 point de BF16 sur les benchmarks, ce qui est le genre d’affirmation qu’une communauté peut et va tester.

Un véritable écueil à connaître : la voie GGUF a souffert d’un bug de gabarit de chat dans llama.cpp, et le modèle dispose de peu de recul communautaire comparé à tout ce qui vient d’un grand laboratoire. Les premiers adoptants font le débogage.

Ce que chaque option vous coûte réellement

Flint v1.0 est gratuit à télécharger et son coût correspond à celui de votre inférence. Un modèle de 39,8 B dont 2,5 B sont actifs tournera sur un ordinateur portable bien configuré à une vitesse exploitable, ce qui est tout l’intérêt de l’architecture. Le coût d’adoption est opérationnel : vous êtes responsable de la pile de service, du choix de quantification et des modes de défaillance.

SWE-2 Flash ne coûte rien jusqu'au 30 novembre 2026, puis coûte un montant inconnu, car Cognition a publié un ratio — un cinquième du prix de SWE-2 — plutôt qu'un tarif. Si le processus de planification de votre équipe a besoin d'un chiffre à mettre dans un tableur, c'est là le point bloquant, et non l'écart au benchmark.

Aucun des deux modèles ne figure aujourd'hui au catalogue d'OrcaRouter, et nous n'allons pas prétendre le contraire. Ce qui est utile dans cette confrontation, ce n'est pas le routage entre ces deux modèles, mais l'évaluation comparative du paysage qui les entoure : plus de 200 modèles sont accessibles derrière une seule clé OrcaRouter avec 0 % de marge sur le prix catalogue du fournisseur, ce qui fait qu'exécuter la même tâche de dépôt à travers une douzaine de candidats ne demande que de changer une chaîne. Lorsque vous hésitez entre deux modèles dont l'un a publié son harnais et l'autre non, votre propre évaluation vaut plus que le tableau de l'un ou l'autre fournisseur.

Qui devrait choisir lequel ?

Choisissez Flint v1.0 si vous avez besoin des poids. Si votre contrainte est la résidence des données, le fonctionnement hors ligne, le fine-tuning, ou un coût par token qui ne dépend pas de la décision tarifaire d’une autre entreprise, l’écart de 34 points sur Terminal-Bench est un prix que vous pourriez fort bien être prêt à payer — et le contexte de 262K de Flint ainsi que son harness publié vous donnent un modèle sur lequel vous pouvez raisonner plutôt qu’une boîte noire.

Choisissez SWE-2 Flash si vous êtes déjà dans Devin et que la fenêtre gratuite suffit à répondre à votre question. C’est le modèle le plus performant sur la seule ligne mesurée par les deux entreprises, et avec une large marge, et l’essayer ne coûte rien jusqu’à la fin du mois de novembre.

Ce que personne ne devrait faire, c’est de choisir l’un ou l’autre en se fondant sur les chiffres de SWE-bench Pro. 89,7 et 89,9 ne mesurent pas le même test, et l’écart entre ces deux chiffres est plus faible que l’écart entre chacun d’eux et ce que votre dépôt produira réellement.