Carton de titre pour SWE-2 Flash vs Muse Code, présentant l'affrontement comme un modèle dans un harnais face à un agent terminal doté de son propre modèle.
Guides & Insights

SWE-2 Flash vs Muse Code : le harnais est ce que vous achetez

Auteur

Magnus Corvin

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Mettez les deux nombres côte à côte et l’histoire s’écrit d’elle-même : SWE-2 Flash à 89,2 sur Terminal-Bench 2.1, Muse Code à 82,9, donc le modèle de Cognition est supérieur de 6,3 points à l’agent de Meta. Chaque proposition de cette phrase fait quelque chose de contestable. SWE-2 Flash est un modèle servi au sein de Devin. Muse Code est un agent de terminal construit autour de Muse Spark 1.2, co-entraîné avec lui, et son score de 82,9 a été mesuré avec le harnais et le réglage d’effort qui lui sont associés. Les comparer, c’est comparer un modèle à un produit, et c’est le produit que vous installeriez réellement.

Cela ne rend pas la comparaison inutile. Cela déplace la question intéressante : non pas quel modèle obtient le meilleur score, mais laquelle des deux boucles fermées fait davantage de votre travail à votre place, à quel prix, et avec quelle part de la méthode divulguée.

Ce que chaque chose est réellement

Muse Code est le premier agent de codage de Meta, lancé le 5 août 2026 pour macOS et Linux. C'est un CLI de la même catégorie que Claude Code ou Codex : il planifie les modifications, édite les fichiers, exécute les tests et valide les résultats sur l'ensemble d'un dépôt. Les choix de conception qui le distinguent sont architecturaux plutôt que cosmétiques.

• Agents d'arrière-plan — des agents asynchrones persistants qui restent actifs pendant toute une session au lieu d'être créés à la demande pour chaque tâche, de sorte que les informations collectées une fois ne soient pas à nouveau collectées ; plusieurs peuvent s'exécuter en parallèle dans des arborescences de travail isolées sans toucher à la copie de travail.

• Journal d'événements — un enregistrement local de chaque appel de modèle, exécution d'outil, approbation et modification, qui rend une session rejouable à l'identique et sûre en cas de redémarrage après un plantage — le mécanisme qui permet aux tâches de plusieurs heures de survivre.

• Compétences — commandes slash intégrées, dont une étape de planification, une étape de test de résistance du plan et une étape de pilotage par objectif.

• Modèle — Muse Spark 1.2, à poids fermés, contexte de 1 M de tokens, 1,25 $ par million de tokens en entrée et 4,25 $ par million de tokens en sortie.

SWE-2 Flash n’est pas un agent. C’est un modèle, post-entraîné à partir d’Inkling-Small avec 276 milliards de paramètres au total et 12 milliards de paramètres actifs, servi dans Devin Desktop et Devin CLI. Cognition l’annonce comme trois fois plus rapide et cinq fois moins cher que SWE-2 ; l’accès est gratuit jusqu’au 30 novembre 2026 ; il n’existe ni API publique, ni identifiant de modèle, ni fichier de poids téléchargeable.

Donc la vraie configuration de cette confrontation est la suivante : deux systèmes fermés, chacun associant un modèle à un harnais que son créateur contrôle. L'un publie son harnais et son réglage d'effort. L'autre non.

La ligne DeepSWE qui indique qu'ils sont à égalité

DeepSWE 1.1 est le seul benchmark que les deux rapports citent sans que ni l’un ni l’autre n’ait à étirer la définition de la tâche. SWE-2 Flash : 60,1. Muse Spark 1.2 dans Muse Code : 59,3. Huit dixièmes de point.

Ce n'est pas un écart. C'est le même score rapporté deux fois, et le fait le plus intéressant est que les deux systèmes y parviennent par des chemins opposés. Le modèle de Meta est un fleuron généraliste doté d'un contexte de 1 M et d'un large profil d'utilisation d'outils ; celui de Cognition est un post-entraînement de 12 B actifs sur une base à poids ouverts, explicitement optimisé pour le segment bon marché du marché des agents. Converger sur DeepSWE constitue un résultat plus fort pour l'architecture la moins coûteuse que ne le laisse supposer le tableau brut.

Sur Terminal-Bench 2.1, l’écart est plus grand — de 89,2 à 82,9 — et c’est ici que l’asymétrie méthodologique fait mal. Meta indique que son chiffre a été produit avec un effort xhigh, dans le harnais Muse Code co-entraîné, dans des environnements sandbox Daytona isolés, avec un pass@1 moyenné sur cinq tentatives. Cognition n’indique rien de tout cela. Son article de septembre sur SWE-2 comportait une annexe méthodologique ; l’article du 4 novembre sur SWE-2 Flash n’en comporte pas.

Il y a aussi un avertissement dans les propres chiffres de Meta qui s’applique à chaque tableau de ce domaine. Meta rapporte Muse Spark 1.1 à 76,2 sur Terminal-Bench 2.1, tandis que le classement public de tbench.ai affiche un 80,0 vérifié pour le même modèle. La différence, c’est qu’une ligne n’est pas un modèle — c’est un modèle plus un harnais plus un réglage d’effort. Si une variation de 4 points peut apparaître entre deux rapports du même modèle, un écart de 6,3 points entre deux systèmes instrumentés différemment n’est pas un résultat décisif. Tous les chiffres de cette section sont communiqués par le fournisseur.

Comparison scoreboard for SWE-2 Flash and Muse Code showing Terminal-Bench 2.1 at 89.2 versus 82.9, DeepSWE 1.1 at 60.1 versus 59.3, and contrasting an undisclosed harness with a published xhigh effort setting inside a co-trained agent.

Un dernier point à garder à l’esprit. Muse Spark 1.2 n’est plus le modèle le plus récent de Meta : Artificial Analysis marque désormais le checkpoint 1.2 comme déprécié et renvoie les lecteurs vers Muse Spark 1.3. Muse Code a été lancé sur 1.2, et 1.2 est le checkpoint que décrivent tous les chiffres de cet article et celui qui reste appelable.

Contexte : 1M publiés contre non publiés

Muse Spark 1.2 est livré avec une fenêtre de contexte d'un million de tokens, et l'architecture de Muse Code est conçue pour en tirer parti : des agents persistants, un journal d'événements durable, un travail qui s'étend sur des heures. C'est cette combinaison qui constitue le véritable argument du produit : non pas une meilleure modification isolée, mais un agent capable de tenir un grand dépôt et une longue tâche sans perdre le fil.

SWE-2 Flash ne publie aucune fenêtre de contexte. Pour un modèle livré uniquement au sein d’un agent, cette omission est moins dommageable qu’elle ne le serait pour un modèle API, car Devin gère le contexte à votre place. Cela reste une omission : vous ne pouvez pas dimensionner un workflow en fonction d’un budget que l’on ne vous communique pas.

Screenshot of the Artificial Analysis model page for Muse Spark 1.2, showing a deprecation banner pointing to Muse Spark 1.3, its $1.25 input and $4.25 output pricing, and its 1M-token context window.

Une grille tarifaire contre un mois gratuit

• Muse Spark 1.2 — 1,25 $ par million de jetons d’entrée, 4,25 $ par million de jetons de sortie. Un niveau contributeur à tarif réduit existe dans certains pays en échange de l’utilisation des données d’entraînement, et les demandes de rétention zéro des données sont acceptées.

• SWE-2 Flash — pas de prix par token. Gratuit dans Devin jusqu'au 30 novembre 2026, puis non précisé.

• Muse Code — l’agent lui-même, facturé via l’utilisation des modèles plutôt qu’un abonnement séparé dans les documents publiés par Meta.

Un produit sans prix n’est pas un produit bon marché ; c’est un produit inconnu. Si vous élaborez un modèle de coûts pour le prochain trimestre, 1,25 $/4,25 $ est un chiffre que vous pouvez mettre dans une feuille de calcul, tandis que SWE-2 Flash est un point d’interrogation assorti d’une échéance.

Ce que vous pouvez appeler, et ce que vous ne pouvez pas

Ici, les deux systèmes divergent d’une manière qui n’a rien à voir avec les benchmarks. SWE-2 Flash ne peut pas être appelé. Il n’y a pas de point de terminaison vers lequel pointer un client, pas d’ID de modèle, et aucune date à laquelle cela changera. Si votre architecture a besoin d’un modèle de codage derrière un appel HTTP plutôt qu’à l’intérieur d’un IDE de bureau, SWE-2 Flash n’est tout simplement pas un candidat ce mois-ci.

Muse Spark 1.2, c'est une autre histoire. Le camp Meta de ce duel est disponible dès aujourd'hui — Muse Spark 1.2 comme 1.1 sont en ligne dans le catalogue OrcaRouter, au tarif catalogue du fournisseur avec 0 % de marge, si bien que le tarif de 1,25 $/4,25 $ indiqué plus haut est celui que vous payez, et non un prix de revendeur. Cela compte pour cette décision précise : vous pouvez tester Muse Spark 1.2 sur votre propre dépôt dès ce soir et découvrir si le 59,3 obtenu sur DeepSWE décrit votre travail. Vous ne pouvez pas faire le test équivalent sur SWE-2 Flash sans vivre dans Devin pendant le mois gratuit.

OrcaRouter vous offre aussi le basculement automatique qui manque à un pari sur un fournisseur unique. Si vous standardisez du côté de Meta et que le fournisseur se dégrade, le basculement automatique maintient l’appel actif — c’est la différence pratique entre « nous avons choisi un modèle » et « nous avons choisi une chaîne d’approvisionnement ».

Screenshot of the OrcaRouter model page for Muse Spark 1.2, showing the callable model listing and its provider pricing.

Lequel choisir

Choisissez Muse Code si vous voulez un agent que vous pouvez piloter depuis un terminal, avec des paramètres d’effort publiés, un journal d’événements durable, des arbres de travail isolés en parallèle et une API derrière le modèle. Le match nul DeepSWE indique que vous ne renoncez pas à la capacité à la frontière ; l’écart Terminal-Bench indique que vous pourriez renoncer à un certain plafond, sur un chiffre dont vous pouvez au moins inspecter la méthode.

Choisissez SWE-2 Flash si vous êtes utilisateur de Devin et que la question est de savoir si le modèle plus rapide et moins cher intégré à l’IDE que vous payez déjà est suffisamment performant pour vos dépôts. La fenêtre gratuite jusqu’au 30 novembre est un véritable essai, et 60.1 sur DeepSWE indique qu’il ne fera pas mauvaise figure.

Ce qu'aucun des deux choix ne vous apporte, c'est la certitude. Les deux fournisseurs ont mesuré leurs propres systèmes avec leurs propres bancs d'essai, et le seul point de données public qui permette de vérifier une affirmation d'un fournisseur — le 80,0 de tbench.ai pour Muse Spark 1.1 face au 76,2 de Meta — montre que l'écart entre une ligne publiée et une ligne reproduite peut être aussi grand que l'écart entre les deux produits de cet article.