SWE-2 Flash vs Muse Code: De harness is wat je koopt

Zet de twee getallen naast elkaar en het verhaal schrijft zichzelf: SWE-2 Flash op 89,2 op Terminal-Bench 2.1, Muse Code op 82,9, dus het model van Cognition is 6,3 punten beter dan de agent van Meta. Elke deelzin van die zin doet iets bedenkelijks. SWE-2 Flash is een model dat binnen Devin wordt aangeboden. Muse Code is een terminalagent die rond Muse Spark 1.2 is gebouwd, mede daarmee is getraind, en de 82,9 werd gemeten met de harness en de effort-instelling erbij. Ze vergelijken is een model met een product vergelijken, en het product is het deel dat je daadwerkelijk zou installeren.

Dat maakt de vergelijking niet nutteloos. Het verandert wat de interessante vraag is: niet welk model hoger scoort, maar welke van de twee gesloten lussen meer van je werk voor je doet, tegen welke prijs, en hoeveel van de methode er wordt vrijgegeven.

Wat elk ding eigenlijk is

Muse Code is Meta's eerste codingagent, gelanceerd op 5 augustus 2026 voor macOS en Linux. Het is een CLI in dezelfde categorie als Claude Code of Codex: het plant wijzigingen, bewerkt bestanden, voert tests uit en valideert resultaten binnen een repository. De ontwerpkeuzes die het onderscheiden, zijn architecturaal van aard, niet cosmetisch.

• Achtergrondagents — persistente async-agents die gedurende een sessie in leven blijven in plaats van per taak te worden aangemaakt, zodat informatie die één keer is verzameld niet opnieuw hoeft te worden verzameld; meerdere kunnen parallel draaien in geïsoleerde worktrees zonder de werkkopie aan te raken.

• Gebeurtenissenlog — een lokale registratie van elke modelaanroep, tooluitvoering, goedkeuring en bewerking, waardoor een sessie exact opnieuw afspeelbaar en herstartveilig is na een crash — het mechanisme dat taken van meerdere uren overleefbaar maakt.

• Vaardigheden — ingebouwde slash-commando's, waaronder een planstap, een stap om het plan aan een stresstest te onderwerpen en een doelsturende stap.

Model — Muse Spark 1.2, closed-weight, context van 1M tokens, $1,25 per miljoen invoertokens en $4,25 per miljoen uitvoertokens.

SWE-2 Flash is geen agent. Het is een model, na-getraind op basis van Inkling-Small met 276B totale en 12B actieve parameters, dat wordt aangeboden binnen Devin Desktop en de Devin CLI. Cognition noemt het drie keer sneller en een vijfde van de prijs van SWE-2; toegang is gratis tot en met 30 november 2026; er is geen publieke API, geen model-ID en geen downloadbaar gewichtsbestand.

Dus de echte vorm van deze confrontatie is: twee gesloten systemen, elk koppelt een model aan een harness die de maker ervan controleert. De een publiceert zijn harness en effort-instelling. De ander niet.

De DeepSWE-rij die zegt dat ze gelijk staan

DeepSWE 1.1 is de enige benchmark die beide rapporten vermelden waar geen van beide kanten de definitie van de taak oprekt. SWE-2 Flash: 60,1. Muse Spark 1.2 binnen Muse Code: 59,3. Acht tienden van een punt.

Dat is geen gat. Het is dezelfde score die twee keer wordt gerapporteerd, en het interessantere feit is dat de twee systemen daar vanuit tegengestelde richtingen komen. Meta's model is een algemeen vlaggenschip met 1M context en een breed profiel voor tool-gebruik; dat van Cognition is een post-train van 12B actieve parameters op een open-weight basis, expliciet geoptimaliseerd voor het goedkope einde van de agentmarkt. Dat ze samenkomen op DeepSWE is een sterker resultaat voor de goedkopere architectuur dan de ruwe tabel suggereert.

Op Terminal-Bench 2.1 is de kloof groter — 89,2 tegen 82,9 — en hier wreekt zich de methodologische asymmetrie. Meta stelt dat zijn cijfer tot stand kwam bij xhigh effort, binnen de meegetrainde Muse Code-harness, in geïsoleerde Daytona-sandboxes, met pass@1 gemiddeld over vijf pogingen. Cognition vermeldt geen van die zaken. De septemberpost van Cognition voor SWE-2 bevatte een methodologiebijlage; de post van 4 november voor SWE-2 Flash niet.

Er schuilt ook een waarschuwing in Meta's eigen cijfers die voor elke tabel op dit gebied geldt. Meta rapporteert Muse Spark 1.1 op 76,2 op Terminal-Bench 2.1, terwijl de openbare tbench.ai-ranglijst een geverifieerde 80,0 voor hetzelfde model vermeldt. Het verschil is dat een rij geen model is — het is een model plus een harness plus een effort-instelling. Als er een schommeling van 4 punten kan optreden tussen twee rapportages van hetzelfde model, dan is een gat van 6,3 punten tussen twee verschillend geïnstrumenteerde systemen geen beslissend resultaat. Alle cijfers in deze sectie zijn door de leverancier gerapporteerd.

Nog één ding om in het oog te houden. Muse Spark 1.2 is niet langer het nieuwste model dat Meta heeft: Artificial Analysis markeert het 1.2-checkpoint nu als verouderd en verwijst lezers naar Muse Spark 1.3. Muse Code werd gelanceerd op 1.2, en 1.2 is het checkpoint dat elk cijfer in dit artikel beschrijft en dat nog steeds aanroepbaar is.

Context: 1M gepubliceerd tegenover niet-gepubliceerd

Muse Spark 1.2 wordt geleverd met een contextvenster van 1M tokens, en de architectuur van Muse Code is erop gebouwd om dat te benutten: persistente agents, een duurzaam eventlog, werk dat urenlang doorloopt. Die combinatie is de echte propositie van het product: niet een betere afzonderlijke bewerking, maar een agent die een grote repository en een lange taak kan vasthouden zonder de draad kwijt te raken.

SWE-2 Flash publiceert helemaal geen contextvenster. Voor een model dat alleen binnen een agent wordt geleverd, is het weglaten ervan minder schadelijk dan het voor een API-model zou zijn, omdat Devin het contextbeheer voor je regelt. Toch blijft het een omissie: je kunt een workflow niet afstemmen op een budget dat je niet kent.

Een tariefkaart tegen een gratis maand

• Muse Spark 1.2 — $1,25 per miljoen invoertokens, $4,25 per miljoen uitvoertokens. In geselecteerde landen bestaat een kortingstarief voor bijdragers in ruil voor gebruik van trainingsgegevens, en verzoeken om nuldataretentie worden geaccepteerd.

• SWE-2 Flash — geen prijs per token. Gratis binnen Devin tot en met 30 november 2026, daarna niet nader gespecificeerd.

• Muse Code — de agent zelf, geprijsd op basis van modelgebruik in plaats van een apart abonnement, in het materiaal dat Meta heeft gepubliceerd.

Een product zonder prijs is geen goedkoop product; het is een onbekend product. Als je een kostenmodel voor het volgende kwartaal bouwt, is $1.25/$4.25 een getal dat je in een spreadsheet kunt zetten en SWE-2 Flash een vraagteken met een deadline eraan vast.

Wat je kunt bellen, en wat je niet kunt

Hier lopen de twee systemen uiteen op een manier die niets met benchmarks te maken heeft. SWE-2 Flash kan niet worden aangeroepen. Er is geen endpoint om een client naar te laten wijzen, geen model-ID en geen datum waarop dat verandert. Als je architectuur een codeermodel achter een HTTP-aanroep nodig heeft in plaats van in een desktop-IDE, dan is SWE-2 Flash deze maand simpelweg geen kandidaat.

Muse Spark 1.2 is een ander verhaal. De Meta-kant van deze vergelijking is vandaag al aanroepbaar — zowel Muse Spark 1.2 als 1.1 staan live in de OrcaRouter-catalogus, tegen de lijstprijs van de provider met 0% opslag, dus het tarief van $1,25/$4,25 hierboven is het tarief dat je betaalt en niet een resellerprijs. Dat is van belang voor deze specifieke beslissing: je kunt Muse Spark 1.2 vanavond tegen je eigen repository draaien en ontdekken of de 59,3 op DeepSWE jouw werk beschrijft. Je kunt de equivalente test op SWE-2 Flash niet uitvoeren zonder de gratis maand lang in Devin te verblijven.

OrcaRouter biedt je ook de failover die een gok op één leverancier mist. Als je standaardiseert op de Meta-kant en de provider gaat achteruit, houdt automatische failover de call in leven — dat is het praktische verschil tussen 'we hebben een model gekozen' en 'we hebben een toeleveringsketen gekozen'.

Welke moet je kiezen?

Kies Muse Code als je een agent wilt die je vanuit een terminal kunt aansturen, met gepubliceerde effort-instellingen, een duurzaam gebeurtenissenlog, parallelle geïsoleerde worktrees en een API achter het model. Het gelijkspel bij DeepSWE zegt dat je aan de frontier geen capaciteit opgeeft; de kloof bij Terminal-Bench zegt dat je misschien wat plafond opgeeft, op een cijfer waarvan je ten minste de methode kunt inspecteren.

Kies SWE-2 Flash als je een Devin-gebruiker bent en de vraag is of het snellere, goedkopere model in de IDE waarvoor je al betaalt, goed genoeg is voor je repositories. Het gratis venster tot 30 november is een echte proefperiode, en 60,1 op DeepSWE zegt dat het zich niet voor schut zal zetten.

Wat geen van beide keuzes je oplevert, is zekerheid. Beide leveranciers hebben hun eigen systemen met hun eigen testharnassen gemeten, en het enige openbare gegeven waarmee je een bewering van een leverancier kunt controleren — tbench.ai's 80,0 voor Muse Spark 1.1 tegenover Meta's 76,2 — laat zien dat het verschil tussen een gepubliceerde regel en een gereproduceerde regel net zo groot kan zijn als het verschil tussen de twee producten in dit artikel.