Titelkaart voor MAI Code 2 vs SWE-2. MAI Code 2 wordt getoond als Microsofts model binnen GitHub Copilot zonder API, geprijsd op $0,50 input en $2,50 output per miljoen tokens, zonder gepubliceerd slagingspercentage en zonder gewichten. SWE-2 wordt getoond als Cognition's model binnen Devin zonder prijs per token, met een score van 73,0 procent op DeepSWE 1.1, 92,8 procent op Terminal-Bench 2.1 en 27,3 procent op Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 vs SWE-2: Dezelfde twee benchmarks, door slechts één van beide gepubliceerd

Auteur

jinhao.song

Publicatiedatum

Nieuwste modellen · 20Bekijk alle modellen →
Benchmarks: Artificial Analysis · dagelijks bijgewerkt
Terug naar alle berichten

MAI Code 2 en SWE-2 noemen bijna exact dezelfde benchmarks in hun lanceringsmateriaal, en slechts één van hen vertelt je wat het scoorde. Microsofts bericht van 17 november 2026 noemt DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas en FrontierCode v1.1 en meldt vervolgens ratio's: 96% van de prestaties van Claude Opus 5.5 tegen 5% van de kosten. Cognitions SWE-2-bericht, gepubliceerd op 10 september 2026, noemt dezelfde eerste twee benchmarks en drukt voor elk een cijfer af: 73,0% op DeepSWE 1.1, 92,8% op Terminal-Bench 2.1, 27,3% op Terminal-Bench 4.0. Dat derde cijfer is het cijfer dat je moet onthouden, want het is de editie die Microsoft niet rapporteerde — en het laat zien wat er met een coderingsmodel gebeurt wanneer de terminalbenchmark moeilijker wordt.

Beide modellen delen ook een distributiebeperking die hen ongebruikelijk maakt in deze categorie: geen van beide heeft een openbare API per token. MAI Code 2 is bereikbaar door het te selecteren in een GitHub Copilot-client. SWE-2 draait binnen Devin. Twee modellen die je niet vanuit je eigen code kunt aanroepen, waarvan één zijn cijfers publiceert.

De benchmarkeditie waar niemand mee begint

De tabel van Cognition is het nuttigste artefact dat een van beide leveranciers heeft gepubliceerd, en niet omdat SWE-2 er iets op wint. Hij is nuttig omdat hij hetzelfde model toont, gemeten op twee edities van dezelfde benchmark.

• Terminal-Bench 2.1 — SWE-2 op 92,8%, tegen 91,4% voor Claude Fable 5.1, 89,9% voor GPT-6 Astra en 88,3% voor Kimi K3

Terminal-Bench 4.0 — SWE-2 op 27,3%, tegenover 55,8% voor Claude Fable 5.1, 57,9% voor GPT-6 Astra en 21,5% voor Kimi K3

• DeepSWE 1.1 — SWE-2 op 73,0%, tegenover 74,1% voor GPT-6 Astra, 72,7% voor GPT-5.6 Sol en 67,4% voor Claude Fable 5.1

• FrontierCode 1.1 Main — SWE-2 op 50,0%, tegen 53,3% voor GPT-6 Astra en 50,9% voor Claude Fable 5.1

Lees de eerste twee regels samen. SWE-2 staat tweede op 2.1 en op een na laatste op 4.0, een daling van ongeveer 65 punten, en staat er niet alleen voor: Kimi K3 zakt 67 punten over hetzelfde paar. De modellen die standhouden, zijn de modellen die zijn afgestemd op werk met een lange horizon. Dit is geen eigenaardigheid van het testharnas van één lab — het is de benchmarkeditie die moeilijker wordt, en dat is precies waarom "we hebben Terminal Bench 2.1 gedraaid" in november 2026 een zwakkere bewering is dan in september.

Microsoft heeft Terminal Bench 2.1 gedraaid. Microsoft heeft daarop geen score gepubliceerd. Microsoft heeft niets over 4.0 gepubliceerd. Die drie feiten samen betekenen dat een koper niet kan vaststellen wat voor soort codeermodel MAI Code 2 is: het soort dat standhoudt wanneer de terminaltaken langer worden, of het soort dat dat niet doet.

Wat elke leverancier daadwerkelijk heeft bekendgemaakt

De openbaarmakingskloof is groter dan de prijzen van de modellen, dus het is de moeite waard om het ronduit te zeggen.

Cognition publiceerde een tabel met zeven modellen en vier benchmarks, een vermelde vergelijkingsset, een opmerking dat concurrerende modellen in de eigen CLI van Cognition werden uitgevoerd met hun beste redeneerinspanning, en een eerlijke onthulling over iets dat het uitsloot: Claude Fable 5.1 scoorde bij maximale inspanning 50,3% op FrontierCode tegen $12,83 per taak, lager dan zijn eigen resultaat bij gemiddelde inspanning, en werd daarom uit de grafiek geschrapt. Een leverancier die je vertelt welk datapunt hij heeft verwijderd, is een leverancier die je de middelen geeft om zijn tabel te relativeren.

Microsoft heeft de namen van de benchmarks gepubliceerd, de harness — MSBench, zijn interne evaluatieplatform — via de GitHub Copilot CLI met uitgeschakelde subagenten en elk model op maximale redeneerinspanning, en de ratio's waarop die benchmarks gemiddeld uitkomen. Het publiceerde geen slagingspercentage voor MAI Code 2 op een van de vier, geen parameteraantal, geen uitvoerplafond en geen vergelijkingstabel met genoemde concurrenten buiten de twee ratio's. Artificial Analysis heeft per 18 november 2026 geen rij voor het model, dus er is geen externe meting om als alternatief te gebruiken.

Een van deze onthullingen stelt je in staat de redenering te reproduceren. De andere vraagt je een conclusie te aanvaarden.

Geen van beide modellen is een eindpunt, en dat verandert de aankoop.

SWE-2 heeft geen gepubliceerde prijs per token en geen openbare API. In het bericht van Cognition staat dat het beschikbaar is in Devin Desktop en CLI, met uitrol naar Devin Web en Fusion, en de enige kostencijfers erin zijn benchmarkkosten per taak — het soort getal dat je aanhaalt om te laten zien dat een concurrent duur is, niet het soort getal waar je op factureert.

MAI Code 2 heeft wel een prijskaart, gepubliceerd door GitHub: $0,50 per miljoen invoertokens, $0,025 gecacht, $2,50 uitvoer, actieprijs tot 17 mei 2027, daarna $1,00 / $0,05 / $5,00. Het heeft geen eigen API-oppervlak. MAI Code 2 Flash, de kleinere variant, is het enige model in de familie met een API-oppervlak — een preview met beperkte toegang in Microsoft Foundry via een OpenAI-compatibele Responses API.

• Prijs — MAI Code 2 tegen $0,50 / $0,025 / $2,50 per miljoen tokens, actieprijs tot 17 mei 2027, tegenover geen gepubliceerde prijs per token voor SWE-2

• Toegang — een GitHub Copilot-seat voor Pro, Pro+, Max, Business en Enterprise, tegenover een Devin-abonnement in Desktop en CLI

• Gewichten — niet over beide zijden verdeeld

• Context — geen gepubliceerd contextcijfer voor SWE-2, tegenover 1 miljoen tokens op MAI Code 2, alleen beschikbaar in Visual Studio Code en Copilot CLI

• Gepubliceerde benchmarkscores — geen enkele voor MAI Code 2, tegenover vier voor SWE-2

• Onafhankelijke indexrij — geen van beide modellen heeft er een

De praktische conclusie is dat beide aankopen seat-aankopen zijn in plaats van token-aankopen, en dat slechts één ervan een meter meelevert die je kunt modelleren. Als je financiële team een kosten per eenheid nodig heeft, geeft MAI Code 2 die wel en SWE-2 niet. Als je engineeringteam wil weten of het model je repositories verbetert, geeft SWE-2 je een vergelijkingstabel en MAI Code 2 je een ratio.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

Waarvoor elk model is gebouwd

Microsofts opdracht voor MAI Code 2 is alledaags enterprisewerk: code naar productie brengen, diepgaand debuggen, implementatie over meerdere bestanden, redeneren over de hele repo, UI en dashboards. In de lanceringspost wordt openhartig gezegd dat de modellen "expliciet nog niet zijn afgestemd op moeilijkere problemen, zoals fundamenteel wetenschappelijk onderzoek en agentisch werk met een zeer lange horizon" — een zin die ongemakkelijk staat naast een claim over Terminal Bench 2.1, omdat Terminal-Bench een agentische benchmark met een lange horizon is. Microsofts eigen positionering zegt dat het niet heeft afgestemd op wat die benchmark meet.

Cognitions briefing voor SWE-2 gaat juist de andere kant op: minder stappen, goedkopere rollouts, een model dat samen met de agent die het uitvoert is ontworpen. De post meldt dat het gemiddelde aantal stappen per run daalt naar 53 op SWE-2 medium versus 127 voor SWE-1.7, dat medium 81% minder kost dan SWE-1.7, en een mediaan van 18 stappen tot de eerste echte bewerking tegenover 48. Dat zijn technische claims over agent-efficiëntie, en ze zijn voor een Devin-abonnee belangrijker dan welke benchmarkrij dan ook, omdat ze bepalen hoeveel van de maandelijkse limiet een taak verbruikt.

Dus de twee modellen zijn opnieuw op verschillende doelstellingen afgestemd: het ene op de alledaagse taak binnen een IDE, het andere op het aantal stappen binnen een autonome agent. Geen van beide is een betere versie van het andere.

Waar een router zijn plek verdient wanneer geen van beide modellen routeerbaar is

Noch MAI Code 2 noch SWE-2 staat in de catalogus van OrcaRouter, en er is geen eerlijke manier om iets anders te suggereren: de een is een vermelding in de modelkiezer van Copilot, de ander zit in Devin. Wat een routeringslaag verandert, is niet de toegang tot die twee, maar de kosten om de vergelijking op te bouwen. De controlegroep bij elke evaluatie daarvan moet een model zijn dat je kunt aanroepen en meten — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — en die zitten achter één sleutel tegen de lijstprijs van de provider met 0% markup, dus een benchmarkrun tegen hen wordt precies tegen het tarief van de leverancier gefactureerd.

Dat is hier belangrijker dan in de meeste matchups, omdat de interessante vraag over beide modellen vergelijkend is: verslaat een alledaagse coder een frontier-model op kosten per merge, op jouw code? Je kunt dat niet beantwoorden door twee leverancierstabellen te lezen die op twee harnesses zijn geproduceerd. Je kunt het beantwoorden door het meetbare model naast degene van deze twee te draaien die jouw team daadwerkelijk kan bereiken, en voltooide taken te tellen in plaats van tokens. Automatische failover is wat die vergelijking gaande houdt wanneer een snelheidslimiet van een provider midden in een run optreedt, en omdat prijzen tegen lijsttarief worden doorgegeven, worden de kosten per taak van de controle niet opgeblazen door de laag die je gebruikt om ze te meten.

Welke moet ik kiezen, gegeven wat je kunt verifiëren

• Je team werkt met Devin en je wilt minder stappen per rollout — SWE-2, en het zijn de cijfers over het aantal stappen en de kostenbesparing in de post van Cognition die de doorslag geven.

• Je team werkt met Copilot en je wilt goedkope tokens voor routinematige reparatie — MAI Code 2 tegen $0,50 en $2,50, berekend tegen zowel het verdubbelde tarief van mei 2027 als het promotietarief.

• Je moet de keuze met een getal verdedigen — SWE-2, omdat het er vier publiceert en het andere model geen enkele.

• Je hebt agentisch werk over een lange horizon nodig — geen van beide, op basis van het beschikbare bewijs. Microsoft zegt dat het er niet op is afgestemd; de eigen tabel van SWE-2 laat de ineenstorting van 65 punten zien wanneer de benchmark moeilijker wordt.

• Je hebt een kostemodel per token nodig — MAI Code 2, aangezien SWE-2 geen gepubliceerd tarief heeft om te modelleren.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

Het punt om in de gaten te houden is of Microsoft ooit het getal publiceert dat deze vergelijking echt zou maken. Een slagingspercentage op Terminal Bench 2.1 zou daarvoor volstaan; een percentage op Terminal Bench 4.0 zou de knoop doorhakken, want dat is de editie waarin de eigen tabel van SWE-2 laat zien hoe een codeermodel eruitziet wanneer de taken langer worden. Totdat een van die twee bestaat, is MAI Code 2 een tariefkaart met een belofte eraan vast en is SWE-2 een tabel met een stappenaantal eraan vast, en slechts een van beide kan van buiten de leverancier worden gecontroleerd.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

Vergeleken in dit artikel1

Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt