
MAI Code 2 vs SWE-2: Dezelfde twee benchmarks, door slechts één van beide gepubliceerd
- OrcaNIEUWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1 mln tokens · 180 tok/s
- tencentNIEUWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1 mln tokens · 223 tok/s
- GoogleNIEUWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1 mln tokens · 89 tok/s
- AnthropicNIEUWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1 mln tokens · 98 tok/s
- orcaNIEUWOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1 mln tokens · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1 mln tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1 mln tokens · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1 mln tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1 mln tokens · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1 mln tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1 mln tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligentie
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1 mln tokens · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligentie
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1 mln tokens · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligentie
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1 mln tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligentie
MAI Code 2 en SWE-2 noemen bijna exact dezelfde benchmarks in hun lanceringsmateriaal, en slechts één van hen vertelt je wat het scoorde. Microsofts bericht van 17 november 2026 noemt DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas en FrontierCode v1.1 en meldt vervolgens ratio's: 96% van de prestaties van Claude Opus 5.5 tegen 5% van de kosten. Cognitions SWE-2-bericht, gepubliceerd op 10 september 2026, noemt dezelfde eerste twee benchmarks en drukt voor elk een cijfer af: 73,0% op DeepSWE 1.1, 92,8% op Terminal-Bench 2.1, 27,3% op Terminal-Bench 4.0. Dat derde cijfer is het cijfer dat je moet onthouden, want het is de editie die Microsoft niet rapporteerde — en het laat zien wat er met een coderingsmodel gebeurt wanneer de terminalbenchmark moeilijker wordt.
Beide modellen delen ook een distributiebeperking die hen ongebruikelijk maakt in deze categorie: geen van beide heeft een openbare API per token. MAI Code 2 is bereikbaar door het te selecteren in een GitHub Copilot-client. SWE-2 draait binnen Devin. Twee modellen die je niet vanuit je eigen code kunt aanroepen, waarvan één zijn cijfers publiceert.
De benchmarkeditie waar niemand mee begint
De tabel van Cognition is het nuttigste artefact dat een van beide leveranciers heeft gepubliceerd, en niet omdat SWE-2 er iets op wint. Hij is nuttig omdat hij hetzelfde model toont, gemeten op twee edities van dezelfde benchmark.
• Terminal-Bench 2.1 — SWE-2 op 92,8%, tegen 91,4% voor Claude Fable 5.1, 89,9% voor GPT-6 Astra en 88,3% voor Kimi K3
Terminal-Bench 4.0 — SWE-2 op 27,3%, tegenover 55,8% voor Claude Fable 5.1, 57,9% voor GPT-6 Astra en 21,5% voor Kimi K3
• DeepSWE 1.1 — SWE-2 op 73,0%, tegenover 74,1% voor GPT-6 Astra, 72,7% voor GPT-5.6 Sol en 67,4% voor Claude Fable 5.1
• FrontierCode 1.1 Main — SWE-2 op 50,0%, tegen 53,3% voor GPT-6 Astra en 50,9% voor Claude Fable 5.1
Lees de eerste twee regels samen. SWE-2 staat tweede op 2.1 en op een na laatste op 4.0, een daling van ongeveer 65 punten, en staat er niet alleen voor: Kimi K3 zakt 67 punten over hetzelfde paar. De modellen die standhouden, zijn de modellen die zijn afgestemd op werk met een lange horizon. Dit is geen eigenaardigheid van het testharnas van één lab — het is de benchmarkeditie die moeilijker wordt, en dat is precies waarom "we hebben Terminal Bench 2.1 gedraaid" in november 2026 een zwakkere bewering is dan in september.
Microsoft heeft Terminal Bench 2.1 gedraaid. Microsoft heeft daarop geen score gepubliceerd. Microsoft heeft niets over 4.0 gepubliceerd. Die drie feiten samen betekenen dat een koper niet kan vaststellen wat voor soort codeermodel MAI Code 2 is: het soort dat standhoudt wanneer de terminaltaken langer worden, of het soort dat dat niet doet.
Wat elke leverancier daadwerkelijk heeft bekendgemaakt
De openbaarmakingskloof is groter dan de prijzen van de modellen, dus het is de moeite waard om het ronduit te zeggen.
Cognition publiceerde een tabel met zeven modellen en vier benchmarks, een vermelde vergelijkingsset, een opmerking dat concurrerende modellen in de eigen CLI van Cognition werden uitgevoerd met hun beste redeneerinspanning, en een eerlijke onthulling over iets dat het uitsloot: Claude Fable 5.1 scoorde bij maximale inspanning 50,3% op FrontierCode tegen $12,83 per taak, lager dan zijn eigen resultaat bij gemiddelde inspanning, en werd daarom uit de grafiek geschrapt. Een leverancier die je vertelt welk datapunt hij heeft verwijderd, is een leverancier die je de middelen geeft om zijn tabel te relativeren.
Microsoft heeft de namen van de benchmarks gepubliceerd, de harness — MSBench, zijn interne evaluatieplatform — via de GitHub Copilot CLI met uitgeschakelde subagenten en elk model op maximale redeneerinspanning, en de ratio's waarop die benchmarks gemiddeld uitkomen. Het publiceerde geen slagingspercentage voor MAI Code 2 op een van de vier, geen parameteraantal, geen uitvoerplafond en geen vergelijkingstabel met genoemde concurrenten buiten de twee ratio's. Artificial Analysis heeft per 18 november 2026 geen rij voor het model, dus er is geen externe meting om als alternatief te gebruiken.
Een van deze onthullingen stelt je in staat de redenering te reproduceren. De andere vraagt je een conclusie te aanvaarden.
Geen van beide modellen is een eindpunt, en dat verandert de aankoop.
SWE-2 heeft geen gepubliceerde prijs per token en geen openbare API. In het bericht van Cognition staat dat het beschikbaar is in Devin Desktop en CLI, met uitrol naar Devin Web en Fusion, en de enige kostencijfers erin zijn benchmarkkosten per taak — het soort getal dat je aanhaalt om te laten zien dat een concurrent duur is, niet het soort getal waar je op factureert.
MAI Code 2 heeft wel een prijskaart, gepubliceerd door GitHub: $0,50 per miljoen invoertokens, $0,025 gecacht, $2,50 uitvoer, actieprijs tot 17 mei 2027, daarna $1,00 / $0,05 / $5,00. Het heeft geen eigen API-oppervlak. MAI Code 2 Flash, de kleinere variant, is het enige model in de familie met een API-oppervlak — een preview met beperkte toegang in Microsoft Foundry via een OpenAI-compatibele Responses API.
• Prijs — MAI Code 2 tegen $0,50 / $0,025 / $2,50 per miljoen tokens, actieprijs tot 17 mei 2027, tegenover geen gepubliceerde prijs per token voor SWE-2
• Toegang — een GitHub Copilot-seat voor Pro, Pro+, Max, Business en Enterprise, tegenover een Devin-abonnement in Desktop en CLI
• Gewichten — niet over beide zijden verdeeld
• Context — geen gepubliceerd contextcijfer voor SWE-2, tegenover 1 miljoen tokens op MAI Code 2, alleen beschikbaar in Visual Studio Code en Copilot CLI
• Gepubliceerde benchmarkscores — geen enkele voor MAI Code 2, tegenover vier voor SWE-2
• Onafhankelijke indexrij — geen van beide modellen heeft er een
De praktische conclusie is dat beide aankopen seat-aankopen zijn in plaats van token-aankopen, en dat slechts één ervan een meter meelevert die je kunt modelleren. Als je financiële team een kosten per eenheid nodig heeft, geeft MAI Code 2 die wel en SWE-2 niet. Als je engineeringteam wil weten of het model je repositories verbetert, geeft SWE-2 je een vergelijkingstabel en MAI Code 2 je een ratio.

Waarvoor elk model is gebouwd
Microsofts opdracht voor MAI Code 2 is alledaags enterprisewerk: code naar productie brengen, diepgaand debuggen, implementatie over meerdere bestanden, redeneren over de hele repo, UI en dashboards. In de lanceringspost wordt openhartig gezegd dat de modellen "expliciet nog niet zijn afgestemd op moeilijkere problemen, zoals fundamenteel wetenschappelijk onderzoek en agentisch werk met een zeer lange horizon" — een zin die ongemakkelijk staat naast een claim over Terminal Bench 2.1, omdat Terminal-Bench een agentische benchmark met een lange horizon is. Microsofts eigen positionering zegt dat het niet heeft afgestemd op wat die benchmark meet.
Cognitions briefing voor SWE-2 gaat juist de andere kant op: minder stappen, goedkopere rollouts, een model dat samen met de agent die het uitvoert is ontworpen. De post meldt dat het gemiddelde aantal stappen per run daalt naar 53 op SWE-2 medium versus 127 voor SWE-1.7, dat medium 81% minder kost dan SWE-1.7, en een mediaan van 18 stappen tot de eerste echte bewerking tegenover 48. Dat zijn technische claims over agent-efficiëntie, en ze zijn voor een Devin-abonnee belangrijker dan welke benchmarkrij dan ook, omdat ze bepalen hoeveel van de maandelijkse limiet een taak verbruikt.
Dus de twee modellen zijn opnieuw op verschillende doelstellingen afgestemd: het ene op de alledaagse taak binnen een IDE, het andere op het aantal stappen binnen een autonome agent. Geen van beide is een betere versie van het andere.
Waar een router zijn plek verdient wanneer geen van beide modellen routeerbaar is
Noch MAI Code 2 noch SWE-2 staat in de catalogus van OrcaRouter, en er is geen eerlijke manier om iets anders te suggereren: de een is een vermelding in de modelkiezer van Copilot, de ander zit in Devin. Wat een routeringslaag verandert, is niet de toegang tot die twee, maar de kosten om de vergelijking op te bouwen. De controlegroep bij elke evaluatie daarvan moet een model zijn dat je kunt aanroepen en meten — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — en die zitten achter één sleutel tegen de lijstprijs van de provider met 0% markup, dus een benchmarkrun tegen hen wordt precies tegen het tarief van de leverancier gefactureerd.
Dat is hier belangrijker dan in de meeste matchups, omdat de interessante vraag over beide modellen vergelijkend is: verslaat een alledaagse coder een frontier-model op kosten per merge, op jouw code? Je kunt dat niet beantwoorden door twee leverancierstabellen te lezen die op twee harnesses zijn geproduceerd. Je kunt het beantwoorden door het meetbare model naast degene van deze twee te draaien die jouw team daadwerkelijk kan bereiken, en voltooide taken te tellen in plaats van tokens. Automatische failover is wat die vergelijking gaande houdt wanneer een snelheidslimiet van een provider midden in een run optreedt, en omdat prijzen tegen lijsttarief worden doorgegeven, worden de kosten per taak van de controle niet opgeblazen door de laag die je gebruikt om ze te meten.
Welke moet ik kiezen, gegeven wat je kunt verifiëren
• Je team werkt met Devin en je wilt minder stappen per rollout — SWE-2, en het zijn de cijfers over het aantal stappen en de kostenbesparing in de post van Cognition die de doorslag geven.
• Je team werkt met Copilot en je wilt goedkope tokens voor routinematige reparatie — MAI Code 2 tegen $0,50 en $2,50, berekend tegen zowel het verdubbelde tarief van mei 2027 als het promotietarief.
• Je moet de keuze met een getal verdedigen — SWE-2, omdat het er vier publiceert en het andere model geen enkele.
• Je hebt agentisch werk over een lange horizon nodig — geen van beide, op basis van het beschikbare bewijs. Microsoft zegt dat het er niet op is afgestemd; de eigen tabel van SWE-2 laat de ineenstorting van 65 punten zien wanneer de benchmark moeilijker wordt.
• Je hebt een kostemodel per token nodig — MAI Code 2, aangezien SWE-2 geen gepubliceerd tarief heeft om te modelleren.

Het punt om in de gaten te houden is of Microsoft ooit het getal publiceert dat deze vergelijking echt zou maken. Een slagingspercentage op Terminal Bench 2.1 zou daarvoor volstaan; een percentage op Terminal Bench 4.0 zou de knoop doorhakken, want dat is de editie waarin de eigen tabel van SWE-2 laat zien hoe een codeermodel eruitziet wanneer de taken langer worden. Totdat een van die twee bestaat, is MAI Code 2 een tariefkaart met een belofte eraan vast en is SWE-2 een tabel met een stappenaantal eraan vast, en slechts een van beide kan van buiten de leverancier worden gecontroleerd.

Vergeleken in dit artikel1
Herkend uit dit artikel · Benchmarks: Artificial Analysis · dagelijks bijgewerkt
