
MAI Code 2 vs SWE-2: Samma två benchmarks, publicerade av endast en av dem
- OrcaNYOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M tokens · 180 tok/s
- tencentNYTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M tokens · 223 tok/s
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 89 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 98 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M tokens · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
MAI Code 2 och SWE-2 nämner nästan exakt samma benchmarks i sitt lanseringsmaterial, och bara en av dem berättar vad den fick för resultat. Microsofts inlägg från den 17 november 2026 listar DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas och FrontierCode v1.1 och rapporterar sedan kvoter: 96 % av Claude Opus 5.5:s prestanda till 5 % av kostnaden. Cognitions inlägg om SWE-2, publicerat den 10 september 2026, listar samma två första benchmarks och anger en siffra för var och en: 73,0 % på DeepSWE 1.1, 92,8 % på Terminal-Bench 2.1, 27,3 % på Terminal-Bench 4.0. Det tredje numret är det man ska hålla fast vid, eftersom det är den upplaga som Microsoft inte rapporterade – och det visar vad som händer med en kodningsmodell när terminalbenchmarken blir svårare.
Båda modellerna delar också en distributionsbegränsning som gör dem ovanliga i den här kategorin: ingen av dem har ett publikt API per token. MAI Code 2 nås genom att välja den i en GitHub Copilot-klient. SWE-2 körs inuti Devin. Två modeller som du inte kan anropa från din egen kod, varav en publicerar sina siffror.
Benchmark-utgåvan som ingen inleder med
Cognitions tabell är den mest användbara artefakt som någon av leverantörerna har publicerat, och inte för att SWE-2 vinner något på den. Den är användbar eftersom den visar samma modell mätt på två utgåvor av samma benchmark.
• Terminal-Bench 2.1 — SWE-2 på 92,8 %, jämfört med 91,4 % för Claude Fable 5.1, 89,9 % för GPT-6 Astra och 88,3 % för Kimi K3
• Terminal-Bench 4.0 — SWE-2 ligger på 27,3 %, jämfört med 55,8 % för Claude Fable 5.1, 57,9 % för GPT-6 Astra och 21,5 % för Kimi K3
• DeepSWE 1.1 – SWE-2 på 73,0 %, mot 74,1 % för GPT-6 Astra, 72,7 % för GPT-5.6 Sol och 67,4 % för Claude Fable 5.1
• FrontierCode 1.1 Main — SWE-2 på 50,0 %, jämfört med 53,3 % för GPT-6 Astra och 50,9 % för Claude Fable 5.1
Läs de två första raderna tillsammans. SWE-2 är tvåa på 2.1 och näst sist på 4.0, ett fall på ungefär 65 poäng, och den är inte ensam: Kimi K3 tappar 67 poäng mellan samma två versioner. De modeller som håller stånd är de som är trimmade för arbete över lång horisont. Detta är inte en egenhet hos ett labbs testramverk — det är benchmarkutgåvan som blir svårare, och det är precis därför som "vi körde Terminal Bench 2.1" är ett svagare påstående i november 2026 än det var i september.
Microsoft körde Terminal Bench 2.1. Microsoft publicerade inget resultat för den. Microsoft publicerade ingenting om 4.0. Dessa tre fakta tillsammans innebär att en köpare inte kan avgöra vilken sorts kodningsmodell MAI Code 2 är: den sort som håller när terminaluppgifterna blir längre, eller den sort som inte gör det.
Vad varje leverantör faktiskt avslöjade
Informationsgapet är större än modellernas priser, så det är värt att säga rakt ut.
Cognition publicerade en tabell över sju modeller med fyra benchmarks, en angiven jämförelseuppsättning, en not om att konkurrerande modeller kördes i Cognitions egen CLI med sin högsta resonemangsansträngning, och ett ärligt avslöjande av något som man hade uteslutit: Claude Fable 5.1 med maximal ansträngning fick 50,3 % på FrontierCode till $12.83 per uppgift, vilket låg under dess eget resultat vid medelhög ansträngning, så den togs bort från diagrammet. En leverantör som berättar vilken datapunkt den har tagit bort ger dig verktygen att minska värdet på dess tabell.
Microsoft publicerade namnen på benchmarkarna, testramverket – MSBench, dess interna utvärderingsplattform, via GitHub Copilot CLI med subagenter inaktiverade och varje modell inställd på maximal resonemangsansträngning – och de kvoter som dessa benchmarkar i genomsnitt uppgår till. Det publicerade ingen passeringsgrad för MAI Code 2 på någon av de fyra, inget parameterantal, ingen utdatagräns och ingen jämförelsetabell mot namngivna konkurrenter utöver de två kvoterna. Artificial Analysis har ingen rad för modellen per den 18 november 2026, så det finns ingen tredjepartsmätning att använda som ersättning.
En av dessa redogörelser låter dig återge resonemanget. Den andra ber dig acceptera en slutsats.
Ingen av modellerna är en slutpunkt, och det förändrar köpet.
SWE-2 har inget publicerat pris per token och inget publikt API. Cognitions inlägg säger att den är tillgänglig i Devin Desktop och CLI, med utrullning till Devin Web och Fusion, och de enda kostnadssiffrorna i det är benchmarkkostnader per uppgift – den typ av siffra man anger för att visa att en konkurrent är dyr, inte den typ man fakturerar mot.
MAI Code 2 har ett priskort som publicerats av GitHub: 0,50 USD per miljon indatatoken, 0,025 USD för cachade, 2,50 USD för utdata, kampanjpris till 17 maj 2027, därefter 1,00 / 0,05 / 5,00 USD. Det har ingen egen API-yta. MAI Code 2 Flash, det mindre syskonet, är den enda modellen i familjen som har en sådan – en förhandsversion med begränsad åtkomst i Microsoft Foundry via ett OpenAI-kompatibelt Responses-API.
• Pris — MAI Code 2 till $0.50 / $0.025 / $2.50 per miljon tokens, kampanjpris till 17 maj 2027, mot inget publicerat pris per token för SWE-2
• Åtkomst — en GitHub Copilot-plats i Pro, Pro+, Max, Business och Enterprise, mot en Devin-prenumeration i Desktop och CLI
• Vikter – inte fördelade på endera sidan
• Kontext – ingen publicerad kontextsiffra för SWE-2, jämfört med 1 miljon tokens på MAI Code 2 som endast är tillgängligt i Visual Studio Code och Copilot CLI
• Publicerade benchmarkpoäng — inga för MAI Code 2, jämfört med fyra för SWE-2
• Oberoende indexrad – ingen av modellerna har en sådan
Det praktiska resultatet är att båda köpen är platsköp snarare än tokenköp, och bara ett av dem levereras med en mätare som du kan modellera. Om din ekonomiavdelning behöver en kostnad per enhet ger MAI Code 2 dig en sådan, medan SWE-2 inte gör det. Om din ingenjörsavdelning behöver veta om modellen förbättrar dina repositorier ger SWE-2 dig en jämförelsetabell och MAI Code 2 ger dig en kvot.

Vad varje modell byggdes för att göra
Microsofts beskrivning av MAI Code 2 är vardagligt företagsarbete: att ta kod till produktion, djupgående felsökning, implementering över flera filer, resonemang över hela repot, UI och instrumentpaneler. Lanseringsinlägget är uppriktigt om att modellerna ”uttryckligen ännu inte är finjusterade för svårare problem, som grundläggande vetenskaplig forskning och agentiskt arbete med mycket lång horisont” — en mening som krockar obekvämt med ett påstående om Terminal Bench 2.1, eftersom Terminal-Bench är ett agentiskt benchmark med lång horisont. Microsofts egen positionering säger att man inte har finjusterat för det som benchmarken mäter.
Cognitions brief för SWE-2 går i motsatt riktning: färre steg, billigare körningar, en modell som är samutformad med agenten som kör den. Inlägget rapporterar att medelantalet steg per körning sjunker till 53 på SWE-2 medium jämfört med 127 för SWE-1.7, att medium kostar 81 % mindre än SWE-1.7, och att medianen är 18 steg till den första riktiga redigeringen jämfört med 48. Det är ingenjörspåståenden om agenteffektivitet, och de betyder mer för en Devin-prenumerant än någon benchmarkrad, eftersom de avgör hur mycket av månadskvoten en uppgift förbrukar.
Så de två modellerna är återigen inställda mot olika mål: en för den vardagliga uppgiften i en IDE, en för stegantalet i en autonom agent. Ingen av dem är en bättre version av den andra.
Där en router förtjänar sin plats när ingen av modellerna är routbar
Varken MAI Code 2 eller SWE-2 finns i OrcaRouters katalog, och det finns inget ärligt sätt att påstå något annat: det ena är en post i Copilots modellväljare, det andra finns inuti Devin. Det ett routningslager förändrar är inte åtkomsten till dessa två, utan kostnaden för att bygga jämförelsen. Kontrollen i varje utvärdering av dem måste vara en modell du kan anropa och mäta – Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon – och de ligger bakom en enda nyckel till leverantörens listpris med 0 % påslag, så en benchmarkkörning mot dem faktureras exakt enligt leverantörens taxa.
Det spelar större roll här än i de flesta jämförelser, eftersom den intressanta frågan om båda modellerna är komparativ: slår en vardaglig kodare en frontier-modell på kostnad per merge, för din kod? Du kan inte besvara det genom att läsa två leverantörstabeller som tagits fram med två olika testramverk. Du kan besvara det genom att köra den mätbara modellen vid sidan av vilken av dessa två som ditt team faktiskt kan nå, och räkna färdiga uppgifter i stället för tokens. Automatisk failover är det som håller jämförelsen igång när en leverantörs hastighetsgräns slår till mitt under körningen, och eftersom prissättningen förs vidare till listpris, är kontrollens kostnad per uppgift inte uppblåst av det lager du använder för att mäta den.
Vilken ska man välja, givet vad du kan verifiera
• Ditt team använder Devin och du vill ha färre steg per utrullning – SWE-2, och det är siffrorna för stegantal och kostnadsminskning i Cognitions inlägg som avgör det.
• Ditt team använder Copilot och ni vill ha billiga tokens för rutinmässig reparation – MAI Code 2 till $0.50 och $2.50, modellerat med såväl den fördubblade maj 2027-taxan som kampanjtaxan.
• Du måste försvara valet med en siffra — SWE-2, eftersom den publicerar fyra och den andra modellen inte publicerar några.
Du behöver agentiskt arbete med lång horisont – ingendera, enligt tillgängliga belägg. Microsoft säger att man inte har anpassat sig för det; SWE-2:s egen tabell visar 65-poängskollapsen när benchmarken blir svårare.
• Du behöver en kostnadsmodell per token – MAI Code 2, eftersom SWE-2 inte har någon publicerad taxa att modellera.

Det man bör hålla utkik efter är om Microsoft någonsin publicerar den siffra som skulle göra jämförelsen verklig. En godkännandegrad för Terminal Bench 2.1 skulle räcka; en frekvens för Terminal Bench 4.0 skulle avgöra saken, eftersom det är den utgåvan där SWE-2:s egen tabell visar hur en kodmodell ser ut när uppgifterna blir längre. Tills någon av dessa finns är MAI Code 2 ett prisblad med ett löfte bifogat och SWE-2 en tabell med ett stegantal bifogat, och bara en av dem kan kontrolleras utanför leverantören.

Jämförda i den här artikeln1
Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen
