Titelkort för MAI Code 2 vs SWE-2. MAI Code 2 visas som Microsofts modell i GitHub Copilot utan API, prissatt till $0,50 för indata och $2,50 för utdata per miljon token, utan publicerad godkännandegrad och utan vikter. SWE-2 visas som Cognition-modellen i Devin utan pris per token, med 73,0 procent på DeepSWE 1.1, 92,8 procent på Terminal-Bench 2.1 och 27,3 procent på Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 vs SWE-2: Samma två benchmarks, publicerade av endast en av dem

Författare

jinhao.song

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

MAI Code 2 och SWE-2 nämner nästan exakt samma benchmarks i sitt lanseringsmaterial, och bara en av dem berättar vad den fick för resultat. Microsofts inlägg från den 17 november 2026 listar DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas och FrontierCode v1.1 och rapporterar sedan kvoter: 96 % av Claude Opus 5.5:s prestanda till 5 % av kostnaden. Cognitions inlägg om SWE-2, publicerat den 10 september 2026, listar samma två första benchmarks och anger en siffra för var och en: 73,0 % på DeepSWE 1.1, 92,8 % på Terminal-Bench 2.1, 27,3 % på Terminal-Bench 4.0. Det tredje numret är det man ska hålla fast vid, eftersom det är den upplaga som Microsoft inte rapporterade – och det visar vad som händer med en kodningsmodell när terminalbenchmarken blir svårare.

Båda modellerna delar också en distributionsbegränsning som gör dem ovanliga i den här kategorin: ingen av dem har ett publikt API per token. MAI Code 2 nås genom att välja den i en GitHub Copilot-klient. SWE-2 körs inuti Devin. Två modeller som du inte kan anropa från din egen kod, varav en publicerar sina siffror.

Benchmark-utgåvan som ingen inleder med

Cognitions tabell är den mest användbara artefakt som någon av leverantörerna har publicerat, och inte för att SWE-2 vinner något på den. Den är användbar eftersom den visar samma modell mätt på två utgåvor av samma benchmark.

• Terminal-Bench 2.1 — SWE-2 på 92,8 %, jämfört med 91,4 % för Claude Fable 5.1, 89,9 % för GPT-6 Astra och 88,3 % för Kimi K3

• Terminal-Bench 4.0 — SWE-2 ligger på 27,3 %, jämfört med 55,8 % för Claude Fable 5.1, 57,9 % för GPT-6 Astra och 21,5 % för Kimi K3

• DeepSWE 1.1 – SWE-2 på 73,0 %, mot 74,1 % för GPT-6 Astra, 72,7 % för GPT-5.6 Sol och 67,4 % för Claude Fable 5.1

• FrontierCode 1.1 Main — SWE-2 på 50,0 %, jämfört med 53,3 % för GPT-6 Astra och 50,9 % för Claude Fable 5.1

Läs de två första raderna tillsammans. SWE-2 är tvåa på 2.1 och näst sist på 4.0, ett fall på ungefär 65 poäng, och den är inte ensam: Kimi K3 tappar 67 poäng mellan samma två versioner. De modeller som håller stånd är de som är trimmade för arbete över lång horisont. Detta är inte en egenhet hos ett labbs testramverk — det är benchmarkutgåvan som blir svårare, och det är precis därför som "vi körde Terminal Bench 2.1" är ett svagare påstående i november 2026 än det var i september.

Microsoft körde Terminal Bench 2.1. Microsoft publicerade inget resultat för den. Microsoft publicerade ingenting om 4.0. Dessa tre fakta tillsammans innebär att en köpare inte kan avgöra vilken sorts kodningsmodell MAI Code 2 är: den sort som håller när terminaluppgifterna blir längre, eller den sort som inte gör det.

Vad varje leverantör faktiskt avslöjade

Informationsgapet är större än modellernas priser, så det är värt att säga rakt ut.

Cognition publicerade en tabell över sju modeller med fyra benchmarks, en angiven jämförelseuppsättning, en not om att konkurrerande modeller kördes i Cognitions egen CLI med sin högsta resonemangsansträngning, och ett ärligt avslöjande av något som man hade uteslutit: Claude Fable 5.1 med maximal ansträngning fick 50,3 % på FrontierCode till $12.83 per uppgift, vilket låg under dess eget resultat vid medelhög ansträngning, så den togs bort från diagrammet. En leverantör som berättar vilken datapunkt den har tagit bort ger dig verktygen att minska värdet på dess tabell.

Microsoft publicerade namnen på benchmarkarna, testramverket – MSBench, dess interna utvärderingsplattform, via GitHub Copilot CLI med subagenter inaktiverade och varje modell inställd på maximal resonemangsansträngning – och de kvoter som dessa benchmarkar i genomsnitt uppgår till. Det publicerade ingen passeringsgrad för MAI Code 2 på någon av de fyra, inget parameterantal, ingen utdatagräns och ingen jämförelsetabell mot namngivna konkurrenter utöver de två kvoterna. Artificial Analysis har ingen rad för modellen per den 18 november 2026, så det finns ingen tredjepartsmätning att använda som ersättning.

En av dessa redogörelser låter dig återge resonemanget. Den andra ber dig acceptera en slutsats.

Ingen av modellerna är en slutpunkt, och det förändrar köpet.

SWE-2 har inget publicerat pris per token och inget publikt API. Cognitions inlägg säger att den är tillgänglig i Devin Desktop och CLI, med utrullning till Devin Web och Fusion, och de enda kostnadssiffrorna i det är benchmarkkostnader per uppgift – den typ av siffra man anger för att visa att en konkurrent är dyr, inte den typ man fakturerar mot.

MAI Code 2 har ett priskort som publicerats av GitHub: 0,50 USD per miljon indatatoken, 0,025 USD för cachade, 2,50 USD för utdata, kampanjpris till 17 maj 2027, därefter 1,00 / 0,05 / 5,00 USD. Det har ingen egen API-yta. MAI Code 2 Flash, det mindre syskonet, är den enda modellen i familjen som har en sådan – en förhandsversion med begränsad åtkomst i Microsoft Foundry via ett OpenAI-kompatibelt Responses-API.

• Pris — MAI Code 2 till $0.50 / $0.025 / $2.50 per miljon tokens, kampanjpris till 17 maj 2027, mot inget publicerat pris per token för SWE-2

• Åtkomst — en GitHub Copilot-plats i Pro, Pro+, Max, Business och Enterprise, mot en Devin-prenumeration i Desktop och CLI

• Vikter – inte fördelade på endera sidan

• Kontext – ingen publicerad kontextsiffra för SWE-2, jämfört med 1 miljon tokens på MAI Code 2 som endast är tillgängligt i Visual Studio Code och Copilot CLI

• Publicerade benchmarkpoäng — inga för MAI Code 2, jämfört med fyra för SWE-2

• Oberoende indexrad – ingen av modellerna har en sådan

Det praktiska resultatet är att båda köpen är platsköp snarare än tokenköp, och bara ett av dem levereras med en mätare som du kan modellera. Om din ekonomiavdelning behöver en kostnad per enhet ger MAI Code 2 dig en sådan, medan SWE-2 inte gör det. Om din ingenjörsavdelning behöver veta om modellen förbättrar dina repositorier ger SWE-2 dig en jämförelsetabell och MAI Code 2 ger dig en kvot.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

Vad varje modell byggdes för att göra

Microsofts beskrivning av MAI Code 2 är vardagligt företagsarbete: att ta kod till produktion, djupgående felsökning, implementering över flera filer, resonemang över hela repot, UI och instrumentpaneler. Lanseringsinlägget är uppriktigt om att modellerna ”uttryckligen ännu inte är finjusterade för svårare problem, som grundläggande vetenskaplig forskning och agentiskt arbete med mycket lång horisont” — en mening som krockar obekvämt med ett påstående om Terminal Bench 2.1, eftersom Terminal-Bench är ett agentiskt benchmark med lång horisont. Microsofts egen positionering säger att man inte har finjusterat för det som benchmarken mäter.

Cognitions brief för SWE-2 går i motsatt riktning: färre steg, billigare körningar, en modell som är samutformad med agenten som kör den. Inlägget rapporterar att medelantalet steg per körning sjunker till 53 på SWE-2 medium jämfört med 127 för SWE-1.7, att medium kostar 81 % mindre än SWE-1.7, och att medianen är 18 steg till den första riktiga redigeringen jämfört med 48. Det är ingenjörspåståenden om agenteffektivitet, och de betyder mer för en Devin-prenumerant än någon benchmarkrad, eftersom de avgör hur mycket av månadskvoten en uppgift förbrukar.

Så de två modellerna är återigen inställda mot olika mål: en för den vardagliga uppgiften i en IDE, en för stegantalet i en autonom agent. Ingen av dem är en bättre version av den andra.

Där en router förtjänar sin plats när ingen av modellerna är routbar

Varken MAI Code 2 eller SWE-2 finns i OrcaRouters katalog, och det finns inget ärligt sätt att påstå något annat: det ena är en post i Copilots modellväljare, det andra finns inuti Devin. Det ett routningslager förändrar är inte åtkomsten till dessa två, utan kostnaden för att bygga jämförelsen. Kontrollen i varje utvärdering av dem måste vara en modell du kan anropa och mäta – Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon – och de ligger bakom en enda nyckel till leverantörens listpris med 0 % påslag, så en benchmarkkörning mot dem faktureras exakt enligt leverantörens taxa.

Det spelar större roll här än i de flesta jämförelser, eftersom den intressanta frågan om båda modellerna är komparativ: slår en vardaglig kodare en frontier-modell på kostnad per merge, för din kod? Du kan inte besvara det genom att läsa två leverantörstabeller som tagits fram med två olika testramverk. Du kan besvara det genom att köra den mätbara modellen vid sidan av vilken av dessa två som ditt team faktiskt kan nå, och räkna färdiga uppgifter i stället för tokens. Automatisk failover är det som håller jämförelsen igång när en leverantörs hastighetsgräns slår till mitt under körningen, och eftersom prissättningen förs vidare till listpris, är kontrollens kostnad per uppgift inte uppblåst av det lager du använder för att mäta den.

Vilken ska man välja, givet vad du kan verifiera

• Ditt team använder Devin och du vill ha färre steg per utrullning – SWE-2, och det är siffrorna för stegantal och kostnadsminskning i Cognitions inlägg som avgör det.

• Ditt team använder Copilot och ni vill ha billiga tokens för rutinmässig reparation – MAI Code 2 till $0.50 och $2.50, modellerat med såväl den fördubblade maj 2027-taxan som kampanjtaxan.

• Du måste försvara valet med en siffra — SWE-2, eftersom den publicerar fyra och den andra modellen inte publicerar några.

Du behöver agentiskt arbete med lång horisont – ingendera, enligt tillgängliga belägg. Microsoft säger att man inte har anpassat sig för det; SWE-2:s egen tabell visar 65-poängskollapsen när benchmarken blir svårare.

• Du behöver en kostnadsmodell per token – MAI Code 2, eftersom SWE-2 inte har någon publicerad taxa att modellera.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

Det man bör hålla utkik efter är om Microsoft någonsin publicerar den siffra som skulle göra jämförelsen verklig. En godkännandegrad för Terminal Bench 2.1 skulle räcka; en frekvens för Terminal Bench 4.0 skulle avgöra saken, eftersom det är den utgåvan där SWE-2:s egen tabell visar hur en kodmodell ser ut när uppgifterna blir längre. Tills någon av dessa finns är MAI Code 2 ett prisblad med ett löfte bifogat och SWE-2 en tabell med ett stegantal bifogat, och bara en av dem kan kontrolleras utanför leverantören.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

Jämförda i den här artikeln1

Identifierat från den här artikeln · Benchmarks: Artificial Analysis · uppdateras dagligen