Karta tytułowa porównania MAI Code 2 i SWE-2. MAI Code 2 przedstawiono jako model Microsoftu dostępny w GitHub Copilot, bez API, w cenie 0,50 USD za tokeny wejściowe i 2,50 USD za tokeny wyjściowe na milion tokenów, bez publikowanego wskaźnika skuteczności i bez udostępnionych wag. SWE-2 przedstawiono jako model Cognition dostępny w Devin, bez ceny za token, z wynikiem 73,0 procent w DeepSWE 1.1, 92,8 procent w Terminal-Bench 2.1 i 27,3 procent w Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 kontra SWE-2: te same dwa benchmarki, publikowane tylko przez jednego z nich

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

MAI Code 2 i SWE-2 wymieniają niemal dokładnie te same benchmarki w swoich materiałach premierowych, a tylko jeden z nich podaje, jaki wynik uzyskał. Wpis Microsoftu z 17 listopada 2026 r. wymienia DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas i FrontierCode v1.1, a następnie podaje proporcje: 96% wydajności modelu Claude Opus 5.5 przy 5% kosztu. Wpis Cognition o SWE-2, opublikowany 10 września 2026 r., wymienia te same dwa pierwsze benchmarki i podaje dla każdego liczbę: 73,0% w DeepSWE 1.1, 92,8% w Terminal-Bench 2.1, 27,3% w Terminal-Bench 4.0. To trzecią liczbę warto zapamiętać, ponieważ dotyczy edycji, której Microsoft nie podał — i pokazuje, co dzieje się z modelem do kodowania, gdy benchmark terminalowy staje się trudniejszy.

Oba modele dzielą też ograniczenie dystrybucyjne, które czyni je nietypowymi w tej kategorii: żaden nie ma publicznego API rozliczanego za token. Do MAI Code 2 można dotrzeć, wybierając go w kliencie GitHub Copilot. SWE-2 działa wewnątrz Devin. Dwa modele, których nie można wywołać z własnego kodu, z których jeden publikuje swoje wyniki.

Wydanie wzorcowe, od którego nikt nie zaczyna

Tabela Cognition to najużyteczniejszy artefakt, jaki opublikował którykolwiek z obu dostawców, i nie dlatego, że SWE-2 cokolwiek na niej wygrywa. Jest użyteczna, ponieważ pokazuje ten sam model mierzony na dwóch edycjach tego samego benchmarku.

• Terminal-Bench 2.1 — SWE-2 z wynikiem 92,8% wobec 91,4% dla Claude Fable 5.1, 89,9% dla GPT-6 Astra i 88,3% dla Kimi K3

• Terminal-Bench 4.0 — SWE-2 uzyskuje 27,3%, wobec 55,8% dla Claude Fable 5.1, 57,9% dla GPT-6 Astra i 21,5% dla Kimi K3

• DeepSWE 1.1 — SWE-2 na poziomie 73,0%, wobec 74,1% dla GPT-6 Astra, 72,7% dla GPT-5.6 Sol i 67,4% dla Claude Fable 5.1

FrontierCode 1.1 Main — SWE-2 na poziomie 50,0%, wobec 53,3% dla GPT-6 Astra i 50,9% dla Claude Fable 5.1

Przeczytaj pierwsze dwa wiersze łącznie. SWE-2 zajmuje drugie miejsce w wersji 2.1 i przedostatnie w wersji 4.0, co oznacza spadek o około 65 punktów, i nie jest odosobniony: Kimi K3 traci 67 punktów na tej samej parze. Modele, które się utrzymują, to te dostrojone do pracy długoterminowej. To nie jest osobliwość harnessu jednego laboratorium — to edycja benchmarku staje się trudniejsza i właśnie dlatego „uruchomiliśmy Terminal Bench 2.1” jest słabszym twierdzeniem w listopadzie 2026 niż we wrześniu.

Microsoft przeprowadził Terminal Bench 2.1. Microsoft nie opublikował na jego temat żadnego wyniku. Microsoft nie opublikował nic na temat 4.0. Te trzy fakty razem sprawiają, że kupujący nie może stwierdzić, którym rodzajem modelu do kodowania jest MAI Code 2: tym, który daje sobie radę, gdy zadania terminalowe stają się dłuższe, czy tym, który nie daje.

Co każdy dostawca faktycznie ujawnił

Luka w zakresie ujawniania informacji jest większa niż ceny modeli, więc warto powiedzieć to wprost.

Cognition opublikowało tabelę siedmiu modeli z czterema benchmarkami, określonym zestawem porównawczym, uwagą, że modele konkurencyjne uruchomiono we własnym CLI Cognition przy ich najlepszym wysiłku rozumowania, oraz uczciwym ujawnieniem czegoś, co wykluczyło: Claude Fable 5.1 przy maksymalnym wysiłku uzyskał 50,3% na FrontierCode przy 12,83 USD na zadanie, poniżej własnego wyniku przy średnim wysiłku, więc został usunięty z wykresu. Dostawca, który mówi ci, który punkt danych usunął, to dostawca dający ci narzędzia do zdyskontowania jego tabeli.

Microsoft opublikował nazwy benchmarków, harness — MSBench, swoją wewnętrzną platformę ewaluacyjną — za pośrednictwem GitHub Copilot CLI z wyłączonymi subagentami i każdym modelem ustawionym na maksymalny wysiłek rozumowania, a także proporcje, jakie te benchmarki dają średnio. Nie opublikował odsetka zaliczeń dla MAI Code 2 w żadnym z czterech, liczby parametrów, limitu długości wyjścia ani tabeli porównawczej z nazwanymi konkurentami poza tymi dwoma proporcjami. Artificial Analysis nie ma wiersza dla tego modelu według stanu na 18 listopada 2026 r., więc nie ma zewnętrznego odczytu, który można by podstawić.

Jedno z tych ujawnień pozwala odtworzyć rozumowanie. Drugie wymaga przyjęcia wniosku.

Żaden z modeli nie jest punktem końcowym, a to zmienia decyzję o zakupie.

SWE-2 nie ma publikowanej ceny za token ani publicznego API. W poście Cognition napisano, że jest dostępny w Devin Desktop i CLI, z wdrożeniem do Devin Web i Fusion, a jedyne podane w nim kwoty kosztów to koszty benchmarków na zadanie — liczby, które się przytacza, by pokazać, że rywal jest drogi, a nie takie, na których podstawie się rozlicza.

MAI Code 2 ma cennik opublikowany przez GitHub: 0,50 USD za milion tokenów wejściowych, 0,025 USD za tokeny z pamięci podręcznej, 2,50 USD za tokeny wyjściowe, w promocji do 17 maja 2027 r., a następnie 1,00 / 0,05 / 5,00 USD. Nie ma własnego interfejsu API. MAI Code 2 Flash, mniejszy brat, jest jedynym modelem w rodzinie, który go ma — wersję zapoznawczą o ograniczonym dostępie w Microsoft Foundry przez zgodny z OpenAI interfejs Responses API.

Cena — MAI Code 2 po $0.50 / $0.025 / $2.50 za milion tokenów, w promocji do 17 maja 2027 r., wobec braku publikowanej ceny za token dla SWE-2

• Dostęp — stanowisko GitHub Copilot w planach Pro, Pro+, Max, Business i Enterprise, w zestawieniu z subskrypcją Devin w Desktop i CLI

• Obciążniki — nie rozłożone po żadnej ze stron

• Kontekst — brak opublikowanej wartości kontekstu dla SWE-2, w porównaniu z 1 milionem tokenów w MAI Code 2 dostępnym tylko w Visual Studio Code i Copilot CLI

• Opublikowane wyniki testów porównawczych — brak dla MAI Code 2 wobec czterech dla SWE-2

• Niezależny wiersz indeksu — żaden z modeli go nie ma

Praktyczny wniosek jest taki, że oba zakupy są zakupami miejsc, a nie zakupami tokenów, i tylko jeden z nich wiąże się z licznikiem, który można modelować. Jeśli Twój zespół finansowy potrzebuje kosztu jednostkowego, MAI Code 2 go zapewnia, a SWE-2 nie. Jeśli Twój zespół inżynierski chce wiedzieć, czy model poprawia wyniki w Twoich repozytoriach, SWE-2 daje tabelę porównawczą, a MAI Code 2 daje współczynnik.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

Do czego każdy model został stworzony

Krótka charakterystyka MAI Code 2 ze strony Microsoftu dotyczy codziennej pracy w przedsiębiorstwie: wdrażania kodu na produkcję, głębokiego debugowania, implementacji obejmującej wiele plików, rozumowania w całym repozytorium, interfejsów użytkownika i pulpitów nawigacyjnych. Post premierowy szczerze przyznaje, że modele „nie są jeszcze wprost dostrojone do trudniejszych problemów, takich jak badania podstawowe w nauce i bardzo długoterminowa praca agentowa” — zdanie, które niezręcznie współgra z twierdzeniem dotyczącym Terminal Bench 2.1, ponieważ Terminal-Bench to długoterminowy benchmark agentowy. Samo pozycjonowanie Microsoftu mówi, że nie dostroił modeli do tego, co mierzy ten benchmark.

Założenia Cognition dla SWE-2 idą w przeciwnym kierunku: mniej kroków, tańsze rollouty, model współprojektowany z agentem, który go uruchamia. W poście podano, że średnia liczba kroków na przebieg spada do 53 w SWE-2 medium w porównaniu z 127 dla SWE-1.7, że medium kosztuje o 81% mniej niż SWE-1.7 oraz że mediana liczby kroków do pierwszej rzeczywistej edycji wynosi 18 wobec 48. To twierdzenia inżynierskie dotyczące wydajności agenta i mają większe znaczenie dla subskrybenta Devina niż jakikolwiek wiersz benchmarku, ponieważ decydują o tym, jaką część miesięcznego limitu zużywa zadanie.

Oba modele są więc ponownie dostrajane pod różne cele: jeden pod codzienne zadanie w IDE, drugi pod liczbę kroków w autonomicznym agencie. Żaden nie jest lepszą wersją drugiego.

Gdzie router udowadnia swoją wartość, gdy żaden z modeli nie nadaje się do routingu

Ani MAI Code 2, ani SWE-2 nie znajdują się w katalogu OrcaRouter, i nie ma uczciwego sposobu, by sugerować inaczej: jeden to pozycja w selektorze modeli Copilot, drugi znajduje się w Devin. To, co zmienia warstwa routingu, to nie dostęp do tych dwóch, lecz koszt zbudowania porównania. Punktem kontrolnym w każdej ich ocenie musi być model, który można wywołać i zmierzyć — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — a te modele są dostępne za jednym kluczem po cenie katalogowej dostawcy z 0% narzutu, więc przebieg testu porównawczego względem nich jest rozliczany dokładnie według stawki dostawcy.

To ma większe znaczenie tutaj niż w większości porównań, ponieważ interesujące pytanie dotyczące obu modeli jest porównawcze: czy codzienny model do programowania bije model frontier pod względem kosztu na merge, na Twoim kodzie? Nie odpowiesz na nie, czytając dwie tabele dostawców wygenerowane w dwóch różnych środowiskach testowych. Możesz na nie odpowiedzieć, uruchamiając mierzalny model obok tego z tych dwóch, do którego Twój zespół faktycznie ma dostęp, i licząc ukończone zadania, a nie tokeny. Automatyczne przełączanie awaryjne pozwala temu porównaniu działać dalej, gdy w trakcie działania wystąpi limit szybkości dostawcy, a ponieważ rozliczenia odbywają się według ceny katalogowej, koszt zadania w grupie kontrolnej nie jest zawyżany przez warstwę, której używasz do jego pomiaru.

Który wybrać, biorąc pod uwagę to, co możesz zweryfikować

• Twój zespół korzysta z Devin i chcesz mniej kroków na rollout — SWE-2, a liczby dotyczące liczby kroków i obniżenia kosztów w poście Cognition są tymi, które o tym decydują.

• Twój zespół korzysta z Copilot i chcesz tanich tokenów do rutynowych napraw — MAI Code 2 po $0.50 i $2.50, wyceniony zarówno według podwojonej stawki z maja 2027 r., jak i według stawki promocyjnej.

• Musisz obronić ten wybór liczbą — SWE-2, ponieważ publikuje cztery, a drugi model nie publikuje żadnego.

• Potrzebujesz pracy agentowej w długim horyzoncie — na podstawie dostępnych dowodów ani jedno, ani drugie. Microsoft twierdzi, że nie dostrajał go pod to; własna tabela SWE-2 pokazuje 65-punktowy spadek, gdy benchmark staje się trudniejszy.

• Potrzebujesz modelu kosztów na token — MAI Code 2, ponieważ SWE-2 nie ma opublikowanej stawki do modelowania.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

To, na co trzeba uważać, to czy Microsoft kiedykolwiek opublikuje liczbę, która uczyniłaby to porównanie rzeczywistym. Wystarczyłby odsetek zaliczeń Terminal Bench 2.1; odsetek dla Terminal Bench 4.0 rozstrzygnąłby sprawę, ponieważ to edycja, w której własna tabela SWE-2 pokazuje, jak wygląda model kodujący, gdy zadania stają się dłuższe. Dopóki jedno z nich nie istnieje, MAI Code 2 to cennik z dołączoną obietnicą, a SWE-2 to tabela z dołączoną liczbą kroków, i tylko jeden z nich można sprawdzić z zewnątrz dostawcy.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu · Benchmarki: Artificial Analysis · aktualizowane codziennie