Cartão de título para MAI Code 2 vs SWE-2. O MAI Code 2 é apresentado como o modelo da Microsoft dentro do GitHub Copilot, sem API, com preço de US$ 0,50 por milhão de tokens de entrada e US$ 2,50 por milhão de tokens de saída, sem taxa de aprovação publicada e sem pesos. O SWE-2 é apresentado como o modelo da Cognition dentro do Devin, sem preço por token, com pontuação de 73,0% no DeepSWE 1.1, 92,8% no Terminal-Bench 2.1 e 27,3% no Terminal-Bench 4.0.
Guides & Insights

MAI Code 2 vs SWE-2: Os mesmos dois benchmarks, publicados por apenas um deles

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

MAI Code 2 e SWE-2 nomeiam quase exatamente os mesmos benchmarks em seu material de lançamento, e apenas um deles informa quanto pontuou. A postagem da Microsoft de 17 de novembro de 2026 lista DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas e FrontierCode v1.1 e depois informa proporções: 96% do desempenho do Claude Opus 5.5 a 5% do custo. A postagem da Cognition sobre o SWE-2, publicada em 10 de setembro de 2026, lista os mesmos dois primeiros benchmarks e informa um número para cada um: 73,0% no DeepSWE 1.1, 92,8% no Terminal-Bench 2.1, 27,3% no Terminal-Bench 4.0. É esse terceiro número que importa reter, porque é a edição que a Microsoft não informou — e ele mostra o que acontece com um modelo de programação quando o benchmark de terminal fica mais difícil.

Ambos os modelos também compartilham uma restrição de distribuição que os torna incomuns nesta categoria: nenhum dos dois tem uma API pública por token. O MAI Code 2 é acessível selecionando-o em um cliente GitHub Copilot. O SWE-2 roda dentro do Devin. Dois modelos que você não pode chamar do seu próprio código, um dos quais publica seus números.

A edição de referência que ninguém usa como destaque

A tabela da Cognition é o artefato mais útil que qualquer um dos dois fornecedores publicou, e não porque o SWE-2 ganha alguma coisa nela. Ela é útil porque mostra o mesmo modelo medido em duas edições do mesmo benchmark.

• Terminal-Bench 2.1 — SWE-2 com 92,8%, contra 91,4% do Claude Fable 5.1, 89,9% do GPT-6 Astra e 88,3% do Kimi K3

• Terminal-Bench 4.0 — SWE-2 com 27,3%, contra 55,8% do Claude Fable 5.1, 57,9% do GPT-6 Astra e 21,5% do Kimi K3

• DeepSWE 1.1 — SWE-2 com 73,0%, contra 74,1% do GPT-6 Astra, 72,7% do GPT-5.6 Sol e 67,4% do Claude Fable 5.1

FrontierCode 1.1 Main — SWE-2 em 50,0%, contra 53,3% do GPT-6 Astra e 50,9% do Claude Fable 5.1

Leia as duas primeiras linhas em conjunto. O SWE-2 é o segundo no 2.1 e o penúltimo no 4.0, uma queda de aproximadamente 65 pontos, e não está sozinho: o Kimi K3 cai 67 pontos no mesmo par. Os modelos que se mantêm são os ajustados para trabalho de horizonte longo. Isso não é uma peculiaridade do harness de um laboratório — é a edição do benchmark ficando mais difícil, e é exatamente por isso que "rodamos o Terminal Bench 2.1" é uma afirmação mais fraca em novembro de 2026 do que era em setembro.

A Microsoft executou o Terminal Bench 2.1. A Microsoft não publicou nenhuma pontuação nele. A Microsoft não publicou nada sobre o 4.0. Esses três fatos juntos significam que um comprador não consegue saber que tipo de modelo de programação é o MAI Code 2: o tipo que se mantém quando as tarefas de terminal ficam mais longas, ou o tipo que não se mantém.

O que cada fornecedor realmente divulgou

A lacuna de divulgação é maior do que os preços dos modelos, portanto vale a pena afirmar claramente.

A Cognition publicou uma tabela de sete modelos com quatro benchmarks, um conjunto de comparação declarado, uma observação de que os modelos rivais foram executados no próprio CLI da Cognition com seu melhor esforço de raciocínio, e uma divulgação honesta de algo que excluiu: Claude Fable 5.1 no esforço máximo marcou 50,3% no FrontierCode a US$ 12,83 por tarefa, abaixo do seu próprio resultado com esforço médio, então foi removido do gráfico. Um fornecedor que lhe diz qual ponto de dados removeu é um fornecedor que lhe dá as ferramentas para descontar sua tabela.

A Microsoft publicou os nomes dos benchmarks, o harness — MSBench, sua plataforma interna de avaliação, por meio do GitHub Copilot CLI com subagentes desativados e todos os modelos com esforço máximo de raciocínio — e as proporções médias desses benchmarks. Não publicou taxa de aprovação para o MAI Code 2 em nenhum dos quatro, nem contagem de parâmetros, nem teto de saída, nem tabela comparativa com concorrentes nomeados além das duas proporções. A Artificial Analysis não tem linha para o modelo em 18 de novembro de 2026, portanto não há leitura de terceiros para substituir.

Uma dessas divulgações permite que você reproduza o raciocínio. A outra pede que você aceite uma conclusão.

Nenhum dos dois modelos é um endpoint, e isso muda a compra

O SWE-2 não tem preço por token publicado nem API pública. A publicação da Cognition diz que ele está disponível no Devin Desktop e na CLI, com expansão para o Devin Web e o Fusion, e os únicos números de custo nela são custos de benchmark por tarefa — o tipo de número que você cita para mostrar que um rival é caro, não o tipo pelo qual você cobra.

O MAI Code 2 tem, sim, uma tabela de preços, publicada pelo GitHub: US$ 0,50 por milhão de tokens de entrada, US$ 0,025 em cache, US$ 2,50 de saída, em promoção até 17 de maio de 2027, depois US$ 1,00 / US$ 0,05 / US$ 5,00. Ele não tem uma superfície de API própria. O MAI Code 2 Flash, o irmão menor, é o único modelo da família com uma — uma prévia de acesso limitado no Microsoft Foundry por meio de uma Responses API compatível com OpenAI.

• Preço — MAI Code 2 a US$ 0,50 / US$ 0,025 / US$ 2,50 por milhão de tokens, em promoção até 17 de maio de 2027, em contraste com a ausência de preço por token publicado para o SWE-2

• Acesso — uma licença do GitHub Copilot nos planos Pro, Pro+, Max, Business e Enterprise, em comparação com uma assinatura do Devin no Desktop e na CLI

• Pesos — não distribuídos em nenhum dos lados

• Contexto — nenhum valor de contexto publicado para o SWE-2, em comparação com 1 milhão de tokens no MAI Code 2 disponível apenas no Visual Studio Code e no Copilot CLI

• Pontuações de benchmark publicadas — nenhuma para o MAI Code 2, contra quatro para o SWE-2

• Linha de índice independente — nenhum dos modelos possui uma

O resultado prático é que ambas as compras são compras por assento, e não compras por token, e apenas uma delas vem com um medidor que você pode modelar. Se sua equipe financeira precisa de um custo por unidade, o MAI Code 2 fornece um e o SWE-2 não. Se sua equipe de engenharia precisa saber se o modelo melhora em seus repositórios, o SWE-2 fornece uma tabela comparativa e o MAI Code 2 fornece uma proporção.

Microsoft's MAI Models page announcing MAI Code 2 and Code 2 Flash under the heading 'Everyday coding at scalable prices', tagged Nov 17, 2026 and Ignite, with the MAI Code 2 model entry below it.

O que cada modelo foi criado para fazer

A proposta da Microsoft para o MAI Code 2 é o trabalho empresarial cotidiano: levar código para produção, depuração profunda, implementação em vários arquivos, raciocínio em todo o repositório, UI e dashboards. O post de lançamento é franco ao afirmar que os modelos "ainda não foram explicitamente ajustados para problemas mais difíceis, como pesquisa em ciência fundamental e trabalho agêntico de horizonte muito longo" — uma frase que soa estranha ao lado de uma alegação sobre o Terminal Bench 2.1, porque o Terminal-Bench é um benchmark agêntico de horizonte longo. O próprio posicionamento da Microsoft diz que ela não ajustou os modelos para aquilo que o benchmark mede.

O resumo da Cognition para o SWE-2 segue o caminho oposto: menos etapas, rollouts mais baratos, um modelo projetado em conjunto com o agente que o executa. O post relata que a média de etapas por execução cai para 53 no SWE-2 medium, contra 127 no SWE-1.7; que o medium custa 81% menos que o SWE-1.7; e uma mediana de 18 etapas até a primeira edição real, contra 48. Essas são alegações de engenharia sobre a eficiência do agente, e importam mais para um assinante do Devin do que qualquer linha de benchmark, porque decidem quanto da cota mensal uma tarefa consome.

Então, os dois modelos estão novamente ajustados para objetivos diferentes: um para a tarefa cotidiana dentro de uma IDE, outro para a contagem de passos dentro de um agente autônomo. Nenhum é uma versão melhor do que o outro.

Onde um roteador justifica seu lugar quando nenhum dos modelos é roteável

Nem o MAI Code 2 nem o SWE-2 estão no catálogo da OrcaRouter, e não há forma honesta de sugerir o contrário: um é uma entrada no seletor de modelos do Copilot, o outro está dentro do Devin. O que uma camada de roteamento muda não é o acesso a esses dois, mas o custo de construir a comparação. O controlo em qualquer avaliação deles tem de ser um modelo que possa chamar e medir — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — e esses ficam atrás de uma única chave ao preço de tabela do fornecedor com 0% de margem, pelo que uma execução de benchmark contra eles é cobrada exatamente à tarifa do fornecedor.

Isso importa mais aqui do que na maioria dos confrontos, porque a pergunta interessante sobre ambos os modelos é comparativa: um programador do dia a dia supera um modelo de ponta em custo por merge, no seu código? Você não consegue responder isso lendo duas tabelas de fornecedores produzidas em duas estruturas de avaliação. Você consegue responder executando o modelo mensurável em paralelo com qualquer um desses dois que sua equipe consiga realmente acessar, e contando tarefas concluídas em vez de tokens. O failover automático é o que mantém essa comparação em execução quando um limite de taxa do provedor ocorre no meio da execução, e, como o preço é repassado pelo valor de tabela, o custo por tarefa do controle não é inflado pela camada que você está usando para medi-lo.

Qual escolher, considerando o que você pode verificar

• Sua equipe usa o Devin e você quer menos etapas por rollout — o SWE-2, e os números de contagem de etapas e de redução de custos no post da Cognition são os que decidem isso.

• Sua equipe está no Copilot e você quer tokens baratos para reparo de rotina — MAI Code 2 a US$ 0,50 e US$ 2,50, modelado tanto pela tarifa dobrada de maio de 2027 quanto pela promocional.

• Você precisa defender a escolha com um número — SWE-2, porque ele publica quatro e o outro modelo não publica nenhum.

• Você precisa de trabalho agêntico de longo horizonte — nenhum dos dois, com base nas evidências disponíveis. A Microsoft diz que não fez ajustes para isso; a própria tabela do SWE-2 mostra o colapso de 65 pontos quando o benchmark fica mais difícil.

• Você precisa de um modelo de custo por token — MAI Code 2, já que o SWE-2 não tem taxa publicada para modelar.

Cognition's 'Introducing SWE-2: Pushing the Pareto Frontier' post by the Cognition Team, dated 2026.09.10, with a lede reporting 50.0 percent on FrontierCode 1.1 Main, within one point of Fable 5.1 while being 64 percent cheaper, and describing RL scaled to the multi-trillion-parameter regime.

O que se deve observar é se a Microsoft algum dia publicará o número que tornaria essa comparação real. Uma taxa de aprovação no Terminal Bench 2.1 bastaria; uma taxa no Terminal Bench 4.0 resolveria a questão, porque é a edição em que a própria tabela do SWE-2 mostra como é um modelo de programação quando as tarefas ficam mais longas. Até que um desses exista, o MAI Code 2 é uma tabela de tarifas com uma promessa anexada, e o SWE-2 é uma tabela com uma contagem de etapas anexada, e apenas uma delas pode ser verificada fora do fornecedor.

Scoreboard comparing MAI Code 2 and SWE-2 across six dimensions. DeepSWE 1.1 not published versus 73.0 percent, Terminal-Bench 2.1 not published versus 92.8 percent, Terminal-Bench 4.0 not published versus 27.3 percent, price $0.50 and $2.50 per million tokens versus no per-token price, weights not distributed on both, and access via GitHub Copilot versus Devin only.

Comparados neste artigo1

Detectado a partir deste artigo · Benchmarks: Artificial Analysis · atualizado diariamente