
MAI Code 2 vs SWE-2: Os mesmos dois benchmarks, publicados por apenas um deles
- OrcaNOVOOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 por 1M de tokens · 180 tok/s
- tencentNOVOTencent: Hy4 Flash2026-11-16$0.02 / $0.07 por 1M de tokens · 223 tok/s
- GoogleNOVOGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 por 1M de tokens · 89 tok/s
- AnthropicNOVOAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 por 1M de tokens · 98 tok/s
- orcaNOVOOrca: OrcaC2 1.02026-11-079 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 por 1M de tokens · 88 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 por 1M de tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 por 1M de tokens · 79 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 por 1M de tokens · 118 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 por 1M de tokens · 68 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 94 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 por 1M de tokens · 44 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Inteligência
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 por 1M de tokens · 199 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Inteligência
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 por 1M de tokens · 114 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Inteligência
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 por 1M de tokens · 311 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Inteligência
MAI Code 2 e SWE-2 nomeiam quase exatamente os mesmos benchmarks em seu material de lançamento, e apenas um deles informa quanto pontuou. A postagem da Microsoft de 17 de novembro de 2026 lista DeepSWE 1.1, Terminal Bench 2.1, SWE-Atlas e FrontierCode v1.1 e depois informa proporções: 96% do desempenho do Claude Opus 5.5 a 5% do custo. A postagem da Cognition sobre o SWE-2, publicada em 10 de setembro de 2026, lista os mesmos dois primeiros benchmarks e informa um número para cada um: 73,0% no DeepSWE 1.1, 92,8% no Terminal-Bench 2.1, 27,3% no Terminal-Bench 4.0. É esse terceiro número que importa reter, porque é a edição que a Microsoft não informou — e ele mostra o que acontece com um modelo de programação quando o benchmark de terminal fica mais difícil.
Ambos os modelos também compartilham uma restrição de distribuição que os torna incomuns nesta categoria: nenhum dos dois tem uma API pública por token. O MAI Code 2 é acessível selecionando-o em um cliente GitHub Copilot. O SWE-2 roda dentro do Devin. Dois modelos que você não pode chamar do seu próprio código, um dos quais publica seus números.
A edição de referência que ninguém usa como destaque
A tabela da Cognition é o artefato mais útil que qualquer um dos dois fornecedores publicou, e não porque o SWE-2 ganha alguma coisa nela. Ela é útil porque mostra o mesmo modelo medido em duas edições do mesmo benchmark.
• Terminal-Bench 2.1 — SWE-2 com 92,8%, contra 91,4% do Claude Fable 5.1, 89,9% do GPT-6 Astra e 88,3% do Kimi K3
• Terminal-Bench 4.0 — SWE-2 com 27,3%, contra 55,8% do Claude Fable 5.1, 57,9% do GPT-6 Astra e 21,5% do Kimi K3
• DeepSWE 1.1 — SWE-2 com 73,0%, contra 74,1% do GPT-6 Astra, 72,7% do GPT-5.6 Sol e 67,4% do Claude Fable 5.1
FrontierCode 1.1 Main — SWE-2 em 50,0%, contra 53,3% do GPT-6 Astra e 50,9% do Claude Fable 5.1
Leia as duas primeiras linhas em conjunto. O SWE-2 é o segundo no 2.1 e o penúltimo no 4.0, uma queda de aproximadamente 65 pontos, e não está sozinho: o Kimi K3 cai 67 pontos no mesmo par. Os modelos que se mantêm são os ajustados para trabalho de horizonte longo. Isso não é uma peculiaridade do harness de um laboratório — é a edição do benchmark ficando mais difícil, e é exatamente por isso que "rodamos o Terminal Bench 2.1" é uma afirmação mais fraca em novembro de 2026 do que era em setembro.
A Microsoft executou o Terminal Bench 2.1. A Microsoft não publicou nenhuma pontuação nele. A Microsoft não publicou nada sobre o 4.0. Esses três fatos juntos significam que um comprador não consegue saber que tipo de modelo de programação é o MAI Code 2: o tipo que se mantém quando as tarefas de terminal ficam mais longas, ou o tipo que não se mantém.
O que cada fornecedor realmente divulgou
A lacuna de divulgação é maior do que os preços dos modelos, portanto vale a pena afirmar claramente.
A Cognition publicou uma tabela de sete modelos com quatro benchmarks, um conjunto de comparação declarado, uma observação de que os modelos rivais foram executados no próprio CLI da Cognition com seu melhor esforço de raciocínio, e uma divulgação honesta de algo que excluiu: Claude Fable 5.1 no esforço máximo marcou 50,3% no FrontierCode a US$ 12,83 por tarefa, abaixo do seu próprio resultado com esforço médio, então foi removido do gráfico. Um fornecedor que lhe diz qual ponto de dados removeu é um fornecedor que lhe dá as ferramentas para descontar sua tabela.
A Microsoft publicou os nomes dos benchmarks, o harness — MSBench, sua plataforma interna de avaliação, por meio do GitHub Copilot CLI com subagentes desativados e todos os modelos com esforço máximo de raciocínio — e as proporções médias desses benchmarks. Não publicou taxa de aprovação para o MAI Code 2 em nenhum dos quatro, nem contagem de parâmetros, nem teto de saída, nem tabela comparativa com concorrentes nomeados além das duas proporções. A Artificial Analysis não tem linha para o modelo em 18 de novembro de 2026, portanto não há leitura de terceiros para substituir.
Uma dessas divulgações permite que você reproduza o raciocínio. A outra pede que você aceite uma conclusão.
Nenhum dos dois modelos é um endpoint, e isso muda a compra
O SWE-2 não tem preço por token publicado nem API pública. A publicação da Cognition diz que ele está disponível no Devin Desktop e na CLI, com expansão para o Devin Web e o Fusion, e os únicos números de custo nela são custos de benchmark por tarefa — o tipo de número que você cita para mostrar que um rival é caro, não o tipo pelo qual você cobra.
O MAI Code 2 tem, sim, uma tabela de preços, publicada pelo GitHub: US$ 0,50 por milhão de tokens de entrada, US$ 0,025 em cache, US$ 2,50 de saída, em promoção até 17 de maio de 2027, depois US$ 1,00 / US$ 0,05 / US$ 5,00. Ele não tem uma superfície de API própria. O MAI Code 2 Flash, o irmão menor, é o único modelo da família com uma — uma prévia de acesso limitado no Microsoft Foundry por meio de uma Responses API compatível com OpenAI.
• Preço — MAI Code 2 a US$ 0,50 / US$ 0,025 / US$ 2,50 por milhão de tokens, em promoção até 17 de maio de 2027, em contraste com a ausência de preço por token publicado para o SWE-2
• Acesso — uma licença do GitHub Copilot nos planos Pro, Pro+, Max, Business e Enterprise, em comparação com uma assinatura do Devin no Desktop e na CLI
• Pesos — não distribuídos em nenhum dos lados
• Contexto — nenhum valor de contexto publicado para o SWE-2, em comparação com 1 milhão de tokens no MAI Code 2 disponível apenas no Visual Studio Code e no Copilot CLI
• Pontuações de benchmark publicadas — nenhuma para o MAI Code 2, contra quatro para o SWE-2
• Linha de índice independente — nenhum dos modelos possui uma
O resultado prático é que ambas as compras são compras por assento, e não compras por token, e apenas uma delas vem com um medidor que você pode modelar. Se sua equipe financeira precisa de um custo por unidade, o MAI Code 2 fornece um e o SWE-2 não. Se sua equipe de engenharia precisa saber se o modelo melhora em seus repositórios, o SWE-2 fornece uma tabela comparativa e o MAI Code 2 fornece uma proporção.

O que cada modelo foi criado para fazer
A proposta da Microsoft para o MAI Code 2 é o trabalho empresarial cotidiano: levar código para produção, depuração profunda, implementação em vários arquivos, raciocínio em todo o repositório, UI e dashboards. O post de lançamento é franco ao afirmar que os modelos "ainda não foram explicitamente ajustados para problemas mais difíceis, como pesquisa em ciência fundamental e trabalho agêntico de horizonte muito longo" — uma frase que soa estranha ao lado de uma alegação sobre o Terminal Bench 2.1, porque o Terminal-Bench é um benchmark agêntico de horizonte longo. O próprio posicionamento da Microsoft diz que ela não ajustou os modelos para aquilo que o benchmark mede.
O resumo da Cognition para o SWE-2 segue o caminho oposto: menos etapas, rollouts mais baratos, um modelo projetado em conjunto com o agente que o executa. O post relata que a média de etapas por execução cai para 53 no SWE-2 medium, contra 127 no SWE-1.7; que o medium custa 81% menos que o SWE-1.7; e uma mediana de 18 etapas até a primeira edição real, contra 48. Essas são alegações de engenharia sobre a eficiência do agente, e importam mais para um assinante do Devin do que qualquer linha de benchmark, porque decidem quanto da cota mensal uma tarefa consome.
Então, os dois modelos estão novamente ajustados para objetivos diferentes: um para a tarefa cotidiana dentro de uma IDE, outro para a contagem de passos dentro de um agente autônomo. Nenhum é uma versão melhor do que o outro.
Onde um roteador justifica seu lugar quando nenhum dos modelos é roteável
Nem o MAI Code 2 nem o SWE-2 estão no catálogo da OrcaRouter, e não há forma honesta de sugerir o contrário: um é uma entrada no seletor de modelos do Copilot, o outro está dentro do Devin. O que uma camada de roteamento muda não é o acesso a esses dois, mas o custo de construir a comparação. O controlo em qualquer avaliação deles tem de ser um modelo que possa chamar e medir — Claude Opus 5.5, Kimi K3.1 Pro, Qwen3.8-Max, Gemini 4 Carbon — e esses ficam atrás de uma única chave ao preço de tabela do fornecedor com 0% de margem, pelo que uma execução de benchmark contra eles é cobrada exatamente à tarifa do fornecedor.
Isso importa mais aqui do que na maioria dos confrontos, porque a pergunta interessante sobre ambos os modelos é comparativa: um programador do dia a dia supera um modelo de ponta em custo por merge, no seu código? Você não consegue responder isso lendo duas tabelas de fornecedores produzidas em duas estruturas de avaliação. Você consegue responder executando o modelo mensurável em paralelo com qualquer um desses dois que sua equipe consiga realmente acessar, e contando tarefas concluídas em vez de tokens. O failover automático é o que mantém essa comparação em execução quando um limite de taxa do provedor ocorre no meio da execução, e, como o preço é repassado pelo valor de tabela, o custo por tarefa do controle não é inflado pela camada que você está usando para medi-lo.
Qual escolher, considerando o que você pode verificar
• Sua equipe usa o Devin e você quer menos etapas por rollout — o SWE-2, e os números de contagem de etapas e de redução de custos no post da Cognition são os que decidem isso.
• Sua equipe está no Copilot e você quer tokens baratos para reparo de rotina — MAI Code 2 a US$ 0,50 e US$ 2,50, modelado tanto pela tarifa dobrada de maio de 2027 quanto pela promocional.
• Você precisa defender a escolha com um número — SWE-2, porque ele publica quatro e o outro modelo não publica nenhum.
• Você precisa de trabalho agêntico de longo horizonte — nenhum dos dois, com base nas evidências disponíveis. A Microsoft diz que não fez ajustes para isso; a própria tabela do SWE-2 mostra o colapso de 65 pontos quando o benchmark fica mais difícil.
• Você precisa de um modelo de custo por token — MAI Code 2, já que o SWE-2 não tem taxa publicada para modelar.

O que se deve observar é se a Microsoft algum dia publicará o número que tornaria essa comparação real. Uma taxa de aprovação no Terminal Bench 2.1 bastaria; uma taxa no Terminal Bench 4.0 resolveria a questão, porque é a edição em que a própria tabela do SWE-2 mostra como é um modelo de programação quando as tarefas ficam mais longas. Até que um desses exista, o MAI Code 2 é uma tabela de tarifas com uma promessa anexada, e o SWE-2 é uma tabela com uma contagem de etapas anexada, e apenas uma delas pode ser verificada fora do fornecedor.

Comparados neste artigo1
Detectado a partir deste artigo · Benchmarks: Artificial Analysis · atualizado diariamente
