SWE-2 Flash vs North Mini Code: O Benchmark Dentro do Benchmark

Eis um pareamento desconfortável. O SWE-2 Flash é um modelo pós-treinado de 276B parâmetros lançado em 4 de novembro de 2026, com oito linhas de benchmark e nenhuma forma de chamá-lo. O North Mini Code é um modelo de 30B parâmetros que a Cohere lançou em junho de 2026 sob a Apache 2.0, com uma tabela de benchmark que se sobrepõe ao SWE-2 Flash em exatamente zero linhas — e uma pontuação independente que o SWE-2 Flash não tem de forma alguma. No papel, o modelo mais novo e maior vence em tudo. Com base em evidências, o mais antigo e menor é o único dos dois que um terceiro mediu.

Essa inversão é o artigo inteiro, e é mais útil do que uma comparação de pontuação, porque a comparação de pontuação não pode de fato ser feita.

Dois MoEs com orçamentos de parâmetros opostos

Ambos são modelos esparsos de mistura de especialistas, construídos em torno do mesmo argumento de custo: pague pelos parâmetros ativos, não pelos totais. Eles estão em extremos quase opostos do intervalo.

• Total de parâmetros — SWE-2 Flash 276B vs North Mini Code 30B

• Ativo por token — SWE-2 Flash 12B vs North Mini Code 3B

• Layout de especialistas — SWE-2 Flash herda a estrutura do Inkling-Small; North Mini Code roteia para 8 dos 128 especialistas

• Contexto — SWE-2 Flash não publicado vs North Mini Code 256K, com saída máxima de 64K

• Saída máxima — SWE-2 Flash não publicado vs North Mini Code 64K

• Licença — SWE-2 Flash não divulgada vs North Mini Code Apache 2.0 em BF16, FP8 e W4A16

A diferença de nove vezes nos parâmetros ativos é o número que explica todo o resto. O SWE-2 Flash pode se dar ao luxo de ser um modelo maior e mais lento de treinar que roda barato por token porque apenas 12B dele são ativados. O North Mini Code roda com uma fração disso, e é por isso que a Cohere consegue colocá-lo em uma implantação de classe laptop e por que seu teto de benchmark é mais baixo.

Por que você não pode colocar 89,2 ao lado de 36,0

A comparação que vai circular é o Terminal-Bench: SWE-2 Flash com 89,2, North Mini Code com 36,0. Uma diferença de 53 pontos que faria disso uma não-matéria. Não é uma subtração válida, por um motivo fácil de passar despercebido.

O North Mini Code relata "Terminal-Bench v2" em 36,0 e "Terminal-Bench Hard" em 31,1. O SWE-2 Flash relata "Terminal-Bench 2.1" em 89,2 e "Terminal-Bench 4.0" em 20,0. "v2" e "2.1" são rótulos adjacentes em algo que pode ou não ser o mesmo conjunto de tarefas, e nenhum dos fornecedores informa o número de tarefas, o harness nem a convenção de pontuação no material comparado.

A evidência interna é que estas versões são instrumentos radicalmente diferentes. As próprias duas linhas do Terminal-Bench do SWE-2 Flash estão separadas por 69 pontos — 20,0 no 4.0, 89,2 no 2.1. Quando um modelo pontua 20 e 89 em dois benchmarks com o mesmo nome e números diferentes, a versão é a medição. Colocar uma pontuação 2.x contra uma pontuação v2 e chamar a diferença de lacuna de capacidade é o erro mais comum neste espaço de comparação.

Outras linhas parecem compartilhadas, mas não são. O North Mini Code relata SWE-bench Pro em 40,2; o SWE-2 Flash relata SWE-Bench Pro v2 Hard em 89,9. Geração de benchmark diferente e um subconjunto filtrado. O North relata SWE-bench Verified em 67,6; o SWE-2 Flash não relata o Verified de forma alguma. O North relata SciCode 38,2 e LiveCodeBench v6 70,3; o SWE-2 Flash não relata nenhum dos dois.

Isso deixa o DeepSWE 1.1, em que o SWE-2 Flash reporta 60,1 e o North Mini Code não reporta nada.

O número independente que apenas um deles possui.

O North Mini Code tem um Artificial Analysis Intelligence Index de 27,6 e um Coding Index de 33,4. Essas são medições de terceiros com uma metodologia consistente, feitas em um modelo que qualquer pessoa pode baixar e executar novamente.

O SWE-2 Flash não tem registro no Artificial Analysis, porque o Artificial Analysis mede modelos por meio de uma API e o SWE-2 Flash não possui API. Todos os números atribuídos a ele — o 60,1, o 89,2, o 20,0, o 24,0 no FrontierCode 2.0 — são da própria Cognition, produzidos em um harness não divulgado, e o FrontierCode é o benchmark da própria Cognition. Nada aqui diz que esses números estão errados. Diz que o leitor não tem como distinguir uma capacidade real de um andaime generoso.

Para um modelo de pesos abertos de 30B de junho, um AA Coding Index de 33,4 é uma pontuação modesta — acima dos 25,9 do GLM-4.7-Flash, abaixo dos 35,2 do Qwen3.6 35B-A3B. Também é uma pontuação que você pode verificar, o que vale mais do que uma linha de fornecedor que você não pode.

Velocidade, e qual afirmação é verificável

A Cohere relata aproximadamente 199 tokens de saída por segundo em sua própria API, cerca de 2,8 vezes a vazão do Devstral Small 2. Trata-se de uma medição de endpoint servido: uma requisição entra, os tokens saem, e qualquer pessoa com acesso pode reproduzi-la.

A Cognition relata aproximadamente 200 tokens por segundo para o SWE-2 Flash, contra 60 do SWE-2, obtidos pela reprodução de transcrições de sessões encurtadas em taxas simuladas. Os dois números estão a um token por segundo de distância um do outro e significam coisas completamente diferentes. Um é uma medição de throughput; o outro é uma demonstração de como o modelo seria nessa velocidade.

Esse é o padrão em toda a comparação. O modelo mais antigo publica alegações menos impressionantes com mais metodologia associada. O modelo mais novo publica alegações de aparência melhor sem nenhuma.

Onde o North Mini Code é genuinamente fraco

Nem tudo favorece a Cohere. O North Mini Code é um especialista em programação e age como tal: obtém 14% no GDPval-AA e 37% no τ²-Bench Telecom, ambas avaliações agênticas não relacionadas a programação, nas quais um modelo geral se sairia muito melhor. Se o seu agente tiver de fazer qualquer coisa além de escrever e testar código — lidar com um fluxo de trabalho de atendimento ao cliente, raciocinar sobre um processo de negócios —, o North Mini Code é a ferramenta errada, e a base mais ampla do SWE-2 Flash é, plausivelmente, a melhor aposta.

A janela de contexto dele é publicada e ampla — 256.000 tokens com um limite de saída de 64.000 tokens — embora a janela utilizável ainda dependa da stack de serving. E um modelo de 30B com 3B ativos tem um teto menor do que um modelo de 276B com 12B ativos; nenhum nível de transparência metodológica fecha essa lacuna.

Custo, e o argumento a favor de uma camada de roteamento

O North Mini Code é gratuito para download sob a licença Apache 2.0, com uma tarifa de modelo hospedado na própria API da Cohere e disponibilidade por meio de diversas plataformas de terceiros. O SWE-2 Flash é gratuito dentro do Devin até 30 de novembro de 2026 e sem preço definido depois disso, sem qualquer previsão de versão para download.

Nenhum dos dois está no catálogo do OrcaRouter. O modelo da Cohere é auto-hospedável por qualquer pessoa que tenha o hardware, e o da Cognition não tem endpoint para o qual rotear — então a forma honesta de enquadrar é que esta decisão é tomada fora do nosso catálogo de qualquer maneira. O que uma camada de roteamento muda é o custo de estar errado. O OrcaRouter repassa o preço de tabela do provedor com 0% de margem e faz failover automaticamente, então um aplicativo escrito para um único ID de modelo não é um aplicativo escrito para o uptime de um único fornecedor. Para um par em que um lado pode ter o preço alterado em 1º de dezembro e o outro pode nunca ser chamável, essa portabilidade é a parte que vale a pena projetar.

Como decidir

Se quiser um modelo que possa executar, inspecionar, quantizar e avaliar por si mesmo, o North Mini Code é a única opção neste par, e a sua janela de contexto publicada e o orçamento ativo de 3B tornam-no prático em hardware modesto. Aceite o teto de capacidade mais baixo e o foco restrito em programação.

Se você está dentro do Devin e a janela gratuita é o ponto, o SWE-2 Flash é o modelo mais forte pelos seus próprios números por uma margem ampla, e o custo de experimentá-lo até 30 de novembro é zero.

O que você não deve fazer é colocar 89,2 ao lado de 36,0 e concluir qualquer coisa. Esses números vêm de instrumentos diferentes, reportados por empresas diferentes, em uma família de benchmarks cujo número da versão é a medição. A única afirmação defensável sobre esse par é a que soa menos como um veredito: um deles foi avaliado de forma independente e o outro não, e essa é uma diferença maior do que qualquer linha em qualquer uma das tabelas.