SWE-2 Flash vs Flint v1.0: Uma linha honesta de benchmark e muito ruído

Dois modelos de codificação de mistura de especialistas com poucos parâmetros ativos, lançados com quinze dias de diferença, ambos alegando o mesmo nível de desempenho por uma fração do custo de um modelo carro-chefe. O SWE-2 Flash, da Cognition, lançado em 4 de novembro de 2026, tem 276B de parâmetros totais, com 12B ativos. O Flint v1.0, da Recursive, lançado em 21 de outubro de 2026, tem 39,8B no total, com cerca de 2,5B ativos. Eles são a mesma aposta arquitetural em escalas muito diferentes — e a forma honesta de compará-los é admitir desde o início que suas tabelas publicadas se sobrepõem em exatamente uma linha.

Essa linha é o Terminal-Bench 2.1: 89,2 para o SWE-2 Flash contra 54,9 para o Flint v1.0. É uma diferença de 34 pontos, é o número mais forte que qualquer uma das duas empresas já produziu neste confronto, e vem com duas ressalvas grandes o suficiente para mudar a forma como você o interpreta. Todo o resto que você possa sentir vontade de comparar é ou uma versão diferente do benchmark ou um subconjunto diferente do mesmo benchmark.

Mesma aposta, licença oposta

A tese compartilhada é que são os parâmetros ativos, e não os parâmetros totais, que determinam o custo de inferência — assim, é possível construir um modelo esparso grande e pagar apenas pela fração que é acionada. O Flint põe para trabalhar, por token, 6 de 256 especialistas roteados mais um especialista compartilhado, em 49 camadas, sendo 35 com janela deslizante de 513 tokens e 14 com atenção completa. O SWE-2 Flash herda essa estrutura de sua base Inkling-Small: 276B no total, 12B ativos, pós-treinado com uma etapa de mid-training que a Cognition não havia usado antes.

A diferença que importa mais do que qualquer detalhe de arquitetura é o que você tem permissão para fazer com a saída:

Pesos — Flint v1.0 está sob Apache 2.0 no Hugging Face em BF16, FP8 e formas quantizadas. O SWE-2 Flash é totalmente retido, com um programa de compartilhamento com parceiros prometido, mas ainda não especificado.

• Distribuição — O Flint roda em llama.cpp, Ollama, LM Studio, vLLM e SGLang, em hardware que você possui. O SWE-2 Flash roda dentro do Devin Desktop e da Devin CLI e em nenhum outro lugar.

• Preço — o custo marginal do Flint é a sua GPU. O SWE-2 Flash é gratuito até 30 de novembro de 2026 e não tem taxa publicada por token depois disso.

• Contexto — Flint publica 262.144 tokens, configurável para aproximadamente 512K. SWE-2 Flash não publica nada.

Isso não é uma pequena diferença de postura. Um é um artefato que você pode inspecionar, quantizar, ajustar finamente e executar num laptop. O outro é um produto com um mês grátis.

A única linha que você pode comparar

O Terminal-Bench 2.1 é o único benchmark em que ambas as empresas relatam um número na mesma versão. O 54,9 do Flint foi produzido por meio do Terminus 2, com pass@1 calculado como média de pelo menos cinco tentativas. O 89,2 do SWE-2 Flash foi produzido em um ambiente de avaliação que a Cognition não nomeia, em uma configuração de esforço que não divulga, a partir de um post de lançamento que omite o apêndice de metodologia que seu antecessor de setembro trazia.

Portanto, a diferença de 34 pontos é real no sentido de que ambos os números foram reportados no mesmo conjunto de tarefas, e branda no sentido de que um lado contou como chegou lá e o outro não. Um modelo avaliado dentro de uma estrutura de agente co-projetada — que é o que o Devin é — geralmente supera o mesmo modelo avaliado por uma estrutura genérica. O número do Flint é o conservador justamente porque a Recursive publicou o método.

Se você quer uma única frase: na única linha compartilhada, o SWE-2 Flash está muito à frente, e nenhuma das duas empresas deu a uma parte independente a capacidade de verificar.

As duas pontuações Pro que parecem idênticas e não são

Esta é a armadilha nesta comparação, e vale a pena desacelerar por ela. A Recursive reporta Flint v1.0 com 89,7 no SWE-bench Pro v2. A Cognition reporta SWE-2 Flash com 89,9 no SWE-Bench Pro v2 Hard. Dois números, separados por 0,2 pontos, lado a lado em toda agregação que você encontrar.

Não são a mesma medição. "Hard" é um subconjunto — uma fatia filtrada do conjunto de tarefas, não o conjunto inteiro. O número da Flint é a execução completa do Pro v2 sob o mini-swe-agent, com soluções obtidas na web contadas como falhas, o que é uma convenção de pontuação mais rígida do que a adotada pela maioria dos fornecedores. Colocar 89,9 ao lado de 89,7 e chamar isso de empate é o tipo de comparação que produz conclusões confiantes e erradas.

A mesma cautela se aplica a uma linha que nenhuma das duas tabelas compartilha. O Flint reporta SWE-bench Verified em 74,2. O SWE-2 Flash não reporta o Verified de forma alguma — ele reporta Pro v2 Hard, DeepSWE 1.1 e SWE-Atlas QA. Assim, o benchmark para o qual a maioria das equipes tem intuição não está disponível para o modelo mais novo, o que faz de "O Flint está atrás no SWE-bench" uma alegação sem suporte, e não uma constatação.

O contexto é a especificação que decide.

Para codificação agêntica, a janela de contexto não é nota de rodapé — ela determina se um modelo consegue manter a superfície relevante de um repositório em uma única etapa de planejamento ou precisa recebê-la em partes. A Flint divulga 262.144 tokens. A SWE-2 Flash não divulga nada e, após três dias de cobertura, nenhum veículo estabeleceu isso.

O contexto do Flint vem com uma ressalva própria. Medições da comunidade mostram a vazão despencando em contextos longos — cerca de 110 tokens por segundo em prompts curtos, caindo para perto de 9 tokens por segundo perto de 115.000 tokens. Uma janela de 262K que roda a 9 tok/s é uma janela que você usa deliberadamente, para uma única leitura grande, não uma que você deixa aberta ao longo de uma sessão longa. A quantização suaviza o custo de computação, mas não essa curva.

A janela não publicada do SWE-2 Flash é a maior incógnita, porque o Devin é um produto de sessões longas. Se você está escolhendo entre eles partindo do pressuposto de que o modelo fechado lida melhor com repositórios maiores, está escolhendo com base em um número que ninguém publicou.

Velocidade que você pode verificar versus velocidade que você não pode

A Cognition afirma que o SWE-2 Flash opera a cerca de 200 tokens por segundo, contra 60 do SWE-2. O número vem da reprodução de transcrições de sessões encurtadas a taxas simuladas, não da medição de tempo de um endpoint em tempo real. Trata-se de uma demonstração, não de uma medição, e atualmente não há como alguém de fora da Cognition verificá-la.

As alegações de throughput do Flint são modestas em comparação e muito mais fáceis de refutar: cerca de 125 a 131 tokens por segundo em um MacBook Pro M4 Pro, acima de 150 em uma RTX Spark com 64 GB. Essas medições foram feitas em hardware que você pode comprar, por pessoas que publicaram a configuração. Relata-se que a build quantizada em NVFP4 fica dentro de cerca de 0,7 ponto do BF16 nos benchmarks, que é o tipo de alegação que uma comunidade pode e vai testar.

Um problema real que vale a pena conhecer: o caminho GGUF teve um bug de template de chat no llama.cpp, e o modelo tem um histórico comunitário escasso em comparação com qualquer coisa de um grande laboratório. Os primeiros adotantes estão fazendo a depuração.

O que cada opção realmente custa a você

Flint v1.0 é gratuito para download e custa o que a sua inferência custar. Um modelo de 39,8B com 2,5B ativos será executado num portátil bem equipado a uma velocidade utilizável, que é o objetivo principal da arquitetura. O custo de adoção é operacional: você é responsável pela pilha de serviço, pela escolha de quantização e pelos modos de falha.

O SWE-2 Flash não custa nada até 30 de novembro de 2026 e, depois disso, passa a custar um valor desconhecido, porque a Cognition publicou uma proporção — um quinto do preço do SWE-2 — em vez de uma taxa. Se o processo de planejamento da sua equipe precisa de um número para colocar numa planilha, essa é a questão bloqueante, não a diferença de benchmark.

Nenhum dos dois modelos está no catálogo do OrcaRouter hoje, e não vamos sugerir o contrário. O que é útil nesta comparação não é rotear entre esses dois, mas sim avaliar comparativamente o campo ao redor deles: mais de 200 modelos estão por trás de uma única chave do OrcaRouter com 0% de margem sobre o preço de tabela do provedor, o que torna executar a mesma tarefa de repositório em uma dúzia de candidatos uma questão de mudar uma única string. Quando você está decidindo entre dois modelos em que um lado publicou seu harness e o outro não, sua própria avaliação vale mais do que a tabela de qualquer um dos fornecedores.

Quem deve escolher qual?

Escolha o Flint v1.0 se precisar dos pesos. Se sua restrição for residência de dados, operação offline, ajuste fino ou um custo por token que não dependa da decisão de preços de outra empresa, a lacuna de 34 pontos no Terminal-Bench é um preço que você muito bem pode estar disposto a pagar — e o contexto de 262K e o harness publicado do Flint lhe dão um modelo sobre o qual você pode raciocinar, em vez de uma caixa-preta.

Escolha o SWE-2 Flash se você já estiver dentro do Devin e a janela gratuita for suficiente para responder à sua pergunta. É o modelo com melhor desempenho na única linha que ambas as empresas mediram, por uma margem ampla, e não custa nada experimentar até o final de novembro.

O que ninguém deveria fazer é escolher qualquer um dos dois com base nos números do SWE-bench Pro. 89,7 e 89,9 não são o mesmo teste, e a diferença entre eles é menor que a diferença entre qualquer um desses números e o que seu repositório realmente produzirá.