SWE-2 Flash vs SWE-2: Quanto Vale Realmente uma Vitória de 0,2 Ponto

A própria tabela comparativa da Cognition concede à SWE-2 Flash exatamente uma vitória sobre a SWE-2: 24,0 contra 23,8 no FrontierCode 2.0. Dois décimos de ponto, no próprio benchmark da Cognition, numa tabela que a Cognition criou para mostrar o modelo menor em seu melhor momento. É também o número mais útil do lançamento, pelo que as linhas abaixo dele fazem — e pelo que a única linha acima da dobra silenciosamente deixa de fora.

A versão curta para quem está a decidir à secretária em vez de ler até ao fim: o Flash não é um SWE-2 mais pequeno. É um modelo diferente, de uma base diferente, afinado para o lado delimitado do trabalho e com um preço de um quinto dentro do mesmo produto. A vitória de 0,2 pontos é real e significa menos do que parece.

Duas edições do mesmo benchmark discordam entre si, e essa é a primeira constatação

Coloque as duas linhas do FrontierCode lado a lado e a tabela deixa de ser uma história sobre um modelo pequeno alcançando os demais.

• FrontierCode 2.0 — SWE-2 Flash 24.0 vs SWE-2 23.8

• FrontierCode 1.1 Principal — 45,5 vs 50,0

Mesmo instrumento, duas edições, veredictos opostos. Na edição mais recente, o Flash está ligeiramente à frente; na mais antiga, está 4,5 pontos atrás. Uma dessas linhas vai parar num slide de lançamento e a outra não, e qual delas é escolhida diz mais sobre o apresentador do que sobre o modelo.

Há uma interpretação defensável segundo a qual ambas as linhas são verdadeiras e nenhuma delas é contraditória: a edição 2.0 é mais difícil, as pontuações absolutas se comprimem, e um conjunto de tarefas mais recente pode recompensar aquilo para o que o Flash foi pós-treinado. Há também uma leitura menos lisonjeira: uma variação de 4,5 pontos entre duas edições de um mesmo benchmark é uma medida de quão sensível é o instrumento, e uma margem de 0,2 ponto está dentro dessa sensibilidade. A Cognition não publica intervalos de confiança nem execuções repetidas, portanto a diferença entre 24,0 e 23,8 não pode ser distinguida do ruído com as informações fornecidas. O que se pode afirmar é mais restrito e ainda assim útil — no benchmark mais recente da Cognition, os dois modelos estão no mesmo nível, não separados.

Onde vão os treze pontos

O restante da tabela não está próximo, e o formato da lacuna é a parte informativa.

• DeepSWE 1.1 — SWE-2 Flash 60,1 vs. SWE-2 73,0

• Terminal-Bench 4.0 — 20,0 vs 27,3

• SWE-Atlas QA — 50,0 vs 56,3

• Terminal-Bench 2.1 — 89,2 vs 92,8

• SWE-Bench Pro v2 Hard — 89,9 vs 90,6

• ExploitBench — 34,8 vs 36,1

Ordene-os conforme a quantidade de liberdade que a tarefa concede ao agente e um padrão surge. No SWE-Bench Pro v2 Hard — um problema bem especificado com uma correção definida — o Flash está 0,7 ponto atrás. No Terminal-Bench 2.1, está 3,6 atrás. No Terminal-Bench 4.0, a diferença é de 7,3, e no DeepSWE 1.1, a linha de horizonte longo, é de 12,9. Quanto mais a tarefa exige que o modelo decida o que fazer em seguida, maior é a diferença.

Isso é um mecanismo plausível, não comprovado. Um modelo com um décimo dos parâmetros ativos tem menos capacidade de manter um plano longo coerente, e é nos benchmarks de horizonte longo que isso aparece primeiro. Mas a Cognition não publica contagens de turnos, contagens de tokens nem detalhamentos por tarefa para o Flash como fez para o SWE-2 — no qual relatou etapas médias caindo de 127 para 53 em esforço médio —, então o mecanismo é inferido a partir do formato da tabela, e não demonstrado. Trate-o como uma hipótese que corresponde à sua própria experiência ou não.

Preço e velocidade, na única moeda em que a Cognition faz cotações

Nenhum dos modelos tem preço por token, porque nenhum deles tem endpoint. O que a Cognition publica é uma proporção: o SWE-2 Flash custa um quinto do SWE-2 e roda a três vezes a velocidade, 200 tok/s contra 60. Ambos os números vêm da mesma metodologia de replay — a execução de cada modelo na tarefa gsea-proteomics do Terminal-Bench 4.0, reproduzida em taxas simuladas com transcrições encurtadas para o mesmo comprimento —, então ambos descrevem um perfil de serviço pretendido, e não um medido.

A proporção ainda é o número mais relevante para a decisão no lançamento, desde que você dê o próximo passo. Preço por unidade de trabalho não é o mesmo que custo por tarefa resolvida, e o segundo é o que uma equipe realmente paga. Se o quinto for um quinto do custo de uma tarefa — a única leitura que torna a afirmação significativa dentro de um produto por assinatura —, então a aritmética é direta.

• No DeepSWE 1.1 — o Flash resolve 82% da quantidade de tarefas a um quinto do custo, o que é cerca de 4,1 vezes mais barato por tarefa resolvida, mesmo na linha em que ele tem o pior desempenho.

• No FrontierCode 2.0 — ele resolve ligeiramente mais tarefas a um quinto do custo, o que é aproximadamente 5 vezes mais barato por tarefa resolvida.

• No Terminal-Bench 4.0 — ele resolve 73% dessa quantidade com um quinto do custo, cerca de 3,7 vezes mais barato por tarefa resolvida.

Todos esses números pressupõem que o quinto se aplica ao custo de uma tarefa e não ao de um token, e que as taxas de resolução se transferem para a sua fila. A Cognition não diz qual é o caso, e essa suposição tem um peso enorme. Se o quinto for um preço por token em um modelo que emite mais tokens por tarefa, a vantagem diminui e pode se inverter nas linhas de horizonte longo. A aritmética é uma verificação de sensibilidade, não uma medição, e deveria ser executada novamente com base nos seus próprios logs.

O que não está em dúvida é a janela promocional. O SWE-2 Flash é gratuito no Devin Desktop e na CLI até 30 de novembro de 2026. A própria janela gratuita do SWE-2 terminou em 10 de outubro. Nas próximas semanas, a comparação de preços dentro do Devin é de um quinto contra zero, o que não é comparação alguma — é um período de avaliação com prazo.

Eles não são da mesma linhagem, e a diferença de parâmetros é a coisa menos interessante neles.

O SWE-2 é pós-treinado a partir do Kimi K3: 2,8 trilhões de parâmetros, 104B ativos por token, uma base que já havia passado por RL extensivo para codificação agêntica. O SWE-2 Flash é pós-treinado a partir do Inkling-Small: 276B no total, 12B ativos, Apache 2.0, da Thinking Machines. O próprio gráfico de tamanhos da Cognition coloca o Flash em 1x e o SWE-2 em 10,1x. Em parâmetros ativos, a proporção fica mais próxima de nove para um.

Agora compare isso com as pontuações. Uma diferença de oito vezes e meia nos parâmetros ativos rende 4,5 pontos no FrontierCode 1.1 Main e absolutamente nada no FrontierCode 2.0. Enquanto isso, a própria etapa de pós-treinamento vale muito mais do que a diferença de parâmetros: a tabela da Cognition mostra o Inkling-Small com 21,5 no FrontierCode 1.1 Main e o Flash com 45,5, um ganho de 24 pontos proveniente de mid-training e RL sobre a mesma base. A variância atribuível ao pós-treinamento é cerca de cinco vezes a variância atribuível a toda a diferença de parâmetros entre os dois modelos.

Essa é a descoberta que o par produz em conjunto, e ela é maior do que qualquer um dos modelos isoladamente. Também explica por que a Cognition está disposta a vender o menor por um quinto do preço: a parte cara do SWE-2 nunca foi o modelo base. Eram os dados, os verificadores e os ambientes de RL, e o Flash reutiliza esse investimento em uma base mais barata.

Duas ressalvas cabem aqui. A comparação é uma tabela de um fornecedor sobre benchmarks que o próprio fornecedor controla, e nada nela foi reproduzido de forma independente. E os modelos base não são insumos equivalentes — o Kimi K3 chega com contexto de um milhão de tokens e visão nativa, enquanto o Inkling-Small é uma arquitetura diferente com suporte multimodal diferente —, então "mesmo pós-treinamento, base mais barata" é o enquadramento da Cognition, e não uma variável isolada.

A assimetria na definição de esforço

O SWE-2 foi lançado com três níveis documentados de esforço de raciocínio — medium, high e max — e o lançamento da Cognition em setembro explicou para que servia cada um: o medium parte para a ação mais cedo, enquanto o high e o max planejam mais, exploram mais o código-fonte e gastam mais com verificação. Também foi afirmado que a melhor pontuação de cada modelo entre as configurações de esforço era reportada.

O SWE-2 Flash não documenta nenhum controle de esforço. O post de lançamento não menciona nenhum, e a tabela de benchmarks não traz coluna de configuração. Portanto, a comparação como publicada é o SWE-2 em seu melhor contra o Flash em uma configuração não declarada — o que só seria uma comparação justa se o Flash tivesse uma única configuração, e injusta em uma direção desconhecida se tiver várias.

Se o Flash genuinamente não tem controle de esforço, isso é uma diferença de produto que vale a pena explicitar, em vez de uma lacuna na documentação. O esforço é como você troca custo por profundidade com base em cada tarefa, e um modelo sem isso oferece uma única configuração para uma fila que contém tanto trabalho trivial quanto difícil. É exatamente essa a troca que a proporção deve permitir que você faça.

Em qual fila cada um se encaixa

O enquadramento da própria Cognition é o guia mais honesto aqui. Ela afirma que os modelos menores "são cada vez mais capazes de lidar com uma parcela significativa do trabalho que os agentes de software realizam, como automações, revisão de código, desenvolvimento de recursos e atualização de documentação", e que o SWE-2 Flash foi desenvolvido para esse trabalho. Leia essa lista em confronto com o formato do benchmark e os dois concordam: tarefas delimitadas, uma definição clara de concluído, alto volume, baixa tolerância à latência.

• Se a tarefa cabe em um prompt e a definição de concluído é inequívoca — uma rodada de revisão, uma atualização de documentação, uma funcionalidade pequena, uma automação agendada —, o Flash é o padrão adequado, e a aritmética de custo por tarefa resolvida acima indica que ele é várias vezes mais barato mesmo quando resolve menos tarefas.

• Se o agente tiver de decidir o que fazer a seguir mais do que um punhado de vezes — uma migração, um refactor entre repositórios, uma sessão de depuração em que a primeira hipótese costuma estar errada —, a diferença de 13 pontos no DeepSWE é exatamente o que você está a comprar com o SWE-2, e a proporção não compensa isso.

• Se você não conseguir identificar qual desses uma tarefa é, comece no Flash e escale. Essa é a decisão para a qual a Cognition criou os níveis de esforço no SWE-2, e a ausência de controle de esforço no Flash faz da escalada uma decisão de roteamento em vez de um parâmetro.

O erro a evitar é usar a vitória de 0,2 ponto como licença para mexer na fila difícil. É um único benchmark, uma única edição, um único fornecedor, e está dentro da própria sensibilidade do instrumento.

Fora do Devin, nenhum dos dois é candidato.

Nenhum dos modelos tem API. Nenhum tem pesos públicos. Se você usa seu próprio harness, esse par não é uma escolha que você possa fazer, e a janela gratuita não ajuda — é um teste dentro de um produto que você precisa comprar.

A metade alcançável desta pilha é a base. O Kimi K3 é roteado no OrcaRouter como kimi/kimi-k3 a US$ 3,00 por milhão de tokens de entrada e US$ 15,00 por milhão de tokens de saída, com janela de contexto de 1M de tokens e chamada nativa de ferramentas, pelo preço de tabela do provedor, sem acréscimo de margem. Uma única API cobre mais de 200 modelos, o que torna a divisão de filas acima implementável fora do Devin: uma regra de roteamento pode enviar trabalho delimitado a um modelo barato e escalar as tarefas de horizonte longo para um modelo mais forte, sem que o cliente saiba qual deles respondeu. O failover automático deve ficar atrás do caminho escalado, porque o modelo para o qual você escala é justamente aquele que você não pode se dar ao luxo de ter indisponível.

Isso é um produto diferente do SWE-2 Flash, e não é um substituto para ele. É o que você faz quando aquilo que deseja avaliar não tem endpoint.

O que resolveria isso

Três divulgações transformariam esta comparação de uma tabela de fornecedor em evidência. Uma execução independente do DeepSWE 1.1 e do Terminal-Bench 4.0 em ambos os modelos, feita por alguém que não seja da Cognition e não use o harness da Cognition. Uma declaração da configuração de esforço e do scaffold por trás de cada linha da tabela do Flash, correspondendo ao que o lançamento do SWE-2 forneceu. E uma execução repetida, para que uma margem de 0,2 ponto possa ser distinguida da variância entre execuções.

Até então, a interpretação defensável é a mais restrita. O SWE-2 Flash é um irmão otimizado para custo, construído sobre uma base muito menor, empatado com o SWE-2 no benchmark mais recente e claramente atrás em trabalhos de longo horizonte, vendido a uma proporção que o torna várias vezes mais barato por tarefa resolvida com as evidências disponíveis. Essa é uma boa decisão de produto e uma alegação técnica modesta. A vitória de 0,2 ponto não é evidência de que ele substituiu algo — é evidência de que, em um instrumento, em um dia, a diferença diminuiu o suficiente para desaparecer no ruído.