AlphaProof Code vs SWE-2: Dois Sistemas Agênticos, Duas Ideias Completamente Diferentes de Prova

AlphaProof Code e Cognition SWE-2 são sistemas de agentes que escrevem software automaticamente, e ambos foram vendidos ao público com base na palavra "agente". Fora isso, os dois lançamentos quase não habitam o mesmo universo. Cognition SWE-2, anunciado em setembro de 2026 e disponível apenas dentro do Devin Desktop e da CLI, escreve patches: obteve 50,0% no FrontierCode 1.1 Main, a menos de um ponto de Claude Fable 5.1, com 50,9%, por 64% menos dinheiro, segundo números da própria Cognition. AlphaProof Code, anunciado pelo Google DeepMind em 10 de novembro de 2026, escreve provas: cerca de 6,5 milhões de linhas de Lean estabelecendo que o binário AArch64 compilado do Signal satisfaz dez teoremas de segurança, verificadas pelo kernel do Lean, e não por uma rubrica. A saída de um sistema pode estar errada de um modo que um revisor humano talvez detecte. A saída do outro não pode estar errada de forma alguma — ou o kernel a rejeita e o trabalho continua.

"Correto" significa duas coisas diferentes

Comece pela palavra, porque é aí que as comparações entre esses dois dão errado. Quando a Cognition informa que o SWE-2 resolveu 50,0% das tarefas Main do FrontierCode 1.1, "resolveu" significa que foi produzido um patch que o processo de avaliação aceitou como mesclável. As tarefas do FrontierCode foram elaboradas com mais de 20 mantenedores de código aberto, com mais de 40 horas por tarefa, e cada mantenedor definiu o que "mesclável" significa em seu próprio repositório. Esse é um design de avaliação sério, e ainda é um julgamento humano sobre um diff.

Quando o DeepMind relata que um teorema foi provado para libsignal v0.105.4, "provado" significa que o kernel do Lean aceitou uma derivação a partir da especificação. Não há revisor com opinião. O agente gatekeeper verifica cada submissão com comparador contra uma cópia reservada da especificação, e o Lean verifica o restante — é assim que uma equipe de cinco pesquisadores pôde deixar 99% de uma base de código sem revisão humana e ainda assim fazer uma afirmação sobre toda ela.

Essa diferença determina para que cada sistema é bom. O SWE-2 consegue escrever código. O AlphaProof Code não consegue escrever código de produção e não tenta; ele demonstra que o código escrito por outra pessoa faz o que foi especificado, e também pode demonstrar que uma versão deliberadamente quebrada não faz — os dois bugs reintroduzidos no Signal, um bug de estado fraco e um bug de subgrupo pequeno, ambos produziram provas de insegurança verificadas por máquina.

Onde os dois são genuinamente semelhantes

Mais do que você esperaria, e os paralelos são a parte interessante. Ambos são caros de operar. O AlphaProof Code usou equipes de 40 a 80 agentes rodando de 24 a 72 horas em uma única máquina por equipe, ao longo de quatro semanas, com um agente supervisor acima do orquestrador da equipe e agentes auditando a própria saída para sinalizar cerca de 1% para revisão humana. O custo do SWE-2 não é publicado por token porque a Cognition não vende tokens; o preço é uma assinatura do Devin, e a alegação de 64% mais barato é uma comparação com o Claude Fable 5.1 nas tarifas de tabela.

Ambos dependem da mesma classe de modelo base. O SWE-2 é um pós-treinamento do Kimi K3 da M​oonshot AI, um modelo de mistura de especialistas de 2,8 trilhões de parâmetros com cerca de 104 bilhões de parâmetros ativos por token, e a Cognition afirma que seu aprendizado por reforço acrescentou de 5 a 6 pontos em vários benchmarks. Os agentes de prova do AlphaProof Code foram alimentados pelo G​emini 4 Carbon, e o Claude Opus 5.5 estava entre os modelos usados para redigir e revisar as especificações Lean do Signal. Nenhum dos laboratórios construiu seus agentes do zero.

Ambos dependem de um verificador para saber se o trabalho está concluído. Os verificadores da Cognition são as suítes de teste e os julgamentos dos mantenedores codificados no FrontierCode. O verificador da DeepMind é um kernel de prova. O verificador é onde o teto de cada sistema é definido, e essa é a frase que vale a pena lembrar de qualquer um dos dois artigos.

O problema da honestidade dos benchmarks, lado a lado

AlphaProof Code não tem tabela de benchmark, então as ressalvas habituais sobre números de fornecedores não se aplicam a ele — ele tem um teorema, em vez disso, e um teorema é binário. O que ele tem é um conjunto de exclusões estruturais. Nenhuma garantia pós-quântica para a propriedade de recuperação do SPQR, porque os teoremas do ratchet assumem que o atacante escolhe as chaves SPQR. Sem privacidade do payload. Sem autenticação do respondente para a primeira mensagem de um handshake que nunca é promovido. Uma sessão por promoção, comprimentos de mensagem fixos, sem estado multi-dispositivo, chaves de identidade trust-on-first-use. Um termo de falsificação de MAC de 8 bytes que cresce quadraticamente e se torna vazio em cerca de 25.000 mensagens em uma única sessão. Trinta e sete rotinas com contrato em vez de verificadas, incluindo AES-256-CBC, X25519, Kyber1024 e ML-KEM-768. E o objeto é a build da equipe do libsignal-cli como um processo novo, não o app Signal.

As ressalvas do SWE-2 são estatísticas, não estruturais, e a mais crítica é a escalabilidade ao longo do comprimento da tarefa. Passando do Terminal-Bench 2.1 para o Terminal-Bench 4, Claude Fable 5.1 perde cerca de 35,6 pontos e GPT-6 Astra cerca de 32,0. O SWE-2 perde cerca de 65,5, e sua base Kimi K3 cerca de 66,8 — portanto, em trabalho de longo horizonte, ele degrada aproximadamente duas vezes mais rápido que os modelos de fronteira com os quais é comparado. O Terminal-Bench 4 é a edição atual e o 2.1 é a substituída, o que significa que a linha em que o SWE-2 lidera é o benchmark aposentado e a linha em que fica atrás é o vigente.

Ambos os relatórios são incomumente francos para os padrões de posts de lançamento. A diferença está no que a franqueza custa. As exclusões da DeepMind restringem a alegação, mas a mantêm verdadeira. As exclusões da Cognition delimitam a aplicabilidade da alegação, e o leitor precisa decidir se uma pontuação de 27,3% no benchmark atual de horizonte longo importa para sua carga de trabalho.

Atendimento, preço e aquilo que nenhum dos dois vende para você

• AlphaProof Code — estrutura de investigação. Sem endpoint, sem pesos, sem preço, sem lista de espera. Os artefactos são um desenvolvimento em Lean em github.com/google-deepmind/code-verification, sem licença indicada na página inicial.

• Cognition SWE-2 — proprietário, exclusivo do Devin. Não há tabela de preços por token publicada, nem ID de modelo para chamar, nem pesos. Se você quiser o SWE-2, precisa comprar o Devin.

• Os modelos base — O Kimi K3 está no catálogo do OrcaRouter a US$ 3 por milhão de tokens de entrada e US$ 15 por milhão de tokens de saída, preço de tabela do provedor repassado com 0% de margem. O Claude Opus 5.5, um dos modelos usados para redigir as especificações do Signal, está a US$ 4 e US$ 20. O G​emini 4 Carbon, que alimentava os agentes de prova do AlphaProof Code, não é algo que oferecemos, e nada aqui sugere que hospedamos o próprio AlphaProof Code.

Essa terceira linha é a única parte desta comparação com uma fatura anexada que você pode pagar hoje. Se você está construindo um fluxo de trabalho de codificação agêntico, a escolha prática não é entre esses dois sistemas — é entre os modelos por trás deles, e tanto o Kimi K3 quanto o Claude Opus 5.5 estão a uma chave de distância com failover automático caso um provedor tenha um dia ruim. Uma DSL de roteamento permite enviar a mesma tarefa para dois deles e comparar os diffs antes que qualquer um toque em um repositório.

Com qual modo de falha você consegue conviver?

SWE-2 falha ao produzir um patch que não compila, ou que compila e está errado, ou que está certo e não pode ser mesclado. Cada uma dessas falhas é detectável lendo o diff ou executando os testes, e cada uma delas custa um ciclo de revisão. O sistema é projetado em torno disso: a Cognition relata best-of-N entre configurações de esforço de raciocínio, que é o que você faz quando a saída é probabilística.

O AlphaProof Code falha por não produzir uma prova, e nesse momento os agentes continuam trabalhando — por horas, às vezes dias — com um build limpo que pode levar várias horas e reparos de prova acionados por uma alteração de uma linha no código-fonte. O artigo diz que há "bastante espaço para otimização" tanto nas provas geradas quanto nas técnicas, o que é uma forma educada de dizer que o processo é lento e frágil. Mas, quando dá certo, não há ciclo de revisão algum, porque não há nada para revisar. O Lean já concordou.

Para uma equipe entregando uma funcionalidade na quinta-feira, essa troca é óbvia, e o SWE-2 leva a melhor. Para uma equipe entregando um protocolo criptográfico que protegerá conversas por uma década, toda a categoria do SWE-2 é a ferramenta errada, e o fato de ele ter alcançado 92,8% no Terminal-Bench 2.1 é irrelevante.

O que os tornaria realmente comparáveis?

Uma coisa: um benchmark que mede se a saída de um agente está correta em vez de se ela é aceita. O FrontierCode aproxima isso com a capacidade de mesclagem definida pelos mantenedores, que é o mais perto que a geração de código chegou. O AlphaProof Code contorna isso completamente ao escolher um domínio no qual um kernel pode julgar. Se alguém criasse um conjunto de tarefas em que a resposta correta fosse verificável mecanicamente em relação a uma especificação — não a uma suíte de testes, a uma especificação —, os dois sistemas poderiam ser avaliados em um único eixo, e a comparação significaria algo.

Até então, a leitura útil é mais estreita. O AlphaProof Code diz que uma equipe de cinco pessoas com ferramentas de agentes pode produzir um corpus de provas que antes levava anos, o que é uma afirmação sobre quanto custa a verificação. O SWE-2 diz que uma base de pesos abertos pós-treinada pode ficar a um ponto da fronteira em um benchmark de programação com 64% menos custo, o que é uma afirmação sobre quanto custa programar. Ambos os custos estão caindo. Eles estão caindo a taxas diferentes, por razões diferentes, e um ranking que os colocasse na mesma tabela estaria mentindo para você.

Se quiser a conclusão prática: use sistemas no formato SWE-2 para código que uma suíte de testes consegue validar, e comece a ler o repositório de artefatos do AlphaProof Code se você tiver código que uma suíte de testes não consegue validar. A segunda categoria é menor do que a maioria das equipes imagina e mais consequente do que qualquer uma delas admite.