AlphaProof Code vs SWE-2: dos sistemas agénticos, dos ideas completamente distintas de la prueba

Tanto AlphaProof Code como Cognition SWE-2 son sistemas de agentes que escriben software automáticamente, y ambos se comercializaron al público con la palabra «agente». Más allá de eso, los dos lanzamientos apenas habitan el mismo universo. Cognition SWE-2, anunciado en septiembre de 2026 y disponible solo dentro de Devin Desktop y la CLI, escribe parches: obtuvo un 50,0 % en FrontierCode 1.1 Main, a menos de un punto de Claude Fable 5.1, con un 50,9 %, por un 64 % menos de coste, según las propias cifras de Cognition. AlphaProof Code, anunciado por Google DeepMind el 10 de noviembre de 2026, escribe demostraciones: aproximadamente 6,5 millones de líneas de Lean que establecen que el binario AArch64 compilado de Signal satisface diez teoremas de seguridad, verificados por el kernel de Lean en lugar de por una rúbrica. La salida de un sistema puede estar mal de una forma que un revisor humano podría detectar. La salida del otro no puede estar mal en absoluto — o el kernel la rechaza y el trabajo continúa.

"Correcto" significa dos cosas diferentes

Empieza por la palabra, porque es donde fallan las comparaciones entre estos dos. Cuando Cognition informa de que SWE-2 resolvió el 50.0% de las tareas Main de FrontierCode 1.1, "resolvió" significa que se produjo un parche que el proceso de calificación aceptó como fusionable. Las tareas de FrontierCode fueron escritas por más de 20 mantenedores de código abierto, con más de 40 horas por tarea, y cada mantenedor definió qué significa "fusionable" en su propio repositorio. Es un diseño de evaluación serio y aun así es un juicio humano sobre un diff.

Cuando DeepMind informa de que se ha demostrado un teorema para libsignal v0.105.4, "demostrado" significa que el kernel de Lean aceptó una derivación a partir de la especificación. No hay ningún revisor con una opinión. El agente guardián comprueba cada envío con el comparador contra una copia reservada de la especificación, y Lean comprueba el resto, que es como un equipo de cinco investigadores pudo dejar el 99 % de una base de código sin revisar por humanos y aun así afirmar algo sobre toda ella.

Esa diferencia determina para qué sirve cada sistema. SWE-2 puede escribir código. AlphaProof Code no puede escribir código de producción y no lo intenta; demuestra que el código que escribió otra persona hace lo que se especificó, y también puede demostrar que una versión deliberadamente defectuosa no lo hace: los dos fallos reintroducidos en Signal, un fallo de estado débil y un fallo de subgrupo pequeño, ambos produjeron demostraciones de inseguridad verificadas por máquina.

Donde los dos son genuinamente parecidos

Más de lo que cabría esperar, y lo interesante son los paralelismos. Ambos son caros de ejecutar. AlphaProof Code utilizó equipos de 40 a 80 agentes que se ejecutaban entre 24 y 72 horas en una sola máquina por equipo, durante cuatro semanas, con un agente supervisor por encima del orquestador del equipo y agentes que auditaban sus propios resultados para señalar aproximadamente el 1 % para revisión humana. El coste de SWE-2 no se publica por token porque Cognition no vende tokens; el precio es una suscripción a Devin, y la afirmación de que cuesta un 64 % menos es una comparación con Claude Fable 5.1 a tarifas de lista.

Ambos dependen de la misma clase de modelo base. SWE-2 es un post-entrenamiento de Kimi K3 de M​oonshot AI, una mezcla de expertos de 2,8 billones de parámetros con aproximadamente 104 mil millones de parámetros activos por token, y Cognition afirma que su aprendizaje por refuerzo añadió de 5 a 6 puntos en varias pruebas de referencia. Los agentes de demostración de AlphaProof Code funcionaban con G​emini 4 Carbon, y Claude Opus 5.5 fue uno de los modelos utilizados para redactar y revisar las especificaciones Lean de Signal. Ninguno de los dos laboratorios construyó sus agentes desde cero.

Ambos dependen de un verificador para saber si el trabajo está terminado. Los verificadores de Cognition son las suites de pruebas y los juicios de los mantenedores codificados en FrontierCode. El verificador de DeepMind es un kernel de demostración. El verificador es donde se fija el techo de cada sistema, y esa es la frase que merece la pena recordar de cualquiera de los dos artículos.

El problema de honestidad del benchmark, lado a lado

AlphaProof Code no tiene una tabla de benchmarks, así que las advertencias habituales sobre las cifras de proveedores no se le aplican: en su lugar tiene un teorema, y un teorema es binario. Lo que sí tiene es un conjunto de exclusiones estructurales. Ninguna garantía poscuántica para la propiedad de curación de SPQR, porque los teoremas del ratchet suponen que el atacante elige las claves de SPQR. Ninguna privacidad de la carga útil. Ninguna autenticación del respondedor para el primer mensaje de un handshake que nunca se promueve. Una sesión por promoción, longitudes de mensaje fijas, sin estado multidispositivo, claves de identidad de confianza en el primer uso. Un término de falsificación de MAC de 8 bytes que crece de forma cuadrática y se vuelve vacuo a aproximadamente 25.000 mensajes en una sola sesión. Treinta y siete rutinas con contratos en lugar de verificadas, incluidas AES-256-CBC, X25519, Kyber1024 y ML-KEM-768. Y el sujeto es la compilación del equipo de libsignal-cli como un proceso nuevo, no la aplicación Signal.

Las salvedades de SWE-2 son estadísticas más que estructurales, y la más contundente es la escalabilidad a lo largo de la longitud de las tareas. Al pasar de Terminal-Bench 2.1 a Terminal-Bench 4, Claude Fable 5.1 pierde alrededor de 35,6 puntos y GPT-6 Astra alrededor de 32,0. SWE-2 pierde alrededor de 65,5, y su base Kimi K3 alrededor de 66,8, por lo que, en trabajo de horizonte largo, se degrada aproximadamente el doble de rápido que los modelos de frontera con los que se compara. Terminal-Bench 4 es la edición actual y 2.1 es la reemplazada, lo que significa que la fila en la que SWE-2 lidera es el benchmark retirado y la fila en la que queda por detrás es el vigente.

Ambos informes son inusualmente sinceros para los estándares de las publicaciones de lanzamiento. La diferencia está en lo que cuesta la sinceridad. Las exclusiones de DeepMind acotan la afirmación, pero la dejan siendo cierta. Las exclusiones de Cognition delimitan la aplicabilidad de la afirmación, y el lector tiene que decidir si una puntuación del 27,3 % en el actual benchmark de horizonte largo importa para su carga de trabajo.

Servicio, precio y eso que ninguno de los dos te vende

• AlphaProof Code — marco de investigación. Sin endpoint, sin pesos, sin precio, sin lista de espera. Los artefactos son un desarrollo en Lean en github.com/google-deepmind/code-verification sin licencia indicada en la página de aterrizaje.

• Cognition SWE-2 — propietario, exclusivo de Devin. No hay tarifa publicada por token, ni ID de modelo al que llamar, ni pesos. Si quieres SWE-2, compras Devin.

• Los modelos base — Kimi K3 está en el catálogo de OrcaRouter a $3 por millón de tokens de entrada y $15 por millón de tokens de salida, con el precio de lista del proveedor trasladado sin margen (0 %). Claude Opus 5.5, uno de los modelos usados para redactar las especificaciones de Signal, está a $4 y $20. Gemini 4 Carbon, que impulsó a los agentes de demostración de AlphaProof Code, no es algo que ofrezcamos, y nada aquí sugiere que alojemos AlphaProof Code en sí.

Esa tercera línea es la única parte de esta comparación con una factura adjunta que puedes pagar hoy. Si estás construyendo un flujo de trabajo de codificación con agentes, la elección práctica no está entre estos dos sistemas — sino entre los modelos que hay debajo, y tanto Kimi K3 como Claude Opus 5.5 están a una clave de distancia con conmutación automática por error si un proveedor tiene una mala tarde. Un DSL de enrutamiento te permite enviar la misma tarea a dos de ellos y comparar los diffs antes de que ninguno toque un repositorio.

¿Con qué modo de fallo puedes vivir?

SWE-2 falla al producir un parche que no compila, o que compila y es incorrecto, o que es correcto pero no se puede fusionar. Cada uno de esos fallos se puede descubrir leyendo el diff o ejecutando las pruebas, y cada uno de ellos te cuesta un ciclo de revisión. El sistema está diseñado en torno a esto: Cognition informa best-of-N entre configuraciones de esfuerzo de razonamiento, que es lo que se hace cuando la salida es probabilística.

AlphaProof Code falla al no producir una prueba, y en ese punto los agentes siguen trabajando —durante horas, a veces días—, con una compilación limpia que puede tardar varias horas y reparaciones de pruebas desencadenadas por un cambio de una sola línea en el código fuente. El artículo dice que hay un «amplio margen de optimización» tanto en las pruebas generadas como en las técnicas, lo cual es una forma educada de decir que el proceso es lento y frágil. Pero cuando tiene éxito, no hay ningún ciclo de revisión, porque no hay nada que revisar. Lean ya ha dado su aprobación.

Para un equipo que lanza una función el jueves, esa disyuntiva es obvia y SWE-2 la gana. Para un equipo que lanza un protocolo criptográfico que protegerá conversaciones durante una década, toda la categoría de SWE-2 es la herramienta equivocada, y el hecho de que haya obtenido un 92,8 % en Terminal-Bench 2.1 es irrelevante.

¿Qué haría que estos fueran realmente comparables?

Una cosa: un benchmark que mida si la salida de un agente es correcta en lugar de si resulta aceptada. FrontierCode se aproxima a esto mediante la fusionabilidad definida por los mantenedores, que es lo más cerca que ha llegado la generación de código. AlphaProof Code lo elude por completo al elegir un dominio donde un kernel puede arbitrar. Si alguien construyera un conjunto de tareas en el que la respuesta correcta sea verificable mecánicamente contra una especificación —no una suite de pruebas, una especificación—, ambos sistemas podrían puntuarse sobre un mismo eje y la comparación tendría sentido.

Hasta entonces, la lectura útil es más limitada. AlphaProof Code te dice que un equipo de cinco personas con herramientas de agentes puede producir un corpus de demostraciones que antes tardaba años, lo cual es una afirmación sobre cuánto cuesta la verificación. SWE-2 te dice que un modelo base abierto post-entrenado puede situarse a un punto de la frontera en un benchmark de programación con un 64 % menos de coste, lo cual es una afirmación sobre cuánto cuesta programar. Ambos costes están bajando. Están bajando a ritmos distintos, por razones distintas, y una clasificación que los pusiera en la misma tabla te estaría mintiendo.

Si quiere la conclusión práctica: use sistemas con la forma de SWE-2 para el código que una suite de pruebas puede validar, y empiece a leer el repositorio de artefactos de AlphaProof Code si tiene código que una suite de pruebas no puede validar. La segunda categoría es más pequeña de lo que la mayoría de los equipos cree y más trascendente de lo que cualquiera de ellos admite.