AlphaProof Code vs SWE-2 : deux systèmes agentiques, deux conceptions complètement différentes de la preuve

AlphaProof Code et Cognition SWE-2 sont tous deux des systèmes d’agents qui écrivent des logiciels automatiquement, et tous deux ont été vendus au public sur le mot « agent ». Au-delà de cela, les deux lancements n’habitent guère le même univers. Cognition SWE-2, annoncé en septembre 2026 et disponible uniquement dans Devin Desktop et la CLI, écrit des correctifs : il a obtenu 50,0 % sur FrontierCode 1.1 Main, à un point de Claude Fable 5.1 à 50,9 %, pour 64 % de coût en moins, selon les propres chiffres de Cognition. AlphaProof Code, annoncé par Google DeepMind le 10 novembre 2026, écrit des preuves : environ 6,5 millions de lignes de Lean établissant que le binaire AArch64 compilé de Signal satisfait dix théorèmes de sécurité, vérifiés par le noyau de Lean plutôt que par une grille d’évaluation. La sortie d’un système peut être fausse d’une manière qu’un relecteur humain pourrait détecter. Celle de l’autre ne peut pas être fausse du tout — ou le noyau la rejette et le travail se poursuit.

« Correct » signifie deux choses différentes.

Commencez par le mot, car c’est là que les comparaisons entre ces deux-là font fausse route. Quand Cognition rapporte que SWE-2 a résolu 50,0 % des tâches Main de FrontierCode 1.1, « résolu » signifie qu’un patch a été produit et que le processus de notation l’a accepté comme fusionnable. Les tâches de FrontierCode ont été rédigées avec plus de 20 mainteneurs open source, à raison de plus de 40 heures par tâche, chaque mainteneur définissant ce que « fusionnable » signifie dans son propre dépôt. C’est une conception d’évaluation sérieuse, et cela reste un jugement humain sur un diff.

Quand DeepMind annonce qu'un théorème a été prouvé pour libsignal v0.105.4, « prouvé » signifie que le noyau de Lean a accepté une dérivation à partir de la spécification. Il n'y a aucun relecteur pour donner son avis. L'agent gardien vérifie chaque soumission à l'aide d'un comparateur par rapport à une copie mise de côté de la spécification, et Lean vérifie le reste — c'est ainsi qu'une équipe de cinq chercheurs a pu laisser 99 % d'une base de code sans relecture humaine et malgré tout faire une affirmation à propos de l'ensemble.

Cette différence détermine ce à quoi chaque système est adapté. SWE-2 peut écrire du code. AlphaProof Code ne peut pas écrire de code de production et ne cherche pas à le faire ; il démontre que du code écrit par quelqu’un d’autre fait ce qui était spécifié, et il peut aussi démontrer qu’une version délibérément défectueuse ne le fait pas — les deux bugs Signal réintroduits, un bug d’état faible et un bug de petit sous-groupe, ont tous deux produit des preuves d’insécurité vérifiées par machine.

Là où les deux se ressemblent véritablement

Bien plus qu’on ne pourrait le croire, et ce sont les parallèles qui sont intéressants. Les deux sont coûteux à exploiter. AlphaProof Code utilisait des équipes de 40 à 80 agents fonctionnant de 24 à 72 heures sur une seule machine par équipe, sur quatre semaines, avec un agent superviseur au-dessus de l’orchestrateur d’équipe et des agents auditant leur propre production pour signaler environ 1 % en vue d’un examen humain. Le coût de SWE-2 n’est pas publié par token parce que Cognition ne vend pas de tokens ; le prix est un abonnement Devin, et l’affirmation de 64 % moins cher est une comparaison avec Claude Fable 5.1 aux tarifs catalogue.

Tous deux reposent sur la même classe de modèle de base. SWE-2 est un post-entraînement de Kimi K3 de Moonshot AI, un mélange d’experts de 2,8 billions de paramètres dont environ 104 milliards sont actifs par token, et Cognition affirme que son apprentissage par renforcement a ajouté 5 à 6 points sur plusieurs benchmarks. Les agents de preuve d’AlphaProof Code étaient alimentés par Gemini 4 Carbon, et Claude Opus 5.5 figurait parmi les modèles utilisés pour rédiger et réviser les spécifications Lean de Signal. Aucun des deux laboratoires n’a construit ses agents à partir de zéro.

Les deux dépendent d’un vérificateur pour savoir si le travail est terminé. Les vérificateurs de Cognition sont les suites de tests et les jugements des mainteneurs encodés dans FrontierCode. Le vérificateur de DeepMind est un noyau de preuve. C’est au niveau du vérificateur que se fixe le plafond de chaque système, et c’est la phrase à retenir de l’un ou l’autre article.

Le problème d’honnêteté des benchmarks, côte à côte

AlphaProof Code n’a pas de tableau de référence, donc les réserves habituelles sur les chiffres des fournisseurs ne s’y appliquent pas — il a un théorème à la place, et un théorème est binaire. Ce qu’il a, en revanche, c’est un ensemble d’exclusions structurelles. Aucune garantie post-quantique pour la propriété de guérison de SPQR, car les théorèmes de ratchet supposent que l’attaquant choisit les clés SPQR. Aucune confidentialité de la charge utile. Aucune authentification du répondeur pour le premier message d’une poignée de main qui n’est jamais promue. Une session par promotion, des longueurs de message fixes, aucun état multi-appareil, des clés d’identité de type trust-on-first-use. Un terme de falsification MAC de 8 octets qui croît quadratiquement et devient vide à environ 25 000 messages dans une même session. Trente-sept routines sous contrat plutôt que vérifiées, dont AES-256-CBC, X25519, Kyber1024 et ML-KEM-768. Et le sujet est la version de libsignal-cli compilée par l’équipe en tant que processus fraîchement démarré, pas l’application Signal.

Les réserves concernant SWE-2 sont d’ordre statistique plutôt que structurel, et la plus aiguë concerne la scalabilité en fonction de la longueur des tâches. En passant de Terminal-Bench 2.1 à Terminal-Bench 4, Claude Fable 5.1 perd environ 35,6 points et GPT-6 Astra environ 32,0. SWE-2 en perd environ 65,5, et sa base Kimi K3 environ 66,8 — ainsi, sur des tâches à long horizon, il se dégrade environ deux fois plus vite que les modèles de pointe auxquels il est comparé. Terminal-Bench 4 est l’édition actuelle et 2.1 l’édition supplantée, ce qui signifie que la ligne où SWE-2 est en tête correspond au benchmark retiré et celle où il est à la traîne au benchmark actif.

Les deux rapports font preuve d’une franchise inhabituelle pour des articles de lancement. La différence, c’est ce que coûte la franchise. Les exclusions de DeepMind restreignent l’affirmation mais la laissent vraie. Les exclusions de Cognition délimitent l’applicabilité de l’affirmation, et le lecteur doit décider si un score de 27,3 % au benchmark actuel à long horizon compte pour sa charge de travail.

Le service, le prix, et ce que ni l’un ni l’autre ne vous vend.

• AlphaProof Code — framework de recherche. Aucun endpoint, aucun poids, aucun prix, aucune liste d’attente. Les artefacts sont un développement Lean à github.com/google-deepmind/code-verification, sans licence mentionnée sur la page d’accueil.

• Cognition SWE-2 — propriétaire, exclusivement Devin. Aucune grille tarifaire par token publiée, aucun ID de modèle à appeler, aucun poids. Si vous voulez SWE-2, vous achetez Devin.

• Les modèles de base — Kimi K3 figure au catalogue d'OrcaRouter à 3 $ par million de tokens d'entrée et 15 $ par million de tokens de sortie, prix catalogue du fournisseur répercuté avec 0 % de marge. Claude Opus 5.5, l'un des modèles utilisés pour rédiger les spécifications de Signal, est proposé à 4 $ et 20 $. Gemini 4 Carbon, qui alimentait les agents de preuve d'AlphaProof Code, ne fait pas partie de ce que nous proposons, et rien ici ne suggère que nous hébergions AlphaProof Code lui-même.

Cette troisième ligne est la seule partie de cette comparaison à laquelle est attachée une facture que vous pouvez régler aujourd’hui. Si vous construisez un workflow de codage agentique, le choix pratique ne se situe pas entre ces deux systèmes — mais entre les modèles qui les sous-tendent, et Kimi K3 comme Claude Opus 5.5 ne sont qu’à une clé d’accès près, avec un basculement automatique si un fournisseur passe un mauvais quart d’heure. Un DSL de routage vous permet d’envoyer la même tâche à deux d’entre eux et de comparer les diffs avant que l’un ou l’autre ne touche à un dépôt.

Quel mode de défaillance pouvez-vous tolérer ?

SWE-2 échoue en produisant un patch qui ne compile pas, ou qui compile et est incorrect, ou qui est correct mais impossible à fusionner. Chacune de ces défaillances est détectable en lisant le diff ou en exécutant les tests, et chacune d'elles vous coûte un cycle de revue. Le système est conçu autour de cela : Cognition rapporte le best-of-N selon les paramètres d'effort de raisonnement, ce que l'on fait lorsque la sortie est probabiliste.

AlphaProof Code échoue en ne produisant pas de preuve, à partir de ce moment les agents continuent de travailler — pendant des heures, parfois des jours, avec une compilation propre qui peut prendre plusieurs heures et des réparations de preuve déclenchées par une modification d’une ligne du code source. L’article indique qu’il existe « une marge d’optimisation substantielle » tant dans les preuves générées que dans les techniques, ce qui est une façon polie de dire que le processus est lent et fragile. Mais lorsqu’il réussit, il n’y a aucun cycle de relecture, car il n’y a rien à relire. Lean a déjà validé.

Pour une équipe qui livre une fonctionnalité jeudi, cet arbitrage est évident et SWE-2 l'emporte. Pour une équipe qui livre un protocole cryptographique destiné à protéger des conversations pendant une décennie, toute la catégorie de SWE-2 est le mauvais outil, et le fait qu'il ait obtenu 92,8 % sur Terminal-Bench 2.1 n'a aucune importance.

Qu’est-ce qui les rendrait réellement comparables ?

Une chose : un benchmark qui mesure si la sortie d’un agent est juste plutôt que si elle est acceptée. FrontierCode approxime cela par la possibilité de fusion définie par les mainteneurs, ce qui est ce que la génération de code a fait de plus proche. AlphaProof Code contourne entièrement le problème en choisissant un domaine où un noyau peut arbitrer. Si quelqu’un construisait une suite de tâches où la réponse correcte est mécaniquement vérifiable par rapport à une spécification — pas une suite de tests, une spécification — les deux systèmes pourraient être notés sur un seul axe et la comparaison aurait un sens.

D'ici là, la lecture utile est plus étroite. AlphaProof Code vous dit qu'une équipe de cinq personnes dotée d'outils d'agents peut produire un corpus de preuves qui prenait autrefois des années, ce qui est une affirmation sur ce que coûte la vérification. SWE-2 vous dit qu'un modèle de base à poids ouverts post-entraîné peut se situer à un point de la frontière sur un benchmark de codage pour un coût inférieur de 64 %, ce qui est une affirmation sur ce que coûte le codage. Les deux coûts baissent. Ils baissent à des rythmes différents, pour des raisons différentes, et un classement qui les mettrait dans le même tableau vous mentirait.

Si vous voulez la conclusion pratique : utilisez des systèmes du type SWE-2 pour le code qu’une suite de tests peut valider, et commencez à lire le dépôt d’artefacts AlphaProof Code si vous avez du code qu’une suite de tests ne peut pas valider. La seconde catégorie est plus petite que la plupart des équipes ne le pensent et plus lourde de conséquences que quiconque parmi elles ne l’admet.