AlphaProof Code vs SWE-2: twee agentische systemen, twee totaal verschillende opvattingen over bewijs

Zowel AlphaProof Code als Cognition SWE-2 zijn agentsystemen die automatisch software schrijven, en beide werden aan het publiek verkocht met het woord 'agent'. Verder horen de twee releases nauwelijks tot hetzelfde universum. Cognition SWE-2, aangekondigd in september 2026 en alleen beschikbaar binnen Devin Desktop en de CLI, schrijft patches: het scoorde 50,0% op FrontierCode 1.1 Main, binnen één punt van Claude Fable 5.1 met 50,9%, voor 64% minder geld, volgens Cognitions eigen cijfers. AlphaProof Code, aangekondigd door Google DeepMind op 10 november 2026, schrijft bewijzen: ruwweg 6,5 miljoen regels Lean die vaststellen dat de gecompileerde AArch64-binary van Signal aan tien beveiligingstheorema's voldoet, gecontroleerd door de kernel van Lean in plaats van door een rubric. De output van het ene systeem kan fout zijn op een manier die een menselijke beoordelaar zou kunnen opmerken. De output van het andere kan helemaal niet fout zijn — of de kernel verwerpt het en het werk gaat verder.

"Correct" betekent twee verschillende dingen.

Begin bij het woord, want daar gaan de vergelijkingen tussen deze twee mis. Wanneer Cognition meldt dat SWE-2 50,0% van de FrontierCode 1.1 Main-taken heeft opgelost, betekent "opgelost" dat er een patch is geproduceerd die het beoordelingsproces als mergebaar heeft geaccepteerd. De taken van FrontierCode werden opgesteld met meer dan 20 open-sourcemaintainers, kostten meer dan 40 uur per taak, waarbij elke maintainer bepaalde wat "mergebaar" betekent in de eigen repository. Dat is een serieuze evaluatieopzet, en het blijft een menselijke beoordeling van een diff.

Wanneer DeepMind meldt dat er een stelling is bewezen voor libsignal v0.105.4, betekent "bewezen" dat de kernel van Lean een afleiding uit de specificatie heeft geaccepteerd. Er is geen beoordelaar met een mening. De gatekeeper-agent controleert elke inzending met comparator tegen een achtergehouden kopie van de specificatie, en Lean controleert de rest — zo kon een team van vijf onderzoekers 99% van een codebase zonder menselijke beoordeling laten en toch een claim over het geheel maken.

Dat verschil bepaalt waar elk systeem goed voor is. SWE-2 kan code schrijven. AlphaProof Code kan geen productiecode schrijven en probeert dat ook niet; het toont aan dat code die iemand anders heeft geschreven doet wat was gespecificeerd, en het kan ook aantonen dat een opzettelijk kapotte versie dat niet doet — de twee opnieuw geïntroduceerde Signal-bugs, een zwakke-toestandbug en een kleine-ondergroepbug, leverden beide machinaal gecontroleerde bewijzen van onveiligheid op.

Waar de twee echt op elkaar lijken

Meer dan je zou verwachten, en de overeenkomsten zijn het interessante deel. Beide zijn duur om te draaien. AlphaProof Code gebruikte teams van 40 tot 80 agents die gedurende vier weken 24 tot 72 uur draaiden op één machine per team, met een superviserende agent boven de teamorkestrator en agents die hun eigen output controleerden om ongeveer 1% te markeren voor menselijke beoordeling. De kosten van SWE-2 worden niet per token gepubliceerd omdat Cognition geen tokens verkoopt; de prijs is een Devin-abonnement, en de bewering dat het 64% goedkoper is, is een vergelijking met Claude Fable 5.1 tegen lijsttarieven.

Beide zijn gebaseerd op hetzelfde type basismodel. SWE-2 is een post-train van Kimi K3 van Moonshot AI, een mixture-of-experts met 2,8 biljoen parameters waarvan ongeveer 104B parameters actief zijn per token, en Cognition zegt dat de reinforcement learning 5 tot 6 punten opleverde op verschillende benchmarks. De proofagents van AlphaProof Code werden aangedreven door Gemini 4 Carbon, en Claude Opus 5.5 was een van de modellen die werden gebruikt om de Lean-specificaties van Signal op te stellen en te reviewen. Geen van beide labs bouwde zijn agenten vanaf nul.

Beide zijn afhankelijk van een verifier om te weten of het werk klaar is. De verifiers van Cognition zijn de testsuites en beoordelingen door maintainers die in FrontierCode zijn vastgelegd. De verifier van DeepMind is een proof-kernel. De verifier bepaalt het plafond van elk systeem, en dat is de zin die uit beide papers de moeite waard is om te onthouden.

Het probleem van eerlijkheid bij benchmarks, naast elkaar

AlphaProof Code heeft geen benchmarktabel, dus de gebruikelijke voorbehouden over leverancierscijfers zijn er niet van toepassing — het heeft in plaats daarvan een theorema, en een theorema is binair. Wat het wel heeft, is een reeks structurele uitsluitingen. Geen post-kwantumgarantie voor de hersteleigenschap van SPQR, omdat de ratchet-stellingen aannemen dat de aanvaller SPQR-sleutels kiest. Geen payloadprivacy. Geen authenticatie van de responder voor het eerste bericht van een handshake die nooit wordt gepromoveerd. Eén sessie per promotie, vaste berichtlengtes, geen status voor meerdere apparaten, identiteitssleutels op basis van trust-on-first-use. Een 8-byte MAC-vervalsingsterm die kwadratisch groeit en bij ongeveer 25.000 berichten in één sessie vacueus wordt. Zevenendertig routines die zijn gecontracteerd in plaats van geverifieerd, waaronder AES-256-CBC, X25519, Kyber1024 en ML-KEM-768. En het onderwerp is de build van libsignal-cli door het team als een vers proces, niet de Signal-app.

De kanttekeningen bij SWE-2 zijn statistisch van aard, niet structureel, en de meest prangende is schaalbaarheid naarmate de taaklengte toeneemt. Van Terminal-Bench 2.1 naar Terminal-Bench 4 verliest Claude Fable 5.1 ongeveer 35,6 punten en GPT-6 Astra ongeveer 32,0. SWE-2 verliest ongeveer 65,5, en de Kimi K3-basis ervan ongeveer 66,8 — dus bij langdurig werk gaat het ongeveer twee keer zo snel achteruit als de frontiermodellen waarmee het wordt vergeleken. Terminal-Bench 4 is de huidige editie en 2.1 de achterhaalde, wat betekent dat de rij waarin SWE-2 vooroploopt de buiten gebruik gestelde benchmark is en de rij waarin het achterblijft de actieve.

Beide rapporten zijn ongewoon openhartig naar de maatstaven van aankondigingsposts. Het verschil zit in wat openhartigheid kost. DeepMinds uitsluitingen beperken de claim, maar laten die waar. Cognitions uitsluitingen begrenzen de toepasbaarheid van de claim, en de lezer moet beslissen of een score van 27,3% op de huidige langetermijnbenchmark van belang is voor diens werklast.

Serveren, prijs en het ding dat geen van beide je verkoopt

• AlphaProof Code — onderzoeksframework. Geen endpoint, geen gewichten, geen prijs, geen wachtlijst. De artefacten zijn een Lean-ontwikkeling op github.com/google-deepmind/code-verification, waarbij op de landingspagina geen licentie wordt vermeld.

• Cognition SWE-2 — propriëtair, uitsluitend voor Devin. Geen gepubliceerde tariefkaart per token, geen model-ID om aan te roepen, geen gewichten. Wil je SWE-2, dan koop je Devin.

• De basismodellen — Kimi K3 staat in de catalogus van OrcaRouter voor $3 per miljoen inputtokens en $15 per miljoen outputtokens, de providerlijstprijs wordt doorgegeven tegen 0% opslag. Claude Opus 5.5, een van de modellen die zijn gebruikt om de specificaties van Signal op te stellen, kost $4 en $20. G​emini 4 Carbon, dat de proofagenten van AlphaProof Code aandreef, bieden wij niet aan, en niets hier wijst erop dat wij AlphaProof Code zelf hosten.

Die derde regel is het enige onderdeel van deze vergelijking met een rekening eraan vast dat je vandaag kunt betalen. Als je een agentische codeerworkflow bouwt, is de praktische keuze niet tussen deze twee systemen — maar tussen de modellen eronder, en zowel Kimi K3 als Claude Opus 5.5 is één sleutel verwijderd met automatische failover als een provider een slechte middag heeft. Met een routing-DSL kun je dezelfde taak naar twee van hen sturen en de diffs vergelijken voordat een van beide een repository aanraakt.

Met welke faalmodus kun je leven?

SWE-2 faalt doordat het een patch oplevert die niet compileert, of compileert en onjuist is, of juist is maar niet samengevoegd kan worden. Elk van die fouten is te ontdekken door de diff te lezen of de tests uit te voeren, en elk ervan kost je een reviewcyclus. Het systeem is hierop ontworpen: Cognition rapporteert best-of-N over instellingen voor reasoning-inspanning, wat je doet wanneer de uitvoer probabilistisch is.

AlphaProof Code faalt doordat het geen bewijs oplevert, waarna de agents blijven doorwerken — urenlang, soms dagenlang, met een schone build die meerdere uren kan duren en bewijsreparaties die worden getriggerd door een wijziging van één regel in de broncode. Het artikel stelt dat er "ruime mogelijkheden voor optimalisatie" zijn, zowel in de gegenereerde bewijzen als in de technieken, wat een beleefde manier is om te zeggen dat het proces traag en broos is. Maar als het slaagt, is er helemaal geen reviewcyclus, want er valt niets te reviewen. Lean is het er al mee eens.

Voor een team dat donderdag een feature uitbrengt, is die afweging evident en wint SWE-2 die. Voor een team dat een cryptografisch protocol uitbrengt dat gesprekken een decennium lang zal beschermen, is de hele categorie van SWE-2 het verkeerde gereedschap, en het feit dat het 92,8% scoorde op Terminal-Bench 2.1 is irrelevant.

Wat zou ervoor zorgen dat deze echt vergelijkbaar zijn?

Eén ding: een benchmark die meet of de output van een agent juist is in plaats van of die wordt geaccepteerd. FrontierCode benadert dit met door maintainers gedefinieerde mergebaarheid, wat voor codegeneratie het dichtst in de buurt komt. AlphaProof Code omzeilt het volledig door een domein te kiezen waar een kernel uitspraak kan doen. Als iemand een suite van taken zou bouwen waarbij het juiste antwoord mechanisch aan een specificatie kan worden getoetst — geen testsuite, maar een specificatie — dan konden de twee systemen op één as worden gescoord en zou de vergelijking iets betekenen.

Tot die tijd is de bruikbare interpretatie beperkter. AlphaProof Code vertelt je dat een team van vijf personen met agent-tooling een bewijscorpus kan produceren waar vroeger jaren voor nodig waren, wat iets zegt over wat verificatie kost. SWE-2 vertelt je dat een post-getraind open-weight-basismodel binnen één punt van de frontier kan zitten op een coderingsbenchmark tegen 64% minder kosten, wat iets zegt over wat coderen kost. Beide kosten dalen. Ze dalen in verschillende tempo's, om verschillende redenen, en een ranglijst die ze in dezelfde tabel zet, zou je voorliegen.

Als je de praktische conclusie wilt: gebruik SWE-2-achtige systemen voor code die een testsuite kan bewaken, en begin de artefactrepository van AlphaProof Code te lezen als je code hebt die een testsuite niet kan bewaken. De tweede categorie is kleiner dan de meeste teams denken en belangrijker dan elk van hen toegeeft.