AlphaProof Code vs SWE-2: Två agentiska system, två helt olika uppfattningar om bevis

Både AlphaProof Code och Cognition SWE-2 är agentsystem som skriver programvara automatiskt, och båda såldes till allmänheten med ordet "agent". Bortsett från det lever de två lanseringarna knappt i samma universum. Cognition SWE-2, som annonserades i september 2026 och endast är tillgängligt i Devin Desktop och CLI, skriver patchar: det fick 50,0 % på FrontierCode 1.1 Main, inom en procentenhet från Claude Fable 5.1 på 50,9 %, för 64 % mindre kostnad, enligt Cognition egna siffror. AlphaProof Code, som Google DeepMind annonserade den 10 november 2026, skriver bevis: ungefär 6,5 miljoner rader Lean som fastställer att Signals kompilerade AArch64-binär uppfyller tio säkerhetsteorem, kontrollerade av Leans kärna i stället för av en rubric. Det ena systemets utdata kan vara fel på ett sätt som en mänsklig granskare kan upptäcka. Det andra systemets utdata kan inte vara fel alls — eller så avvisar kärnan det och arbetet fortsätter.

"Korrekt" betyder två olika saker.

Börja med ordet, för det är där jämförelser mellan dessa två går fel. När Cognition rapporterar att SWE-2 löst 50,0 % av FrontierCode 1.1 Main-uppgifterna betyder "resolved" att en patch producerades som bedömningsprocessen accepterade som "mergeable". FrontierCodes uppgifter skrevs tillsammans med fler än 20 underhållare av öppen källkod, med över 40 timmar per uppgift, där varje underhållare definierade vad "mergeable" innebär i sitt eget arkiv. Det är en seriös utvärderingsdesign, och det är fortfarande en mänsklig bedömning av en diff.

När DeepMind rapporterar att ett teorem har bevisats för libsignal v0.105.4 betyder "bevisats" att Leans kärna accepterade en härledning från specifikationen. Det finns ingen granskare med en åsikt. Grindvaktagenten kontrollerar varje inlämning med jämförare mot en undanhållen kopia av specifikationen, och Lean kontrollerar resten – vilket är hur ett team på fem forskare kunde lämna 99 % av en kodbas ogranskad av människor och ändå göra ett påstående om hela den.

Den skillnaden avgör vad respektive system är bra på. SWE-2 kan skriva kod. AlphaProof Code kan inte skriva produktionskod och försöker inte heller; det demonstrerar att kod som någon annan har skrivit gör det som specificerades, och det kan också demonstrera att en avsiktligt trasig version inte gör det — de två återinförda Signal-buggarna, en weak-state-bugg och en small-subgroup-bugg, genererade båda maskinkontrollerade bevis på osäkerhet.

Där de två är genuint lika

Mer än du skulle förvänta dig, och parallellerna är det intressanta. Båda är dyra att köra. AlphaProof Code använde team på 40 till 80 agenter som körde 24 till 72 timmar på en enda maskin per team, under fyra veckor, med en övervakande agent ovanför teamorkestratorn och agenter som granskade sin egen utdata för att flagga ungefär 1 % för mänsklig granskning. SWE-2:s kostnad publiceras inte per token eftersom Cognition inte säljer tokens; priset är en Devin-prenumeration, och påståendet om 64 % lägre kostnad är en jämförelse mot Claude Fable 5.1 till listpriser.

Båda förlitar sig på samma klass av basmodell. SWE-2 är en efterträning av Moonshot AI:s Kimi K3, en mixture-of-experts-modell med 2,8 biljoner parametrar och ungefär 104 miljarder aktiva parametrar per token, och Cognition säger att dess förstärkningsinlärning gav 5 till 6 poängs förbättring på flera benchmarkar. AlphaProof Codes bevisagenter drevs av Gemini 4 Carbon, och Claude Opus 5.5 var bland de modeller som användes för att utforma och granska Signals Lean-specifikationer. Inget av laboratorierna byggde sina agenter från grunden.

Båda är beroende av en verifierare för att veta om arbetet är klart. Cognitions verifierare är testsviterna och underhållarnas bedömningar som är inbyggda i FrontierCode. DeepMinds verifierare är en beviskärna. Verifieraren är där taket för varje system sätts, och det är meningen som är värd att minnas från båda artiklarna.

Benchmark-ärlighetsproblemet, sida vid sida

AlphaProof Code har ingen benchmarktabell, så de vanliga förbehållen om leverantörsangivna siffror gäller inte för det – det har en sats i stället, och en sats är binär. Det som det däremot har är en uppsättning strukturella uteslutningar. Ingen postkvantgaranti för SPQR:s healing-egenskap, eftersom ratchet-satserna antar att angriparen väljer SPQR-nycklar. Ingen nyttolastsekretess. Ingen autentisering av svarsparten för det första meddelandet i en handskakning som aldrig befordras. En session per befordran, fasta meddelandelängder, inget tillstånd för flera enheter, identitetsnycklar enligt trust-on-first-use. En MAC-förfalskningsterm på 8 byte som växer kvadratiskt och blir meningslös vid ungefär 25 000 meddelanden i en enda session. Trettiosju rutiner som är kontraktsbaserade i stället för verifierade, inklusive AES-256-CBC, X25519, Kyber1024 och ML-KEM-768. Och det som undersöks är teamets bygge av libsignal-cli som en ny process, inte Signal-appen.

SWE-2:s förbehåll är statistiska snarare än strukturella, och det skarpaste är skalbarheten över uppgiftslängd. När man går från Terminal-Bench 2.1 till Terminal-Bench 4 tappar Claude Fable 5.1 cirka 35,6 poäng och GPT-6 Astra cirka 32,0. SWE-2 tappar cirka 65,5 och dess Kimi K3-bas cirka 66,8 – så vid arbete över lång horisont försämras den ungefär dubbelt så snabbt som de frontier-modeller den jämförs med. Terminal-Bench 4 är den nuvarande utgåvan och 2.1 är den ersatta, vilket betyder att raden där SWE-2 leder är det avvecklade riktmärket och raden där den ligger efter är det aktiva.

Båda rapporterna är ovanligt uppriktiga enligt måttet för lanseringsinlägg. Skillnaden är vad uppriktigheten kostar. DeepMinds undantag begränsar påståendet men lämnar det sant. Cognitions undantag avgränsar påståendets tillämplighet, och läsaren måste avgöra om en poäng på 27,3 % i det nuvarande benchmarket för långa horisonter spelar någon roll för deras arbetsbelastning.

Servering, pris och det som ingen av dem säljer till dig

• AlphaProof Code — forskningsramverk. Ingen endpoint, inga vikter, inget pris, ingen väntelista. Artefakterna är en Lean-utveckling på github.com/google-deepmind/code-verification utan angiven licens på landningssidan.

• Cognition SWE-2 — proprietär, endast via Devin. Ingen publicerad prislista per token, inget modell-ID att anropa, inga vikter. Vill du ha SWE-2 får du köpa Devin.

• Basmodellerna — Kimi K3 finns i OrcaRouters katalog till 3 USD per miljon indatatoken och 15 USD per miljon utdatatoken, med leverantörens listpris vidarebefordrat utan påslag (0 %). Claude Opus 5.5, en av de modeller som användes för att ta fram Signal:s specifikationer, ligger på 4 respektive 20 USD. G​emini 4 Carbon, som drev AlphaProof Codes bevisagenter, är inget vi erbjuder, och inget här tyder på att vi driftar AlphaProof Code själva.

Den tredje raden är den enda delen av den här jämförelsen som har en faktura kopplad som du kan betala idag. Om du bygger ett agentiskt kodningsarbetsflöde är det praktiska valet inte mellan dessa två system – det är mellan modellerna under dem, och både Kimi K3 och Claude Opus 5.5 är bara en nyckel bort med automatisk redundansväxling om en leverantör har en dålig eftermiddag. Ett routing-DSL låter dig skicka samma uppgift till två av dem och jämföra diffarna innan någon av dem rör ett repository.

Vilket felmod kan du leva med

SWE-2 misslyckas genom att producera en patch som inte kompilerar, eller som kompilerar och är fel, eller som är rätt och inte går att merga. Vart och ett av dessa misslyckanden går att upptäcka genom att läsa diffen eller köra testerna, och vart och ett av dem kostar dig en granskningscykel. Systemet är utformat kring detta: Cognition rapporterar best-of-N över inställningar för resonemangsansträngning, vilket är vad man gör när utdata är probabilistisk.

AlphaProof Code misslyckas genom att inte producera ett bevis, varvid agenterna fortsätter arbeta — i timmar, ibland dagar, med en ren byggnation som kan ta flera timmar och bevisreparationer som utlöses av en enradig källändring. Artikeln säger att det finns "stort utrymme för optimering" i både de genererade bevisen och teknikerna, vilket är ett artigt sätt att säga att processen är långsam och skör. Men när den lyckas finns det ingen granskningscykel alls, eftersom det inte finns något att granska. Lean har redan godkänt.

För ett team som släpper en funktion på torsdag är den avvägningen uppenbar och SWE-2 vinner den. För ett team som släpper ett kryptografiskt protokoll som kommer att skydda konversationer i ett decennium är SWE-2:s hela kategori fel verktyg, och det faktum att det fick 92,8 % på Terminal-Bench 2.1 är irrelevant.

Vad skulle göra att dessa faktiskt är jämförbara?

En sak: ett benchmark som mäter huruvida en agents utdata är rätt snarare än huruvida det är accepterat. FrontierCode närmar sig detta med mergebarhet definierad av underhållare, vilket är så nära kodgenerering har kommit. AlphaProof Code kringgår det helt genom att välja en domän där en kärna kan avgöra. Om någon byggde en uppsättning uppgifter där det korrekta svaret är mekaniskt kontrollerbart mot en specifikation — inte en testsvit, en specifikation — skulle de två systemen kunna poängsättas på en axel och jämförelsen skulle betyda något.

Fram till dess är den användbara tolkningen snävare. AlphaProof Code säger att ett fempersonsteam med agentverktyg kan producera en beviskorpus som tidigare tog år, vilket är ett uttalande om vad verifiering kostar. SWE-2 säger att en eftertränad bas med öppna vikter kan ligga inom en poäng från fronten på ett kodningsbenchmark till 64 % lägre kostnad, vilket är ett uttalande om vad kodning kostar. Båda kostnaderna faller. De faller i olika takt, av olika skäl, och en topplista som ställer upp dem i samma tabell skulle ljuga för dig.

Om du vill ha den praktiska slutsatsen: använd SWE-2-formade system för kod som en testsvit kan verifiera, och börja läsa AlphaProof Code-artefaktförrådet om du har kod som en testsvit inte kan verifiera. Den andra kategorin är mindre än de flesta team tror och mer betydelsefull än någon av dem vill erkänna.