AlphaProof Code vs. SWE-2: Zwei agentische Systeme, zwei völlig unterschiedliche Vorstellungen vom Beweis

Sowohl AlphaProof Code als auch Cognition SWE-2 sind Agentensysteme, die Software automatisch schreiben, und beide wurden der Öffentlichkeit unter dem Wort „Agent“ verkauft. Darüber hinaus bewegen sich die beiden Veröffentlichungen kaum in derselben Welt. Cognition SWE-2, im September 2026 angekündigt und nur innerhalb von Devin Desktop und der CLI verfügbar, schreibt Patches: Laut Cognitions eigenen Zahlen erzielte es 50,0 % auf FrontierCode 1.1 Main – nur einen Punkt entfernt von Claude Fable 5.1 mit 50,9 % – bei 64 % geringeren Kosten. AlphaProof Code, am 10. November 2026 von Google DeepMind angekündigt, schreibt Beweise: rund 6,5 Millionen Zeilen Lean, die belegen, dass die kompilierte AArch64-Binärdatei von Signal zehn Sicherheitstheoremen genügt – geprüft vom Lean-Kernel statt von einem Bewertungsraster. Die Ausgabe des einen Systems kann auf eine Weise falsch sein, die ein menschlicher Prüfer möglicherweise bemerkt. Die Ausgabe des anderen Systems kann überhaupt nicht falsch sein – andernfalls verwirft der Kernel sie, und die Arbeit wird fortgesetzt.

„Correct“ bedeutet zwei verschiedene Dinge.

Fangen wir mit dem Wort an, denn hier gehen die Vergleiche zwischen diesen beiden schief. Wenn Cognition berichtet, dass SWE-2 50,0 % der Main-Aufgaben von FrontierCode 1.1 gelöst hat, bedeutet „gelöst“, dass ein Patch erzeugt wurde, den der Bewertungsprozess als mergebar akzeptierte. Die Aufgaben von FrontierCode wurden mit mehr als 20 Open-Source-Maintainern erstellt, mit mehr als 40 Stunden pro Aufgabe, wobei jeder Maintainer definierte, was in seinem eigenen Repository „mergebar“ bedeutet. Das ist ein ernstzunehmendes Evaluationsdesign und trotzdem ein menschliches Urteil über einen Diff.

Wenn DeepMind meldet, dass ein Theorem für libsignal v0.105.4 bewiesen wurde, bedeutet „bewiesen“, dass der Lean-Kernel eine Ableitung aus der Spezifikation akzeptiert hat. Es gibt keinen Prüfer mit einer Meinung. Der Gatekeeper-Agent prüft jede Einreichung mit Comparator gegen eine zurückgehaltene Kopie der Spezifikation, und Lean prüft den Rest — so konnte ein Team aus fünf Forschenden 99 % einer Codebasis ungeprüft durch Menschen lassen und trotzdem eine Aussage über das Ganze treffen.

Dieser Unterschied bestimmt, wofür jedes System geeignet ist. SWE-2 kann Code schreiben. AlphaProof Code kann keinen Produktionscode schreiben und versucht es auch nicht; es zeigt, dass Code, den jemand anderes geschrieben hat, das tut, was spezifiziert wurde, und es kann auch zeigen, dass eine absichtlich fehlerhafte Version das nicht tut – die beiden wieder eingeführten Signal-Fehler, ein Weak-State-Fehler und ein Small-Subgroup-Fehler, erzeugten beide maschinell geprüfte Beweise der Unsicherheit.

Wo die beiden sich wirklich ähneln

Mehr, als man erwarten würde, und die Parallelen sind der interessante Teil. Beide sind teuer im Betrieb. AlphaProof Code setzte Teams aus 40 bis 80 Agenten ein, die 24 bis 72 Stunden lang auf einer einzigen Maschine pro Team liefen, über vier Wochen hinweg, mit einem übergeordneten Aufsichtsagenten über dem Team-Orchestrator und Agenten, die ihre eigene Ausgabe prüften, um etwa 1 % zur menschlichen Überprüfung zu markieren. Die Kosten von SWE-2 werden nicht pro Token veröffentlicht, weil Cognition keine Token verkauft; der Preis ist ein Devin-Abo, und die Behauptung, 64 % günstiger zu sein, ist ein Vergleich mit Claude Fable 5.1 zu Listenpreisen.

Beide stützen sich auf dieselbe Klasse von Basismodellen. SWE-2 ist ein Post-Training des Kimi K3 von M​oonshot AI, einem Mixture-of-Experts-Modell mit 2,8 Billionen Parametern, bei dem pro Token etwa 104 Mrd. Parameter aktiv sind, und laut Cognition hat sein bestärkendes Lernen über mehrere Benchmarks hinweg 5 bis 6 Punkte hinzugefügt. Die Beweisagenten von AlphaProof Code wurden von G​emini 4 Carbon angetrieben, und Claude Opus 5.5 gehörte zu den Modellen, die zum Entwerfen und Überprüfen der Lean-Spezifikationen von Signal verwendet wurden. Keines der Labore baute seine Agenten von Grund auf.

Beide sind auf einen Verifizierer angewiesen, um zu wissen, ob die Arbeit erledigt ist. Cognitions Verifizierer sind die in FrontierCode kodierten Testsuites und Maintainer-Urteile. DeepMinds Verifizierer ist ein Beweiskern. Der Verifizierer ist der Punkt, an dem die Obergrenze jedes Systems festgelegt wird, und das ist der Satz, den man aus beiden Papers mitnehmen sollte.

Das Benchmark-Ehrlichkeitsproblem im direkten Vergleich

AlphaProof Code hat keine Benchmark-Tabelle, daher gelten die üblichen Vorbehalte gegenüber Herstellerzahlen dafür nicht – es hat stattdessen ein Theorem, und ein Theorem ist binär. Was es hat, ist eine Reihe struktureller Ausschlüsse. Keine Post-Quanten-Garantie für SPQRs Heilungseigenschaft, weil die Ratchet-Theoreme annehmen, dass der Angreifer SPQR-Schlüssel wählt. Keine Nutzdaten-Privatsphäre. Keine Responder-Authentifizierung für die erste Nachricht eines Handshakes, der nie hochgestuft wird. Eine Sitzung pro Hochstufung, feste Nachrichtenlängen, kein Multi-Device-Zustand, Identitätsschlüssel nach Trust-on-First-Use. Ein 8-Byte-MAC-Fälschungsterm, der quadratisch wächst und bei ungefähr 25.000 Nachrichten in einer einzigen Sitzung gehaltlos wird. Siebenunddreißig Routinen, kontraktiert statt verifiziert, darunter AES-256-CBC, X25519, Kyber1024 und ML-KEM-768. Und Gegenstand ist der Build des Teams von libsignal-cli als frischer Prozess, nicht die Signal-App.

Die Vorbehalte gegenüber SWE-2 sind statistischer und nicht struktureller Natur, und der gravierendste betrifft die Skalierbarkeit über die Aufgabenlänge hinweg. Beim Wechsel von Terminal-Bench 2.1 zu Terminal-Bench 4 verliert Claude Fable 5.1 etwa 35,6 Punkte und GPT-6 Astra etwa 32,0. SWE-2 verliert etwa 65,5 und seine Kimi-K3-Basis etwa 66,8 – bei Aufgaben mit langem Zeithorizont verschlechtert es sich also ungefähr doppelt so schnell wie die Frontier-Modelle, mit denen es verglichen wird. Terminal-Bench 4 ist die aktuelle Ausgabe und 2.1 die abgelöste, was bedeutet: Die Zeile, in der SWE-2 führt, ist der ausgemusterte Benchmark, und die Zeile, in der es zurückliegt, ist der aktive.

Beide Berichte sind gemessen an den Maßstäben von Launch-Posts ungewöhnlich freimütig. Der Unterschied liegt darin, was Freimütigkeit kostet. DeepMinds Ausschlüsse verengen die Aussage, lassen sie aber wahr bleiben. Cognitions Ausschlüsse begrenzen die Anwendbarkeit der Aussage, und die Leserschaft muss entscheiden, ob ein Ergebnis von 27,3 % beim aktuellen Long-Horizon-Benchmark für ihre Arbeitslast relevant ist.

Portion, Preis und das, was dir keiner von beiden verkauft

• AlphaProof Code — Forschungsframework. Kein Endpoint, keine Gewichte, kein Preis, keine Warteliste. Bei den Artefakten handelt es sich um eine Lean-Entwicklung unter github.com/google-deepmind/code-verification, wobei auf der Landingpage keine Lizenz angegeben ist.

• {{1}}Cognition SWE-2{{/1}} — {{2}}proprietär, ausschließlich für Devin{{/2}}. Keine veröffentlichte Preisliste pro Token, keine Modell-ID zum Aufrufen, keine Gewichte. Wenn Sie SWE-2 wollen, kaufen Sie Devin.

• Die Basismodelle — Kimi K3 ist im Katalog von OrcaRouter für 3 US-Dollar pro Million Eingabe-Tokens und 15 US-Dollar pro Million Ausgabe-Tokens verfügbar, wobei der Listenpreis des Anbieters ohne Aufschlag (0 % Marge) weitergegeben wird. Claude Opus 5.5, eines der Modelle, die zur Ausarbeitung von Signals Spezifikationen verwendet wurden, kostet 4 US-Dollar und 20 US-Dollar. G​emini 4 Carbon, das die Proof-Agenten von AlphaProof Code angetrieben hat, bieten wir nicht an, und nichts hier deutet darauf hin, dass wir AlphaProof Code selbst hosten.

Diese dritte Zeile ist der einzige Teil dieses Vergleichs mit einer beigefügten Rechnung, die Sie heute bezahlen können. Wenn Sie einen agentischen Coding-Workflow aufbauen, besteht die praktische Wahl nicht zwischen diesen beiden Systemen – sie besteht zwischen den Modellen darunter, und sowohl Kimi K3 als auch Claude Opus 5.5 sind nur einen Schlüssel entfernt, mit automatischem Failover, falls ein Anbieter einen schlechten Nachmittag hat. Eine Routing-DSL ermöglicht es Ihnen, dieselbe Aufgabe an zwei von ihnen zu senden und die Diffs zu vergleichen, bevor eines von beiden ein Repository berührt.

Mit welchem Fehlermodus kannst du leben

SWE-2 scheitert, indem es einen Patch erzeugt, der nicht kompiliert, oder kompiliert und falsch ist, oder richtig und nicht mergebar ist. Jeder dieser Fehler ist durch Lesen des Diffs oder Ausführen der Tests erkennbar, und jeder von ihnen kostet dich einen Review-Zyklus. Das System ist darauf ausgelegt: Cognition berichtet best-of-N über verschiedene Reasoning-Effort-Einstellungen hinweg, was man tut, wenn die Ausgabe probabilistisch ist.

AlphaProof Code scheitert daran, einen Beweis zu liefern, woraufhin die Agenten weiterarbeiten – stundenlang, manchmal tagelang, mit einem sauberen Build, der mehrere Stunden dauern kann, und mit Beweisreparaturen, die durch eine einzeilige Änderung am Quellcode ausgelöst werden. Das Paper sagt, es gebe „erhebliches Optimierungspotenzial“ sowohl bei den generierten Beweisen als auch bei den Techniken, was eine höfliche Art ist zu sagen, dass der Prozess langsam und fragil ist. Doch wenn er erfolgreich ist, gibt es überhaupt keinen Review-Zyklus, denn es gibt nichts zu überprüfen. Lean hat bereits zugestimmt.

Für ein Team, das am Donnerstag ein Feature ausliefert, ist diese Abwägung offensichtlich, und SWE-2 gewinnt sie. Für ein Team, das ein kryptografisches Protokoll ausliefert, das Gespräche ein Jahrzehnt lang schützen wird, ist die gesamte Kategorie von SWE-2 das falsche Werkzeug, und die Tatsache, dass es 92,8 % auf Terminal-Bench 2.1 erzielte, ist irrelevant.

Was würde diese tatsächlich vergleichbar machen?

Ein Punkt: Ein Benchmark, der misst, ob die Ausgabe eines Agenten richtig und nicht, ob sie akzeptiert wird. FrontierCode nähert sich dem mit von Maintainern definierter Mergeability an, was so nah herankommt, wie die Codegenerierung bisher gekommen ist. AlphaProof Code umgeht das vollständig, indem es eine Domäne wählt, in der ein Kernel entscheiden kann. Wenn jemand eine Suite von Aufgaben bauen würde, bei denen die richtige Antwort mechanisch gegen eine Spezifikation prüfbar ist – nicht eine Testsuite, eine Spezifikation –, könnten die beiden Systeme auf einer Achse bewertet werden, und der Vergleich würde etwas bedeuten.

Bis dahin ist die nützliche Lesart enger. AlphaProof Code sagt Ihnen, dass ein fünfköpfiges Team mit Agenten-Tooling einen Beweiskorpus erstellen kann, für den früher Jahre nötig waren, was eine Aussage darüber ist, was Verifikation kostet. SWE-2 sagt Ihnen, dass eine nachtrainierte Open-Weight-Basis bei einem Coding-Benchmark mit 64 % weniger Kosten bis auf einen Punkt an die Frontier heranreichen kann, was eine Aussage darüber ist, was Coding kostet. Beide Kosten fallen. Sie fallen unterschiedlich schnell und aus unterschiedlichen Gründen, und ein Leaderboard, das sie in derselben Tabelle führt, würde Sie belügen.

Das praktische Fazit: Verwenden Sie Systeme im Stil von SWE-2 für Code, den eine Testsuite als Freigabekriterium absichern kann, und beginnen Sie mit der Lektüre des AlphaProof Code artifact repository, wenn Sie Code haben, den eine Testsuite nicht als Freigabekriterium absichern kann. Die zweite Kategorie ist kleiner, als die meisten Teams denken, und folgenreicher, als jedes von ihnen zugibt.