AlphaProof Code vs SWE-2: dwa systemy agentowe, dwie zupełnie różne koncepcje dowodu

Zarówno AlphaProof Code, jak i Cognition SWE-2 to systemy agentowe, które automatycznie piszą oprogramowanie, i oba zostały sprzedane publiczności pod hasłem „agent”. Poza tym te dwa wydania pochodzą niemal z różnych wszechświatów. Cognition SWE-2, ogłoszony we wrześniu 2026 r. i dostępny wyłącznie w Devin Desktop oraz CLI, pisze poprawki: uzyskał 50,0% w FrontierCode 1.1 Main, w granicach jednego punktu od Claude Fable 5.1 z 50,9%, przy 64% niższym koszcie, według własnych danych Cognition. AlphaProof Code, ogłoszony przez Google DeepMind 10 listopada 2026 r., pisze dowody: około 6,5 miliona linii Lean wykazujących, że skompilowany plik binarny AArch64 Signal spełnia dziesięć twierdzeń bezpieczeństwa, sprawdzanych przez jądro Lean, a nie przez kryteria oceny. Wynik jednego systemu może być błędny w sposób, który ludzki recenzent mógłby wychwycić. Wynik drugiego nie może być błędny w ogóle — albo jądro go odrzuca i praca trwa dalej.

„Correct” oznacza dwie różne rzeczy.

Zacznij od słowa, bo właśnie na nim porównania między tymi dwoma się rozjeżdżają. Kiedy Cognition raportuje, że SWE-2 rozwiązał 50,0% zadań FrontierCode 1.1 Main, „rozwiązany” oznacza, że powstała poprawka, którą proces oceniania zaakceptował jako nadającą się do scalenia. Zadania FrontierCode zostały napisane przez ponad 20 opiekunów projektów open source, przy ponad 40 godzinach pracy na zadanie, przy czym każdy opiekun definiował, co „nadające się do scalenia” oznacza w jego własnym repozytorium. To poważny projekt ewaluacji — i wciąż ludzki osąd dotyczący diffa.

Kiedy DeepMind informuje, że twierdzenie zostało udowodnione dla libsignal v0.105.4, „udowodnione” oznacza, że jądro Lean zaakceptowało wyprowadzenie ze specyfikacji. Nie ma recenzenta z opinią. Agent strażnik sprawdza każde zgłoszenie za pomocą komparatora względem odłożonej kopii specyfikacji, a resztę sprawdza Lean — dzięki czemu zespół pięciu badaczy mógł pozostawić 99% bazy kodu bez przeglądu przez ludzi, a mimo to wysunąć twierdzenie dotyczące całej jej zawartości.

Ta różnica decyduje o tym, do czego nadaje się każdy z systemów. SWE-2 potrafi pisać kod. AlphaProof Code nie potrafi pisać kodu produkcyjnego i nawet nie próbuje; wykazuje, że kod napisany przez kogoś innego robi to, co zostało określone, a potrafi też wykazać, że celowo zepsuta wersja tego nie robi — dwa ponownie wprowadzone błędy w Signal, błąd słabego stanu i błąd małej podgrupy, oba dały maszynowo zweryfikowane dowody braku bezpieczeństwa.

Tam, gdzie te dwa są naprawdę podobne

Więcej, niż można by się spodziewać, a najciekawsze są podobieństwa. Oba są drogie w eksploatacji. AlphaProof Code wykorzystywał zespoły od 40 do 80 agentów pracujących przez 24 do 72 godzin na jednej maszynie na zespół, rozłożonych na cztery tygodnie, z agentem nadzorującym ponad orkiestratorem zespołu oraz agentami audytującymi własne wyniki, aby oznaczyć około 1% do przeglądu przez człowieka. Koszt SWE-2 nie jest podawany za token, ponieważ Cognition nie sprzedaje tokenów; ceną jest subskrypcja Devin, a twierdzenie o 64% niższym koszcie to porównanie z Claude Fable 5.1 według cen katalogowych.

Oba opierają się na tej samej klasie modelu bazowego. SWE-2 to model po treningu (post-train) Kimi K3 od Moonshot AI, typu mixture-of-experts z 2,8 biliona parametrów, z około 104 mld parametrów aktywnych na token, a Cognition twierdzi, że jego uczenie ze wzmocnieniem dodało od 5 do 6 punktów w kilku benchmarkach. Agenci dowodowi AlphaProof Code korzystali z Gemini 4 Carbon, a Claude Opus 5.5 był jednym z modeli użytych do sporządzenia i przeglądu specyfikacji Lean Signal. Żadne z laboratoriów nie zbudowało swoich agentów od zera.

Oba systemy polegają na weryfikatorze, aby wiedzieć, czy praca została wykonana. Weryfikatorami Cognition są zestawy testów i oceny opiekunów zakodowane w FrontierCode. Weryfikatorem DeepMind jest jądro dowodowe. Weryfikator wyznacza pułap każdego z systemów i to jest zdanie warte zapamiętania z obu prac.

Problem uczciwości benchmarków — zestawienie obok siebie

AlphaProof Code nie ma tabeli benchmarków, więc zwykłe zastrzeżenia dotyczące liczb dostawcy go nie dotyczą — zamiast tego ma twierdzenie, a twierdzenie jest binarne. Ma natomiast zestaw strukturalnych wykluczeń. Brak gwarancji postkwantowej dla właściwości uzdrawiania SPQR, ponieważ twierdzenia o ratchecie zakładają, że atakujący wybiera klucze SPQR. Brak prywatności ładunku. Brak uwierzytelniania respondenta dla pierwszej wiadomości uzgadniania, które nigdy nie zostaje awansowane. Jedna sesja na awans, stałe długości wiadomości, brak stanu wielu urządzeń, klucze tożsamości z zaufaniem przy pierwszym użyciu. Składnik fałszerstwa MAC o długości 8 bajtów, który rośnie kwadratowo i staje się próżny przy około 25 000 wiadomości w jednej sesji. Trzydzieści siedem procedur objętych kontraktem, a nie zweryfikowanych, w tym AES-256-CBC, X25519, Kyber1024 i ML-KEM-768. A podmiotem jest zbudowana przez zespół wersja libsignal-cli jako nowy proces, a nie aplikacja Signal.

Zastrzeżenia dotyczące SWE-2 mają charakter statystyczny, a nie strukturalny, a najpoważniejsze z nich dotyczy skalowalności w miarę wydłużania zadania. Przy przejściu z Terminal-Bench 2.1 do Terminal-Bench 4 Claude Fable 5.1 traci około 35,6 punktu, a GPT-6 Astra około 32,0. SWE-2 traci około 65,5, a jego baza Kimi K3 około 66,8 — zatem w pracy w długim horyzoncie degraduje się mniej więcej dwa razy szybciej niż modele czołowe, z którymi jest porównywany. Terminal-Bench 4 to bieżąca edycja, a 2.1 to edycja zastąpiona, co oznacza, że wiersz, w którym SWE-2 prowadzi, dotyczy wycofanego benchmarku, a wiersz, w którym pozostaje w tyle, dotyczy aktualnego.

Oba raporty są niezwykle szczere jak na standardy wpisów o premierze. Różnica polega na tym, ile kosztuje szczerość. Wyłączenia DeepMind zawężają twierdzenie, ale pozostawiają je prawdziwym. Wyłączenia Cognition ograniczają zakres stosowalności twierdzenia, a czytelnik musi zdecydować, czy wynik 27,3% w obecnym benchmarku długiego horyzontu ma znaczenie dla jego obciążenia.

Porcja, cena i to, czego ani jeden, ani drugi ci nie sprzeda

• AlphaProof Code — framework badawczy. Brak endpointu, brak wag, brak ceny, brak listy oczekujących. Artefakty to projekt Lean pod adresem github.com/google-deepmind/code-verification, bez podanej licencji na stronie docelowej.

• Cognition SWE-2 — zastrzeżony, dostępny wyłącznie w Devin. Brak opublikowanego cennika za token, brak identyfikatora modelu do wywołania, brak wag. Jeśli chcesz SWE-2, kupujesz Devin.

• Modele bazowe — Kimi K3 znajduje się w katalogu OrcaRouter po cenie 3 USD za milion tokenów wejściowych i 15 USD za milion tokenów wyjściowych, przy czym cena katalogowa dostawcy jest przekazywana bez narzutu (0%). Claude Opus 5.5, jeden z modeli użytych do opracowania specyfikacji Signal, kosztuje 4 USD i 20 USD. G​emini 4 Carbon, który napędzał agentów dowodowych AlphaProof Code, nie jest czymś, co oferujemy, i nic tutaj nie sugeruje, że hostujemy sam AlphaProof Code.

Ta trzecia linia to jedyna część tego porównania z dołączonym rachunkiem, który możesz opłacić już dziś. Jeśli budujesz agentowy workflow kodowania, praktyczny wybór nie leży między tymi dwoma systemami — lecz między modelami, które się pod nimi kryją, przy czym zarówno Kimi K3, jak i Claude Opus 5.5 są dostępne za pomocą jednego klucza, z automatycznym przełączaniem awaryjnym, jeśli dostawca ma zły dzień. DSL routingu pozwala wysłać to samo zadanie do dwóch z nich i porównać diffy, zanim którekolwiek dotknie repozytorium.

Z jakim trybem awarii możesz żyć?

SWE-2 zawodzi, tworząc patch, który się nie kompiluje, albo kompiluje się i jest błędny, albo jest poprawny, ale nie da się go scalić. Każdą z tych awarii można wykryć, czytając diff lub uruchamiając testy, a każda z nich kosztuje cię cykl przeglądu. System jest zaprojektowany wokół tego: Cognition raportuje best-of-N w różnych ustawieniach nakładu rozumowania, co robisz, gdy wynik jest probabilistyczny.

AlphaProof Code zawodzi, nie tworząc dowodu, po czym agenci pracują dalej — godzinami, czasem dniami, z czystą kompilacją, która może zająć kilka godzin, oraz naprawami dowodu wywołanymi zmianą jednej linii źródła. Artykuł mówi, że istnieje „znaczne pole do optymalizacji” zarówno w generowanych dowodach, jak i w technikach, co jest uprzejmym sposobem powiedzenia, że proces jest powolny i kruchy. Ale gdy się udaje, nie ma żadnego cyklu przeglądu, ponieważ nie ma czego przeglądać. Lean już się zgodził.

Dla zespołu, który w czwartek wypuszcza funkcję, ten wybór jest oczywisty i wygrywa SWE-2. Dla zespołu wdrażającego protokół kryptograficzny, który będzie chronił rozmowy przez dekadę, cała kategoria, do której należy SWE-2, to niewłaściwe narzędzie, a fakt, że uzyskał 92,8% w Terminal-Bench 2.1, nie ma znaczenia.

Co sprawiłoby, że byłyby one rzeczywiście porównywalne?

Jeszcze jedno: benchmark, który mierzy, czy wynik działania agenta jest poprawny, a nie czy jest akceptowany. FrontierCode przybliża to za pomocą definiowanej przez opiekunów możliwości scalania, co jest najbliższym punktem, do jakiego dotąd doszło generowanie kodu. AlphaProof Code całkowicie to omija, wybierając dziedzinę, w której jądro może rozstrzygać. Gdyby ktoś zbudował zestaw zadań, w których poprawną odpowiedź można mechanicznie sprawdzić względem specyfikacji — nie zestawu testów, specyfikacji — oba systemy można by ocenić na jednej osi i porównanie miałoby sens.

Do tego czasu użyteczna interpretacja jest węższa. AlphaProof Code mówi, że pięcioosobowy zespół z narzędziami agentowymi może wytworzyć korpus dowodów, którego stworzenie kiedyś zajmowało lata, co jest stwierdzeniem o koszcie weryfikacji. SWE-2 mówi, że model bazowy o otwartych wagach po treningu dostrajającym może znaleźć się w granicach jednego punktu od czołówki w benchmarku kodowania przy koszcie o 64% niższym, co jest stwierdzeniem o koszcie kodowania. Oba koszty spadają. Spadają w różnym tempie, z różnych powodów, a ranking, który umieszcza je w tej samej tabeli, kłamałby ci.

Jeśli chcesz praktyczny wniosek: używaj systemów w stylu SWE-2 do kodu, który zestaw testów może kontrolować, a jeśli masz kod, którego zestaw testów nie może kontrolować, zacznij czytać repozytorium artefaktów AlphaProof Code. Druga kategoria jest mniejsza, niż sądzi większość zespołów, i ma większe znaczenie, niż przyznałby którykolwiek z nich.