AlphaProof Code vs MathForm-8B: dwa etapy tego samego potoku Lean, a nie dwaj rywale

Przeczytaj uważnie artykuł AlphaProof Code, a rzuca się w oczy liczba, której ogłoszenie nie podkreśla: z czterech tygodni, które pięcioro badaczy DeepMind spędziło na weryfikacji Signal, częścią, której nie dało się zautomatyzować, był front. Ludzcy eksperci pracowali z zestawem modeli, aby przełożyć cele bezpieczeństwa Signal na formalne specyfikacje w Lean, a ekspert przejrzał każdą z nich, zanim rozpoczęły się jakiekolwiek prace dowodowe. To jest wąskie gardło. MathForm-8B, model autoformalizacji OpenBMB z 8 miliardami parametrów udostępniony na Hugging Face 14 sierpnia 2026 r., jest bezpośrednią próbą automatyzacji dokładnie tego kroku — przyjmuje matematyczne stwierdzenie w języku naturalnym i generuje twierdzenie Lean 4 gotowe do udowodnienia przez kogoś innego. Postaw je obok siebie, a nie porównujesz dwóch produktów. Patrzysz na dwa kolejne etapy jednego procesu, oddzielone różnicą między matematyką a bezpieczeństwem protokołów.

Potok, w kolejności, w jakiej wykonywana jest praca

Formalna weryfikacja rzeczywistego oprogramowania ma trzy zadania. Po pierwsze, zdecydować, co musi być prawdą, i zapisać to w języku formalnym. Po drugie, udowodnić, że implementacja to spełnia. Po trzecie, mechanicznie sprawdzić dowody, ponieważ błędny dowód jest gorszy niż brak dowodu.

MathForm-8B wykonuje pierwsze zadanie dla wąskiej klasy danych wejściowych: twierdzeń matematycznych w stylu podręcznikowym. Podaj mu „dla każdej liczby rzeczywistej x, x² jest nieujemne”, a zwróci importy, typy i nagłówek twierdzenia w Lean 4. Nie zwraca natomiast dowodu, a jego autorzy wyraźnie zaznaczają, że wyszukiwanie dowodów to zmartwienie kogoś innego. Podawane przez niego liczby, wszystkie zgłoszone przez dostawcę i nieodtworzone, to średnio 88,06% Pass@8 w ramach kontroli składni i 72,37% w ramach surowszej kontroli spójności na sześciu benchmarkach — różnica między tymi dwiema wartościami jest uczciwą miarą tego, jak często składniowo poprawna instrukcja znaczy coś innego niż to, o co proszono.

AlphaProof Code wykonuje zadania drugie i trzecie oraz etap specyfikacji, którego MathForm-8B nie mógł podjąć. Cele bezpieczeństwa Signal nie są twierdzeniami matematycznymi w sensie, w jakim trenowano MathForm; są to stwierdzenia o protokole — że wiadomości pozostają chronione przed i po tymczasowym przejęciu urządzenia, że inicjator i odpowiadający są tymi, za których się podają. Przełożenie ich na Lean wymagało wiedzy specjalistycznej o protokołach, której nie ma żaden autoformalizator 8B. Gdy specyfikacja już istniała, praca dowodowa została w całości przekazana agentom, a sprawdzanie — jądru Lean oraz agentowi strażnikowi używającemu komparatora względem odłożonej kopii specyfikacji.

Ile faktycznie kosztuje cię używanie każdego z nich

• Wagi — MathForm-8B: do pobrania, Apache 2.0, cztery shardy safetensors w BF16, dostrojone z Qwen3-8B. AlphaProof Code: brak. Wydanie obejmuje rozwój w Lean, semantykę AArch64 i binding libsignal pod github.com/google-deepmind/code-verification.

• Uruchamianie — MathForm-8B: Transformers, vLLM lub SGLang, wszystkie udostępniające endpoint zgodny z OpenAI, na własnym sprzęcie. AlphaProof Code: brak endpointu, brak API, brak listy oczekujących, brak ceny; to framework badawczy, który według DeepMind wymaga „dalszych badań”, zanim będzie można go skalować.

• Wejście — MathForm-8B: stwierdzenie matematyczne w języku naturalnym. AlphaProof Code: specyfikacja formalna oraz plik binarny, który chcesz udowodnić względem niej.

• Dane wyjściowe — MathForm-8B: sformułowanie twierdzenia w Lean 4, nieudowodnione. AlphaProof Code: dowód zweryfikowany maszynowo lub obalenie, gdy kod jest błędny.

• Weryfikacja przez człowieka — MathForm-8B: przeglądasz wygenerowane stwierdzenie, a przy zgodności na poziomie 72.37% będziesz mieć ich wiele do przejrzenia. AlphaProof Code: eksperci przeglądają każdą specyfikację, zanim rozpoczną się prace dowodowe, a następnie agenci oznaczają około 1% bazy kodu do ponownego sprawdzenia.

• Znane ograniczenia — MathForm-8B: wyłącznie sformułowania matematyczne, bez generowania dowodów; repozytorium kodu podlinkowane w jego README w momencie wydania było wciąż placeholderem. AlphaProof Code: brak gwarancji postkwantowej dla uzdrawiania SPQR, brak poufności ładunku, jedna sesja na promocję oraz granica fałszowania MAC, która staje się bezwartościowa przy około 25 000 wiadomości w jednej sesji.

Luka, którą MathForm-8B musiałby zasypać

Kusi, by powiedzieć, że autoformalizator mógł napisać specyfikacje Signala i oszczędzić badaczom ich tygodni pracy włożonych na początku. Sam opis w artykule mówi co innego, a powód jest konkretny. Specyfikacja protokołu nie jest powtórzeniem twierdzenia; jest wyborem dotyczącym modelu przeciwnika. Praca nad Signalem zawiera ścieżkę symboliczną w modelu Doleva–Yao z przeciwnikiem kwantowym, który łamie Diffie’ego–Hellmana po handshake’u, oraz ścieżkę obliczeniową z klasycznymi przeciwnikami i konkretnym ograniczeniem. Te dwie ścieżki formułują różne twierdzenia o tym samym kodzie, a wybór między nimi jest decyzją inżynierską z konsekwencjami dla bezpieczeństwa. Żaden model wytrenowany do przekształcania „wykaż, że x² ≥ 0” w Lean nie podejmie tej decyzji.

To, co autoformalizator mógłby realnie robić, to mechaniczna część tej pracy: mając prozatorski cel bezpieczeństwa oraz bibliotekę istniejących definicji Lean, wygenerować pierwszy szkic twierdzenia w idiomie projektu, do poprawienia przez eksperta. To realna oszczędność, ale znacznie mniejsza, niż sugeruje nagłówek. Artykuł opisuje katalog odstępstw od specyfikacji obejmujący ponad 200 pozycji obliczeniowych i około 35 symbolicznych — piętnaście z nich to luki lub błędy w analizie Double Ratchet — co ujawnił etap przeglądu przez człowieka. Model, który szkicuje twierdzenia, musiałby być oceniany względem tego katalogu, a nie względem wyniku Pass@8 w benchmarkach matematycznych.

Gdy tych dwóch liczb w ogóle nie można porównać

88,06% MathForm-8B i 6,5 miliona linii AlphaProof Code mierzą różne rzeczy i nigdy nie powinny znajdować się w tej samej kolumnie. Jedno to odsetek trafień w zestawie benchmarków zbudowanym przez autorów; drugie to ilość dowodu wygenerowanego dla jednego celu. Dostawca szczerze przyznaje, że 88,06% opiera się na kontroli składni, co jest słabym kryterium — zdanie może się skompilować, a mimo to sformalizować niewłaściwe twierdzenie, dlatego wskaźnik spójności jest o 16 punktów niższy.

Postacią AlphaProof Code o porównywalnym charakterze jest praca walidacyjna: dwa wcześniej naprawione błędy Signala — błąd słabego stanu i błąd małej podgrupy — zostały ponownie wprowadzone do odizolowanej kopii, a w obu przypadkach system wygenerował sprawdzony maszynowo dowód, że wadliwa wersja nie spełnia twierdzenia bezpieczeństwa. To jest test negatywny, a testu negatywnego całkowicie brakuje w benchmarku dla autoformalizatora. MathForm-8B nie raportuje żadnego wyniku w postaci „dla celowo błędnego zdania model powiedział, że jest błędne”.

Jak właściwie używać ich razem

Konkretnie, i to jest jedyna część porównania z realną perspektywą w najbliższym czasie: użyj autoformalizatora do sporządzenia szkicu, mocnego modelu ogólnego do krytyki szkicu i agenta dowodowego do podjęcia próby dowodu. Każdy etap ma inny tryb awarii, a kierowanie wszystkich trzech przez jeden klucz jest praktyczną wygodą. W OrcaRouter, ponad 200 modeli jest dostępnych za jednym API w cenie katalogowej dostawcy z 0% marży, więc pętla tworzenia szkicu specyfikacji, która wysyła to samo stwierdzenie do dwóch modeli i porównuje różnice w ich Lean, jest wywołaniem routing-DSL, a nie trzema kontraktami i trzema SDK. Automatyczne przełączanie awaryjne obejmuje przypadek, gdy wybrany model ma gorszy dzień.

To, czego nic z tego nie dostarcza, to gwarancja. MathForm-8B daje ci stwierdzenie, modele dają ci krytykę, a coś wciąż musi to udowodnić. Obecnie jedynym opublikowanym systemem, który zamyka tę pętlę na rzeczywistym wdrożonym kodzie, jest AlphaProof Code — i nie jest on na sprzedaż.

Powód, by przeczytać oba artykuły, zamiast wybierać zwycięzcę

MathForm-8B to użyteczny artefakt o wąskim zastosowaniu i realnym, zmierzonym pułapie dokładności. AlphaProof Code to demonstracja przepływu pracy, której najbardziej przenośnym wnioskiem nie jest liczba dowodów, lecz podział: praca nad specyfikacją wymaga ludzi i silnego modelu ogólnego, praca nad dowodami wymaga zespołów agentów i jądra, a granica między nimi to miejsce, w którym tkwi cała trudność. Każdy, kto buduje potok weryfikacji, powinien poważnie potraktować ten podział i traktować autoformalizację jako element, który obniża koszt pierwszego etapu — a nie element, który go zastępuje.

Uczciwe podsumowanie dla zespołu decydującego, co pobrać w tym miesiącu: MathForm-8B – tak, jeśli pracujesz z Lean i chcesz mieć pomoc w szkicowaniu. AlphaProof Code – przeczytaj repozytorium artefaktów i katalog odchyleń od specyfikacji, ponieważ katalog mówi więcej o tym, czego formalna weryfikacja kodu produkcyjnego wciąż nie może osiągnąć, niż powie ci jakiekolwiek ogłoszenie.