Czym jest MathForm-8B? Wydanie Quiet Autoformalization od OpenBMB zamienia matematykę w Lean 4.

openbmb/MathForm-8B to nowy model autoformalizacji od OpenBMB, który tłumaczy matematyczne stwierdzenia w języku naturalnym na Lean 4, a został opublikowany niemal bez żadnego ogłoszenia: wagi, zbiór danych i artykuł pojawiły się na Hugging Face i arXiv tego samego dnia, 2026-08-14, pod wspólnym tytułem „MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." To ciche wydanie skrywa niezwykły wynik — model o parametrach 8B raportujący średnie wyniki Pass@8 na poziomie 88,06% przy sprawdzeniu składni i 72,37% przy bardziej rygorystycznym sprawdzeniu spójności w sześciu benchmarkach, co według artykułu bije kilka wyspecjalizowanych autoformalizatorów 32B. To tekst typu „co wiemy do tej pory": wszystko poniżej oznaczone jako „z repozytorium" pochodzi bezpośrednio z karty modelu, karty zbioru danych i artykułu, a wszystko, co nie zostało jeszcze niezależnie potwierdzone, jest tak oznaczone.

Najważniejsze wnioski

• MathForm-8B to model autoformalizacji 8B na licencji Apache-2.0: czyta nieformalny problem matematyczny i generuje sformułowanie twierdzenia w Lean 4 z nazwanym nagłówkiem, gotowe do późniejszego dowodu.

Jest on dostrajany z Qwen3-8B na FormalVerse — zweryfikowanym zbiorze danych Lean 4 liczącym około 367 000 przykładów, który OpenBMB zbudował z wykorzystaniem wyszukiwania wiedzy i poprawek sprawdzanych przez kompilator, a następnie trenowany z użyciem uczenia przez wzmacnianie opartego na kompilacji Lean i informacji zwrotnej dotyczącej spójności semantycznej.

• Zgłoszone liczby (raportowane przez dostawcę, niezreprodukowane): 88,06% średnie Pass@8 przy sprawdzaniu składni i 72,37% przy sprawdzaniu spójności, przewyższając wyspecjalizowane autoformalizatory od 7B do 32B w tabeli samego artykułu.

• Nie zostało ogłoszone, nie jest dostępne w żadnym znaczącym płatnym API na starcie i nie doczekało się jeszcze niezależnych testów porównawczych — trzy luki, które mają znaczenie dla wdrożenia produkcyjnego.

• Serwowanie jest samodzielnie hostowane: Transformers, vLLM lub SGLang — wszystkie wystawiają endpoint zgodny z OpenAI.

Co faktycznie zawiera wydanie

Trzy artefakty pojawiły się w odstępie kilku minut od siebie 2026-08-14, co wygląda jak skoordynowana, ale nieogłoszona publikacja:

• Repozytorium modelu openbmb/MathForm-8B — przyczynowy model językowy o wielkości 8B w formacie BF16 z szablonem czatu, cztery shardy safetensors, licencja Apache 2.0.

Repozytorium danych openbmb/FormalVerse — zbiór danych do autoformalizacji w Lean 4 zawierający około 367 000 zweryfikowanych przykładów, również na licencji Apache 2.0.

• Artykuł arXiv 2608.14221 — 25 stron opisujących proces budowy zbioru danych, procedurę treningową oraz ewaluację na sześciu benchmarkach.

Link do kodu na GitHubie w README w momencie pisania nadal jest tylko symbolem zastępczym, więc potok ewaluacji i skrypty Pass@k są zapowiedziane, ale jeszcze niepubliczne. W README jest jednak napisane, że sprawdzanie kompilacji wymaga działającego serwera Kimina Lean i że eksperymenty korzystają z Lean 4.21.0.

Powyższa strona repozytorium to obecnie cała publiczna powierzchnia wydania: karta modelu, cztery shardy safetensors, szablon czatu oraz plik README, który pełni jednocześnie funkcję jedynej dokumentacji. W chwili pisania tego tekstu nie ma żadnego wpisu na blogu z ogłoszeniem.

Co robi MathForm-8B — i dlaczego to wąskie zadanie

Autoformalizacja to krok poprzedzający dowodzenie twierdzeń: mając problem matematyczny sformułowany w prostym języku („Pokaż, że dla każdej liczby rzeczywistej x, x² jest nieujemne”), model musi wygenerować formalnie poprawną wypowiedź w Lean 4 — importy, typy i nagłówek twierdzenia — którą może następnie zaatakować człowiek lub dowodzący. To umiejętność zupełnie inna niż rozwiązywanie zadań matematycznych, ponieważ model musi odwzorować pojęcia z języka naturalnego na dokładną hierarchię definicji i typów w Mathlib. Stwierdzenie, które przechodzi kontrolę typów, ale po cichu osłabia oryginał („(2^5) ∣ (13^4 − 11^4)” zamiast pełnego twierdzenia o podzielności) to klasyczny tryb awarii i dlatego w artykule rozróżnia się sprawdzanie składni (czy się kompiluje) od sprawdzania spójności (czy jest to semantycznie to samo stwierdzenie).

Karta modelu pokazuje zamierzony wzorzec użycia: podajesz mu prompt z nieformalnym problemem i pożądaną nazwą twierdzenia, a on zwraca stwierdzenie w Lean 4 z code>theorem my_favorite_theorem : ... := by sorry/code> — code>sorry/code> pozostawia obowiązek dowodowy otwarty. Ten podział ról jest istotny: MathForm-8B jest formalizatorem, a nie dowodzącym. Zespoły budujące narzędzia dla Leana używają go do przekształcania banków problemów w formę sprawdzalną maszynowo.

Jak został wytrenowany

Metoda opisana w artykule jest dwuetapowa. Najpierw OpenBMB zbudował FormalVerse za pomocą potoku, który (1) przed generowaniem pobiera odpowiednie definicje i istniejące formalizacje z Mathlib, (2) generuje kandydackie twierdzenia, (3) dopracowuje je, wykorzystując diagnostykę kompilatora Lean oraz informacje zwrotne dotyczące spójności semantycznej, a (4) zachowuje tylko próbki, które przejdą obie kontrole. Ten zweryfikowany korpus jest następnie wykorzystywany do nadzorowanego dostrajania, po którym następuje uczenie przez wzmacnianie z sygnałami nagrody pochodzącymi z kompilacji w Lean i spójności semantycznej.

Karta zbioru danych daje konkretny obraz danych: każdy wpis łączy nieformalne stwierdzenie ze zweryfikowanym formalnym, oznaczony źródłem (np. AceReason-Math) i etykietą tematu (teoria liczb itd.). Ponieważ każdy przykład przeszedł prawdziwą kontrolę kompilatora, zanim trafił do treningu, model uczy się ze stwierdzeń sprawdzonych, a nie z surowych wyników modelu.

Tabela benchmarków, uczciwie oznaczona.

Wszystkie liczby w tej sekcji to dane raportowane przez dostawcę, pochodzące z artykułu (arXiv 2608.14221), i nie zostały niezależnie odtworzone. Pass@8 oznacza, że model ma osiem prób na każde zadanie, a uruchomienie jest zaliczane, jeśli którakolwiek z prób przejdzie; jest to wskaźnik łagodniejszy niż pass@1 i należy go rozumieć jako „jak często model potrafi wygenerować poprawne stwierdzenie przy danym budżecie”.

• MathForm-8B średnie — Kontrola składni 88,06%, Kontrola spójności 72,37%.

• W podziale na benchmarki: SC, następnie CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

Trudne zestawy to te uczciwe: FATE-H CC 63% i FATE-X CC 37% pokazują sufit modelu na najtrudniejszych podzbiorach, w porównaniu z ponad 95% CC na łatwiejszych FormalIMATH i ProverBench.

Najlepsze baseline'y 8B wymienione w artykule — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — oraz najlepsze baseline'y 32B — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — wszystkie ustępują wynikom MathForm-8B: 88.06 / 72.37.

• Punkt kontrolny tylko po SFT (przed etapem RL) osiąga 84.38 / 66.53, więc etap uczenia przez wzmacnianie daje średnio około +3.7 SC i +5.8 CC, a największe zyski widać na trudnych zestawach.

Najmocniejsze twierdzenia, do których należy podchodzić sceptycznie: wyniki 100.00 SC w FormalIMATH i ProverBench (100% kompilacji na łatwych zbiorach to czerwona flaga, że te zbiory uległy konwergencji) oraz porównanie z modelami 32B, które nie zostały ponownie uruchomione w identycznych warunkach. Liczby z kontroli spójności dla FATE-H i FATE-X to wartości, które najprawdopodobniej przetrwają niezależne testy.

Co nie jest potwierdzone.

• Nie istnieje żadna niezależna ocena. Żadna strona trzecia nie uruchomiła MathForm-8B w publicznym środowisku testowym w chwili pisania, a kod ewaluacyjny nie został udostępniony.

• Brak ogłoszenia o udostępnieniu. OpenBMB nie opublikował bloga z premierą, strony z cennikiem ani punktu końcowego API. Określenie „ciche wdrożenie" jest dosłowne.

• Wagi nagród RL, budżet treningowy i sprzęt nie znajdują się w karcie modelu; są one tylko w artykule.

• To, czy model 8B generalizuje się do Lean 4.21.1+ lub do importów spoza Mathlib, jest nieprzetestowane.

Jak to uruchomić

Self-hosting to obecnie jedyna opcja. README przedstawia trzy ścieżki, wszystkie z endpointem czatu zgodnym z OpenAI pod adresem code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, a następnie generuj przy użyciu szablonu czatu.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

README zaleca temperaturę 0.6, top_p 0.95 oraz do 16384 nowych tokenów — formalne sformułowania bywają długie, więc obszerne okno generowania to rzeczywiste wymaganie systemowe, które trzeba uwzględnić w budżecie.

Dlaczego fragment „8B bije 32B” ma znaczenie

{{1}}Jeśli liczby się potwierdzą, MathForm-8B jest jak dotąd najmocniejszym argumentem za tym, że wąskim gardłem autoformalizacji jest jakość danych i weryfikacja, a nie surowa liczba parametrów.{{/1}} {{2}}Tabela zamieszczona w artykule pokazuje, że wyspecjalizowane modele 32B (ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B) plasują się poniżej modelu 8B wytrenowanego na korpusie zweryfikowanym przez kompilator.{{/2}} {{3}}Dla zespołów, które obecnie uruchamiają formalizer 32B, to istotna zmiana kosztowa — model 8B w BF16 mieści się na pojedynczym GPU, na którym większość modeli 32B się nie zmieści, i działa szybciej w przeliczeniu na token.{{/3}}

Ustanawia to także uczciwy wybór, jaki nieustannie generuje reszta krajobrazu modeli: wąski specjalista, który bardzo dobrze wykonuje jedno zweryfikowane zadanie, w porównaniu z ogólnym modelem, który może próbować wielu zadań bez gwarancji weryfikacji. W przypadku formalizacji to właśnie specjalista ma kompilator sprawdzający jego wynik — a to jest dokładnie ta cecha, która sprawia, że router z automatycznym przełączaniem awaryjnym można wygodnie umieścić przed nim. Warstwa routingu, taka jak OrcaRouter działająca na ponad 200 modelach, z ceną przekazywaną wprost z cennika dostawcy, pozwala skierować ścieżkę testową na kilkudniowy model o otwartych wagach, taki jak ten, i wrócić do sprawdzonego modelu w chwili, gdy ten utknie — możesz przyjąć ciche wydanie, nie stawiając na nie swojej ścieżki produkcyjnej, a cena tokenów nie zawiera marży, jeśli dostawca później je tam udostępni.

Co obejrzeć dalej

Trzy rzeczy, które zmieniłyby to z „ciekawego repozytorium” w „zaufane narzędzie”: faktyczne pojawienie się kodu ewaluacyjnego na GitHubie; pierwszy niezależny przebieg FATE-H i FATE-X z pass@1 zamiast pass@8; oraz jakiekolwiek ogłoszenie OpenBMB dodające hostowaną trasę lub wersję 2 artykułu z liczbami ablacyjnymi. Dopóki nie pojawi się przynajmniej jedna z tych rzeczy, traktuj nagłówkowe wyniki jako orientacyjne — architektura i pomysł na dane treningowe są trwałą wiadomością, a nie dokładny procent.