Was ist MathForm-8B? OpenBMBs stilles Autoformalization-Release verwandelt Mathematik in Lean 4.

openbmb/MathForm-8B ist ein neues Autoformalisierungsmodell von OpenBMB, das mathematische Aussagen in natürlicher Sprache in Lean 4 übersetzt. Es wurde fast ohne Ankündigung veröffentlicht: Die Gewichte, der Datensatz und das Papier erschienen alle am selben Tag, dem 14.08.2026, auf Hugging Face und arXiv, unter dem Obertitel „MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." Dieser stille Start verbirgt ein ungewöhnliches Ergebnis — ein Modell mit 8B Parametern, das durchschnittliche Pass@8-Werte von 88,06% bei einem Syntax-Check und 72,37% bei einem strengeren Konsistenz-Check über sechs Benchmarks meldet, wobei das Papier behauptet, dass es mehrere spezialisierte 32B-Autoformalisierer übertrifft. Dies ist ein Beitrag nach dem Motto „Was wir bisher wissen": Alles, was unten mit „aus dem Repo" gekennzeichnet ist, stammt direkt aus der Modellkarte, der Datensatzkarte und dem Papier, und alles, was noch nicht unabhängig bestätigt wurde, ist als solches markiert.

Wichtige Erkenntnisse

• MathForm-8B ist ein 8B-Autoformalisierungsmodell unter Apache-2.0-Lizenz: Es liest ein informelles Mathematikproblem und schreibt eine Lean-4-Theoremaussage mit einem benannten Header, bereit für einen späteren Beweis.

• Es wurde von Qwen3-8B auf FormalVerse feinabgestimmt, einem verifizierten Lean-4-Datensatz mit etwa 367.000 Beispielen, den OpenBMB mithilfe von Wissensabruf und compilergeprüfter Verfeinerung erstellte, und anschließend mit bestärkendem Lernen unter Verwendung von Lean-Kompilierung und semantischem Konsistenz-Feedback trainiert.

• Gemeldete Zahlen (vom Anbieter gemeldet, nicht reproduziert): durchschnittlich 88,06 % Pass@8 beim Syntax-Check und 72,37 % beim Konsistenz-Check, womit spezialisierte Autoformalisierer von 7B bis 32B in der eigenen Tabelle des Papiers geschlagen werden.

• Es ist nicht angekündigt, zum Start nicht auf einer großen kostenpflichtigen API verfügbar und noch nicht unabhängig gebenchmarkt — drei Lücken, die für die Produktionsadoption von Bedeutung sind.

• Das Serving ist selbst gehostet: Transformers, vLLM oder SGLang, die alle einen OpenAI-kompatiblen Endpunkt bereitstellen.

Was die Version tatsächlich enthält

Drei Artefakte wurden innerhalb von Minuten nacheinander am 2026-08-14 hochgeladen, was wie eine koordinierte, aber nicht angekündigte Veröffentlichung aussieht:

• Das Modell-Repository, openbmb/MathForm-8B — ein 8B-kausales LM in BF16 mit einer Chat-Vorlage, vier Safetensors-Shards, Apache-2.0-Lizenz.

• Das Dataset-Repository openbmb/FormalVerse — ein Autoformalisierungs-Datensatz für Lean 4 mit rund 367.000 verifizierten Beispielen, ebenfalls Apache 2.0.

• Das Paper, arXiv 2608.14221 — 25 Seiten, die die Datenkonstruktions-Pipeline, das Trainingsrezept und die Evaluierung anhand von sechs Benchmarks beschreiben.

Der GitHub-Code-Link in der README ist zum Zeitpunkt des Schreibens noch ein Platzhalter, sodass die Evaluierungspipeline und die Pass@k-Skripte zwar versprochen, aber noch nicht öffentlich verfügbar sind. Die README besagt außerdem, dass Kompilierungsprüfungen einen laufenden Kimina Lean Server erfordern und dass die Experimente Lean 4.21.0 verwenden.

Die Repository-Seite oben ist derzeit die gesamte öffentliche Präsenz des Releases: eine Modellkarte, vier Safetensors-Shards, eine Chat-Vorlage und eine README, die zugleich als einzige Dokumentation dient. Zum Zeitpunkt der Erstellung dieses Textes gibt es keinen Ankündigungs-Blogbeitrag.

Was MathForm-8B tut – und warum es eine eng begrenzte Aufgabe ist.

Autoformalization ist der Schritt vor dem Theorembeweis: Bei einem Mathematikproblem in einfachem Englisch („Zeigen Sie, dass für jede reelle Zahl x, x² nicht negativ ist“) muss das Modell eine formal korrekte Aussage in Lean 4 erzeugen — Importe, Typen und einen Theorem-Kopf —, die dann ein Mensch oder ein Beweisprogramm angreifen kann. Es ist eine grundlegend andere Fähigkeit als das Lösen der Mathematik selbst, da das Modell natürlichsprachliche Konzepte auf Mathlibs genaue Hierarchie von Definitionen und Typen abbilden muss. Eine Aussage, die typkorrekt ist, aber die ursprüngliche Aussage stillschweigend abschwächt („(2^5) ∣ (13^4 − 11^4)“ anstelle der vollständigen Teilbarkeitsaussage), ist der klassische Fehlermodus, und genau deshalb unterscheidet das Papier zwischen Syntaxprüfung (kompiliert es?) und Konsistenzprüfung (ist es semantisch dieselbe Aussage?).

Die Modellkarte zeigt das vorgesehene Verwendungsmuster: man gibt ihr einen Prompt mit dem informellen Problem und einem gewünschten Theoremanamen, und sie liefert eine Lean-4-Aussage mit code>theorem my_favorite_theorem : ... := by sorry/code> — das code>sorry/code> lässt die Beweisverpflichtung offen. Diese Arbeitsteilung ist wichtig: MathForm-8B ist ein Formalisierer, kein Beweiser. Teams, die Lean-Werkzeuge entwickeln, nutzen es, um Aufgabenbestände in maschinell prüfbare Form zu überführen.

Wie es trainiert wurde

Das Rezept des Papers ist zweistufig. Zunächst baute OpenBMB FormalVerse mit einer Pipeline, die (1) vor der Generierung relevante Definitionen und vorhandene Formalisierungen aus Mathlib abruft, (2) Kandidatenaussagen generiert, (3) sie mithilfe von Lean-Compiler-Diagnosen und Feedback zur semantischen Konsistenz verfeinert und (4) nur Beispiele behält, die beide Prüfungen bestehen. Dieses verifizierte Korpus wird dann für überwachtes Feintuning verwendet, gefolgt von bestärkendem Lernen mit Belohnungssignalen aus der Lean-Kompilierung und der semantischen Konsistenz.

Die Dataset-Karte gibt einen konkreten Eindruck von den Daten: Jeder Eintrag paart eine informelle Aussage mit einer verifizierten formalen Aussage, gekennzeichnet nach Quelle (z. B. AceReason-Math) und Themenkategorie (Zahlentheorie usw.). Da jedes Beispiel vor seiner Aufnahme in das Training eine echte Compiler-Prüfung bestanden hat, lernt das Modell aus Aussagen, die nachweislich korrekt sind, statt aus den rohen Ausgaben eines Modells.

Die Benchmark-Tabelle, ehrlich beschriftet.

Alle Zahlen in diesem Abschnitt sind vom Anbieter aus dem Paper (arXiv 2608.14221) gemeldet und wurden nicht unabhängig reproduziert. Pass@8 bedeutet, dass das Modell acht Versuche pro Problem erhält und der Durchlauf zählt, wenn einer davon besteht; dies ist eine freundlichere Metrik als Pass@1 und sollte als „wie oft das Modell bei gegebenem Budget eine korrekte Aussage erzeugen kann“ verstanden werden.

• MathForm-8B Durchschnittswerte — Syntaxprüfung 88,06 %, Konsistenzprüfung 72,37 %.

• Pro Benchmark, SC dann CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

• Die schwierigen Sets sind die ehrlichen: FATE-H CC 63% und FATE-X CC 37% zeigen die Obergrenze des Modells auf den schwierigsten Teilmengen, im Vergleich zu 95%+ CC auf den einfacheren FormalIMATH und ProverBench.

Die besten 8B-Baselines, die das Papier auflistet — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — und die besten 32B-Baselines — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — bleiben alle hinter den 88.06 / 72.37 von MathForm-8B zurück.

Der reine SFT-Checkpoint (vor der RL-Stufe) liegt bei 84,38 / 66,53, der Reinforcement-Learning-Durchgang bringt also im Schnitt etwa +3,7 SC und +5,8 CC, wobei die größten Zugewinne bei den schwierigen Datensätzen erzielt werden.

Die stärksten Behauptungen, die man skeptisch betrachten sollte: die 100,00-SC-Werte bei FormalIMATH und ProverBench (eine 100%ige Kompilierung bei den einfachen Datensätzen ist ein Warnsignal dafür, dass diese Datensätze konvergiert sind) sowie der Vergleich mit 32B-Modellen, die nicht unter identischen Bedingungen erneut ausgeführt wurden. Die Zahlen des Konsistenzchecks bei FATE-H und FATE-X sind die Werte, die unabhängige Tests am ehesten überstehen dürften.

Was ist nicht bestätigt?

• Es gibt keine unabhängige Evaluierung. Bislang hat kein Dritter MathForm-8B durch eine öffentliche Testumgebung laufen lassen, und der Evaluierungscode wurde nicht veröffentlicht.

• Keine Bereitstellungsankündigung. OpenBMB hat weder einen Start-Blog, eine Preisseite noch einen API-Endpunkt veröffentlicht. Die Formulierung „leise ausgeliefert“ ist wörtlich zu verstehen.

Die RL-Belohnungsgewichte, das Trainingsbudget und die Hardware sind nicht in der Model Card enthalten; sie stehen ausschließlich im Paper.

• Ob das 8B-Modell auf Lean 4.21.1+ oder auf Nicht-Mathlib-Importe verallgemeinerbar ist, wurde nicht getestet.

Wie man es ausführt

Self-hosting ist heute der einzige Weg. Die README dokumentiert drei Pfade, alle mit einem OpenAI-kompatiblen Chat-Endpunkt bei code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, dann generiere mit der Chat-Vorlage.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

Das README empfiehlt Temperatur 0.6, top_p 0.95 und bis zu 16384 neue Tokens — formale Aussagen fallen lang aus, daher ist das großzügige Generierungsfenster die eigentliche Systemanforderung, die man einplanen muss.

Warum der Teil „8B schlägt 32B“ wichtig ist.

Wenn die Zahlen stimmen, ist {{1}}MathForm-8B das bisher stärkste Argument dafür, dass der Engpass bei der Autoformalisierung Datenqualität und Verifikation sind, nicht die reine Parameteranzahl{{/1}}. Die eigene Tabelle des Papers zeigt, dass 32B-Spezialmodelle ({{2}}ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B{{/2}}) unter einem 8B-Modell liegen, das auf einem compilergeprüften Korpus trainiert wurde. Für Teams, die derzeit einen 32B-Formalisierer betreiben, {{3}}ist das eine erhebliche Kostenänderung{{/3}} — {{4}}ein 8B-Modell bei BF16 passt in eine einzelne GPU, was die meisten 32B-Modelle nicht können{{/4}}, und es liefert pro Token schneller.

Es stellt auch die ehrliche Wahl auf, die die übrige Modelllandschaft immer wieder hervorbringt: einen schmalen Spezialisten, der eine verifizierte Aufgabe sehr gut erledigt, gegenüber einem allgemeinen Modell, das viele Aufgaben ohne Verifizierungsgarantie versuchen kann. Was die Formalisierung im Besonderen betrifft, ist der Spezialist derjenige, dessen Ausgabe ein Compiler prüft – genau die Eigenschaft, die es bequem macht, einen Router mit automatischem Failover davorzuschalten. Eine Routing-Ebene, wie sie OrcaRouter über 200+ Modelle hinweg mit Weiterreichung des Provider-Listenpreises betreibt, ermöglicht es, einen Testpfad auf ein tagealtes Open-Weights-Modell wie dieses zu richten und in dem Moment, in dem es ins Stocken gerät, auf ein bewährtes Modell zurückzufallen – Sie können ein unauffälliges Release übernehmen, ohne Ihren Produktionspfad davon abhängig zu machen, und es gibt keinen Aufschlag auf den Token-Preis, falls ein Anbieter es später listet.

Was als Nächstes ansehen

Die drei Dinge, die das hier von einem "interessanten Repo" zu einem "vertrauenswürdigen Tool" machen würden: der GitHub-Evaluationscode erscheint tatsächlich; ein erster unabhängiger Durchlauf von FATE-H und FATE-X unter pass@1 statt pass@8; und eine OpenBMB-Ankündigung, die eine gehostete Route oder ein Paper v2 mit Ablationszahlen hinzufügt. Bis mindestens eines davon eintrifft, behandle die Schlagzeilenergebnisse als richtungsweisend — die Architektur und die Trainingsdaten-Idee sind die nachhaltigen Neuigkeiten, nicht der genaue Prozentsatz.