Wat is MathForm-8B? De stille autoformalisatie-release van OpenBMB zet wiskunde om in Lean 4.

openbmb/MathForm-8B is een nieuw autoformalisatiemodel van OpenBMB dat wiskundige beweringen in natuurlijke taal vertaalt naar Lean 4, en het werd vrijwel zonder aankondiging uitgebracht: de gewichten, de dataset en het paper verschenen allemaal op dezelfde dag, 14 augustus 2026, op Hugging Face en arXiv, onder de overkoepelende titel "MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." Die stille lancering verbergt een opmerkelijk resultaat: een model met 8B-parameters rapporteert gemiddelde Pass@8-scores van 88,06% bij een syntaxcontrole en 72,37% bij een strengere consistentiecontrole over zes benchmarks, en het paper beweert dat dit model verschillende gespecialiseerde 32B-autoformalisatoren verslaat. Dit is een overzicht van wat we tot nu toe weten: alles hieronder met het label 'uit de repo' komt rechtstreeks uit de modelkaart, de datasetkaart en het paper, en alles wat nog niet onafhankelijk is bevestigd, wordt als zodanig gemarkeerd.

Belangrijkste conclusies

MathForm-8B is een 8B, Apache-2.0 autoformalisatiemodel: het leest een informeel wiskundig probleem en schrijft een Lean 4-stelling met een benoemde kop, klaar voor een later bewijs.

• Het is vanuit Qwen3-8B gefinetuned op FormalVerse, een geverifieerde Lean 4-dataset met ~367.000 voorbeelden die OpenBMB heeft gebouwd met kennisretrieval en compiler-gecontroleerde verfijning, en vervolgens getraind via reinforcement learning, gebruikmakend van Lean-compilatie en feedback op semantische consistentie.

• Gerapporteerde getallen (door leverancier gerapporteerd, niet gereproduceerd): 88,06% gemiddelde Pass@8 onder Syntax Check, 72,37% onder Consistency Check, beter dan gespecialiseerde autoformalizers van 7B tot 32B in de eigen tabel van het artikel.

• Het is niet aangekondigd, niet beschikbaar op een grote betaalde API bij de lancering, en nog niet onafhankelijk gebenchmarkt — drie hiaten die van belang zijn voor productieadoptie.

• Serving is zelf gehost: Transformers, vLLM of SGLang, die allemaal een OpenAI-compatibele endpoint blootleggen.

Wat de release daadwerkelijk bevat

Drie artefacten gingen binnen enkele minuten na elkaar online op 2026-08-14, wat eruitziet als een gecoördineerde maar niet-aangekondigde release:

• Het model-repo, openbmb/MathForm-8B — een 8B causaal taalmodel in BF16 met een chat-template, vier safetensors-shards, Apache 2.0-licentie.

• De dataset-repo, openbmb/FormalVerse — een autoformalisatiedataset voor Lean 4 met ongeveer 367.000 geverifieerde voorbeelden, ook Apache 2.0.

• Het paper, arXiv 2608.14221 — 25 pagina's die de dataconstructiepipeline, het trainingsrecept en de evaluatie over zes benchmarks beschrijven.

De GitHub-codelink in de README is op het moment van schrijven nog een placeholder, dus de evaluatiepipeline en Pass@k-scripts worden beloofd maar zijn nog niet openbaar. In de README staat wel dat compilatiecontroles een draaiende Kimina Lean Server vereisen en dat experimenten gebruikmaken van Lean 4.21.0.

De repositorypagina hierboven is op dit moment het volledige publieke oppervlak van de release: een modelkaart, vier safetensors-shards, een chat-sjabloon en een README die tevens dient als de enige documentatie. Er bestaat op het moment van schrijven geen aankondigingsblogpost.

Wat MathForm-8B doet — en waarom het een beperkte taak is

Autoformalisatie is de stap vóór het bewijzen van stellingen: gegeven een wiskundig probleem in gewoon Engels ("Show that for every real number x, x² is non-negative"), moet het model een formeel correcte bewering in Lean 4 produceren — imports, types en een theorem-header — die een mens of een prover vervolgens kan aanvallen. Het is een wezenlijk andere vaardigheid dan het zelf doen van de wiskunde, omdat het model natuurlijke-taalconcepten moet afbeelden op de exacte hiërarchie van definities en types van Mathlib. Een bewering die typecheckt maar de oorspronkelijke bewering stilzwijgend verzwakt ("(2^5) ∣ (13^4 − 11^4)" in plaats van de volledige deelbaarheidsclaim) is de klassieke faalmodus, en dat is waarom het artikel syntaxiscontrole (compileert het?) onderscheidt van consistentiecontrole (is het semantisch dezelfde bewering?).

De modelkaart toont het beoogde gebruikspatroon: je geeft het een prompt met het informele probleem en een gewenste stellingnaam, en het retourneert een Lean 4-bewering met code>theorem my_favorite_theorem : ... := by sorry/code> — het code>sorry/code> laat de bewijsverplichting open. Die taakverdeling is belangrijk: MathForm-8B is een formalisator, geen bewijzer. Teams die Lean-tooling bouwen, gebruiken het om probleembanken om te zetten in machine-controleerbare vorm.

Hoe het is getraind

Het recept in het paper bestaat uit twee fasen. Eerst bouwde OpenBMB FormalVerse met een pijplijn die (1) relevante definities en bestaande formaliseringen uit Mathlib ophaalt vóór het genereren, (2) kandidaat-beweringen genereert, (3) ze verfijnt met behulp van Lean-compilerdiagnostiek en feedback over semantische consistentie, en (4) alleen samples bewaart die beide controles doorstaan. Dat geverifieerde corpus wordt vervolgens gebruikt voor gesuperviseerde fine-tuning, gevolgd door reinforcement learning met beloningssignalen van Lean-compilatie en semantische consistentie.

De datasetkaart geeft een concrete indruk van de data: elk item koppelt een informele bewering aan een geverifieerde formele bewering, gelabeld op bron (bijv. AceReason-Math) en onderwerpslabel (Getaltheorie, enzovoort). Omdat elk voorbeeld een echte compilercontrole doorstond voordat het in de training terechtkwam, leert het model van beweringen waarvan bekend is dat ze correct zijn, in plaats van van de ruwe output van een model.

De benchmarktabel, eerlijk gelabeld

Alle cijfers in deze sectie zijn door de leverancier gerapporteerd uit het paper (arXiv 2608.14221) en zijn niet onafhankelijk gereproduceerd. Pass@8 betekent dat het model acht pogingen per probleem krijgt en de run telt als een daarvan slaagt; dit is een vriendelijkere metriek dan pass@1 en moet worden gelezen als "hoe vaak het model een correcte uitspraak kan produceren binnen het budget."

MathForm-8B-gemiddelden — syntaxcontrole 88,06%, consistentiecontrole 72,37%.

Per benchmark, eerst SC dan CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

De moeilijke sets zijn de eerlijke: FATE-H CC 63% en FATE-X CC 37% tonen het plafond van het model op de moeilijkste subsets, versus 95%+ CC op de eenvoudigere FormalIMATH en ProverBench.

• De beste 8B-baselines die het paper opsomt — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — en de beste 32B-baselines — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — blijven allemaal achter bij de 88.06 / 72.37 van MathForm-8B.

• Het SFT-only checkpoint (vóór de RL-fase) komt uit op 84.38 / 66.53, dus de reinforcement-learning stap is gemiddeld ongeveer +3.7 SC en +5.8 CC waard, met de grootste winsten op de moeilijke sets.

De sterkste beweringen om sceptisch over te zijn: de 100.00 SC-scores op FormalIMATH en ProverBench (100% compilatie op de eenvoudige sets is een alarmsignaal dat die sets zijn geconvergeerd), en de vergelijking met 32B-modellen die niet opnieuw zijn uitgevoerd onder identieke omstandigheden. De Consistency Check-cijfers op FATE-H en FATE-X zijn de cijfers die de meeste kans hebben om onafhankelijke tests te doorstaan.

Wat is niet bevestigd

• Er bestaat geen onafhankelijke evaluatie. Geen enkele derde partij heeft MathForm-8B tot nu toe door een openbare testomgeving laten draaien, en de evaluatiecode is niet uitgebracht.

• Geen aankondiging van beschikbaarstelling. OpenBMB heeft geen lanceerblog, prijspagina of API-endpoint gepubliceerd. De framing "stilletjes uitgebracht" is letterlijk.

• De RL-rewardgewichten, het trainingsbudget en de hardware staan niet in de modelkaart; ze staan alleen in het paper.

• Of het 8B-model generaliseert naar Lean 4.21.1+ of naar niet-Mathlib-imports is niet getest.

Hoe het uit te voeren

Self-hosting is tegenwoordig de enige route. De README beschrijft drie paden, allemaal met een OpenAI-compatibel chat-eindpunt op code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, genereer vervolgens met de chat-sjabloon.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

De README beveelt temperature 0.6, top_p 0.95 en tot 16384 nieuwe tokens aan — formele statements lopen lang door, dus het royale generatievenster is de feitelijke systeemvereiste waarmee je rekening moet houden.

Waarom het '8B verslaat 32B'-deel belangrijk is

Als de cijfers kloppen, is MathForm-8B tot nu toe het sterkste argument dat de bottleneck bij autoformalisatie datakwaliteit en verificatie is, niet het ruwe aantal parameters. De tabel in het paper zelf laat zien dat gespecialiseerde 32B-modellen (ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B) onder een 8B-model staan dat is getraind op een compiler-gecontroleerd corpus. Voor teams die momenteel een 32B-formalizer draaien, is dat een materiële kostenverandering — een 8B-model met BF16 past in een enkele GPU waar de meeste 32B-modellen niet in passen, en het serveert sneller per token.

Het schept ook de eerlijke keuze die de rest van het modellenlandschap blijft voortbrengen: een smalle specialist die één geverifieerde taak erg goed doet, versus een algemeen model dat veel taken kan proberen zonder verificatiegarantie. Specifiek voor formalisatie is de specialist degene met een compiler die de output controleert — precies de eigenschap die maakt dat je er gerust een router met automatische failover voor kunt zetten. Een routinglaag zoals de laag die OrcaRouter over 200+ modellen draait, tegen doorberekening van de provider-lijstprijs, laat je een testpad richten op een open-weightsmodel van amper een paar dagen oud zoals dit en terugvallen op een bewezen model zodra het hapert — je kunt een stille release adopteren zonder je productiepad op het spel te zetten, en er zit geen opslag op de tokenprijs als een provider het later aanbiedt.

Wat nu te kijken

De drie dingen die dit van "interessante repo" naar "betrouwbare tool" zouden veranderen: de GitHub-evaluatiecode die daadwerkelijk verschijnt; een eerste onafhankelijke poging op FATE-H en FATE-X onder pass@1 in plaats van pass@8; en elke OpenBMB-aankondiging die een gehoste route of een paper v2 met ablatiecijfers toevoegt. Zolang er niet ten minste één daarvan is, behandel de headlinescores als richtinggevend — de architectuur en het trainingsdata-idee zijn het blijvende nieuws, niet het exacte percentage.