Vad är MathForm-8B? OpenBMB:s tysta autoformaliseringssläpp förvandlar matematik till Lean 4

openbmb/MathForm-8B är en ny autoformaliseringsmodell från OpenBMB som översätter matematiska påståenden på naturligt språk till Lean 4, och den släpptes nästan utan tillkännagivande: vikterna, datasetet och papperet publicerades alla på Hugging Face och arXiv samma dag, 2026-08-14, under paraplytiteln "MathForm: Scaling Mathematical Autoformalization with Knowledge Retrieval and Verification-Guided Refinement." Den tysta lanseringen döljer ett ovanligt resultat – en modell med 8B-parametrar som rapporterar genomsnittliga Pass@8-poäng på 88,06 % vid en syntaxkontroll och 72,37 % vid en strängare konsistenskontroll över sex riktmärken, vilket enligt papperet slår flera specialiserade 32B-autoformaliserare. Det här är en genomgång av vad vi vet hittills: allt nedan märkt ”från repot” kommer direkt från modellkortet, datasetkortet och papperet, och allt som ännu inte oberoende bekräftats är markerat som sådant.

Viktiga slutsatser

• MathForm-8B är en 8B Apache-2.0-modell för autoformalisering: den läser ett informellt matematikproblem och skriver en Lean 4-satsformulering med en namngiven rubrik, redo för ett bevis senare.

• Den är finjusterad från Qwen3-8B på FormalVerse, en verifierad Lean 4-datamängd med ~367 000 exempel som OpenBMB byggde med kunskapsåtervinning och kompilatorkontrollerad förfining, och därefter tränad med förstärkningsinlärning med hjälp av Lean-kompilering och återkoppling för semantisk konsistens.

• Rapporterade siffror (leverantörsrapporterade, ej reproducerade): 88,06 % genomsnittlig Pass@8 under Syntax Check, 72,37 % under Consistency Check, vilket slår specialiserade autoformaliserare från 7B till 32B i artikelns egen tabell.

• Det är inte annonserat, inte på ett stort betalt API vid lansering, och ännu inte oberoende benchmarkat — tre brister som spelar roll för produktionsanvändning.

• Serveringen är självhostad: Transformers, vLLM eller SGLang, som alla exponerar en OpenAI-kompatibel slutpunkt.

Vad releasen faktiskt innehåller

Tre artefakter publicerades inom några minuter från varandra den 2026-08-14, vilket är vad en samordnad men inte tillkännagiven release ser ut som:

{{1}}Modellrepot openbmb/MathForm-8B — en 8B kausal LM i BF16 med en chattmall, fyra safetensors-delar, Apache 2.0-licens.{{/1}}

• Dataset-repot openbmb/FormalVerse — ett Lean 4-autoformaliseringsdataset med cirka 367 000 verifierade exempel, även Apache 2.0.

• Artikeln, arXiv 2608.14221 — 25 sidor som beskriver datakonstruktionspipelinen, träningsreceptet och utvärderingen på sex benchmarks.

GitHub-kodlänken i README är fortfarande en platshållare vid skrivande stund, så utvärderingspipelinen och Pass@k-skripten är utlovade men ännu inte offentliga. README säger dock att kompileringskontroller kräver att en Kimina Lean Server körs och att experimenten använder Lean 4.21.0.

Repository-sidan ovan är hela den publika ytan av releasen just nu: ett modellkort, fyra safetensors-shards, en chattmall och en README som även fungerar som den enda dokumentationen. Inget tillkännagivande-blogginlägg finns i skrivande stund.

Vad MathForm-8B gör — och varför det är en begränsad uppgift

Autoformalisering är steget före teorembevis: givet ett matematiskt problem på ren engelska (”Visa att för varje reellt tal x är x² icke-negativt”), måste modellen producera ett formellt korrekt påstående i Lean 4 — importer, typer och en teoremrubrik — som en människa eller en bevisare sedan kan angripa. Det är en verkligt annorlunda färdighet jämfört med att göra matematiken, eftersom modellen måste avbilda naturliga språkets begrepp på Mathlibs exakta hierarki av definitioner och typer. Ett påstående som typkontrolleras men tyst försvagar originalet (”(2^5) ∣ (13^4 − 11^4)” i stället för det fullständiga delbarhetspåståendet) är det klassiska feltillståndet, och det är därför artikeln skiljer mellan syntaxkontroll (kompilerar det?) och konsistenskontroll (är det semantiskt samma påstående?).

Modellkortet visar det avsedda användningsmönstret: du ger det en prompt med det informella problemet och ett önskat teoremnamn, och det returnerar en Lean 4-sats med code>theorem my_favorite_theorem : ... := by sorry/code> — det code>sorry/code> lämnar bevisskyldigheten öppen. Denna arbetsfördelning är viktig: MathForm-8B är en formaliserare, inte en bevisare. Team som bygger Lean-verktyg använder den för att konvertera problembanker till maskinkontrollerbar form.

Hur den tränades

Receptet i artikeln är tvåstegs. Först byggde OpenBMB FormalVerse med en pipeline som (1) hämtar relevanta definitioner och befintliga formaliseringar från Mathlib före genereringen, {{1}}(2) genererar kandidatpåståenden,{{/1}} {{2}}(3) förfinar dem med hjälp av Leans kompilatordiagnostik och återkoppling om semantisk konsistens,{{/2}} och {{3}}(4) behåller endast sampel som klarar båda kontrollerna.{{/3}} Den verifierade korpusen används sedan för övervakad finjustering, följt av förstärkningsinlärning med belöningssignaler från Lean-kompilering och semantisk konsistens.

Datasettkortet ger en konkret bild av datan: varje post parar ihop ett informellt påstående med ett verifierat formellt sådant, taggat efter källa (t.ex. AceReason-Math) och ämnesetikett (talteori, och så vidare). Eftersom varje exempel klarade en riktig kompilatorkontroll innan det inkluderades i träningen, lär sig modellen från påståenden som är kända för att vara korrekta snarare än från en modells råa utdata.

Benchmark-tabellen, ärligt märkt.

Alla siffror i detta avsnitt är leverantörsrapporterade från artikeln (arXiv 2608.14221) och har inte oberoende reproducerats. Pass@8 innebär att modellen får åtta försök per problem och körningen räknas om något av försöken klarar sig; detta är ett vänligare mått än pass@1 och bör läsas som "hur ofta modellen kan producera ett korrekt uttalande givet budget."

• MathForm-8B genomsnitt — Syntaxkontroll 88,06%, Konsistenskontroll 72,37%.

• Per benchmark, SC sedan CC: FormalIMATH 100.00 / 95.06, ProverBench 100.00 / 94.83, CombiBench 93.00 / 47.00, FATE-M 99.33 / 97.33, FATE-H 82.00 / 63.00, FATE-X 54.00 / 37.00.

• De svåra uppsättningarna är de ärliga: FATE-H CC 63% och FATE-X CC 37% visar modellens tak på de svåraste delmängderna, jämfört med 95%+ CC på de lättare FormalIMATH och ProverBench.

• De bästa 8B-baslinjerna som uppsatsen listar — ReForm-8B 81.76 / 66.21, Goedel-Formalizer-V2-8B 78.24 / 60.08 — och de bästa 32B-baslinjerna — ReForm-32B 81.61 / 68.41, Goedel-Formalizer-V2-32B 78.28 / 63.74, StepFun-Formalizer-32B 63.65 / 44.47 — ligger alla efter MathForm-8B:s 88.06 / 72.37.

• Checkpointen med endast SFT (före RL-fasen) landar på 84,38 / 66,53, så förstärkningsinlärningspasset är värt ungefär +3,7 SC och +5,8 CC i genomsnitt, med de största vinsterna på de svåra uppsättningarna.

De starkaste påståendena att vara skeptisk mot: 100.00 SC-poängen på FormalIMATH och ProverBench (100 % kompilering på de enkla uppsättningarna är en varningsflagga för att dessa uppsättningar har konvergerat), och jämförelsen mot 32B-modeller som inte kördes om under identiska förhållanden. Konsistenskontrollsiffrorna på FATE-H och FATE-X är de siffror som mest sannolikt överlever oberoende testning.

Vad som inte är bekräftat

• Ingen oberoende utvärdering finns. Ingen tredje part har kört MathForm-8B genom en offentlig testmiljö vid skrivande stund, och utvärderingskoden har inte släppts.

• Inget tillkännagivande om servering. OpenBMB har inte publicerat en lanseringsblogg, en prissättningssida eller en API-slutpunkt. Beskrivningen "tyst lanserad" är bokstavlig.

• RL-belöningsvikterna, träningsbudgeten och hårdvaran finns inte i modellkortet; de finns bara i uppsatsen.

• Huruvida 8B-modellen generaliserar till Lean 4.21.1+ eller till icke-Mathlib-importer är otestat.

Så här kör du det

Självhosting är den enda vägen idag. README dokumenterar tre sätt, alla med en OpenAI-kompatibel chattslutpunkt på code>localhost:8000/v1/chat/completions/code>:

• Transformers — code>AutoModelForCausalLM.from_pretrained("openbmb/MathForm-8B", torch_dtype=torch.bfloat16)/code>, sedan generera med chattmallen.

• vLLM — code>vllm serve openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --max-model-len 16384/code>.

• SGLang — code>python -m sglang.launch_server --model-path openbmb/MathForm-8B --served-model-name MathForm-8B --dtype bfloat16 --context-length 16384/code>.

README:n rekommenderar temperatur 0,6, top_p 0,95 och upp till 16384 nya tokens — formella uttalanden blir långa, så det generösa generationsfönstret är det faktiska systemkravet att budgetera för.

Varför delen ”8B slår 32B” spelar roll

Om siffrorna håller streck är MathForm-8B det starkaste argumentet hittills för att autoformaliseringsflaskhalsen är datakvalitet och verifiering, inte rå parametrarantal. Papprets egen tabell visar 32B specialiserade modeller (ReForm-32B, Goedel-Formalizer-V2-32B, StepFun-Formalizer-32B) ligga under en 8B-modell tränad på en kompilatorgranskad korpus. För team som idag kör en 32B-formaliserare innebär det en väsentlig kostnadsförändring — en 8B-modell i BF16 får plats i en enda GPU som de flesta 32B-modeller inte får plats i, och den serverar snabbare per token.

Det ställer också upp det ärliga val som resten av modellandskapet ständigt producerar: en smal specialist som utför en verifierad uppgift mycket väl, jämfört med en generell modell som kan försöka sig på många uppgifter utan någon verifieringsgaranti. För formalisering specifikt är specialisten den som har en kompilator som kontrollerar dess utdata – vilket är precis den egenskap som gör att en router med automatisk failover känns bekväm att placera framför den. Ett routningslager som det OrcaRouter kör över 200+ modeller, till leverantörens listpris utan påslag, låter dig peka en testväg mot en dagar gammal open-weights-modell som denna och falla tillbaka på en beprövad modell i samma stund som den stannar – du kan anta en tyst release utan att satsa din produktionsväg på den, och det finns inget påslag på tokenpriset om en leverantör senare listar den.

Vad du ska titta på härnäst

De tre sakerna som skulle förvandla detta från "intressant repo" till "pålitligt verktyg": att GitHub-utvärderingskoden faktiskt dyker upp; en första oberoende genomgång av FATE-H och FATE-X med pass@1 istället för pass@8; och något OpenBMB-tillkännagivande som lägger till en hostad rutt eller en paper v2 med ablationssiffror. Tills minst en av dessa landar, betrakta rubriksiffrorna som vägledande — arkitekturen och träningsdata-idén är de varaktiga nyheterna, inte den exakta procentsatsen.