AlphaProof Code vs MathForm-8B: twee fasen van dezelfde Lean-pijplijn, geen twee rivalen

Lees het AlphaProof Code-paper aandachtig, en één getal valt op dat de aankondiging niet benadrukt: van de vier weken die de vijf onderzoekers van DeepMind besteedden aan het verifiëren van Signal, was het deel dat niet kon worden geautomatiseerd het voortraject. Menselijke experts werkten samen met een combinatie van modellen om de beveiligingsdoelen van Signal om te zetten in formele Lean-specificaties, en een expert beoordeelde elk daarvan afzonderlijk voordat er ook maar enig bewijswerk begon. Dat is de bottleneck. MathForm-8B, het autoformaliseringsmodel van OpenBMB met 8 miljard parameters dat op 14 augustus 2026 op Hugging Face verscheen, is een directe poging om precies die stap te automatiseren — een wiskundige bewering in natuurlijke taal nemen en een Lean 4-formulering van een stelling produceren die klaar is om door iemand anders bewezen te worden. Zet ze naast elkaar en je vergelijkt geen twee producten. Je kijkt naar twee opeenvolgende fasen van één pijplijn, gescheiden door het verschil tussen wiskunde en protocolbeveiliging.

De pipeline, in de volgorde waarin het werk plaatsvindt

Formele verificatie van echte software kent drie taken. Ten eerste: beslissen wat waar moet zijn en dat opschrijven in een formele taal. Ten tweede: bewijzen dat de implementatie eraan voldoet. Ten derde: de bewijzen mechanisch controleren, want een onjuist bewijs is erger dan geen bewijs.

MathForm-8B doet taak één, voor een smalle invoerklasse: wiskundige beweringen in leerboekstijl. Geef het "voor elk reëel getal x is x² niet-negatief" en het retourneert de imports, de types en een theorema-header in Lean 4. Wat het niet retourneert, is een bewijs, en de auteurs zijn er expliciet over dat bewijszoeken andermans probleem is. De gerapporteerde cijfers, allemaal door de leverancier gerapporteerd en niet gereproduceerd, zijn 88,06% gemiddelde Pass@8 onder een syntaxcontrole en 72,37% onder de strengere consistentiecontrole over zes benchmarks — de kloof tussen die twee cijfers is de eerlijke maatstaf voor hoe vaak een syntactisch geldige uitspraak iets anders betekent dan wat er werd gevraagd.

AlphaProof Code voert taken twee en drie uit, plus een specificatiefase die MathForm-8B niet aankon. De beveiligingsdoelen van Signal zijn geen wiskundige beweringen in de zin waarin MathForm is getraind; het zijn uitspraken over een protocol — dat berichten beschermd blijven vóór en na een tijdelijke compromittering van een apparaat, dat de initiator en responder zijn wie ze beweren te zijn. Het omzetten daarvan naar Lean vereiste protocolkennis die geen enkele 8B-autoformaliseerder bezit. Zodra de specificatie bestond, werd het bewijswerk volledig aan agenten overgedragen, en de controle werd overgedragen aan de kernel van Lean plus een poortwachteragent die gebruikmaakte van comparator tegen een achtergehouden kopie van de specificatie.

Wat elk ervan je daadwerkelijk kost om te gebruiken

• Gewichten — MathForm-8B: downloadbaar, Apache 2.0, vier safetensors-shards in BF16, fine-tuned op basis van Qwen3-8B. AlphaProof Code: geen. De release omvat een Lean-ontwikkeling, een AArch64-semantiek en een libsignal-binding op github.com/google-deepmind/code-verification.

• Het draaien ervan — MathForm-8B: Transformers, vLLM of SGLang, allemaal met een OpenAI-compatibel endpoint, op hardware die je zelf bezit. AlphaProof Code: geen endpoint, geen API, geen wachtlijst, geen prijs; het is een onderzoeksframework waarvan DeepMind zegt dat het "voortgezet onderzoek" nodig heeft voordat het kan opschalen.

• Invoer — MathForm-8B: een wiskundige uitspraak in natuurlijke taal. AlphaProof Code: een formele specificatie plus de binary die je daartegen wilt laten bewijzen.

• Uitvoer — MathForm-8B: een Lean 4-theorema-uitspraak, onbewezen. AlphaProof Code: een machinegecontroleerd bewijs, of een weerlegging wanneer de code defect is.

• Menselijke beoordeling — MathForm-8B: u beoordeelt de uitgegeven verklaring, en bij 72,37% consistentie zult u er veel moeten beoordelen. AlphaProof Code: experts beoordelen elke specificatie voordat het bewijswerk begint; daarna markeren agenten ongeveer 1% van de codebase voor een tweede blik.

• Bekende beperkingen — MathForm-8B: alleen wiskundige uitspraken, geen bewijsgeneratie, en de code-repository die in de README wordt gelinkt was bij de release nog een placeholder. AlphaProof Code: geen post-quantumgarantie voor SPQR-healing, geen payloadprivacy, één sessie per promotie, en een MAC-vervalsingsgrens die rond 25.000 berichten in één sessie nietszeggend wordt.

Het gat dat MathForm-8B zou moeten dichten

Het is verleidelijk om te zeggen dat een autoformaliseerder de specificaties van Signal had kunnen schrijven en de onderzoekers de weken aan voorwerk had bespaard. Het artikel zelf zegt iets anders, en de reden is specifiek. Een protocolspecificatie is geen herformulering van een bewering; het is een keuze voor een aanvallersmodel. Het Signal-werk bevat een symbolische tak in Dolev–Yao met een kwantumaanvaller die Diffie–Hellman na de handshake breekt, en een computationele tak met klassieke aanvallers en een concrete grens. Die twee takken formuleren verschillende stellingen over dezelfde code, en kiezen tussen beide is een ingenieursbeslissing met gevolgen voor de veiligheid. Geen enkel model dat is getraind om "laat zien dat x² ≥ 0" om te zetten in Lean, gaat die beslissing nemen.

Wat een autoformaliseerder plausibel zou kunnen doen, is het mechanische deel van dat werk: gegeven een beveiligingsdoel in proza en een bibliotheek met bestaande Lean-definities, een eerste concept van de bewering in het eigen idioom van het project produceren, zodat een expert die kan corrigeren. Dat is een echte besparing, en een veel kleinere dan de kop doet vermoeden. Het artikel rapporteert een catalogus van specificatieafwijkingen met meer dan 200 computationele items en ongeveer 35 symbolische — vijftien daarvan zijn hiaten of bugs in de Double Ratchet-analyse — wat de menselijke beoordelingsstap opleverde. Een model dat beweringen opstelt, zou aan die catalogus moeten worden afgemeten, niet aan een Pass@8-score op wiskundebenchmarks.

Waar de twee getallen helemaal niet vergelijkbaar zijn

De 88,06% van MathForm-8B en de 6,5 miljoen regels van AlphaProof Code meten verschillende dingen en mogen nooit in dezelfde kolom worden geplaatst. Het ene is een hitpercentage op een benchmarksuite die de auteurs hebben gebouwd; het andere is een hoeveelheid bewijs die voor één doel is geproduceerd. De leverancier is openhartig dat de 88,06% gebruikmaakt van een syntaxcontrole, wat een zwak criterium is — een statement kan compileren en toch de verkeerde bewering formaliseren, waardoor het consistentiecijfer 16 punten lager ligt.

Het AlphaProof Code-geval met een vergelijkbare strekking is het validatiewerk: twee eerder verholpen Signal-bugs, een weak-statebug en een small-subgroupbug, werden opnieuw in een geïsoleerde kopie aangebracht, en in beide gevallen produceerde het systeem een machinegecontroleerd bewijs dat de buggy versie de veiligheidsstelling niet doorstaat. Dat is een negatieve test, en juist een negatieve test ontbreekt volledig in een autoformalizerbenchmark. MathForm-8B rapporteert geen resultaat van de vorm "gegeven een opzettelijk onjuiste bewering, zei het model dat."

Hoe je ze in de praktijk samen zou gebruiken

Concreet, en dit is het enige onderdeel van de vergelijking met een pad op korte termijn: gebruik een autoformalizer om een concept op te stellen, een sterk algemeen model om het concept te bekritiseren, en een bewijsagent om te proberen het bewijs te leveren. Elke fase heeft een andere faalwijze, en het routeren van alle drie via één sleutel is het praktische gemak. Op OrcaRouter, bevinden meer dan 200 modellen zich achter één API tegen de lijstprijs van de provider met 0% opslag, dus een lus voor het opstellen van specificaties die dezelfde bewering naar twee modellen stuurt en hun Lean vergelijkt, is een routing-DSL-aanroep in plaats van drie contracten en drie SDK's. Automatische failover dekt het geval waarin het model dat je hebt gekozen een slechte middag heeft.

Wat niets daarvan oplevert, is de garantie. MathForm-8B geeft je een bewering, de modellen geven je een kritiek, en iets moet die nog steeds bewijzen. Op dit moment is het enige gepubliceerde systeem dat die lus sluit op code die daadwerkelijk in gebruik is, AlphaProof Code, en dat is niet te koop.

De reden om beide papers te lezen in plaats van een winnaar te kiezen

MathForm-8B is een nuttig artefact met een smalle taak en een reëel, gemeten nauwkeurigheidsplafond. AlphaProof Code is een workflowdemonstratie waarvan de meest overdraagbare bevinding niet het bewijsvolume is, maar de splitsing: specificatiewerk vraagt om mensen en een sterk algemeen model, bewijswerk vraagt om agentteams en een kernel, en de grens daartussen is waar alle moeilijkheid zit. Iedereen die een verificatiepijplijn bouwt, zou die splitsing serieus moeten nemen en autoformalisering moeten behandelen als het onderdeel dat de kosten van de eerste fase verlaagt — niet het onderdeel dat die vervangt.

De eerlijke samenvatting voor een team dat deze maand besluit wat het moet downloaden: MathForm-8B, ja, als je met Lean werkt en een hulpmiddel voor het opstellen van concepten wilt. AlphaProof Code, lees de artefactrepository en de catalogus van specificatieafwijkingen, want de catalogus vertelt je meer over wat formele verificatie van productiecode nog steeds niet kan bereiken dan welke aankondiging dan ook.