Clef versus MathForm-8B: de een beantwoordt jouw vraag, de ander schrijft een bewijs.

De reden om Cloudflare/clef naast openbmb/MathForm-8B is dat het op dit moment de twee dingen zijn die in het openbaar het gemakkelijkst met elkaar te verwarren zijn, en ze door elkaar halen kost je een trainingsrun. Beide zijn het fine-tunes die respectievelijk op de checkpoints Qwen3.8-27B en Qwen3-8B zijn gebouwd. Beide zijn Apache-2.0. Beide zijn in de afgelopen tien weken gepubliceerd. Beide zijn smal, voor een specifiek doel gebouwd en worden door hun makers beschreven als gespecialiseerd in plaats van algemeen. En ze hebben helemaal niets met elkaar te maken, want de ene levert een getal uit een lijst die jij hebt aangeleverd, en de andere produceert Lean 4-broncode, token voor token, die door een proof assistant moet worden gecontroleerd.

Clef is Cloudflares multimodale beslissingsmodel met 27 miljard parameters: je geeft het een toestand en een schema van getypeerde vragen, en het retourneert een gekalibreerde waarschijnlijkheid voor elk toegestaan antwoord in één enkele niet-autoregressieve pass, zonder enige tekstgeneratie in het hele traject. MathForm-8B, van OpenBMB, is een autoformaliseringsmodel — een wiskundige uitspraak in natuurlijke taal gaat erin, Lean 4 komt eruit, en de pijplijn die het heeft getraind wordt beschreven in een arXiv-preprint die samen met de gewichten is gepubliceerd op 14 augustus 2026. Het plafond van het ene model is de grootte van je optielijst. Het plafond van het andere is de sterkte van de typetheorie van Lean. Vragen welk van de twee beter is, is een categoriefout, en het feit dat beide tussen de acht en zevenentwintig miljard parameters grote Apache-2.0 open-weights-fine-tunes zijn, is precies wat de fout gemakkelijk te begaan maakt.

Wat de interface van elk model fysiek verbiedt

De snelste manier om de splitsing te zien, is te lezen wat elk ervan kan teruggeven.

• Invoer — Clef neemt een toestand (tekst, JSON, afbeeldingen of videoframes) plus 1 tot 64 benoemde getypeerde vragen; MathForm-8B neemt een wiskundige uitspraak in natuurlijke taal.

• Uitvoer — Clef retourneert één kans per toegestane optie, met softmax per vraag. MathForm-8B retourneert Lean 4-broncode.

• Vraagtypen — Clef's zijn noul (waar/onwaar, met de kans dat het waar is), keuze (2 tot 26 benoemde opties) en score (2 tot 26 geordende niveaus); MathForm-8B heeft helemaal geen vraagconcept.

• Kalibratie — Clef publiceert per antwoord een confidenceveld; MathForm-8B publiceert Pass@8-percentages onder syntaxis- en consistentiecontroles.

• Serveren — Clef wordt geserveerd via een Jev/SystemOne-compatibele POST /v1/systemone body, gehost of zelf gedraaid; MathForm-8B wordt geleverd met instructies voor Transformers, vLLM en SGLang, die allemaal een OpenAI-compatibel completion-eindpunt bieden bij een context van 16.384 tokens met max_new_tokens ingesteld op 16.384.

De praktische consequentie volgt onmiddellijk. Als je een ja/nee-oordeel nodig hebt over een stuk tekst, is Clef de enige van de twee die dat kan produceren — er is geen manier om MathForm-8B een vraag te stellen die niet luidt: "schrijf de Lean 4 hiervoor." Als je Lean 4 nodig hebt, is Clef de enige van de twee die het niet kan produceren, en niet uit zwakte: het vragen aan een schemagebonden model om een stelling te formaliseren past niet bij zijn contract, dus het verzoek wordt afgewezen in plaats van slecht beantwoord.

De pipeline waartoe ze beiden behoren

Er is een echte architectuur waarin deze twee modellen naast elkaar staan, en het is de moeite waard om die te doorlopen, omdat het de tweedeling concreet maakt in plaats van abstract. Neem een dienst die wiskunde formaliseert voor onderzoekers en studenten.

Beweringen komen binnen in natuurlijke taal, onbeperkt in soort. Voordat iets geformaliseerd kan worden, moet iets beslissen wat er is binnengekomen. Is dit een stelling om te bewijzen, een definitie om toe te voegen, een verzoek om een bestaand bewijs te controleren, of een vraag die om opheldering vraagt voordat iemand Lean aanraakt? Is het zelfstandig, of leunt het op context die de gebruiker niet heeft aangeleverd? Zijn de symbolen conventioneel, of is deze notatie iets wat het systeem nog nooit heeft gezien? Elk daarvan is een begrensde vraag met een kleine set opties — precies de vorm van Clef — en de gekalibreerde waarschijnlijkheid die aan elk antwoord hangt, is wat de dienst in staat stelt iets verstandigs te doen met de onzekere gevallen: alles onder een drempel naar een mens doorsturen in plaats van te gokken.

De tweede stap is voor MathForm-8B. Neem een stelling die al is geclassificeerd als een op zichzelf staande stelling met bekende notatie en genereer de Lean 4. Dat is een generatieprobleem, en de kwaliteitsvraag is hoe vaak de uitvoer compileert en hoe vaak die hetzelfde betekent als het origineel — precies wat de twee evaluatie-assen van de leverancier meten. Dit is het algemene patroon dat het waard is om uit de koppeling te halen: een goedkope, begrensde classifier vóór een dure, gespecialiseerde generator is meestal goedkoper en betrouwbaarder dan de generator te prompten om te beslissen of hij überhaupt zou moeten draaien.

Wat de cijfers aan elke kant daadwerkelijk meten

De arXiv-samenvatting van OpenBMB meldt dat MathForm-8B gemiddelde Pass@8-percentages van 88,06% onder Syntax Check en 72,37% onder Consistency Check op zes benchmarks haalt, en dat het op de FATE-H- en FATE-X-subsetten consistentie-slagingspercentages van 63% en 37% behaalt, beide boven de sterkste gespecialiseerde baselines waarmee de paper vergelijkt. De trainingspijplijn is het interessante deel van de claim: een retrieval-planner haalt vóór de generatie relevante definities en bestaande formalisaties uit Mathlib, en gegenereerde statements worden vervolgens herzien met behulp van compilerdiagnostiek en semantische-consistentiefeedback, en zo werd de FormalVerse-dataset van ongeveer 367.000 geverifieerde Lean 4-voorbeelden opgebouwd vóór supervised fine-tuning en reinforcement learning. Dit zijn door de leverancier gerapporteerde cijfers uit een paper en een model card. Geen enkele onafhankelijke partij heeft ze opnieuw uitgevoerd.

De cijfers van Clef meten iets heel anders en zijn niet vergelijkbaar. De Decision Index-run van Cloudflare rapporteert een macro-F1 voor BANKING77-intentie van 94,2, CLINC150 met afhandeling van buiten-bereik op 97,4, GPQA Diamond op 48,0 — waar de oudere Jev 78,3 scoort — en een mediane verzoeklatentie van 209,3 ms. Het is een tabel over classificatie en routering, geproduceerd door de leverancier op de eigen suite van de leverancier, gehost op het eigen leaderboard van de leverancier, en niet gereproduceerd.

De enige eerlijke zin die over deze twee kolommen te schrijven valt, is dat ze geen enkele benchmark, eenheid of evaluatiefilosofie delen. MathForm-8B's 37% op een moeilijke formalisatiesubset en Clef's 97,4 op het detecteren van intenties buiten het beoogde bereik zijn beide echte claims van hun makers over verschillende taken, en een lezer die ze naast elkaar legt, heeft niets geleerd behalve dat beide getallen bestaan.

Wat je zou uitvoeren, en wat het kost

Geen van beide modellen is een route op OrcaRouter, en dit artikel doet geen bewering over beschikbaarheid — de catalogus retourneert een 404 voor cloudflare/clef en voor MathForm-8B. De MathForm-repository is ongeveer 16,4 GB groot, en beide modellen zijn Apache-2.0, dus beide kunnen morgen door iedereen met de hardware zelf worden gehost.

• Clef op Cloudflare — $0,24 per miljoen inputtokens op Workers AI, met de gepubliceerde latentie gemeten op één enkele H200.

• MathForm-8B self-hosted — geen hosting door leveranciers, geen prijs per token, en een gedocumenteerde context van 16.384 tokens, wat een beperking is die het opmerken waard is: een lange sectie van een paper past niet in één keer.

• Het gerouteerde alternatief voor de classifierhelft — Jev 1.13 van TypeSafe tegen $0,042 per miljoen invoertokens bij een context van 65.536 tokens, aangeboden via dezelfde POST /v1/systemone-body die Clef gebruikt, waardoor het een drop-in is voor de eerste stap van de bovenstaande pipeline.

Dat is waar een routeringslaag zijn plek verdient in deze specifieke combinatie. Het patroon is een beslisser en een generator, en de helft die beslist is degene met een levende vervanger — één endpoint vóór meer dan 200 modellen, de lijstprijs van de provider, ingekocht tegen een markup per token, en automatische failover zodat een slechte middag van een provider de voordeur van je pipeline niet blokkeert. De generatorhelft is een artefact van 16,4 GB dat je zelf draait, en geen enkel endpoint verandert dat.

Nog een ding dat de maten verbergen.

De parameteraantallen nodigen uit tot een vergelijking die geen stand houdt. Clef is 27B en MathForm-8B is 8B, dus het ligt voor de hand om aan te nemen dat het grotere model het capabelere is en het kleinere het gespecialiseerde model. In wezen is het net omgekeerd. Clef is groot omdat het een bevroren multimodale backbone meedraagt die het nodig heeft om screenshots en facturen te lezen; het getrainde deel daarbovenop is een kleine schema-head met rank-256-adapters. MathForm-8B is klein omdat Lean 4 een smal doel is en de Qwen3-8B-basis voldoende was om het te halen, waarbij de echte engineering in de retrieval- en verificatiepijplijn zit die zijn trainingsdata heeft geproduceerd, en niet in het aantal parameters.

Grootte zegt je, met andere woorden, wat elk model moest dragen, niet hoe moeilijk het probleem is dat het oplost. Een 27B die een bon leest en "billing, 0.98" teruggeeft, en een 8B die compileerbare Lean produceert, doen allebei precies waarvoor ze gebouwd zijn, en de framing van acht miljard versus zevenentwintig miljard zal je ongeveer de helft van de tijd naar de verkeerde leiden.

De beslissing, en de vraag die geen van beide leveranciers heeft beantwoord

Als je een pipeline hebt die onbegrensde natuurlijke taal inneemt en die moet routeren voordat je er rekentijd aan besteedt, is de eerste stap een begrensde classifier — Clef waar de multimodale invoer van belang is en de cijfers er op jouw data goed uitzien, of Jev 1.13 waar je dezelfde requestvorm wilt tegen een lagere lijstprijs en zonder je architectuur vast te binden aan een leverancier wiens evaluatie niemand heeft gereproduceerd. De tweede stap is een gespecialiseerde generator, en als die generator Lean 4 is, dan is MathForm-8B het open model dat precies daarvoor is gebouwd, met een gepubliceerde pipeline en een corpus erachter.

Wat aan beide kanten ontbreekt, is hetzelfde soort bewijs. De Decision Index-run van Clef is van Cloudflare zelf en is nooit onafhankelijk herhaald; de Pass@8-cijfers van MathForm-8B komen uit zijn eigen paper. Beide zijn ambitieuze claims op een gebied waar de eerlijke test goedkoop te beschrijven en duur uit te voeren is — neem data waarop geen van beide leveranciers heeft getraind, pas dezelfde pipeline toe en publiceer het resultaat. Totdat iemand dat voor een van beide modellen doet, is het nuttige dat deze vergelijking je kan vertellen een vorm: een van deze hoort aan de voorkant van je pipeline, waar wordt beslist wat er binnenkomt, en de andere hoort erachter, waar het moeilijke, nauw afgebakende werk wordt gedaan, en geen van beide is een vervanging voor de andere, ongeacht het parameteraantal.