ZoomGain-9B vs MathForm 8B: twee 9B-checkpoints die elkaars werk niet kunnen doen

Achter ZoomGain-9B en MathForm-8B schuilt een geladen vraag: beide zijn fine-tunes met ruwweg negen miljard parameters die binnen hetzelfde venster van tachtig dagen zijn gepubliceerd, beide zijn Apache-2.0-achtige onderzoeksreleases van Chinese labs met een bijgevoegd paper, beide zijn post-getraind met reinforcement learning op een paar duizend voorbeelden, en beide dragen een benchmarkscore die onmogelijk lijkt voor hun grootte. De verleiding is om ze te rangschikken. Het probleem is dat een van hen nog nooit een afbeelding heeft gezien en de ander nog nooit een Lean-bewijs, dus de rangschikking heeft geen as.

ZoomGain-9B is inclusionAI's vision-language-checkpoint van 10 november 2026, getraind met GRPO op 9.000 vragen die zijn gedestilleerd uit details van bijgesneden afbeeldingen, en het sterkste gerapporteerde resultaat is 90,25 op HR-Bench 4K. MathForm-8B is OpenBMB's autoformaliseerder van 14 augustus 2026, getraind via supervised fine-tuning gevolgd door reinforcement learning op ongeveer 367.000 Lean 4-voorbeelden, en het sterkste gerapporteerde resultaat is een gemiddelde van 88,06% syntax-check pass@8 over zes autoformaliseringsbenchmarks. Geen van beide getallen zegt iets over het andere model. Wat hen verbindt is iets nuttigers dan een ranking: de twee releases doen ongewoon vergelijkbare beweringen over hoe een kleine fine-tune een veel grotere generalist kan verslaan, en de manieren waarop ze die beweringen onderbouwen verschillen genoeg om je te vertellen welke je waarvoor moet vertrouwen.

De lege kolommen, genaamd

ZoomGainBench bevat geen enkel text-only model. Het is een reeks vragen over foto's — attribuutherkenning, tellen en OCR — dus een model zonder vision-encoder kan niet worden ingediend, en MathForm-8B is dat ook niet. Omgekeerd zijn de zes evaluatiebenchmarks van MathForm FormalMATH, ProverBench, CombiBench en drie FATE-splits, allemaal vertaaltaken van wiskunde in natuurlijke taal naar Lean 4. ZoomGain-9B is nooit op een van deze benchmarks uitgevoerd en er is geen reden om aan te nemen dat het goed zou presteren, aangezien niets in zijn training formele talen betrof.

Dit is geen technisch detail over benchmarks. Het bepaalt de hele vorm van de beslissing. Als jouw taak een afbeelding oplevert en een kort feitelijk antwoord als invoer neemt, is MathForm-8B een tekstmodel dat dit niet eens kan proberen. Als jouw taak een wiskundige uitspraak als invoer neemt en een machinaal controleerbaar Lean 4-bewijs oplevert, is ZoomGain-9B een visionmodel dat nooit is gevraagd. Er is geen overlap om te meten, wat betekent dat de eerlijke vergelijking er een is van constructie, bewijs en operationele kosten — en die blijken sterk te verschillen.

Twee RL-recepten, beide klein, en wat hen van elkaar onderscheidt

De trainingsset van ZoomGain bestaat uit 9.000 records over 7.713 bronafbeeldingen. Eén epoch, batchgrootte 64, acht rollouts per vraag, GRPO met een beloning die controleert of de gekozen optie overeenkomt met het referentieantwoord. De data werd gegenereerd, niet geannoteerd: verschillende modellen lokaliseren een regio, crops worden van een caption voorzien en vergeleken met captions van de volledige scène, en details die de crop onthult, worden vragen over de volledige afbeelding. Menselijke betrokkenheid was alleen screening — de paper is expliciet dat er geen handmatige vraag-en-antwoordbewerking heeft plaatsgevonden.

De trainingsset van MathForm is FormalVerse, ongeveer 367.000 geverifieerde Lean 4-voorbeelden. Eerst supervised fine-tuning, daarna reinforcement learning met feedback uit Lean-compilatie en een controle op semantische consistentie. Bij de dataconstructie werd Mathlib-retrieval gebruikt vóór de generatie en iteratieve verfijning erna, waarbij compilerdiagnostiek de revisies aanstuurde.

• Basismodel — ZoomGain-9B is na-getraind vanuit Qwen3.5-9B (32 lagen, verborgen 4.096, tussenliggend 12.288, 262.144 posities, een 3:1-schema van lineaire naar volledige aandacht). MathForm-8B is na-getraind vanuit Qwen3-8B (36 lagen, allemaal volledige aandacht, verborgen 4.096, tussenliggend 12.288, 40.960 posities, 32 query-heads tegenover 8 KV-heads bij hoofddimensie 128, rope theta 1e6).

• Gedeelde dimensies — beide erven een verborgen breedte van 4.096 en een tussenbreedte van 12.288 van hun Q​wen-ouders, wat de meest opvallende toevallige overeenkomst tussen hen is en een eigenschap van de familie, niet van de fine-tuning.

• Vocabulaire — 248.320 tokens voor ZoomGain-9B tegenover 151.936 voor MathForm-8B. Dat van MathForm is een vocabulaire uit de Qwen3-generatie, en dat maakt uit: Lean 4-code, Unicode-wiskundesymbolen en bewijstokens worden in elk van beide anders getokeniseerd.

• Context — De kaart van ZoomGain-9B vermeldt niets en de config ervan geeft 262.144 aan; de config van MathForm-8B geeft 40.960 aan, en het aanbevolen serving-commando is beperkt tot 16.384 met een max_new_tokens van 16.384 tokens. Voor autoformalization is de outputlengte de beperkende factor, niet de invoer.

• Modaliteit — afbeelding en tekst in, tekst uit voor de ene; tekst in, tekst uit voor de andere.

• Licentie — ZoomGain-9B: code Apache 2.0, voorwaarden voor de checkpoint uitgesteld en geen licentietag in de Hub-metadata. MathForm-8B: Apache 2.0 met een LICENSE-bestand in de repository.

• Distributie — ZoomGain-9B heeft BF16 plus GGUF in F16, Q8_0 en Q4_K_M. MathForm-8B heeft BF16-safetensors in vier shards met een totale omvang van ongeveer 16,4 GB plus community-GGUF- en MLX-builds, maar geen eigen door de leverancier geleverde kwantisering.

De getallen van MathForm-8B, en waarom ze makkelijker te controleren zijn dan ze lijken

OpenBMB rapporteert een gemiddelde syntax-check pass@8 van 88,06% en een consistency-check pass@8 van 72,37% over zijn zes benchmarks. In dezelfde tabel bereikt ReForm-8B 81,76 en 66,21, bereikt Goedel-Formalizer-V2-32B 78,28 en 63,74, en bereikt StepFun-Formalizer-32B 63,65 en 44,47. De drie FATE-splitsingen zijn waar de gespecialiseerde modellen instorten en MathForm niet: FATE-X komt uit op 54,00 syntax en 37,00 consistency tegenover 45,00 en 21,00 voor ReForm-8B.

Twee dingen maken die cijfers geloofwaardiger dan een typische leverancierstabel. Ten eerste zijn de taken mechanisch op een manier waarop perceptietaken dat niet zijn — een Lean 4-statement compileert of compileert niet, en de consistentiecontrole vergelijkt betekenis met de bronpropositie. Een benchmark die deels machinaal verifieerbaar is, is moeilijker optimistisch te scoren. Ten tweede stelt het artikel dat het SFT-onlymodel slechter is: MathForm-8B-SFT scoort 84,38 op syntaxis en 66,53 op consistentie, dus de RL-fase doet meetbaar werk in plaats van een afgerond model op te smukken.

Er is ook een vergelijking die het vermelden waard is, omdat ze ingaat tegen de eigen framing van het model. Op dezelfde zes benchmarks scoort Qwen3.7-Plus — een commercieel endpoint voor algemene doeleinden — 86,33 op syntaxis en 83,38 op consistentie. MathForm-8B verslaat het op syntaxis met 1,7 punt en verliest op consistentie met 11 punten. De gespecialiseerde fine-tune wint de exact-match-taak en verliest die waarbij de formalisering hetzelfde moet betekenen als de bron. Als je pipeline een statement nodig heeft dat compileert, is een kleine specialist een koopje. Als er een nodig is dat getrouw is, loopt een algemeen model met retrieval mogelijk nog steeds voorop.

De cijfers van ZoomGain-9B, met dezelfde boekhouding

De auteurs rapporteren 90,25 op HR-Bench 4K tegenover 82,13 voor de basis, 93,19 op V*Bench tegenover 86,91, 56,31 op VisualProbe tegenover 44,66, 70,00 op MMVP tegenover 60,00 en 68,12 op O3-Bench tegenover 56,52. Het gemiddelde op de dertien benchmarks voor de held-outset is 66,10 tegenover 59,75. Op ZoomGainBench — de benchmark die met dezelfde pipeline als de trainingsdata is gebouwd — scoort het model 55,48, en het artikel noemt die kolom "Held-in" in plaats van het onderscheid te verdoezelen.

Het structurele verschil met MathForms bewijs is dat de benchmark van ZoomGain niet op dezelfde manier machineverifieerbaar is. Antwoorden op meerkeuzevragen zijn exacte matches, tellen is een exacte match op een geheel getal, en OCR wordt met ANLS gescoord — maar de vragen zelf zijn gegenereerd, en de eigen controle van de auteurs is dat de antwoorden op de bijgesneden weergave kunnen worden geverifieerd. Een gegenereerde vraag met een geverifieerd antwoord is nog steeds een gegenereerde vraag.

Beide releases zijn deels geproduceerd met modellen als annotatoren. De bijlage van ZoomGain noemt de rollen: Qwen3.5-397B-A17B voor scènebeschrijving, grounding en definitieve MCQ-verificatie; Qwen3-VL-235B-A22B-Instruct en Kimi-K2.6 voor op crops gebaseerde verificatie en blinde beantwoording; DeepSeek-V4-Pro voor het clusteren van afleiders. FormalVerse van MathForm is gebouwd met een pipeline die uit Mathlib put en vervolgens de compiler slechte generaties laat verwerpen. De ene pipeline leunt op een verifier die niet omgepraat kan worden om akkoord te gaan; de andere leunt op modellen die elkaars werk controleren, met alleen menselijke screening.

Ze serveren, in de termen waar je opsteam naar zal vragen.

ZoomGain-9B is 18,82 GB in BF16 en draait onder vLLM 0.19.1 met transformers 5.7.0 — de exacte versies van de auteurs — of onder een llama.cpp-build met Q​wen3.5-multimodale ondersteuning met de GGUF-bestanden plus een projector. De lineaire-attentie-zware trunk houdt de KV-cache bescheiden bij lange sequentielengtes, en dat is precies de eigenschap die ertoe doet wanneer één verzoek een afbeelding met hoge resolutie bevat in plaats van een lang document.

MathForm-8B is ongeveer 16,4 GB in BF16, aangeboden door vLLM met een maximale modellengte van 16.384 of door SGLang met dezelfde context, bij een temperatuur van 0,6 en top-p 0,95 met een uitvoerbudget van 16.384 tokens. De evaluatie ervan vereist een draaiende Kimina Lean Server en Lean 4.21.0, en dat is het deel dat mensen onderschatten: je rolt niet alleen een model uit, je rolt ernaast ook een Lean-toolchain uit. Compilatiefeedback is het beloningssignaal tijdens training en de acceptatietest tijdens evaluatie, dus een pijplijn zonder Lean kan niet meten of dit model werkt.

Geen van beide staat vandaag in de OrcaRouter-catalogus, en dit artikel beweert niet anders. Wat we wél kunnen doen, is het omliggende werk routeren. Een documentpipeline die een gescande pagina leest en vervolgens de wiskunde erop controleert, heeft twee helften: de vision-aanroep en de reasoning-aanroep. Eén sleutel voor meer dan 200 modellen tegen de lijstprijs van de provider, zonder opslag, een routeringsregel die elke helft naar een endpoint stuurt dat aan je eisen voldoet, en automatische failover als een van beide vastloopt — dat is de laag onder beide helften, en dat is waarom een pipeline met twee modellen niet twee leveranciers en twee contracten hoeft te betekenen.

Welke moet ik downloaden?

Kies MathForm-8B als je probleem formeel is en je toolchain al Lean is. Het bewijs is sterker, de licentie is ondubbelzinnig, de output is machinecontroleerbaar, en het consistentietekort van 11 punten ten opzichte van een algemeen model is een echte beperking die je moet kennen voordat je je vastlegt. Kies het vooral voor de FATE-splitsingen, waar de gespecialiseerde baselines zakken naar 21% consistentie en het 37% vasthoudt.

Kies ZoomGain-9B als je probleem een detail in een afbeelding is en je antwoord kort is. De winst op de hold-outset is geloofwaardig voor 9.000 samples, de benchmark is downloadbaar zodat je de claim zelf kunt controleren, en de licentie is het enige dat je moet lezen voordat je het uitbrengt. Kies het niet in de verwachting een algemene visieassistent te krijgen; niets in de release test dat.

En als je hoopte op een oordeel over welke van de twee het betere model met negen miljard parameters is, beantwoorden de releaseopmerkingen dat beter dan welke ranglijst dan ook: ze zijn gebouwd om tegen verschillende soorten ground truth te worden gecheckt, en slechts één van die ground truths compileert.