ZoomGain-9B vs MathForm 8B: Två 9B-checkpoints som inte klarar av varandras uppgifter

En ledande fråga ligger bakom ZoomGain-9B och MathForm-8B: båda är finjusteringar med ungefär nio miljarder parametrar som publicerats inom samma åttiodagarsfönster, båda är forskningssläpp från kinesiska labb nära Apache-2.0 med en bifogad artikel, båda har eftertränats med förstärkningsinlärning på några tusen exempel, och båda har ett benchmarkresultat som ser omöjligt ut för deras storlek. Frestelsen är att rangordna dem. Problemet är att den ena aldrig har sett en bild och den andra aldrig har sett ett Lean-bevis, så rangordningen saknar axel.

ZoomGain-9B är inclusionAIs visionspråkliga checkpoint från 10 november 2026, tränad med GRPO på 9 000 frågor som utvunnits ur detaljer i beskurna bilder, och dess starkaste rapporterade resultat är 90,25 på HR-Bench 4K. MathForm-8B är OpenBMB:s autoformaliserare från 14 augusti 2026, tränad med övervakad finjustering följt av förstärkningsinlärning på ungefär 367 000 Lean 4-exempel, och dess starkaste rapporterade resultat är ett genomsnittligt syntaxkontroll-pass@8 på 88,06 % över sex autoformaliseringsbenchmarker. Inget av talen säger något om den andra modellen. Det som förbinder dem är något mer användbart än en rangordning: de två lanseringarna gör ovanligt liknande påståenden om hur en liten finjustering kan slå en mycket större generalist, och sätten de motiverar dessa påståenden skiljer sig tillräckligt för att säga dig vilken du ska lita på för vad.

De tomma kolumnerna, namngivna

ZoomGainBench innehåller ingen enbart textbaserad modell. Det är en uppsättning frågor om fotografier – attributigenkänning, räkning och OCR – så en modell utan bildencoder kan inte ställas upp, och det gjorde inte MathForm-8B heller. Omvänt är MathForms sex utvärderingsbenchmark FormalMATH, ProverBench, CombiBench och tre FATE-delningar, alla uppgifter som går ut på att översätta naturligspråklig matematik till Lean-4. ZoomGain-9B har aldrig körts på någon av dem, och det finns ingen anledning att tro att den skulle prestera väl, eftersom inget i dess träning omfattade formella språk.

Det här är inte en teknikalitet om benchmarkar. Det är hela formen på beslutet. Om din uppgift producerar en bild och tar in ett kort faktasvar, är MathForm-8B en textmodell som inte kan försöka sig på det. Om din uppgift tar in ett matematiskt påstående och producerar ett maskinkontrollerbart Lean 4-bevis, är ZoomGain-9B en visionsmodell som aldrig har fått frågan. Det finns ingen överlappning att mäta, vilket innebär att den ärliga jämförelsen gäller konstruktion, evidens och operativ kostnad – och dessa visar sig skilja sig mycket åt.

Två RL-recept, båda små, och vad som skiljer dem åt

ZoomGains träningsset består av 9 000 poster över 7 713 källbilder. En epok, batchstorlek 64, åtta rollouts per fråga, GRPO med en belöning som kontrollerar om det valda alternativet matchar referenssvaret. Data genererades, inte annoterades: flera modeller lokaliserar en region, beskurna utsnitt beskrivs i bildtexter och jämförs med bildtexter för hela scenen, och detaljer som utsnittet avslöjar blir frågor om helbilden. Mänsklig medverkan var endast granskning – artikeln är tydlig med att ingen manuell redigering av frågor och svar ägde rum.

MathForms träningsset är FormalVerse, ungefär 367 000 verifierade Lean 4-exempel. Först övervakad finjustering, sedan förstärkningsinlärning med återkoppling från Lean-kompilering och en semantisk konsistenskontroll. Datakonstruktionen använde Mathlib-sökning före generering och iterativ förfining efteråt, med kompilatordiagnostik som styrde revideringarna.

• Basmodell — ZoomGain-9B är eftertränad från Qwen3.5-9B (32 lager, hidden 4 096, intermediate 12 288, 262 144 positioner, ett 3:1-schema för linjär-till-full attention). MathForm-8B är eftertränad från Qwen3-8B (36 lager, enbart full attention, hidden 4 096, intermediate 12 288, 40 960 positioner, 32 query-huvuden mot 8 KV-huvuden vid huvuddimension 128, rope theta 1e6).

• Delade dimensioner – båda ärver en dold bredd på 4 096 och en mellanliggande bredd på 12 288 från sina Q​wen-föräldrar, vilket är det enskilt mest slående sammanträffandet mellan dem och är en egenskap hos familjen, inte hos finjusteringen.

• Ordförråd — 248 320 tokens för ZoomGain-9B mot 151 936 för MathForm-8B. MathForms är ett ordförråd från Qwen3-generationen och det spelar roll: Lean 4-kod, Unicode-matematiska symboler och bevistokens tokeniseras olika i var och en.

• Kontext — ZoomGain-9B:s kort anger ingenting och dess config deklarerar 262 144; MathForm-8B:s config deklarerar 40 960, och dess rekommenderade serveringskommando är begränsat till 16 384 med ett max_new_tokens på 16 384 token. För autoformalisering är utdatalängden den avgörande begränsningen, inte indatan.

• Modalitet – bild och text in, text ut för den ena; text in, text ut för den andra.

• Licens — ZoomGain-9B: kod Apache 2.0, checkpointvillkor uppskjutna och ingen licensetikett i Hub-metadata. MathForm-8B: Apache 2.0 med en LICENSE-fil i repot.

• Distribution — ZoomGain-9B har BF16 samt GGUF i F16, Q8_0 och Q4_K_M. MathForm-8B har BF16-safetensors i fyra shards som totalt uppgår till cirka 16,4 GB samt GGUF- och MLX-byggen från communityt, men ingen egen kvantisering från leverantören.

MathForm-8B:s siffror, och varför de är lättare att kontrollera än de ser ut

OpenBMB rapporterar ett genomsnittligt pass@8 för syntaxkontroll på 88,06 % och ett genomsnittligt pass@8 för konsistenskontroll på 72,37 % över sina sex benchmarks. I samma tabell når ReForm-8B 81,76 och 66,21, Goedel-Formalizer-V2-32B når 78,28 och 63,74 och StepFun-Formalizer-32B når 63,65 och 44,47. Det är i de tre FATE-uppdelningarna som de specialiserade modellerna kollapsar men MathForm inte gör det: FATE-X landar på 54,00 i syntax och 37,00 i konsistens, jämfört med ReForm-8B:s 45,00 och 21,00.

Två saker gör dessa siffror mer trovärdiga än en typisk leverantörstabell. För det första är uppgifterna mekaniska på ett sätt som perceptionsuppgifter inte är – ett Lean 4-påstående antingen kompilerar eller inte, och konsistenskontrollen jämför betydelse mot källpropositionen. Ett benchmark som delvis är maskinverifierbart är svårare att poängsätta optimistiskt. För det andra anger artikeln att modellen som endast tränats med SFT är sämre: MathForm-8B-SFT får 84.38 i syntax och 66.53 i konsistens, så RL-steget gör mätbart arbete i stället för att dekorera en färdig modell.

Det finns också en jämförelse som är värd att citera, eftersom den talar emot modellens egen ram. På samma sex benchmarks får Qwen3.7-Plus – en allmän kommersiell endpoint – 86,33 i syntax och 83,38 i konsistens. MathForm-8B slår den i syntax med 1,7 poäng och förlorar i konsistens med 11 poäng. Den specialiserade finjusterade modellen vinner den exakta matchningsuppgiften och förlorar den som kräver att formaliseringen betyder samma sak som källan. Om din pipeline behöver ett påstående som kompilerar är en liten specialiserad modell ett kap. Om den behöver ett som är troget kan en allmän modell med retrieval fortfarande ligga före.

ZoomGain-9B:s siffror, med samma redovisning

Författarna rapporterar 90,25 på HR-Bench 4K mot 82,13 för basmodellen, 93,19 på V*Bench mot 86,91, 56,31 på VisualProbe mot 44,66, 70,00 på MMVP mot 60,00 och 68,12 på O3-Bench mot 56,52. Genomsnittet för held-out över tretton benchmarks är 66,10 mot 59,75. På ZoomGainBench – benchmarken som byggdes med samma pipeline som träningsdatan – får modellen 55,48, och artikeln kallar den kolumnen "Held-in" i stället för att dölja skillnaden.

Den strukturella skillnaden mot MathForms evidens är att ZoomGains benchmark inte är maskinverifierbar på samma sätt. Flervalssvar är exakt matchning, räkning är exakt matchning på ett heltal och OCR poängsätts med ANLS – men frågorna i sig är genererade, och författarnas egen kontroll är att svaren kan verifieras i den beskurna vyn. En genererad fråga med ett verifierat svar är fortfarande en genererad fråga.

Båda releaserna producerades delvis med modeller som annotatörer. ZoomGains bilaga anger rollerna: Qwen3.5-397B-A17B för scenbeskrivning, grounding och slutlig MCQ-verifiering; Qwen3-VL-235B-A22B-Instruct och Kimi-K2.6 för beskärningsbaserad verifiering och blind besvarande; DeepSeek-V4-Pro för klustring av distraktorer. MathForms FormalVerse byggdes av en pipeline som hämtar från Mathlib och sedan låter kompilatorn avvisa dåliga genereringar. En pipeline lutar sig mot en verifierare som inte kan övertalas att instämma; den andra lutar sig mot modeller som kontrollerar andra modellers arbete, med endast mänsklig granskning.

Att betjäna dem, i de termer som ditt driftsteam kommer att fråga om

ZoomGain-9B är 18,82 GB i BF16 och körs under vLLM 0.19.1 med transformers 5.7.0 – författarnas exakta versioner – eller under en llama.cpp-bygge med multimodalt stöd för Qwen3.5 med GGUF-filerna plus en projektor. Dess linear-attention-tunga stam håller KV-cachen blygsam vid långa sekvenslängder, vilket är egenskapen som spelar roll när en enskild förfrågan bär en högupplöst bild i stället för ett långt dokument.

MathForm-8B är cirka 16,4 GB i BF16, serveras av vLLM med en maximal modellängd på 16 384 eller av SGLang med samma kontext, vid temperaturen 0,6 och top-p 0,95 med en utdatabudget på 16 384 token. Dess utvärdering kräver en körande Kimina Lean Server och Lean 4.21.0, vilket är delen som folk underskattar: du distribuerar inte bara en modell, du distribuerar en Lean-verktygskedja bredvid den. Kompileringsfeedback är belöningssignalen under träning och acceptanstestet under utvärdering, så en pipeline utan Lean kan inte mäta om den här modellen fungerar.

Ingendera finns i OrcaRouter-katalogen i dag, och den här texten påstår inget annat. Det vi kan göra är att routa arbetet runtomkring. En dokumentpipeline som läser en skannad sida och sedan kontrollerar matematiken på den har två halvor: visionsanropet och resonemangsanropet. En nyckel för fler än 200 modeller till leverantörens listpris utan påslag, en routningsregel som skickar varje halva till en slutpunkt som klarar dina krav, och automatisk failover om endera kör fast – det är lagret under båda halvorna, och det är därför en pipeline med två modeller inte behöver betyda två leverantörer och två avtal.

Vilken ska man ladda ner

Välj MathForm-8B om ditt problem är formellt och din verktygskedja redan är Lean. Underlaget är starkare, licensen är otvetydig, utdata är maskinkontrollerbart, och underskottet på elva punkter i konsistens gentemot en allmän modell är en verklig begränsning som du bör känna till innan du binder dig. Välj den särskilt för FATE-uppdelningarna, där de specialiserade baslinjerna faller till 21 % konsistens medan den håller 37 %.

Välj ZoomGain-9B om ditt problem är en detalj i en bild och ditt svar är kort. Dess förbättringar på hållna data är trovärdiga för 9 000 prover, dess benchmark är nedladdningsbart så att du själv kan kontrollera påståendet, och dess licens är det enda du måste läsa innan du släpper den. Välj den inte i förväntan att få en allmän visionsassistent; inget i utgåvan testar det.

Och om du hoppades på ett utlåtande om vilken som är den bättre modellen med nio miljarder parametrar, ger utgivningsanteckningarna svaret bättre än någon rangordning skulle kunna: de byggdes för att kontrolleras mot olika typer av grundsanning, och bara en av dessa grundsanningar kompilerar.