ZoomGain-9B vs MathForm 8B: Due checkpoint da 9B che non possono svolgere il lavoro l'uno dell'altro

Una domanda tendenziosa si nasconde dietro ZoomGain-9B e MathForm-8B: entrambi sono fine-tuning da circa nove miliardi di parametri pubblicati nello stesso arco di ottanta giorni, entrambi sono rilasci di ricerca con licenza vicina ad Apache 2.0 provenienti da laboratori cinesi con un articolo allegato, entrambi sono stati addestrati successivamente tramite apprendimento per rinforzo su alcune migliaia di esempi, ed entrambi riportano un punteggio di benchmark che sembra impossibile per le loro dimensioni. La tentazione è classificarli. Il problema è che uno non ha mai visto un'immagine e l'altro non ha mai visto una dimostrazione Lean, quindi la classifica non ha un asse.

ZoomGain-9B è il checkpoint visione-linguaggio di inclusionAI del 10 novembre 2026, addestrato tramite GRPO su 9.000 domande estratte da dettagli di immagini ritagliate, e il suo miglior risultato riportato è 90,25 su HR-Bench 4K. MathForm-8B è l'autoformalizzatore di OpenBMB del 14 agosto 2026, addestrato con fine-tuning supervisionato seguito da apprendimento per rinforzo su circa 367.000 esempi Lean 4, e il suo miglior risultato riportato è una media dell'88,06% di pass@8 al controllo sintattico su sei benchmark di autoformalizzazione. Nessuno dei due numeri dice nulla sull'altro modello. Ciò che li collega è qualcosa di più utile di una classifica: le due release avanzano affermazioni insolitamente simili su come un piccolo fine-tune possa battere un generalista molto più grande, e i modi in cui giustificano tali affermazioni differiscono abbastanza da dirti di quale fidarti per cosa.

Le colonne vuote, denominate

ZoomGainBench non contiene alcun modello solo testuale. È un insieme di domande su fotografie — riconoscimento di attributi, conteggio e OCR — quindi un modello privo di encoder visivo non può essere inserito, e MathForm-8B non lo è stato. Viceversa, i sei benchmark di valutazione di MathForm sono FormalMATH, ProverBench, CombiBench e tre split FATE, tutti compiti di traduzione da matematica in linguaggio naturale a Lean 4. ZoomGain-9B non è mai stato eseguito su nessuno di essi e non c'è motivo di credere che se la caverebbe bene, poiché nulla del suo addestramento ha coinvolto linguaggi formali.

Non è un tecnicismo sui benchmark. È l'intera forma della decisione. Se il tuo compito produce un'immagine e consuma una breve risposta fattuale, MathForm-8B è un modello testuale che non può tentarlo. Se il tuo compito consuma un enunciato matematico e produce una dimostrazione Lean 4 verificabile automaticamente, ZoomGain-9B è un modello visivo a cui non è mai stato chiesto. Non c'è sovrapposizione da misurare, il che significa che il confronto onesto riguarda costruzione, evidenze e costo operativo — e questi si rivelano molto diversi.

Due ricette di RL, entrambe piccole, e in cosa differiscono tra loro

Il set di addestramento di ZoomGain è composto da 9.000 record su 7.713 immagini di origine. Un'epoca, dimensione del batch 64, otto rollout per domanda, GRPO con una ricompensa che verifica se l'opzione selezionata corrisponde alla risposta di riferimento. I dati sono stati generati, non annotati: diversi modelli individuano una regione, i ritagli vengono didascalizzati e confrontati con le didascalie dell'intera scena, e i dettagli che il ritaglio rivela diventano domande sull'immagine completa. Il coinvolgimento umano è stato solo la scrematura — il paper è esplicito sul fatto che non è stata effettuata alcuna modifica manuale di domande e risposte.

Il set di addestramento di MathForm è FormalVerse, circa 367.000 esempi verificati di Lean 4. Prima il fine-tuning supervisionato, poi l'apprendimento per rinforzo con feedback dalla compilazione Lean e da un controllo di coerenza semantica. La costruzione dei dati ha utilizzato il recupero da Mathlib prima della generazione e il perfezionamento iterativo dopo, con la diagnostica del compilatore che ha guidato le revisioni.

• Modello base — ZoomGain-9B è post-addestrato a partire da Qwen3.5-9B (32 layer, dimensione nascosta 4.096, dimensione intermedia 12.288, 262.144 posizioni, uno schema di attenzione da lineare a completa in rapporto 3:1). MathForm-8B è post-addestrato a partire da Qwen3-8B (36 layer, solo attenzione completa, dimensione nascosta 4.096, dimensione intermedia 12.288, 40.960 posizioni, 32 teste query rispetto a 8 teste KV con dimensione della testa 128, rope theta 1e6).

• Dimensioni condivise — entrambi ereditano dai loro genitori Q​wen una larghezza nascosta di 4.096 e una larghezza intermedia di 12.288, che è la singola coincidenza più sorprendente tra di essi ed è una proprietà della famiglia, non del fine-tuning.

• Vocabolario — {{1}}248.320 token per ZoomGain-9B rispetto a 151.936 per MathForm-8B{{/1}}. Quello di MathForm è un {{2}}vocabolario di generazione Qwen3{{/2}} e questo conta: {{3}}il codice Lean 4, i simboli matematici Unicode e i token di dimostrazione vengono tokenizzati diversamente in ciascuno{{/3}}.

• Contesto — La scheda di ZoomGain-9B non dichiara nulla e la sua configurazione dichiara 262,144; la configurazione di MathForm-8B dichiara 40,960, e il suo comando di serving consigliato è limitato a 16,384 con un max_new_tokens di 16,384 token. Per l'autoformalizzazione, la lunghezza dell'output è il vincolo determinante, non quella dell'input.

• Modalità — immagine e testo in ingresso, testo in uscita per uno; testo in ingresso, testo in uscita per l'altro.

• Licenza — ZoomGain-9B: codice Apache 2.0, termini del checkpoint differiti e nessun tag di licenza nei metadati di Hub. MathForm-8B: Apache 2.0 con un file LICENSE nel repository.

• Distribuzione — ZoomGain-9B è disponibile in BF16 e in GGUF nelle varianti F16, Q8_0 e Q4_K_M. MathForm-8B dispone di safetensors BF16 in quattro shard per un totale di circa 16,4 GB, oltre a build GGUF e MLX della community, ma nessuna quantizzazione propria fornita dal produttore.

I numeri di MathForm-8B, e perché sono più facili da verificare di quanto sembri

OpenBMB riporta una media dell'88,06% di pass@8 al controllo della sintassi e del 72,37% di pass@8 al controllo della coerenza sui suoi sei benchmark. Nella stessa tabella, ReForm-8B raggiunge 81,76 e 66,21, Goedel-Formalizer-V2-32B raggiunge 78,28 e 63,74, e StepFun-Formalizer-32B raggiunge 63,65 e 44,47. Le tre suddivisioni FATE sono il punto in cui i modelli specializzati crollano e MathForm no: FATE-X si ferma a 54,00 di sintassi e 37,00 di coerenza contro 45,00 e 21,00 di ReForm-8B.

Due cose rendono quei numeri più credibili di una tipica tabella di fornitore. Primo, i compiti sono meccanici in un modo in cui i compiti di percezione non lo sono — un enunciato Lean 4 o compila o non compila, e il controllo di coerenza confronta il significato con la proposizione di origine. Un benchmark in parte verificabile automaticamente è più difficile da valutare in modo ottimistico. Secondo, l'articolo afferma che il modello solo SFT è peggiore: MathForm-8B-SFT ottiene 84,38 in sintassi e 66,53 in coerenza, quindi la fase RL sta svolgendo un lavoro misurabile anziché adornare un modello già finito.

C'è anche un confronto che vale la pena citare perché va contro l'impostazione del modello stesso. Sugli stessi sei benchmark, Qwen3.7-Plus — un endpoint commerciale generalista — ottiene 86,33 in sintassi e 83,38 in coerenza. MathForm-8B lo supera in sintassi di 1,7 punti e perde in coerenza di 11 punti. Il fine-tuning specializzato vince il compito di corrispondenza esatta e perde quello che richiede che la formalizzazione significhi la stessa cosa della fonte. Se la tua pipeline ha bisogno di un enunciato che compili, uno specialista piccolo è conveniente. Se ne ha bisogno di uno fedele, un modello generalista con retrieval può comunque essere ancora in vantaggio.

I numeri di ZoomGain-9B, con la stessa contabilizzazione

Gli autori riportano 90,25 su HR-Bench 4K rispetto a 82,13 del modello base, 93,19 su V*Bench rispetto a 86,91, 56,31 su VisualProbe rispetto a 44,66, 70,00 su MMVP rispetto a 60,00 e 68,12 su O3-Bench rispetto a 56,52. La media held-out su tredici benchmark è 66,10 rispetto a 59,75. Su ZoomGainBench — il benchmark costruito con la stessa pipeline dei dati di addestramento — il modello ottiene 55,48, e il paper etichetta quella colonna come "Held-in" anziché nascondere la distinzione.

La differenza strutturale rispetto all'evidenza di MathForm è che il benchmark di ZoomGain non è verificabile automaticamente allo stesso modo. Le risposte a scelta multipla sono a corrispondenza esatta, il conteggio è a corrispondenza esatta su un numero intero e l'OCR è valutato con ANLS, ma le domande stesse sono generate, e il controllo degli autori è che le risposte possono essere verificate sulla vista ritagliata. Una domanda generata con una risposta verificata è comunque una domanda generata.

Entrambe le release sono state prodotte in parte con modelli usati come annotatori. L'appendice di ZoomGain nomina i ruoli: Qwen3.5-397B-A17B per la didascalia delle scene, il grounding e la verifica finale delle MCQ; Qwen3-VL-235B-A22B-Instruct e Kimi-K2.6 per la verifica basata su ritagli e la risposta alla cieca; DeepSeek-V4-Pro per il clustering dei distrattori. FormalVerse di MathForm è stato costruito da una pipeline che recupera da Mathlib e poi lascia che il compilatore rifiuti le generazioni errate. Una pipeline si affida a un verificatore che non si può persuadere a concordare; l'altra si affida a modelli che controllano il lavoro di altri modelli, con il solo controllo umano.

Servendoli, nei termini su cui il tuo team operativo chiederà informazioni

ZoomGain-9B è 18,82 GB in BF16 e gira con vLLM 0.19.1 e transformers 5.7.0 — le versioni esatte degli autori — oppure con una build di llama.cpp con supporto multimodale a Qwen3.5, usando i file GGUF più un proiettore. Il suo trunk a forte componente di attenzione lineare mantiene contenuta la cache KV a lunghezze di sequenza elevate, che è la proprietà che conta quando una singola richiesta trasporta un'immagine ad alta risoluzione anziché un documento lungo.

MathForm-8B occupa circa 16,4 GB in BF16, ed è servito da vLLM con una lunghezza massima del modello di 16.384 o da SGLang con lo stesso contesto, a temperature 0,6 e top-p 0,95 con un budget di output di 16.384 token. La sua valutazione richiede un Kimina Lean Server in esecuzione e Lean 4.21.0, ed è questa la parte che le persone sottovalutano: non stai semplicemente distribuendo un modello, stai distribuendo una toolchain Lean accanto ad esso. Il feedback di compilazione è il segnale di ricompensa durante l'addestramento e il test di accettazione durante la valutazione, quindi una pipeline senza Lean non può misurare se questo modello funziona.

Nessuno dei due è oggi nel catalogo di OrcaRouter, e questo articolo non sostiene il contrario. Ciò che possiamo fare è instradare il lavoro circostante. Una pipeline documentale che legge una pagina scansionata e poi verifica i calcoli su di essa ha due metà: la chiamata di visione e la chiamata di ragionamento. Una sola chiave per oltre 200 modelli al prezzo di listino del provider senza ricarichi aggiunti, una regola di routing che invia ciascuna metà a un endpoint che soddisfa i tuoi requisiti, e failover automatico se una delle due si blocca — questo è lo strato sotto entrambe le metà, ed è il motivo per cui una pipeline a due modelli non deve significare due fornitori e due contratti.

Quale scaricare

Scegli MathForm-8B se il tuo problema è formale e la tua toolchain è già Lean. Le prove sono più solide, la licenza è inequivocabile, l'output è verificabile automaticamente e il deficit di coerenza di 11 punti rispetto a un modello generico è un limite reale che dovresti conoscere prima di impegnarti. Sceglilo soprattutto per gli split FATE, dove le baseline specializzate scendono al 21% di coerenza e mantiene il 37%.

Scegli ZoomGain-9B se il tuo problema è un dettaglio dentro un’immagine e la tua risposta è breve. I suoi guadagni su dati tenuti da parte sono credibili per 9.000 campioni, il suo benchmark è scaricabile così puoi verificare tu stesso l’affermazione, e la licenza è l’unica cosa che devi leggere prima di rilasciarlo. Non sceglierlo aspettandoti un assistente visivo generale; nulla nella versione rilasciata lo mette alla prova.

E se speravi in un verdetto su quale sia il modello migliore da nove miliardi di parametri, le note di rilascio rispondono meglio di qualsiasi classifica: sono stati costruiti per essere verificati rispetto a diversi tipi di verità di riferimento, e solo una di queste verità di riferimento compila.