ZoomGain-9B vs Gemma 4 12B: la riga che manca dal benchmark

Ventotto modelli sono stati valutati sul benchmark ZoomGain al momento del rilascio. Quattro sistemi di frontiera closed-source, quattro modelli di visione agentici, quattro specialisti ad alta granularità e sedici generalisti open. G​emma non è tra questi — né G​emma 4 12B, né Gemma 4 31B, né alcuno della serie E. Questa omissione è il dato più utile in assoluto quando si confrontano ZoomGain-9B e G​emma 4 12B, perché significa che ogni tabella "ZoomGain vs G​emma" che potresti costruire ha un buco, e questo articolo riguarda ciò che i due modelli sono realmente, non un numero che non esiste.

I due sono abbastanza vicini per dimensioni da invitare al confronto e sufficientemente distanti per scopo da renderlo fuorviante. ZoomGain-9B è un checkpoint visione-linguaggio da 9B di inclusionAI, sottoposto a post-addestramento tramite apprendimento per rinforzo su 9.000 domande estratte da ritagli, rilasciato il 10 novembre 2026 con un articolo ma senza annuncio. Gemma 4 12B è il modello multimodale unificato senza encoder da 11,95B di Google DeepMind, pubblicato il 23 maggio 2026, Apache 2.0, con 1,8 milioni di download e 1.730 like nell'ultimo mese. Uno è uno strumento di ricerca con una sola capacità dimostrata. L'altro è un prodotto con una licenza, una documentazione, sei quantizzazioni e mezzo anno di utilizzo da parte della comunità.

Che cosa ciascuno è in realtà

Gemma 4 12B è il membro architettonicamente interessante della famiglia Gemma 4. I modelli E2B, E4B e 31B utilizzano encoder dedicati — una torre visiva da circa 150M di parametri sui modelli piccoli, circa 550M sul 31B — e passano gli embedding al modello linguistico. Il 12B no. Proietta patch di immagini grezze e forme d'onda audio direttamente nello spazio di embedding del decoder tramite strati lineari leggeri, che è ciò che significa "Unified" nel suo nome, ed è il motivo per cui il supporto audio esiste su questo modello e non sul 31B.

La sua struttura: 48 strati, dimensione nascosta 3.840, dimensione intermedia 15.360, 16 teste query rispetto a 8 teste KV con dimensione della testa 256, un vocabolario di 262.144 token e 262.144 posizioni massime. Quaranta dei suoi quarantotto strati sono attenzione a finestra scorrevole a 1.024 token; otto sono attenzione completa, e lo strato finale è sempre globale. Tre modalità di input, output testuale, contesto 256K e un ruolo di sistema nativo.

ZoomGain-9B è costruito nel modo opposto. Il suo tronco testuale è Qwen3.5-9B — 32 livelli, dimensione nascosta 4.096, dimensione intermedia 12.288, un rapporto 3:1 tra attenzione lineare e attenzione completa, 262.144 posizioni massime — con una torre di visione aggiunta dal modello di base anziché ideata qui. Su quel tronco, gli autori hanno eseguito GRPO su 9.000 domande le cui risposte dipendono da dettagli visibili solo ingrandendo una regione. Il modello non è stato addestrato come assistente generico e non viene presentato come tale.

• Parametri — G​emma 4 12B 11,95B vs ZoomGain-9B circa 9,4B (18,82 GB in BF16 rispetto alla dimensione del file del 12B).

• Modalità — G​emma 4 12B accetta testo, immagini, video e audio; ZoomGain-9B accetta testo e immagini. L'audio non è una lacuna nell'implementazione di ZoomGain, è assente dalla sua configurazione.

• Contesto — Gemma 4 12B documenta 256K. La scheda di ZoomGain-9B non documenta nulla; la sua configurazione eredita 262.144 posizioni dal tronco Qwen3.5-9B, il che non equivale a una proprietà testata del checkpoint fine-tuned.

• Licenza — G​emma 4 12B Apache 2.0 con un file di licenza denominato. ZoomGain-9B: codice Apache 2.0, termini del checkpoint rimandati a una scheda che non riporta alcun tag di licenza.

• Distribuzione — G​emma 4 12B viene distribuito come BF16, GGUF QAT q4_0 a 6,98 GB con un proiettore da 0,18 GB, e build da ggml-org, unsloth e litert; ZoomGain-9B viene distribuito come BF16 più GGUF a F16, Q8_0 e Q4_K_M dall'11 novembre.

• Documentazione — G​emma 4 12B dispone di un blog di lancio, un rapporto tecnico, cookbook per framework e una pagina della licenza. ZoomGain-9B dispone di un articolo, un repository e una scheda che non dichiara una lunghezza del contesto.

Perché la riga mancante non è una svista che puoi liquidare con un gesto

Il benchmark ZoomGain è costruito per mettere in luce un unico fallimento: un modello che non riesce a risolvere un piccolo dettaglio all'interno di una cornice ampia. Gli autori valutano riconoscimento degli attributi, conteggio e OCR su 1.000 domande e 941 immagini, in inglese e cinese, con corrispondenza esatta su scelta multipla e su numeri interi, e ANLS con soglia minima di 0,7 per l'OCR. In quel test il migliore tra ventotto modelli raggiunge 61,08, e solo cinque superano 50.

Gemma 4 12B non è stato eseguito su di esso. Nemmeno nessun altro Gemma. Questo ti lascia due opzioni, e solo una di esse è onesta. Puoi allineare MMMU Pro 69.1 e MATH-Vision 79.7 di Gemma contro la media hold-out di ZoomGain di 66.10 e chiamarlo confronto, il che significa confrontare un'ampia suite multimodale con una media di tredici benchmark di percezione e produce un numero senza significato. Oppure puoi dire ciò che è vero: nessuno ha misurato questi due sullo stesso metro, e se la questione ti importa, il benchmark è scaricabile e puoi eseguirlo tu stesso in un pomeriggio.

La seconda opzione è più economica di quanto sembri. ZoomGainBench viene distribuito come annotazioni, immagini e un valutatore; la valutazione accetta un endpoint compatibile con OpenAI o un checkpoint locale, viene eseguita a temperatura 0 con il thinking disabilitato e riporta i risultati per domanda. G​emma 4 12B gira con vLLM o llama.cpp. È un vero confronto testa a testa che potresti realizzare, e il fatto che gli autori del benchmark non abbiano incluso un G​emma è di per sé informativo — il modello era disponibile da sei mesi prima che questo benchmark fosse pubblicato.

Dove G​emma 4 12B riporta i numeri, e cosa significano

Queste sono le cifre fornite da G​oogle stesso nella model card, non riprodotte da un laboratorio neutrale:

• MMMU Pro 69.1 — la suite di ragionamento multimodale, e la cosa più vicina a un’affermazione di competenza visiva presente sulla scheda di Gemma.

• MATH-Vision 79.7 — ragionamento matematico su diagrammi e immagini.

• OmniDocBench 1.5 distanza di modifica media 0,164 — parsing dei documenti, dove un valore più basso è meglio; il 31B arriva a 0,131.

• MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 77.5 senza strumenti — il lato testuale, che ZoomGain-9B non rivendica affatto.

• τ² media 69,0 e chiamata di funzioni nativa — uso agentico degli strumenti.

• MRCR v2 otto-aghi a 128K, 43,4% — recupero su contesto lungo, e il dato che ridimensiona maggiormente il titolo dei 256K.

L'ultimo punto merita di essere sottolineato. Una finestra da 256K non equivale a 256K di attenzione utilizzabile, e il fatto che G​oogle pubblichi un punteggio di retrieval che scende al 43,4% a 128K è più candore di quanto offrano la maggior parte delle schede. Se il tuo carico di lavoro è «trovare un singolo fatto in un documento di grandi dimensioni», la finestra di G​emma 4 12B è reale, ma il suo recall in profondità è mediocre, e non esiste una misurazione equivalente per ZoomGain-9B perché non è stata eseguita alcuna valutazione long-context su di esso.

Dove ZoomGain-9B riporta i numeri, e l'avvertenza annessa a ciascuno

Tutti riportati dagli autori, sull'harness rilasciato:

• HR-Bench 4K 90,25, rispetto a 82,13 del Qwen3.5-9B da cui deriva. Percezione ad alta risoluzione, e la principale rivendicazione del rilascio.

• V*Bench 93.19, in aumento da 86.91. Rilevamento di piccoli oggetti in scene disordinate.

• MMVP 70,00, in aumento rispetto a 60,00. Il test delle immagini appaiate, in cui due immagini quasi identiche hanno risposte corrette diverse — l'analogo esistente più vicino a ciò per cui è stato addestrato ZoomGain.

ZoomGainBench 55.48, in aumento da 32.13. La colonna held-in, gonfiata per costruzione, e gli autori lo dichiarano.

• Media hold-out 66,10 su tredici benchmark, in aumento da 59,75. Il numero che conta davvero.

Le avvertenze, in ordine di quanto dovrebbero preoccuparvi. Primo, nessuno al di fuori dell'elenco degli autori ha riprodotto nulla di tutto ciò. Secondo, il benchmark e i dati di addestramento provengono da un'unica pipeline, motivo per cui l'articolo esclude il proprio benchmark dalla media held-out — una disciplina meritevole di riconoscimento. Terzo, il set di addestramento è di 9.000 record, abbastanza piccolo che i guadagni potrebbero essere limitati anche dove sono reali. Quarto, il modello non ha un endpoint ospitato e, al momento della scrittura, ha una mappatura dei provider vuota sull'Hub.

Il costo, nei termini che in realtà lo determinano

Gemma 4 12B in QAT q4_0 è 6,98 GB più un proiettore da 0,18 GB. Ci sta su un laptop da 16 GB con spazio in abbondanza e su una scheda da 8 GB con un po' di sforzo. ZoomGain-9B a Q4_K_M è 5,63 GB più 0,52 GB di proiettore; a Q8_0 è 9,53 GB più 0,62 GB. Il 9B è il download più leggero a ogni precisione perché è il modello più piccolo, e il suo corpo principale, fortemente basato sull'attenzione lineare, comporta una KV cache più corta a lunghezze di sequenza elevate, il che conta se gli si danno in pasto immagini ad alta risoluzione anziché testo lungo.

Nessuno dei due è oggi richiamabile tramite noi. G​emma 4 12B non è nel catalogo OrcaRouter, e nemmeno ZoomGain-9B, quindi la cosa onesta da dire è che per entrambi si tratta di una scelta tra self-host e API del fornitore. Quello che ospitiamo è G​emma 4 26B A4B a $0,06 per milione di token di input e $0,33 per milione di output con una finestra di 262K — la stessa famiglia, quattro volte il budget di parametri attivi, e un modo legittimo per scoprire se il profilo di parsing dei documenti di G​emma si adatta alla tua pipeline prima di scaricare qualsiasi cosa. Una sola chiave copre questo e oltre 200 altri modelli al prezzo di listino senza ricarico, quindi un confronto tra un endpoint vision e un modello testuale economico costa un pomeriggio invece di tre contratti.

Scegli in base al lavoro, non al grado

Se il compito riguarda un piccolo dettaglio all'interno di una grande immagine — un numero di serie su un dispositivo, il testo su un cartello lontano, il colore di un oggetto tra quaranta, il conteggio delle finestre su una facciata — ZoomGain-9B è quello costruito per questo, con l'avvertenza che le sue prove sono autodichiarate e la sua licenza va letta. La sua architettura è ottimizzata esattamente per la modalità di errore che stai incontrando.

Se il compito è qualsiasi altra cosa di tipo visivo — leggere un documento di più pagine, descrivere una scena, rispondere a una domanda su un grafico, ricevere audio oltre alle immagini, chiamare una funzione successivamente — G​emma 4 12B è il prodotto finito, e il confronto non è più così ravvicinato. Ha un pre-addestramento su 140 lingue, tool calling nativo, una finestra da 256K con una curva di retrieval pubblicata, sei quantizzazioni e una licenza che puoi consegnare all'ufficio legale senza spiegazioni.

Se il compito è fare entrambe le cose, la risposta onesta è che questi due non sono alternative, ma livelli di un’unica pipeline. Il document agent realistico del 2026 analizza con un modello multimodale generale e inoltra i ritagli che contano a uno specialista della percezione — ed è nell’escalation che si trova l’ingegneria interessante, perché significa decidere quando un dettaglio merita una seconda chiamata. È un problema di routing, ed è per questo che ci interessa: una regola che invia la chiamata economica al modello economico e l’escalation all’endpoint che soddisfa i tuoi criteri è una singola modifica di configurazione, e il failover significa che uno specialista bloccato non blocca la pipeline.

Il verdetto, formulato nella forma sostenuta dalle prove

G​emma 4 12B è l'acquisto più sicuro sotto ogni profilo che non sia un benchmark di percezione: licenza, documentazione, distribuzione, ampiezza, comunità e il fatto che G​oogle pubblichi numeri con cui si può discutere. ZoomGain-9B è il modello più interessante, e plausibilmente lo strumento migliore per un compito specifico, sulla base di prove che non sono ancora state verificate da nessuno che non abbia scritto il paper.

Il prossimo passo giusto dipende da quale di quelle frasi ti sei ritrovato d'accordo. Se è stata la prima, scarica il QAT GGUF e smetti di leggere. Se è stata la seconda, scarica ZoomGainBench insieme ai pesi — 941 immagini, 1.000 domande, un valutatore e un numero che puoi produrre da solo — e fai eseguire G​emma su di esso. Saresti quindi la prima persona ad averlo fatto, e sapresti qualcosa su entrambi i modelli che nessuno dei due fornitori attualmente sa.