ZwZ2-4B vs ZwZ2-9B: stessa profondità, il doppio dei pesi, un divario di 1,8 punti

L'ipotesi ovvia su un modello 4B e un modello 9B della stessa famiglia è che quello più piccolo sia meno profondo. ZwZ2-4B e ZwZ2-9B non lo sono. Entrambi dichiarano esattamente 32 strati transformer. Entrambi usano 16 teste query a fronte di 4 teste key-value con una dimensione della testa di 256. Entrambi hanno lo stesso vocabolario da 248.320 token e lo stesso limite di contesto di 262.144 posizioni, ed entrambi adottano lo stesso schema di attenzione lineare/completa in rapporto 3:1. Il 9B non è più profondo di un ZwZ2-4B; è più ampio, e una volta capito questo, il resto di questo confronto — incluso il divario di punteggio del fornitore stesso — smette di sembrare una linea retta.

I due checkpoint sono inoltre vicini nel tempo e nell'origine. ZwZ2-4B è stato creato il 15 ottobre 2026, ZwZ2-9B il 16 ottobre, entrambi da inclusionAI, entrambi addestrati con la stessa pipeline sullo stesso dataset di 20.662 domande a scelta multipla, e nessuno dei due è stato annunciato. Differiscono nei modelli di base — rispettivamente Qwen3.5-4B e Qwen3.5-9B — e nell'ampiezza di ogni blocco che ne deriva.

Il diff della configurazione e ciò che implica

Una lettura strato per strato dei due file di configurazione rivela una vera differenza strutturale e diverse altre che ne derivano meccanicamente.

• Profondità — 32 strati in entrambi, identica

• Larghezza nascosta — 2.560 per il 4B rispetto a 4.096 per il 9B, un fattore di 1,6

• Larghezza feed-forward — dimensione intermedia 9.216 vs 12.288

• Geometria dell'attenzione — 16 teste query, 4 teste chiave-valore, dimensione della testa 256, in entrambi

• Schema di attenzione — 24 layer lineari e 8 layer di attenzione completa, in entrambi

• Contesto — 262.144 posizioni in entrambi, M-RoPE a 11/11/10, rotary parziale 0,25

• Vocabolario — 248.320 token in entrambi, embedding legati nel 4B e non legati nel 9B

• Vision tower — 24 strati con dimensione nascosta 1.024 rispetto a 27 strati con dimensione nascosta 1.152

• Predizione multi-token — zero layer MTP in entrambi, la testa speculativa rimossa da ciascuna base

• Parametri — 4.539.265.536 vs 9.409.813.744, un fattore di 2,07

Due di quelle righe meritano una nota. Gli embedding non condivisi nel 9B significano che le sue matrici di input e output sono copie separate di una tabella 248.320×4.096; solo questo rappresenta circa due miliardi di parametri, il che spiega in gran parte perché il rapporto tra parametri (2,07) supera il rapporto tra larghezze (1,6). E la torre visiva cresce con lo stack linguistico — 27 strati a 1.152 dimensioni nascoste contro 24 a 1.024 — quindi il 9B vede l'immagine attraverso un encoder più ampio, non solo un decoder più ampio.

I numeri: un guadagno maggiore, un tetto più basso

inclusionAI pubblica un unico valore aggregato per modello: accuratezza complessiva su 25 benchmark in sei domini, ponderati equamente. Secondo i dati riportati nella scheda stessa, la famiglia si presenta così.

• ZwZ2-4B — versione base 49,41, versione ottimizzata 54,79, con un guadagno di 5,38 punti

• ZwZ2-9B — base 51,63, ottimizzato 56,59, un guadagno di 4,96 punti

• ZwZ2-27B — base 55,52, ottimizzato 60,51, un guadagno di 4,99 punti

Quindi il 4B guadagna di più e arriva ultimo. Il 9B guadagna meno e arriva 1,80 punti più in alto. Entrambe le affermazioni sono vere, e quale delle due conti dipende interamente dalla domanda che stai ponendo. Se la domanda è «quanto aggiunge questa ricetta di addestramento», la risposta è massima nel 4B. Se la domanda è «quale modello è più accurato», la risposta è il 9B, con 1,80 punti di vantaggio, e nessun modo di impostare la questione lo cambia.

Tutti questi sono numeri dichiarati dal fornitore su un set di benchmark scelto dal fornitore. Nessuno ha valutato in modo indipendente alcun membro di questa famiglia, e il dettaglio per singolo benchmark è contenuto nelle figure anziché nel testo — un SVG e un PNG su ogni scheda. Il divario di 1,80 punti è il riepilogo onesto di ciò che è pubblicato; non è una misurazione che tu o io abbiamo visto riprodotta.

Perché il guadagno si riduce man mano che il modello cresce

Il pattern — 5,38 a 4B, 4,96 a 9B, 4,99 a 27B — merita di essere preso sul serio anziché liquidato con un gesto. Una ricetta di training che aggiunge capacità a un modello piccolo colma una lacuna: il modello di base non aveva la capacità né il segnale di training per prestare attenzione a evidenze regionali fini, e 20.000 domande a scelta multipla accuratamente filtrate gli insegnano un'abilità che gli mancava. Un modello di base più grande possiede già maggiori capacità di questo tipo, quindi lo stesso curriculum ha meno da aggiungere. Il rendimento marginale dei dati diminuisce man mano che la base migliora.

Questa è l'interpretazione caritatevole, ed è quella che i numeri supportano. L'interpretazione non caritatevole è che la suite di benchmark abbia un tetto o che la forma del compito a quattro opzioni premi in modo sproporzionato i modelli piccoli. Entrambe le interpretazioni sono coerenti con i numeri pubblicati, ed è per questo che il divario di 1,80 punti dovrebbe essere trattato come una direzione anziché come una grandezza.

C'è una terza possibilità che conta di più per l'adozione: il guadagno potrebbe essere concentrato. "Migliorato su ogni benchmark" è quanto dichiara la scheda, ma una media su 25 attività ugualmente ponderate può nascondere due grandi vittorie e venti piccole. Senza la tabella per singolo benchmark — e non è nel testo — non puoi dire se il 5.38 del 4B è uniforme o concentrato proprio nelle attività di percezione a grana fine che la ricetta prende di mira. Se è concentrato, il modello piccolo è uno specialista e il 9B è un generalista, e la media è la statistica sbagliata per scegliere tra i due.

Il 27B è l'esperimento di controllo

La terza taglia rende testabile la tesi della famiglia. ZwZ2-27B è costruito su Qwen3.6-27B — una generazione di base diversa da quella dei suoi due fratelli — e registra un guadagno di 4,99 punti, essenzialmente lo stesso del 9B con 4,96 e ben inferiore al 5,38 del 4B. Se il valore della ricetta riguardasse solo la qualità dei dati, ci si aspetterebbe un guadagno uniforme tra le taglie. Invece il 4B è l'eccezione. Ciò è coerente con la spiegazione del divario di capacità e incoerente con una spiegazione secondo cui i dati di addestramento sono semplicemente eccellenti in modo uniforme.

Il 27B chiarisce anche un punto pratico sul rilascio della famiglia. I tre repository sono comparsi nell'arco di 23 ore l'uno dall'altro, il 4B per primo e il 27B per ultimo, il che è la firma di un push in blocco anziché di un rollout graduale. Il dataset è seguito il 19 ottobre. I download dicono dove si è concentrata l'attenzione: zero per il 4B, 147 per il 9B, sette per il 27B. Nessuno ha ancora scelto un preferito, e la dimensione intermedia è l'unica che qualcuno abbia scaricato.

In servizio: 9 GB rispetto a 18,8 GB

L'aritmetica qui è semplice ed è l'argomento più forte a favore del modello più piccolo. I pesi di ZwZ2-4B sono un file BF16 da 9,08 GB; quelli di ZwZ2-9B ammontano a circa 18,8 GB alla stessa precisione. Su una scheda da 24 GB, il 4B lascia spazio per una cache KV generosa e per un batch; il 9B ne lascia molto poco. Su una scheda da 16 GB, il 4B entra e il 9B non entra affatto senza quantizzazione.

Nessuno dei due modelli viene servito da un provider ospitato — le pagine di Hugging Face non riportano alcun provider di inferenza per nessuno dei due — quindi entrambi implicano una scelta di self-hosting. Se stai scegliendo tra i due in base all'hardware, il 9B appartiene a una classe di macchina diversa, non è un download leggermente più grande. Questo è il significato pratico del rapporto parametri di 2,07×, ed è determinato dalla tua scheda, non dal divario di accuratezza di 1,80 punti.

Per i team che vogliono il comportamento percettivo senza dover gestire il problema del serving, la soluzione ospitata intermedia del catalogo è qwen/qwen3-vl-8b-instruct a $0,18 per milione di token di input e $0,70 per milione di output, con un contesto di 131K. Non è lo stesso modello e questo articolo non fingerà che lo sia — ma è il confronto di cui la maggior parte dei team ha davvero bisogno, e funziona con la stessa chiave di tutto il resto che OrcaRouter instrada, con failover automatico se un upstream si degrada.

Se stai costruendo una pipeline a livelli invece di scegliere un singolo checkpoint, il livello di routing è il punto in cui esprimerlo: invia prima ogni immagine a un modello economico e inoltra solo quelle la cui confidenza è bassa verso qualcosa di più grande. Il DSL di routing compone i modelli in un'unica chiamata, quindi l'escalation è una regola nella rotta anziché una seconda integrazione. Nessuno dei checkpoint ZwZ2 può essere oggi il livello economico — non sono ospitati — ma lo schema è quello di cui questi due modelli stanno implicitamente discutendo.

Quale prendere

• Scegli il 4B se la tua scheda è da 16 o 24 GB, il tuo compito è l'evidenza visiva ancorata alle regioni e vuoi il maggiore miglioramento misurato rispetto a un modello base di questa famiglia.

Scegli il 9B se hai margine di memoria e vuoi la massima precisione pubblicata da chiunque per un checkpoint ZwZ2 sotto i 27B. I 1,80 punti non sono da buttare.

• Non adottare ancora nessuno dei due se ti serve una licenza che il tuo team legale possa firmare. Nessuno dei due repository ne dichiara una, e le schede rimandano a un file di licenza che non è presente.

Non scegliere nessuno dei due se ti serve un articolo. Il metodo v2 non ha un resoconto pubblico; l'identificativo arXiv su entrambe le schede appartiene al lavoro ZwZ di prima generazione su una diversa famiglia di base.

L'esperimento davvero utile non è il 4B contro il 9B sui 25 benchmark di qualcun altro. È eseguire entrambi — o eseguire il 4B contro la sua stessa base — su qualche centinaio di immagini dal tuo carico di lavoro reale, e vedere se il 5.38 si trasferisce. Finché qualcuno non lo fa, i numeri pubblicati della famiglia descrivono il comportamento di una ricetta su un insieme di attività, non una decisione che puoi prendere sulla tua pipeline. Il 4B è quello interessante proprio perché il suo guadagno è il più ampio e la sua evidenza è la più esile.