ZwZ2-4B vs ZwZ2-9B: dezelfde diepte, twee keer zoveel gewichten, een verschil van 1,8 punt

De voor de hand liggende aanname over een 4B-model en een 9B-model uit dezelfde familie is dat het kleinere ondieper is. ZwZ2-4B en ZwZ2-9B zijn dat niet. Beide declareren precies 32 transformerlagen. Beide gebruiken 16 query-heads tegenover 4 key-value-heads bij een headdimensie van 256. Beide hebben dezelfde vocabulaire van 248.320 tokens en hetzelfde contextplafond van 262.144 posities, en beide hanteren hetzelfde 3:1-schema van lineaire naar volledige attention. De 9B is geen diepere ZwZ2-4B; het is een bredere variant, en als je dat eenmaal ziet, ziet de rest van deze vergelijking — inclusief de scorekloof van de leverancier zelf — er niet langer uit als een rechte lijn.

De twee checkpoints liggen ook dicht bij elkaar in tijd en herkomst. ZwZ2-4B is op 15 oktober 2026 gemaakt, ZwZ2-9B op 16 oktober, beide door inclusionAI, beide getraind met dezelfde pipeline op dezelfde dataset van 20.662 meerkeuzevragen, en geen van beide is aangekondigd. Ze verschillen in hun basismodellen — respectievelijk Qwen3.5-4B en Qwen3.5-9B — en in de breedte van elk blok dat daaruit volgt.

De configuratie-diff, en wat die impliceert

Een laag-voor-laag-lezing van de twee configuratiebestanden levert één werkelijk structureel verschil op en diverse verschillen die daar mechanisch uit voortvloeien.

• Diepte — 32 lagen in beide, identiek

• Verborgen breedte — 2.560 voor de 4B versus 4.096 voor de 9B, een factor 1,6

• Feed-forwardbreedte — tussenliggende grootte 9.216 vs 12.288

• Aandachtsgeometrie — 16 query-heads, 4 key-value-heads, head-dimensie 256, in beide

• Attention-schema — 24 lineaire lagen en 8 full-attentionlagen, in beide

• Context — 262.144 posities in beide, M-RoPE op 11/11/10, gedeeltelijke rotary 0,25

• Vocabulaire — 248.320 tokens in beide, gekoppelde embeddings in de 4B en niet-gekoppelde in de 9B

• Vision-toren — 24 lagen bij een verborgen dimensie van 1.024 versus 27 lagen bij een verborgen dimensie van 1.152

• Voorspelling van meerdere tokens — nul MTP-lagen in beide, de speculatieve head verwijderd uit elk basismodel

• Parameters — 4.539.265.536 vs 9.409.813.744, een factor 2,07

Twee van die rijen verdienen een toelichting. De niet-gekoppelde embeddings in de 9B betekenen dat de invoer- en uitvoermatrices afzonderlijke kopieën zijn van een tabel van 248.320 bij 4.096; dat alleen al verklaart ruwweg twee miljard parameters, wat een groot deel is van de reden waarom de parameterratio (2,07) hoger uitvalt dan de breedteratio (1,6). En de visietoren groeit mee met de taalstack — 27 lagen met 1.152 verborgen eenheden tegenover 24 met 1.024 — dus de 9B ziet de afbeelding via een bredere encoder, niet alleen via een bredere decoder.

De cijfers: een grotere winst, een lager plafond

inclusionAI publiceert één geaggregeerde score per model: de algehele nauwkeurigheid over 25 benchmarks in zes domeinen, gelijk gewogen. Op basis van de cijfers op de kaart zelf ziet de familie er als volgt uit.

• ZwZ2-4B — basis 49,41, getuned 54,79, een toename van 5,38 punten

• ZwZ2-9B — basis 51,63, getuned 56,59, een winst van 4,96 punten

• ZwZ2-27B — basis 55,52, getuned 60,51, een winst van 4,99 punten

Dus de 4B boekt de grootste winst en eindigt als laatste. De 9B boekt minder winst en eindigt 1,80 punten hoger. Beide uitspraken zijn waar, en welke ertoe doet, hangt volledig af van de vraag die je stelt. Als de vraag is "hoeveel voegt dit trainingsrecept toe", is het antwoord het grootst bij 4B. Als de vraag is "welk model is nauwkeuriger", is het antwoord de 9B, met 1,80 punten verschil, en geen enkele manier van framing verandert daar iets aan.

Al deze cijfers zijn door de leverancier gerapporteerd op een door de leverancier gekozen benchmarkset. Niemand heeft onafhankelijk enig lid van deze familie beoordeeld, en de details per benchmark staan in afbeeldingen in plaats van in tekst — een SVG en een PNG op elke kaart. De kloof van 1,80 punt is de eerlijke samenvatting van wat is gepubliceerd; het is geen meting die jij of ik gereproduceerd hebben gezien.

Waarom de winst afneemt naarmate het model groeit

Het patroon — 5,38 bij 4B, 4,96 bij 9B, 4,99 bij 27B — verdient serieuze aandacht in plaats van wegwuiven. Een trainingsrecept dat een klein model extra capaciteit geeft, vult een gat: het basismodel had niet de capaciteit of het trainingssignaal om aandacht te besteden aan fijnmazig regionaal bewijs, en 20.000 zorgvuldig gefilterde meerkeuzevragen leren het een vaardigheid die het miste. Een groter basismodel beschikt al over meer van die capaciteit, dus hetzelfde curriculum voegt minder toe. Het marginale rendement van de data daalt naarmate het basismodel beter wordt.

Dat is de welwillende lezing, en het is degene die de cijfers ondersteunen. De onwelwillende lezing is dat de benchmark-suite een plafond heeft of dat de taakvorm met vier opties kleine modellen onevenredig beloont. Beide lezingen zijn consistent met de gepubliceerde cijfers, en daarom moet de kloof van 1,80 punt als een richting worden behandeld, niet als een grootte.

Er is een derde mogelijkheid die belangrijker is voor adoptie: de winst kan geconcentreerd zijn. "Verbeterd op elke benchmark" is de bewering op de kaart, maar een gemiddelde over 25 gelijk gewogen taken kan twee grote overwinningen en twintig kleine verbergen. Zonder de tabel per benchmark — en die staat niet in de tekst — kun je niet vaststellen of de 5,38 van de 4B uniform is of geconcentreerd in precies de fijnmazige perceptietaken waar het recept op mikt. Als die geconcentreerd is, is het kleine model een specialist en de 9B een generalist, en is het gemiddelde de verkeerde statistiek om tussen hen te kiezen.

De 27B is het controle-experiment.

De derde maat maakt het familieargument testbaar. ZwZ2-27B is gebouwd op Qwen3.6-27B — een andere basisgeneratie dan zijn twee zustermodellen — en boekt een winst van 4,99 punt, vrijwel gelijk aan de 4,96 van de 9B en ruim onder de 5,38 van de 4B. Als de waarde van het recept alleen om datakwaliteit ging, zou je een gelijkmatige winst over de maten verwachten. In plaats daarvan is de 4B de uitschieter. Dat past bij het verhaal van het capaciteitsgat en niet bij een verhaal waarin de trainingsdata simpelweg uniform uitstekend zijn.

De 27B beslecht ook een praktisch punt over de release van de familie. De drie repositories verschenen binnen 23 uur van elkaar, de 4B eerst en de 27B laatst, wat het kenmerk is van een batch-push in plaats van een gefaseerde uitrol. De dataset volgde op 19 oktober. Downloads vertellen je waar de aandacht naartoe ging: nul voor de 4B, 147 voor de 9B, zeven voor de 27B. Niemand heeft nog een favoriet gekozen, en de middelste maat is de enige die iemand heeft opgehaald.

Serveren: 9 GB tegenover 18,8 GB

De rekensom hier is eenvoudig en vormt het sterkste argument voor het kleinere model. De gewichten van ZwZ2-4B vormen een BF16-bestand van 9,08 GB; die van ZwZ2-9B komen bij dezelfde precisie op ongeveer 18,8 GB uit. Op een kaart van 24 GB laat de 4B ruimte voor een royale KV-cache en een batch; de 9B laat heel weinig over. Op een kaart van 16 GB past de 4B, en de 9B past helemaal niet zonder kwantisatie.

Geen van beide modellen wordt door een gehoste provider aangeboden — de Hugging Face-pagina's vermelden voor geen van beide een inferenceprovider — dus beide zijn beslissingen om zelf te hosten. Als je op basis van hardware tussen beide kiest, is de 9B een andere machineklasse, niet een iets grotere download. Dat is de praktische betekenis van de parameterratio van 2,07×, en die wordt bepaald door je kaart, niet door het nauwkeurigheidsverschil van 1,80 punt.

Voor teams die het perceptiegedrag willen zonder het servingprobleem in eigen beheer te nemen, is de gehoste tussenoplossing in de catalogus qwen/qwen3-vl-8b-instruct voor $0,18 per miljoen inputtokens en $0,70 per miljoen outputtokens met een context van 131K. Het is niet hetzelfde model en dit artikel zal niet doen alsof dat wel zo is — maar het is de vergelijking die de meeste teams echt nodig hebben, en het draait op dezelfde sleutel als alles wat OrcaRouter routeert, met automatische failover als een upstream verslechtert.

Als je een getrapte pipeline bouwt in plaats van één checkpoint te kiezen, is de routeringslaag de plek om dat uit te drukken: stuur elke afbeelding eerst naar een goedkoop model en escaleer alleen degene waarvan de confidence laag is naar iets groters. De routing-DSL combineert modellen tot één aanroep, zodat de escalatie een regel in de route is in plaats van een tweede integratie. Geen van beide ZwZ2-checkpoints kan vandaag de goedkope laag zijn — ze worden niet gehost — maar het patroon is precies waar deze twee modellen impliciet over redetwisten.

Welke moet ik nemen?

• Kies de 4B als je kaart 16 of 24 GB heeft, je taak regiogebonden visueel bewijs is, en je de grootste gemeten verbetering ten opzichte van een basismodel in deze familie wilt.

• Neem de 9B als je de geheugenruimte hebt en de hoogste nauwkeurigheid wilt die ooit iemand heeft gepubliceerd voor een ZwZ2-checkpoint onder 27B. Die 1,80 punten zijn niet niets.

Neem voorlopig geen van beide als je een licentie nodig hebt die je juridische team zal ondertekenen. Geen van beide repositories vermeldt er een, en de kaarten verwijzen naar een licentiebestand dat niet aanwezig is.

• Neem geen van beide als je een paper nodig hebt. De v2-methode heeft geen openbare beschrijving; de arXiv-identifier op beide kaarten hoort bij het ZwZ-werk van de eerste generatie op een andere basisfamilie.

Het echt nuttige experiment is niet 4B tegenover 9B op de 25 benchmarks van iemand anders. Het is beide draaien — of de 4B draaien tegen zijn eigen basis — op een paar honderd afbeeldingen uit je werkelijke werklast, en kijken of de 5.38 overdraagt. Totdat iemand dat doet, beschrijven de gepubliceerde cijfers van de familie het gedrag van een recept op een taakset, niet een beslissing die je over je eigen pipeline kunt nemen. De 4B is juist de interessante, omdat de winst ervan het grootst is en het bewijs het dunst.