ZwZ2-4B vs ZwZ2-9B: Samma djup, dubbelt så många vikter, en skillnad på 1,8 punkter

Det uppenbara antagandet om en 4B-modell och en 9B-modell från samma familj är att den mindre är grundare. ZwZ2-4B och ZwZ2-9B är inte det. Båda anger exakt 32 transformer-lager. Båda använder 16 query-huvuden mot 4 key-value-huvuden med en huvuddimension på 256. Båda har samma ordförråd på 248 320 tokens och samma kontexttak på 262 144 positioner, och båda kör samma 3:1-schema för linear-till-full-attention. 9B är inte en djupare ZwZ2-4B; den är bredare, och när man väl ser det slutar resten av jämförelsen – inklusive leverantörens egen poängskillnad – att se ut som en rak linje.

De två checkpointarna ligger också nära varandra i tid och ursprung. ZwZ2-4B skapades den 15 oktober 2026, ZwZ2-9B den 16 oktober, båda av inclusionAI, båda tränade med samma pipeline på samma dataset med 20 662 flervalsfrågor, och ingen av dem har annonserats. De skiljer sig åt i sina basmodeller – Qwen3.5-4B respektive Qwen3.5-9B – och i bredden på varje block som följer av det.

Konfigurationsdiffen och vad den innebär

En läsning lager för lager av de två konfigurationsfilerna avslöjar en genuin strukturell skillnad och flera som följer mekaniskt av den.

• Djup — 32 lager i båda, identiskt

• Dold bredd – 2 560 för 4B jämfört med 4 096 för 9B, en faktor på 1,6

• Feed-forward-bredd — mellanliggande storlek 9,216 vs 12,288

• Attention-geometri — 16 query-huvuden, 4 key-value-huvuden, dimension per huvud 256, i båda

• Attention-schema — 24 linjära lager och 8 lager med full attention, i båda

• Kontext — 262 144 positioner i båda, M-RoPE vid 11/11/10, partiell rotation 0.25

• Vokabulär — 248 320 tokens i båda, delade embeddings i 4B och icke-delade i 9B

• Vision-torn — 24 lager med dold dimension 1 024 jämfört med 27 lager med dold dimension 1 152

• Förutsägelse av flera tokens – noll MTP-lager i båda, det spekulativa huvudet borttaget från varje bas

• Parametrar – 4 539 265 536 mot 9 409 813 744, en faktor på 2,07

Två av de raderna förtjänar en kommentar. De otieda embeddingarna i 9B innebär att dess in- och utmatriser är separata kopior av en tabell på 248 320 gånger 4 096; det ensamt står för ungefär två miljarder parametrar, vilket är en stor del av varför parameterkvoten (2.07) ligger före breddkvoten (1.6). Och visionstornet växer med språkstacken – 27 lager vid 1 152 dolda mot 24 vid 1 024 – så 9B ser bilden genom en bredare encoder, inte bara en bredare decoder.

Siffrorna: en större ökning, ett lägre tak

inclusionAI publicerar ett sammanvägt mått per modell: övergripande noggrannhet över 25 benchmarks inom sex domäner, lika viktade. Enligt kortets egna siffror ser familjen ut så här.

• ZwZ2-4B — bas 49,41, finjusterad 54,79, en ökning med 5,38 poäng

• ZwZ2-9B — bas 51,63, justerad 56,59, en ökning med 4,96 poäng

• ZwZ2-27B — bas 55,52, finjusterad 60,51, en ökning med 4,99 poäng

Så 4B förbättras mest och hamnar sist. 9B förbättras mindre och hamnar 1,80 poäng högre. Båda påståendena är sanna, och vilket som spelar roll beror helt på vilken fråga man ställer. Om frågan är "hur mycket tillför detta träningsrecept", är svaret störst vid 4B. Om frågan är "vilken modell är mer träffsäker", är svaret 9B, med 1,80 poäng, och ingen inramning ändrar på det.

Alla dessa är leverantörsrapporterade siffror på en av leverantören vald benchmarkuppsättning. Ingen har oberoende poängsatt någon medlem i denna familj, och detaljerna för varje benchmark finns i figurer i stället för i text – en SVG och en PNG på varje kort. Gapet på 1,80 poäng är den ärliga sammanfattningen av det som publicerats; det är inte en mätning som du eller jag har sett reproducerad.

Varför vinsten minskar när modellen växer

Mönstret – 5,38 vid 4B, 4,96 vid 9B, 4,99 vid 27B – är värt att ta på allvar i stället för att vifta bort. Ett träningsrecept som tillför förmåga till en liten modell fyller en lucka: basmodellen hade inte kapaciteten eller träningssignalen för att beakta fina regionala belägg, och 20 000 noggrant filtrerade flervalsfrågor lär den en färdighet som den saknade. En större basmodell har redan mer av den förmågan, så samma läroplan har mindre att tillföra. Den marginella avkastningen på data minskar i takt med att basen blir bättre.

Det är den välvilliga tolkningen, och det är den som siffrorna stöder. Den ovälvilliga tolkningen är att benchmark-sviten har ett tak eller att uppgiftsformen med fyra alternativ gynnar små modeller oproportionerligt. Båda tolkningarna är förenliga med de publicerade siffrorna, vilket är anledningen till att gapet på 1,80 punkter bör behandlas som en riktning snarare än en storlek.

Det finns en tredje möjlighet som är viktigare för adoptionen: vinsten kan vara koncentrerad. "Förbättrad på alla benchmarks" är kortets påstående, men ett genomsnitt över 25 lika viktade uppgifter kan dölja två stora vinster och tjugo små. Utan tabellen per benchmark – och den finns inte i texten – kan du inte avgöra om 4B:ns 5,38 är enhetligt eller koncentrerat till exakt de finkorniga perceptionsuppgifter som receptet riktar in sig på. Om det är koncentrerat är den lilla modellen en specialist och 9B en generalist, och genomsnittet är fel statistik för att välja mellan dem.

27B är kontrollexperimentet

Den tredje storleken gör familjeargumentet testbart. ZwZ2-27B är byggd på Qwen3.6-27B — en annan basgeneration än dess två syskon — och den visar en ökning på 4,99 punkter, i stort sett samma som 9B:s 4,96 och väl under 4B:s 5,38. Om receptets värde enbart handlade om datakvalitet skulle man förvänta sig en jämn ökning över storlekarna. I stället är 4B avvikaren. Det är förenligt med förklaringen om kapacitetsgapet och oförenligt med en förklaring där träningsdatan helt enkelt är enhetligt utmärkt.

27B avgör också en praktisk fråga om familjens lansering. De tre reporna dök upp inom 23 timmar från varandra, 4B först och 27B sist, vilket är kännetecknet för en batchpush snarare än en gradvis utrullning. Datasetet följde den 19 oktober. Nedladdningarna säger var uppmärksamheten hamnade: noll för 4B, 147 för 9B, sju för 27B. Ingen har valt en favorit ännu, och den mellersta storleken är den enda som någon har hämtat.

Serverar: 9 GB mot 18,8 GB

Räkningen här är enkel och det är det starkaste argumentet för den mindre modellen. Vikterna för ZwZ2-4B är en BF16-fil på 9,08 GB; ZwZ2-9B:s vikter uppgår till cirka 18,8 GB vid samma precision. På ett 24 GB-kort lämnar 4B plats för en generös KV-cache och en batch; 9B lämnar väldigt lite. På ett 16 GB-kort får 4B plats och 9B får inte plats alls utan kvantisering.

Ingen av modellerna tillhandahålls av en hostad leverantör – Hugging Face-sidorna rapporterar ingen inferensleverantör för någon av dem – så båda är beslut om egen drift. Om du väljer mellan dem utifrån hårdvaruskäl är 9B en annan maskinklass, inte en något större nedladdning. Det är den praktiska innebörden av parameterförhållandet 2,07×, och det avgörs av ditt kort, inte av noggrannhetsgapet på 1,80 punkter.

För team som vill ha perceptionsbeteendet utan att äga själva serveringsproblemet är katalogens hostade mellanväg qwen/qwen3-vl-8b-instruct till $0.18 per miljon indatatoken och $0.70 per miljon utdatatoken med 131K kontext. Det är inte samma modell och den här artikeln tänker inte låtsas att den är det – men det är jämförelsen som de flesta team faktiskt behöver, och den körs på samma nyckel som allt annat OrcaRouter routar, med automatisk failover om en uppströmsleverantör försämras.

Om du bygger en nivåindelad pipeline i stället för att välja en enda checkpoint är routningslagret platsen att uttrycka det: skicka varje bild till en billig modell först och eskalera endast de vars konfidens är låg till något större.Routnings-DSL:en komponerar modeller till ett enda anrop, så eskaleringen är en regel i rutten i stället för en andra integration. Ingen av ZwZ2-checkpointarna kan vara den billiga nivån idag – de är inte hostade – men mönstret är det som dessa två modeller implicit argumenterar om.

Vilken ska man ta

• Välj 4B om ditt grafikkort är 16 eller 24 GB, din uppgift är regionförankrad visuell evidens och du vill ha den största uppmätta förbättringen jämfört med en basmodell i den här familjen.

• Ta 9B om du har minnesutrymmet och vill ha den högsta noggrannhet som någon har publicerat för en ZwZ2-checkpoint under 27B. De 1,80 poängen är inte ingenting.

• Ta inte någon av dem ännu om du behöver en licens som ditt juridiska team ska signera. Ingen av repositorierna deklarerar någon, och korten hänvisar till en licensfil som inte finns.

• Ta ingen av dem om du behöver en vetenskaplig artikel. v2-metoden har ingen offentlig beskrivning; arXiv-identifieraren på båda korten tillhör första generationens ZwZ-arbete inom en annan basfamilj.

Det genuint användbara experimentet är inte 4B mot 9B på någon annans 25 benchmarks. Det är att köra båda – eller köra 4B mot dess egen bas – på några hundra bilder från din faktiska arbetsbelastning, och se om 5,38 överförs. Fram till att någon gör det beskriver familjens publicerade siffror hur ett recept beter sig på en uppgiftsuppsättning, inte ett beslut du kan fatta om din egen pipeline. 4B är den intressanta just därför att dess vinst är störst och dess bevis tunnast.