ZwZ2-4B vs ZwZ2-9B: ta sama głębokość, dwa razy więcej wag, różnica 1,8 punktu

Oczywiste założenie dotyczące modelu 4B i modelu 9B z tej samej rodziny jest takie, że mniejszy jest płytszy. ZwZ2-4B i ZwZ2-9B nie są. Oba deklarują dokładnie 32 warstwy transformera. Oba używają 16 głów zapytań wobec 4 głów klucz-wartość przy wymiarze głowy 256. Oba mają ten sam słownik liczący 248 320 tokenów i ten sam limit kontekstu wynoszący 262 144 pozycje, a oba działają według tego samego harmonogramu uwagi liniowej do pełnej w stosunku 3:1. Model 9B nie jest głębszą wersją ZwZ2-4B; jest szerszy, a gdy to zobaczysz, reszta tego porównania — w tym sama różnica w wynikach podana przez dostawcę — przestaje wyglądać jak linia prosta.

Te dwa checkpointy są również bliskie pod względem czasu i pochodzenia. ZwZ2-4B utworzono 15 października 2026 r., a ZwZ2-9B — 16 października; oba przez inclusionAI, oba wytrenowane za pomocą tego samego pipeline'u na tym samym zbiorze danych liczącym 20 662 pytania wielokrotnego wyboru, i żaden z nich nie został ogłoszony. Różnią się one modelami bazowymi — odpowiednio Qwen3.5-4B i Qwen3.5-9B — oraz szerokością każdego bloku, jaka z tego wynika.

Diff konfiguracji i co z niego wynika

Warstwowe porównanie tych dwóch plików konfiguracyjnych ujawnia jedną rzeczywistą różnicę strukturalną oraz kilka takich, które wynikają z niej mechanicznie.

• Głębokość — 32 warstwy w obu, identyczna

• Szerokość ukryta — 2560 dla 4B vs 4096 dla 9B, współczynnik 1,6

• Szerokość feed-forward — rozmiar pośredni 9,216 vs 12,288

• Geometria uwagi — 16 głowic zapytań, 4 głowice klucz-wartość, wymiar głowicy 256, w obu

• Harmonogram uwagi — 24 warstwy liniowe i 8 warstw pełnej uwagi, w obu

• Kontekst — 262 144 pozycji w obu, M-RoPE przy 11/11/10, częściowy rotary 0,25

• Słownictwo — 248 320 tokenów w obu, współdzielone osadzenia w 4B i niewspółdzielone w 9B

• Wieża wizyjna — 24 warstwy przy rozmiarze ukrytym 1,024 vs 27 warstw przy rozmiarze ukrytym 1,152

• Przewidywanie wielu tokenów — zero warstw MTP w obu, głowa spekulacyjna usunięta z każdej bazy

• Parametry — 4 539 265 536 w porównaniu z 9 409 813 744, współczynnik 2,07

Dwa spośród tych wierszy zasługują na uwagę. Niezwiązane embeddingi w modelu 9B oznaczają, że jego macierze wejściowa i wyjściowa to osobne kopie tabeli 248 320 na 4 096; już to odpowiada za około dwa miliardy parametrów, co w dużej mierze tłumaczy, dlaczego stosunek parametrów (2,07) przewyższa stosunek szerokości (1,6). Do tego wieża wizyjna rośnie wraz ze stosem językowym — 27 warstw przy 1152 wymiarach ukrytych wobec 24 warstw przy 1024 — więc model 9B patrzy na obraz przez szerszy enkoder, a nie tylko szerszy dekoder.

Liczby: większy zysk, niższy pułap

inclusionAI publikuje jeden zbiorczy wynik na model: ogólną dokładność na 25 benchmarkach w sześciu dziedzinach, z równymi wagami. Według danych z samej karty rodzina prezentuje się następująco.

• ZwZ2-4B — bazowy 49,41, dostrojony 54,79, wzrost o 5,38 punktu

• ZwZ2-9B — wynik bazowy 51,63, po dostrojeniu 56,59, wzrost o 4,96 punktu

• ZwZ2-27B — bazowy 55,52, dostrojony 60,51, wzrost o 4,99 punktu

Zatem model 4B zyskuje najwięcej i kończy jako ostatni. Model 9B zyskuje mniej i kończy o 1,80 punktu wyżej. Oba stwierdzenia są prawdziwe, a to, które z nich ma znaczenie, zależy wyłącznie od pytania, jakie zadajesz. Jeśli pytanie brzmi: „ile dodaje ten przepis treningowy?”, odpowiedź jest największa dla 4B. Jeśli pytanie brzmi: „który model jest dokładniejszy?”, odpowiedź brzmi: 9B, o 1,80 punktu, i żadne ujęcie tego nie zmieni.

Wszystkie te liczby są zgłoszone przez dostawcę i dotyczą wybranego przez niego zestawu benchmarków. Nikt niezależnie nie ocenił żadnego elementu tej rodziny, a szczegóły dla poszczególnych benchmarków znajdują się na rysunkach, a nie w tekście — na każdej karcie jest plik SVG i PNG. Różnica 1,80 punktu to uczciwe podsumowanie tego, co opublikowano; nie jest to pomiar, którego powtórzenia nie zaobserwowaliśmy ani ty, ani ja.

Dlaczego korzyść maleje w miarę wzrostu modelu

Ten wzorzec — 5,38 przy 4B, 4,96 przy 9B, 4,99 przy 27B — warto potraktować poważnie, a nie zbywać. Receptura treningowa, która dodaje możliwości małemu modelowi, wypełnia lukę: model bazowy nie miał pojemności ani sygnału treningowego, by zwracać uwagę na drobne przesłanki regionalne, a 20 000 starannie przefiltrowanych pytań wielokrotnego wyboru uczy go umiejętności, której mu brakowało. Większy model bazowy ma już więcej tej zdolności, więc ten sam program nauczania ma mniej do dodania. Krańcowy zwrot z danych maleje w miarę, jak model bazowy staje się lepszy.

To jest życzliwa interpretacja i to ją potwierdzają liczby. Nieżyczliwa interpretacja jest taka, że zestaw testów porównawczych ma pułap albo że format zadania z czterema opcjami nieproporcjonalnie premiuje małe modele. Obie interpretacje są spójne z opublikowanymi liczbami, dlatego lukę wynoszącą 1,80 punktu należy traktować jako kierunek, a nie jako wielkość.

Istnieje trzecia możliwość, która ma większe znaczenie dla adopcji: zysk może być skoncentrowany. „Poprawa na każdym benchmarku” to twierdzenie z karty, ale średnia z 25 równo ważonych zadań może ukryć dwa duże zwycięstwa i dwadzieścia małych. Bez tabeli wyników dla poszczególnych benchmarków — a jej nie ma w tekście — nie można stwierdzić, czy 5,38 modelu 4B jest równomierne, czy skoncentrowane dokładnie w zadaniach szczegółowej percepcji, na które ukierunkowany jest przepis. Jeśli jest skoncentrowane, mały model jest specjalistą, a 9B modelem ogólnego przeznaczenia, a średnia jest niewłaściwą statystyką przy wyborze między nimi.

Model 27B jest eksperymentem kontrolnym.

Trzeci rozmiar pozwala przetestować argument dotyczący rodziny. ZwZ2-27Bjest zbudowany na Qwen3.6-27B — innej generacji bazowej niż jego dwa rodzeństwa — i odnotowuje wzrost o 4,99 punktu, zasadniczo taki sam jak 4,96 modelu 9B i znacznie poniżej 5,38 modelu 4B. Gdyby wartość receptury dotyczyła wyłącznie jakości danych, oczekiwałoby się jednakowego wzrostu niezależnie od rozmiaru. Zamiast tego to model 4B jest wyjątkiem. Jest to zgodne z narracją o luce pojemnościowej i niezgodne z narracją, w której dane treningowe są po prostu jednorodnie doskonałe.

27B rozstrzyga też praktyczną kwestię dotyczącą premiery tej rodziny. Trzy repozytoria pojawiły się w odstępie nie większym niż 23 godziny, najpierw 4B, a na końcu 27B, co jest znakiem zbiorczego wypchnięcia, a nie stopniowego wdrażania. Zbiór danych pojawił się następnie 19 października. Liczba pobrań mówi, gdzie skierowała się uwaga: zero dla 4B, 147 dla 9B, siedem dla 27B. Nikt jeszcze nie wybrał faworyta, a średni rozmiar jest jedynym, który ktokolwiek pobrał.

Serwowanie: 9 GB w porównaniu z 18,8 GB

Ta arytmetyka jest prosta i stanowi najsilniejszy argument za mniejszym modelem. Wagi ZwZ2-4B to plik BF16 o rozmiarze 9,08 GB; wagi ZwZ2-9B przy tej samej precyzji wynoszą około 18,8 GB. Na karcie 24 GB model 4B pozostawia miejsce na pokaźny KV cache i batch; modelowi 9B pozostaje bardzo niewiele. Na karcie 16 GB model 4B się mieści, a 9B bez kwantyzacji nie mieści się w ogóle.

Żaden z modeli nie jest udostępniany przez zewnętrznego dostawcę hostingu — strony Hugging Face nie podają dostawcy wnioskowania dla żadnego z nich — więc w obu przypadkach decyzja dotyczy samodzielnego hostowania. Jeśli wybierasz między nimi ze względu na sprzęt, 9B to inna klasa maszyny, a nie nieco większy plik do pobrania. To jest praktyczne znaczenie stosunku liczby parametrów 2,07× i decyduje o nim twoja karta, a nie różnica dokładności wynosząca 1,80 punktu.

Dla zespołów, które chcą zachowania percepcji bez brania na siebie problemu serwowania, kompromisem hostowanym z katalogu jest qwen/qwen3-vl-8b-instruct w cenie 0,18 USD za milion tokenów wejściowych i 0,70 USD za milion tokenów wyjściowych przy kontekście 131K. To nie jest ten sam model i ten tekst nie będzie udawał, że jest — ale to porównanie, którego większość zespołów naprawdę potrzebuje, a działa na tym samym kluczu co wszystko inne, co kieruje OrcaRouter, z automatycznym przełączaniem awaryjnym, jeśli któryś z upstreamów ulegnie degradacji.

Jeśli budujesz wielopoziomowy potok zamiast wybierać jeden checkpoint, warstwa routingu jest miejscem, w którym można to wyrazić: najpierw wysyłaj każdy obraz do taniego modelu, a eskaluj tylko te, których pewność jest niska, do czegoś większego. DSL routingu łączy modele w jedno wywołanie, więc eskalacja jest regułą w trasie, a nie drugą integracją. Żaden z checkpointów ZwZ2 nie może dziś pełnić roli taniej warstwy — nie są hostowane — ale wzorzec to ten, o którym te dwa modele pośrednio dyskutują.

Który wybrać

• Wybierz 4B, jeśli Twoja karta ma 16 lub 24 GB, Twoim zadaniem są dowody wizualne oparte na regionach i chcesz uzyskać największą zmierzoną poprawę względem modelu bazowego w tej rodzinie.

Wybierz 9B, jeśli masz zapas pamięci i chcesz uzyskać najwyższą dokładność, jaką ktokolwiek opublikował dla checkpointu ZwZ2 poniżej 27B. Te 1,80 punktu to nie byle co.

• Na razie nie bierz żadnego z nich, jeśli potrzebujesz licencji, którą podpisze Twój zespół prawny. Żadne z repozytoriów nie deklaruje licencji, a karty odsyłają do pliku licencji, którego nie ma.

• Jeśli potrzebujesz artykułu naukowego, nie wybieraj żadnej z nich. Metoda v2 nie ma publicznego opracowania; identyfikator arXiv na obu kartach należy do pierwszej generacji prac ZwZ dotyczących innej rodziny bazowej.

Naprawdę użytecznym eksperymentem nie jest porównanie 4B z 9B na czyichś 25 benchmarkach. Jest nim uruchomienie obu — albo uruchomienie 4B względem jego własnej wersji bazowej — na kilkuset obrazach z rzeczywistego obciążenia i sprawdzenie, czy 5,38 się przenosi. Dopóki ktoś tego nie zrobi, opublikowane liczby rodziny opisują zachowanie przepisu na zestawie zadań, a nie decyzję, którą można podjąć dotyczącą własnego potoku. To 4B jest interesujące właśnie dlatego, że jego zysk jest największy, a dowody najcieńsze.