ZwZ2-4B vs. ZwZ2-9B: Gleiche Tiefe, doppelt so viele Gewichte, eine Differenz von 1,8 Punkten

Die naheliegende Annahme über ein 4B-Modell und ein 9B-Modell aus derselben Familie ist, dass das kleinere flacher ist. ZwZ2-4B und ZwZ2-9B sind es nicht. Beide geben genau 32 Transformer-Schichten an. Beide verwenden 16 Query-Heads gegenüber 4 Key-Value-Heads bei einer Head-Dimension von 256. Beide haben dasselbe Vokabular mit 248.320 Tokens und dieselbe Kontextobergrenze von 262.144 Positionen, und beide folgen demselben 3:1-Aufteilungsmuster von linearer zu vollständiger Attention. Das 9B ist kein tieferes ZwZ2-4B; es ist ein breiteres, und sobald man das erkennt, wirkt der Rest dieses Vergleichs — einschließlich der eigenen Score-Lücke des Anbieters — nicht mehr wie eine Gerade.

Die beiden Checkpoints liegen auch zeitlich und ihrer Herkunft nach nah beieinander. ZwZ2-4B wurde am 15. Oktober 2026 erstellt, ZwZ2-9B am 16. Oktober, beide von inclusionAI, beide mit derselben Pipeline auf demselben Datensatz von 20.662 Multiple-Choice-Fragen trainiert, und keiner von beiden wurde angekündigt. Sie unterscheiden sich in ihren Basismodellen – Qwen3.5-4B bzw. Qwen3.5-9B – und in der Breite jedes Blocks, der sich daraus ergibt.

Der Konfigurations-Diff und was er bedeutet

Eine Schicht-für-Schicht-Durchsicht der beiden Konfigurationsdateien fördert einen echten strukturellen Unterschied zutage sowie mehrere, die sich mechanisch daraus ergeben.

• Tiefe – bei beiden 32 Schichten, identisch

• Versteckte Breite – 2.560 beim 4B-Modell gegenüber 4.096 beim 9B-Modell, ein Faktor von 1,6

• Feed-Forward-Breite — Zwischengröße 9.216 vs. 12.288

• Attention-Geometrie — 16 Query-Heads, 4 Key-Value-Heads, Kopfdimension 256, in beiden

• Attention-Zeitplan — 24 lineare Schichten und 8 Full-Attention-Schichten, in beiden

• Kontext — 262.144 Positionen in beiden, M-RoPE bei 11/11/10, partielle Rotation 0.25

• Vokabular — 248.320 Token in beiden, gebundene Embeddings im 4B und ungebundene im 9B

• Vision-Tower – 24 Schichten bei Hidden-Größe 1.024 gegenüber 27 Schichten bei Hidden-Größe 1.152

• Multi-Token-Vorhersage — null MTP-Schichten in beiden, der spekulative Kopf aus jedem Basismodell entfernt

• Parameter — 4.539.265.536 vs. 9.409.813.744, ein Faktor von 2,07

Zwei dieser Zeilen verdienen eine Anmerkung. Die nicht gekoppelten Embeddings im 9B bedeuten, dass seine Eingabe- und Ausgabematrizen separate Kopien einer 248.320 × 4.096 großen Tabelle sind; das allein macht rund zwei Milliarden Parameter aus, was maßgeblich dazu beiträgt, dass das Parameterverhältnis (2,07) über dem Breitenverhältnis (1,6) liegt. Und der Vision-Tower wächst mit dem Sprach-Stack – 27 Schichten bei 1.152 Hidden-Dimension gegenüber 24 bei 1.024 –, sodass das 9B das Bild durch einen breiteren Encoder sieht, nicht nur durch einen breiteren Decoder.

Die Zahlen: ein größerer Zugewinn, eine niedrigere Obergrenze

inclusionAI veröffentlicht pro Modell einen Aggregatwert: die Gesamtgenauigkeit über 25 Benchmarks in sechs Domänen, gleich gewichtet. Nach den auf der Karte selbst angegebenen Zahlen stellt sich die Familie wie folgt dar.

• ZwZ2-4B — Basis 49,41, optimiert 54,79, eine Steigerung von 5,38 Punkten

• ZwZ2-9B — Basis 51,63, feinabgestimmt 56,59, eine Steigerung um 4,96 Punkte

• ZwZ2-27B — Basis 55,52, optimiert 60,51, ein Zugewinn von 4,99 Punkten

Das 4B-Modell gewinnt am meisten hinzu und landet am Ende auf dem letzten Platz. Das 9B-Modell gewinnt weniger hinzu und landet 1,80 Punkte höher. Beide Aussagen stimmen, und welche davon relevant ist, hängt ganz davon ab, welche Frage man stellt. Wenn die Frage lautet „Wie viel bringt dieses Trainingsrezept zusätzlich?“, ist die Antwort beim 4B-Modell am größten. Wenn die Frage lautet „Welches Modell ist genauer?“, lautet die Antwort 9B, und zwar um 1,80 Punkte, und daran ändert keine wie auch immer geartete Darstellung etwas.

All dies sind vom Anbieter gemeldete Zahlen auf einem vom Anbieter gewählten Benchmark-Set. Niemand hat irgendein Mitglied dieser Familie unabhängig bewertet, und die Details je Benchmark stecken in Abbildungen statt im Text – eine SVG und eine PNG auf jeder Karte. Die Lücke von 1,80 Punkten ist die ehrliche Zusammenfassung dessen, was veröffentlicht ist; sie ist keine Messung, die Sie oder ich reproduziert gesehen haben.

Warum der Zugewinn schrumpft, je größer das Modell wird

Das Muster – 5,38 bei 4B, 4,96 bei 9B, 4,99 bei 27B – sollte man ernst nehmen, statt es mit einer Handbewegung abzutun. Ein Trainingsrezept, das einem kleinen Modell zusätzliche Fähigkeiten verleiht, füllt eine Lücke: Das Basismodell hatte weder die Kapazität noch das Trainingssignal, feine regionale Evidenz zu berücksichtigen, und 20.000 sorgfältig gefilterte Multiple-Choice-Fragen bringen ihm eine Fähigkeit bei, die ihm fehlte. Ein größeres Basismodell verfügt bereits über mehr dieser Fähigkeit, sodass dasselbe Curriculum weniger beizutragen hat. Der Grenzertrag der Daten sinkt, je besser das Basismodell wird.

Das ist die wohlwollende Lesart, und sie ist diejenige, die die Zahlen stützen. Die wenig wohlwollende Lesart ist, dass die Benchmark-Suite eine Obergrenze hat oder dass das Aufgabenformat mit vier Optionen kleine Modelle überproportional belohnt. Beide Lesarten sind mit den veröffentlichten Zahlen vereinbar, weshalb die Lücke von 1,80 Punkten als Richtung statt als Größenordnung behandelt werden sollte.

Es gibt eine dritte Möglichkeit, die für die Übernahme wichtiger ist: Der Gewinn könnte konzentriert sein. „Bei jedem Benchmark verbessert“ ist die Behauptung der Karte, aber ein Durchschnitt über 25 gleich gewichtete Aufgaben kann zwei große Erfolge und zwanzig kleine verbergen. Ohne die Tabelle pro Benchmark – und sie steht nicht im Text – können Sie nicht erkennen, ob die 5,38 des 4B gleichmäßig verteilt oder genau auf die feingranularen Wahrnehmungsaufgaben konzentriert ist, auf die das Rezept abzielt. Wenn sie konzentriert ist, ist das kleine Modell ein Spezialist und das 9B der Generalist, und der Durchschnitt ist die falsche Statistik, um zwischen ihnen zu wählen.

Das 27B ist das Kontrollexperiment.

Die dritte Größe macht das Argument der Modellfamilie überprüfbar. ZwZ2-27B basiert auf Qwen3.6-27B — einer anderen Basisgeneration als seine beiden Geschwister — und verbucht einen Zuwachs von 4,99 Punkten, im Wesentlichen genauso hoch wie die 4,96 des 9B und deutlich niedriger als die 5,38 des 4B. Wenn der Wert des Rezepts allein in der Datenqualität läge, würde man einen gleichmäßigen Zuwachs über alle Größen hinweg erwarten. Stattdessen ist das 4B der Ausreißer. Das ist vereinbar mit der Kapazitätslücken-Erzählung und unvereinbar mit einer Erzählung, in der die Trainingsdaten schlicht durchgängig exzellent sind.

Die 27B klärt auch einen praktischen Punkt zur Veröffentlichung der Familie. Die drei Repositories erschienen innerhalb von 23 Stunden zueinander, das 4B zuerst und das 27B zuletzt, was typisch für einen Batch-Push und nicht für einen gestaffelten Rollout ist. Der Datensatz folgte am 19. Oktober. Die Downloads zeigen, wohin die Aufmerksamkeit ging: null für das 4B, 147 für das 9B, sieben für das 27B. Niemand hat bisher einen Favoriten gekürt, und die mittlere Größe ist die einzige, die überhaupt jemand heruntergeladen hat.

Bereitstellung: 9 GB gegenüber 18,8 GB

Die Arithmetik hier ist einfach, und sie ist das stärkste Argument für das kleinere Modell. Die Gewichte von ZwZ2-4B sind eine 9,08-GB-BF16-Datei; die von ZwZ2-9B ergeben bei derselben Präzision etwa 18,8 GB. Auf einer 24-GB-Karte lässt das 4B reichlich Platz für einen großzügigen KV-Cache und einen Batch; das 9B lässt sehr wenig übrig. Auf einer 16-GB-Karte passt das 4B, und das 9B passt ohne Quantisierung überhaupt nicht.

Keines der beiden Modelle wird von einem gehosteten Anbieter bereitgestellt – die Hugging-Face-Seiten melden für keines von beiden einen Inferenzanbieter – daher sind beide Entscheidungen für Self-Hosting. Wenn Sie aus Hardware-Gründen zwischen ihnen wählen, ist das 9B eine andere Maschinenklasse, kein etwas größerer Download. Das ist die praktische Bedeutung des Parameterverhältnisses von 2,07×, und es wird von Ihrer Grafikkarte entschieden, nicht von der Genauigkeitslücke von 1,80 Punkten.

Für Teams, die das Wahrnehmungsverhalten wollen, ohne das Serving-Problem selbst zu betreiben, ist der gehostete Mittelweg des Katalogs qwen/qwen3-vl-8b-instruct zu $0,18 pro Million Eingabe-Tokens und $0,70 pro Million Ausgabe-Tokens bei 131K Kontext. Es ist nicht dasselbe Modell, und dieser Beitrag wird nicht so tun, als wäre es so — aber es ist der Vergleich, den die meisten Teams tatsächlich brauchen, und es läuft über denselben Key wie alles andere, was OrcaRouter routet, mit automatischem Failover, falls ein Upstream schlechter wird.

Wenn Sie eine mehrstufige Pipeline aufbauen, statt einen einzelnen Checkpoint auszuwählen, ist die Routing-Ebene der richtige Ort, um das auszudrücken: Schicken Sie jedes Bild zuerst an ein günstiges Modell und eskalieren Sie nur diejenigen mit geringer Konfidenz an ein größeres. Die Routing-DSL kombiniert Modelle zu einem einzigen Aufruf, sodass die Eskalation eine Regel in der Route ist statt einer zweiten Integration. Keiner der beiden ZwZ2-Checkpoints kann heute die günstige Stufe sein – sie werden nicht gehostet –, aber genau über dieses Muster streiten diese beiden Modelle implizit.

Welches soll ich nehmen?

• Nehmen Sie das 4B, wenn Ihre Grafikkarte 16 oder 24 GB hat, es Ihre Aufgabe ist, regionsgestützte visuelle Evidenz zu liefern, und Sie die größte gemessene Verbesserung gegenüber einem Basismodell dieser Familie erzielen möchten.

• Nimm das 9B, wenn du die Speicherreserven hast und die höchste Genauigkeit willst, die jemand für einen ZwZ2-Checkpoint unter 27B veröffentlicht hat. Die 1,80 Punkte sind nicht zu verachten.

• Nehmen Sie noch keines von beiden, wenn Sie eine Lizenz benötigen, die Ihr Rechtsteam unterzeichnen wird. Keines der beiden Repositories deklariert eine, und die Karten verweisen auf eine Lizenzdatei, die nicht vorhanden ist.

• Nehmen Sie keine der beiden, wenn Sie eine Veröffentlichung benötigen. Für die {{1}}v2-Methode{{/1}} gibt es keine öffentliche Dokumentation; die {{2}}arXiv-Kennung{{/2}} auf beiden Karten gehört zur ZwZ-Arbeit der ersten Generation zu einer anderen Basis-Familie.

Das wirklich nützliche Experiment besteht nicht darin, 4B gegen 9B auf den 25 Benchmarks von irgendjemand anderem antreten zu lassen. Es besteht darin, beide laufen zu lassen – oder das 4B gegen seine eigene Basis laufen zu lassen – auf ein paar hundert Bildern aus Ihrer tatsächlichen Arbeitslast und zu sehen, ob sich die 5.38 übertragen. Bis jemand das tut, beschreiben die veröffentlichten Zahlen der Familie das Verhalten eines Rezepts auf einem Aufgabensatz, nicht eine Entscheidung, die Sie über Ihre eigene Pipeline treffen können. Das 4B ist gerade deshalb das interessante, weil sein Zugewinn am größten und seine Evidenz am dünnsten ist.