ZwZ2-9B vs Gemma 4 12B: Ein Modell, eine Modellkarte – und welches von beiden man tatsächlich ausliefern kann

Gemma 4 12B ist seit dem 23. Mai 2026 öffentlich. Es kommt mit einer Modellkarte, einem technischen Bericht, einer veröffentlichten Evaluationssuite, fünf Schwestergrößen und einer Downloadzahl auf dem Hub, die allein im letzten Monat 79.000 überschritten hat. ZwZ2-9B ist seit dem 16. Oktober 2026 öffentlich – heute – als acht Dateien in einem Repository ohne README, ohne Lizenzfeld und ohne Pipeline-Tag. Beide sind ungefähr gleich groß. Beide akzeptieren Bilder. Beide geben dieselbe Kontextobergrenze von 262.144 Positionen an. Und sie sind bei Weitem nicht im selben Reifegrad, was der einzige Vergleich ist, der zählt, wenn man entscheidet, wo man eine GPU einsetzt.

Die kurze Antwort: Gemma 4 12B ist ein fertiges Produkt von Google DeepMind, bei dem andere Leute fünf Monate lang bereits an seine Grenzen gestoßen sind. ZwZ2-9B ist ein Checkpoint von inclusionAI, den noch niemand außerhalb des Labs beschrieben hat, einschließlich des Labs selbst. Wenn du diesen Monat etwas ausliefern musst, ist die Entscheidung nicht knapp, und sie ist kein Kommentar zu den Gewichten. Wenn du entscheidest, worauf du nächsten Monat prototypisieren solltest, lies die Zahlen unten und führe dann deine eigene Eval aus, denn nur eines dieser beiden Modelle hat dir etwas zum Lesen gegeben.

Die beiden Stacks, Dimension für Dimension

• Parameter — ZwZ2-9B: 9.409.813.744 in bfloat16. Gemma 4 12B: 11,95 Milliarden.

• Architektur — qwen3_5, ein Hybrid aus linearer und voller Attention. Gemma: gemma4_unified, encoderfrei und modalitätsübergreifend vereinheitlicht.

• Schichten — 32 in ZwZ2-9B (24 Linear-Attention, 8 Full-Attention). 48 in Gemma 4 12B (40 Sliding-Window bei 1.024 Token, 8 Full-Attention).

• Kontext-Obergrenze — 262.144 Positionen, von beiden angegeben.

• Vokabular — 248.320 vs. 262.144, wobei das von Gemma für Bild-, Audio- und Video-Token-IDs reserviert ist.

• Modalitäten in — Text, Bild und Video für ZwZ2-9B. Text, Bild, Audio und Video für Gemma 4 12B, dessen Konfiguration einen 640-dimensionalen Audio-Tower enthält.

• Lizenz — keine angegeben vs. Apache-2.0.

• Erfolgsbilanz — null Downloads und zwei Likes gegenüber 79.565 Downloads und 790 Likes im letzten Monat.

Zwei dieser Zeilen verdienen einen zweiten Blick, weil sie eine Intuition umkehren. Die erste ist der Attention-Zeitplan: ZwZ2-9B ist ein 32-Schichten-Modell mit 8 Full-Attention-Schichten, und Gemma 4 12B ist ein 48-Schichten-Modell mit 8 Full-Attention-Schichten. Beide setzen darauf, dass der teure Teil der Attention selten sein sollte; sie sind sich nur uneinig darüber, wie selten – bei einer von vier Schichten gegenüber einer von sechs. Die zweite ist die Kontext-Obergrenze, wo ein 9,4B-Checkpoint ohne Dokumentation und ein 11,95B-Flaggschiff von DeepMind bei genau derselben Zahl 262.144 landen – was eher ein Zufall der Designziele ist als eine Beziehung zwischen den beiden.

Wo Gemma 4 12B nicht nur voraus ist, sondern in einer anderen Kategorie

Audio steht an erster Stelle. Googles Modell nimmt Ton nativ auf, mit einem dedizierten Audio-Turm und Audio-Token-IDs in seinem Vokabular. Der Tokenizer von ZwZ2-9B reserviert ebenfalls <|audio_start|>, <|audio_end|> und <|audio_pad|> — doch seine Konfiguration enthält keinerlei Audiokonfiguration, sodass diese Tokens ein geerbtes Vokabular sind und keine Fähigkeit, die es besitzt. Wenn Ihr Workload Sprache umfasst, ist dies das Ende des Vergleichs, und es lohnt sich, präzise zu sein, warum: nicht weil ZwZ2-9B schlechter abgeschnitten hat, sondern weil es im Checkpoint nichts gibt, das eine Wellenform verarbeiten könnte.

Die Dokumentation ist der zweite Punkt, und sie ist derjenige, der sich mit der Zeit potenziert. Gemma 4 12B kommt mit einem technischen Bericht (arXiv 2607.02770), einem veröffentlichten Evaluationsdatensatz, der alles von GPQA-artigem Reasoning bis hin zu Vision-Benchmarks abdeckt, einer angegebenen Lizenz und einem Hinweis, dass das Modell in fünf Größen verfügbar ist, sodass man Leistungsfähigkeit gegen Footprint abwägen kann, ohne die Familie zu verlassen. Darum herum zeigt der Hub 83 veröffentlichte Feinabstimmungen, 49 Quantisierungen und 15 Spaces, die darauf aufbauen. Dieses Ökosystem ist keine Dekoration. Es ist eine Sammlung von Belegen dazu, wie das Modell scheitert, erstellt von Menschen, die nicht zu Google gehören, und es gibt keinen Ersatz dafür.

Die Lizenzierung ist die dritte, und sie ist die am wenigsten glamouröse und die entscheidendste. Gemma 4 12B ist Apache-2.0. ZwZ2-9B gibt überhaupt keine Lizenz an — nicht offen, nicht benutzerdefiniert, nichts in den Metadaten des Repositorys. Ohne eine Erklärung ist die sichere Auslegung, dass der Herausgeber seine Rechte vorbehalten hat, und das ist keine Frage, bei der Sie während der Beschaffung feststellen möchten, dass Sie falsch lagen. Ein Checkpoint, den Sie legal nicht nutzen können, ist nicht billiger als einer, den Sie nutzen können.

Die einzige Stelle, an der ZwZ2-9B ein strukturelles Argument hat

Es liegt nicht an der Qualität, die noch niemand messen kann. Es liegt daran, wie das Ding Rechenleistung aufwendet, und die Konfiguration ist diesbezüglich ungewöhnlich explizit.

Drei Viertel der Schichten von ZwZ2-9B sind lineare Attention — 24 von 32 —, wobei jede einen rekurrenten Zustand fester Größe trägt statt eines Key-Value-Caches, der mit der Konversation wächst. Die Konfiguration benennt den Mechanismus: 16 Key-Heads und 32 Value-Heads bei Dimension 128, ein 4 breiter Faltungskernel und ein Zustand, der für numerische Stabilität in float32 gehalten wird. Nur jede vierte Schicht betreibt volle Attention. Gemma 4 12B geht eine ähnliche Wette mit einem anderen Mechanismus ein — 40 seiner 48 Schichten nutzen ein gleitendes Fenster, das auf 1.024 Token begrenzt ist —, sodass beide Modelle darauf ausgelegt sind, auf den meisten Schichten nicht mehr die Kosten für volle Attention zu tragen. Sie unterscheiden sich im Grad und in der Technik, und ohne Benchmarks gibt es keine ehrliche Möglichkeit zu sagen, welches gewinnt. Die Designabsicht ist erkennbar; das Ergebnis wird nicht gemessen.

Der Speicherbedarf ist der unkomplizierte Teil. 9,41 Milliarden Parameter gegenüber 11,95 Milliarden bedeuten ungefähr ein Fünftel weniger Gewicht, das gehalten werden muss, bevor man irgendetwas quantisiert, und der Vision-Tower ist klein – 27 Schichten bei Hidden-Size 1.152, die in 4.096 projizieren – weshalb das Modell bequem in dieselbe Hardwareklasse passt, auf der Gemma 4 12B laufen würde.

The behavioural difference worth knowing is the reasoning default. ZwZ2-9B's chat template emits an empty <think></think> block unless you explicitly ask for thinking, so it answers directly out of the box. Gemma 4 12B offers thinking modes you configure. For extraction, classification or routing — the jobs where a second pass of reasoning is latency you did not want to pay for — only one of these is cheap by default.

Was ZwZ2-9B Ihnen nicht sagen kann, und warum das den Vergleich entscheidet

Man kann nicht wissen, ob es sich um ein auf Instruktionen abgestimmtes Modell oder einen Basis-Checkpoint handelt, denn sein Repository hat keine README und kein Pipeline-Tag, und beide würden das normalerweise angeben. Der fest eingebaute System-Prompt, der auf <answer>-Tags verweist, ist ein starker Beleg für ein trainiertes Instruktionsmodell, aber es ist ein Beleg, keine Aussage.

Man kann nicht wissen, womit es trainiert wurde, ob das feinkörnige Wahrnehmungsrezept, das den Namen der ZwZ-Familie begründet hat, übernommen wurde, oder worin es gut sein soll. Man kann seine Lizenz nicht kennen. Und man kann nicht wissen, wie es sich an den Rändern verhält, weil niemand außerhalb von inclusionAI es ausgeführt hat.

Stellt man das neben Gemma 4 12B, ist die Asymmetrie keine Frage des Grades. Das eine Modell kommt mit einem technischen Bericht und acht Monaten öffentlicher Nutzung; das andere kommt mit einer config.json und einer invertierten Thinking-Standardeinstellung. Das ist ein Grund, einen Prototyp zu bauen, kein Grund, es abzutun – undokumentierte Checkpoints sind oft der Punkt, an dem viele interessante Arbeiten zuerst auftauchen –, aber es ist ein Grund, ehrlich zu sein, dass man die Bewertung selbst übernehmen würde.

Eine Entscheidungsregel, die nicht von der fehlenden Evidenz abhängt

Nimm Gemma 4 12B, wenn einer der folgenden Punkte zutrifft: Du benötigst Audio-Eingang, du benötigst eine Lizenz, die du einem Anwalt zeigen kannst, du musst innerhalb eines Quartals ausliefern, oder du benötigst Geschwistergrößen, damit dieselbe Evaluationssuite innerhalb einer Familie nach oben und unten übertragbar ist. Alle vier sind geklärt.

Nimm ZwZ2-9B ernst, wenn du eine bestimmte Frage hast, die ein 9,4B-Hybrid-Attention-Vision-Modell, das standardmäßig ohne Reasoning arbeitet, besser beantworten könnte als eines, für das du bereits bezahlst, und wenn du bereit bist, es selbst zu messen. Das Erste, was du testen solltest, ist nicht seine Intelligenz. Sondern ob es die Bilder akzeptiert, die du ihm tatsächlich sendest, das Format zurückgibt, das du tatsächlich benötigst, und all das tut, ohne dass ein Lizenzproblem über dem Ergebnis schwebt.

Und vergleiche sie nicht in einer Benchmark-Tabelle, denn die Tabelle hat nur eine Spalte. Du könntest die veröffentlichten Zahlen von Gemma 4 12B neben eine Leerstelle setzen und es einen Vergleich nennen, aber die Leerstelle ist der Befund. Wer diese Woche ein Qualitätsurteil im direkten Vergleich zu ZwZ2-9B präsentiert, erfindet es.

Keiner der beiden Checkpoints ist heute in unserem Katalog, also ist keiner von beiden etwas, das du derzeit über uns aufrufen kannst — Gemma 4 12B ist ein Hugging-Face-Download und dein eigener Serving-Stack, und dasselbe gilt für ZwZ2-9B. Was wir aber anbieten, ist das Geschwistermodell, mit dem sich der Gemma-Vergleich durchführen lässt, ohne dass sich etwas daran ändert, wie du irgendetwas bewertest: Gemma 4 26B A4B, das Mixture-of-Experts-Mitglied derselben Familie, auf einem gehosteten Endpunkt zu $0.06 pro Million Input-Tokens und $0.33 pro Million Output-Tokens mit demselben 262K-Token-Kontext. Da OrcaRouter die Listenpreise der Anbieter mit 0% Aufschlag weitergibt, schlägt eine Preisänderung auf Anbieterseite hier noch am selben Tag durch statt erst beim nächsten Katalog-Refresh — was wichtig ist, wenn es darum geht, einen Kostenvergleich zwischen einem Modell, das du hostest, und einem Modell, das du mietest, anzustellen. Auf der anderen Seite der Gegenüberstellung ist der nächstgelegene gehostete Ersatz dafür, was ZwZ2-9B sein will, qwen/qwen3-vl-8b-instruct, ein 8B-Vision-Language-Modell mit einem 131K-Kontext zu $0.18 und $0.70, das dokumentiert, lizenziert und jetzt verfügbar ist.

Was würde diesen Artikel verändern?

Eine Modellkarte. Genauer gesagt: eine Lizenz, ein Absatz zu den Trainingsdaten und eine Evaluierungstabelle, die von jemandem erstellt wurde, der das Modell nicht trainiert hat. Bis dahin lautet die ehrliche Zusammenfassung von ZwZ2-9B gegenüber Gemma 4 12B nicht, dass eines besser ist. Sondern dass eines als Produkt existiert und das andere als Dateiliste, und die Kluft zwischen diesen beiden Dingen ist die teuerste Distanz im maschinellen Lernen.

Vergleiche wie dieser sind auch der Punkt, an dem die Fehlermodi sichtbar werden: Die dokumentierten KI-Vorfälle und Agenten-Ausfälle hinter Modellen dieser Klasse sind in the OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag seine eigenen Quellen, Schweregrad, Konfidenzstufe und eine Kennzeichnung als strittig mitführt.