Bonsai 2 vs. Ternary Bonsai 2 27B: Der Familienname übernimmt zwei Rollen

Suche nach Bonsai 2 und du stößt auf ungefähr fünf verschiedene Artefakte mit Footprints, die eine Größenordnung umspannen, und es ist anhand des Namens nicht ersichtlich, von welchem ein gegebener Artikel spricht. Ternary Bonsai 2 27B ist das spezifische — ein einzelnes ternäres Modell der 27B-Klasse, gebaut auf Qwen3.8-27B, angekündigt am 17. September 2026 und ausgeliefert als 5,95 GB großes Dense-Trit-Paket oder als 7,21 GB großes 2-Bit-Slot-Paket. Das bloße Bonsai 2 ist der Oberbegriff: Derselbe Name deckt Ternary Bonsai 2 2B, Ternary Bonsai 2 4B und Ternary Bonsai 2 9B ab, drei deutlich kleinere Modelle, gebaut auf Qwen3.5 und angekündigt am 15. Oktober 2026, und er deckt inzwischen auch einen Ollama-Library-Eintrag ab, der alle vier Größen unter einer Tag-Familie bereitstellt.

Das ist also kein üblicher Direktvergleich. Die eine Seite ist eine Teilmenge der anderen, und die sinnvolle Frage ist nicht, welche besser ist, sondern welche davon ein Leser, der „Bonsai 2“ in ein Suchfeld eingegeben hat, tatsächlich will. Die Antwort hängt an etwas, das die Namensgebung verschleiert: Die Familie ist zwei Familien, aufgeteilt nach Basismodell, und die Aufteilung verläuft nicht dort, wo die Größenangaben es nahelegen.

Zwei Familien, die einen Namen tragen

Lies die GGUF-Header der veröffentlichten Dateien, und die Naht liegt direkt in einem Metadatenfeld. Jedes Bonsai-2-Artefakt – 2B, 4B, 9B und 27B gleichermaßen – meldet general.architecture = qwen35. Dieser String ist das Hybrid-Attention-Backbone von Qwen3.5, und für die drei kleinen ist er genau richtig: Die Modellkarten führen Qwen3.5-2B, Qwen3.5-4B und Qwen3.5-9B als Basismodelle mit unveränderter Architektur auf. Das 27B ist ein anderes Kaliber. Seine Basis ist Qwen3.8-27B, ein neueres und stärkeres 27B-Hybrid-Attention-Modell, und es teilt zufällig den Architektur-String, weil Qwen3.8 dieselbe Backbone-Familie beibehält.

Die eigenen Versionshinweise des Anbieters machen die Trennung sichtbar, wenn man sie nebeneinander liest, und unsichtbar, wenn man eine von beiden allein liest. Der Beitrag vom 15. Oktober zu den kleinen Modellen sagt, sie seien „auf Qwen3.5 basierend“, und beschreibt sie als zu Bonsai 2 27B hinzukommend – was zutreffend als etwas anderes dargestellt wird. Der Beitrag vom 17. September zum 27B nennt Qwen3.8-27B. Zwei Ankündigungen, zwei Basismodelle, ein Familienname – und ein Drittanbieter-Artikel, der sagt „Bonsai 2 basiert auf Qwen3.5“, irrt sich beim 27B, obwohl er perfekt belegt aussieht.

Das ist wichtig, weil die Generierung des Basismodells hier kein Detail ist. Sie setzt die Fähigkeitsobergrenze, sie legt fest, worauf sich die Retentionsprozentsätze beziehen – Prozentsätze davon, und es bedeutet, dass die Benchmark-Zahlen der kleinen Modelle und die Benchmark-Zahlen des 27B nicht zwei Punkte auf einer Kurve sind – sie sind zwei getrennte Berichte gegenüber zwei getrennten Baselines. Behandle jede Tabelle, die sie in einer Spalte nebeneinanderstellt, mit Misstrauen.

Die Zahlen, Seite an Seite

Alle Zahlen sind Herstellerangaben von Prism ML; keine wurden unabhängig reproduziert.

• Basismodell — Ternary Bonsai 2 2B / 4B / 9B: Qwen3.5-2B, -4B, -9B bzw.; Ternary Bonsai 2 27B: Qwen3.8-27B

• Angekündigt — 15. Oktober 2026 für die kleinen Drei; 17. September 2026 für das 27B

• Kleinstes Sprachmodell-Paket — 0,429 GB PTQ1_0 bei 2B; 1,997 GB PTQ1_0 bei 9B; 5,947 GB PTQ1_0 bei 27B

• Standardpaket — PQ2_0 für alle: 0,517 GB, 1,146 GB, 2,417 GB bzw. 7,206 GB

• Bits pro Gewicht — ~1,83 bei 2B, ~1,81 bei 4B, ~1,78 bei 9B, 1,72 ideal / 1,75 gepackt bei 27B

• Kontext — 262.144 Tokens über die gesamte Familie hinweg, übernommen vom Q​wen-Backbone

• Vision — ein separates mmproj-Paket für jede Größe, das nur geladen wird, wenn ein Bild ankommt

• Lizenz — durchgängig Apache 2.0

• Leistungserhalt wie berichtet – 27B: 98,2 % von Qwen3.8-27B FP16 über 14 Benchmarks hinweg; kleine Modelle: 19 Benchmarks in sechs Kompetenzbereichen, angegeben als Leistungserhalt pro Kategorie gegenüber ihren eigenen Qwen3.5-Baselines

Eine Zeile in dieser Liste ist der Grund dafür, dass das 27B 5,95 GB kostet, während das 9B 2,00 GB kostet, und es ist nicht nur die Parameteranzahl. Das 27B wird als „durchgängig ternär“ über Embeddings, Attention-Projektionen, MLP-Projektionen und den LM-Head hinweg beschrieben, mit einem entscheidenden Detail: eine kleine Gruppe von Tensoren – der Pfad des rekurrenten Zustands der Linear-Attention-Schichten plus die Normalisierungsgewichte, etwa 26,2 Millionen Parameter, 0,0976 % des Sprachmodells – bleibt in höherer Präzision, und dieser Rest ist es, der die Schlagzeilen-Zahl von 1,71 auf 1,72 Bit pro Gewicht verschiebt. Beim 9B ergibt dieselbe Mechanik ~1,78. Das größere Modell ist pro Gewicht effizienter, nicht weniger, weil der feste Hochpräzisions-Overhead über zehnmal so viele Parameter amortisiert wird. Wenn Sie darüber nachdenken, welche Größe Sie anhand einer Bits-pro-Gewicht-Tabelle wählen sollten, ist das die eine Richtung, in die die Tabelle zeigt.

Wo kleine Modelle wirklich punkten

Nicht wegen der Qualität – wegen der Form der Behauptung. Die Veröffentlichung des kleinen Modells ist die einzige in dieser Familie, die eine Aussage zur Ausführlichkeit veröffentlicht, und sie ist das am besten überprüfbare, was eine der beiden Ankündigungen enthält: Prism ML berichtet, dass das 9B bei standardmäßiger Anweisungsbefolgung und alltäglichen Matheaufgaben ungefähr 40 % weniger Tokens verwendet. Das ist eine Aussage über die Ausgabelänge, nicht über die Fähigkeit, und man kann sie an einem Nachmittag anhand eigener Prompts überprüfen. Derselbe Beitrag nennt das Vermeiden repetitiver Schleifen und die Kontrolle der Ausführlichkeit als ausdrückliche Entwicklungsziele – genau die Art von Dingen, die man schreibt, wenn die vorherige Generation ein Problem hatte.

Es ist außerdem die einzige Veröffentlichung, die in mehreren Kategorien eine Retention von über 100 % meldet — 121,5 % bei der Instruktionsbefolgung für das 2B-Modell, 107,8 % bei Mathematik, 115,0 % bei Coding, gegenüber den Vollpräzisions-Baselines von Qwen3.5. Das sind die eigenen Zahlen des Anbieters auf dessen eigener Suite, und dass ein komprimiertes Modell sein Ausgangsmodell auf einem handverlesenen Benchmark übertrifft, ist mindestens ebenso sehr eine Aussage über Training und Harness wie über ternäre Arithmetik. Der Bericht zum 27B-Modell ist konservativer ausgeprägt — 84,78 gegenüber 86,32, mit Mathematik bei 96,57 versus 97,06 und Coding-Niveau bei 89,42 versus 89,07, wobei sich der Verlust auf Wissen/Reasoning und Vision konzentriert — was genau das Profil ist, das eine 1,7-Bit-Darstellung erzeugen sollte. Wenn die Verluste des einen Berichts genau dort anfallen, wo die Theorie sie vorhersagt, und die Zugewinne des anderen auf den Kategorien anfallen, die der Anbieter in den Vordergrund gestellt hat, dann ist diese Asymmetrie eine Information.

Verpackung: der stille Vorteil des 27B

Seit dem 17. Oktober 2026 sind alle vier Größen als bonsai-2:2b, :4b, :9b und :27b von Ollama pullbar – insgesamt neun Tags, wobei jede Größe zusätzlich einen -q2_0-Alias trägt. Das ist neu, es wurde vom Anbieter nicht angekündigt, und es lohnt sich zu wissen, was es tatsächlich ausliefert. Ollamas Tags verweisen auf das Q2_0-Packing, das einzige, das das Upstream-llama.cpp laden kann. Die Dense-Trit-PTQ1_0-Packs – die kleinsten Dateien der Familie – sind überhaupt nicht in der Registry. Der bequeme Weg und der kleine Weg sind also unterschiedliche Wege – für alle vier Größen gleichermaßen.

Wo sich das 27B unterscheidet, ist darin, was es nicht mitliefert. Das 4B und das 9B kommen jeweils mit zwei optionalen Speculative-Decoding-Draftern: einem MTP-Head, der in das 2-Bit-Slot-Paket integriert ist, und einem DFlash2-Block-Drafter, der bei kopflastiger Arbeit hilft und beim allgemeinen Chat langsamer als reines Decoding ist. Das 2B wird bewusst ohne einen ausgeliefert – die Anmerkung des Anbieters lautet, dass bei dieser Größe ein Decode-Schritt ohnehin günstig ist und das Drafting mit voller Tiefe (swept depth) bei alltäglichen Prompts langsamer gemessen wurde als reines Decoding. Die Generation des 27B ließ den äquivalenten Drafter weg, den sein Vorgänger der ersten Generation mitbrachte.

Das ist ein echter Unterschied in den Fähigkeiten zwischen den Größen, und er taucht auf der Ollama-Seite überhaupt nicht auf.

Entscheiden, und was mit der Antwort zu tun ist

Zum 27B-Modell greift man, wenn die Arbeitslast langfristiges Reasoning umfasst: Code, Mathematik, agentische Tool-Ketten, lange Dokumente in einem 262K-Kontext. Es ist die einzige Größe in der Familie mit einem Basismodell aus der Qwen3.8-Generation, und die Kategorieaufschlüsselung des Anbieters besagt, dass ihm die Komprimierung in Mathematik und Coding fast nichts kostet, während sie bei Wissensabruf und Vision ihren Tribut fordert.

Das 9B ist die Wahl, wenn die Einschränkung der Speicher und nicht die Schwierigkeit ist: Assistenten auf Laptops, Bereitstellungen auf Telefonen, alles, wo 2 GB gegenüber 6 GB darüber entscheiden, ob ausgeliefert wird oder nicht. Sein veröffentlichtes Profil ist genau dort am stärksten, wo das des 27B relativ zur Baseline am schwächsten ist – das Befolgen von Anweisungen und die Steuerung der Ausführlichkeit –, und genau dafür wendet ein kleiner lokaler Assistent seine Tokens tatsächlich auf. Das 2B und das 4B gibt es für noch knappere Budgets, und bei diesen Größen werden die Retention-Zahlen so verrauscht, dass Ihre eigenen Prompts ein besserer Leitfaden sind als die Tabelle des Anbieters.

Eine Anmerkung zu dem Vergleich, den die meisten Leser tatsächlich anstellen werden, nämlich gegenüber gehosteten Modellen und nicht gegeneinander. Keine der Bonsai-2-Größen wird über OrcaRouter bereitgestellt, und dieser Beitrag legt auch nichts anderes nahe – es sind Gewichte, die man herunterlädt. Doch die Frage „Ist ein lokales 2-GB-Modell für diese Aufgabe gut genug?“ wird beantwortet, indem man gegen etwas misst, und OrcaRouter stellt eine API vor über 200 gehostete Modelle bei 0 % Aufschlag, wobei die Listenpreise der Anbieter durchgereicht werden, plus automatisches Failover zwischen Anbietern und eine Routing-DSL, mit der sich mehrere Modelle zu einem einzigen Aufruf zusammenstellen lassen. Setzen Sie die Messlatte mit einem gehosteten Modell, und testen Sie dann, ob das lokale sie auf Ihrer Hardware übertrifft. Diese Reihenfolge erspart die Wochen, die man damit verliert, einen Download zu optimieren, der niemals ausreichen würde.

Eine Warnung, die man aus diesem Beitrag mitnehmen sollte. Beide Veröffentlichungen nennen Retention-Prozentsätze, beide wurden vom Anbieter auf dessen eigenem Test-Harness gemessen, und Stand heute hat kein Dritter eines von beiden reproduziert. Das Einzige, was Sie selbst überprüfen können, ist das Artefakt – die Dateigrößen, die Packungen, die GGUF-Metadaten, die Lizenz und der Durchsatz auf Ihrer eigenen Maschine. Da sollten Sie anfangen, und dort hören die beiden Ankündigungen auch auf, einander zu ähneln: Die eigenständigen Packungsgrößen des 27B werden pro Datei auf Hugging Face veröffentlicht, und die informell weitergegebene Speichergröße der kleinen Modelle von 0,43 GB, 0,95 GB und 2 GB bezieht sich nur auf das Sprachmodell ohne den Vision-Tower. Vergleichen Sie sie auf derselben Grundlage, sonst sieht es so aus, als hätte das 9B einen Streit verloren, den es nie geführt hat.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.