Bonsai 2 vs. Bonsai 27B: Eines davon kannst du pullen, das andere nicht

Der konkreteste Unterschied zwischen Bonsai 2 und Bonsai 27B hat nichts mit Benchmarks zu tun. Am 17. Oktober 2026 ging ein Ollama-Library-Eintrag live, der die gesamte Bonsai-2-Familie abdeckt — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B und Bonsai 2 27B — und für die erste Generation gibt es keinen entsprechenden Eintrag. Sucht man nach bonsai-27b, ternary-bonsai-27b oder irgendeinem Variantennamen in dieser Registry, bekommt man einen 404. Bonsai 27B, veröffentlicht von Prism ML am 14. Juli 2026, muss aus den Hugging-Face-Repositories des Anbieters heruntergeladen und mit dem Prism-ML-llama.cpp-Fork ausgeführt werden. Bonsai 2 hat eine Einzeilen-Installation.

Diese Asymmetrie macht die eigentliche praktische Gestalt der Entscheidung aus, und sie ist leicht zu übersehen, weil die beiden Namen wie eine Produktlinie mit einem Versionssprung aussehen. Es sind zwei Generationen, zwei Basismodelle, zwei unterschiedliche Packungssätze und – seit dieser Woche – zwei unterschiedliche Liefermechanismen. Im Folgenden geht es darum, was sich zwischen ihnen tatsächlich geändert hat, wo das ältere noch gewinnt und bei der einen Konfiguration, bei der die Antwort weder das eine noch das andere ist.

Was jedes einzelne ist

Beides sind ternäre Kompressionen eines Qwen-Hybrid-Attention-Modells. Keines von beiden ist ein neu trainiertes Modell – die Architektur, die Gewichte und das quantisierungsbewusste Training stammen aus der Qwen-Basis, und was Prism ML beiträgt, ist die ternäre Repräsentation und die Kernel, die sie verarbeiten.

• Generation — Bonsai 2 (September 2026, erweitert Oktober 2026) vs. Bonsai 27B (14. Juli 2026)

• Basismodell in der 27B-Größe — Qwen3.8-27B vs. Qwen3.6-27B

• Basismodelle in der gesamten Familie — Qwen3.5-2B, -4B, -9B und Qwen3.8-27B unter Bonsai 2; ein einzelnes Qwen3.6-27B unter der ersten Generation

• Angebotene Größen — vier (2B, 4B, 9B, 27B) gegenüber einer (27B)

• Zwei Betriebspunkte bei 27B – nein, einer: Bonsai 2 27B wird nur ternär ausgeliefert, während Bonsai 27B sowohl einen ternären als auch einen binären Build auslieferte

• Kleinster Footprint der 27B-Klasse — 5,95 GB PTQ1_0 in Bonsai 2 vs. 3,9 GB im 1-Bit-Build der ersten Generation

• Kontext — 262.144 Tokens, vom Qwen-Backbone auf beiden übernommen

• Lizenz — Apache 2.0 für beide

• Bereitstellung — Ollama-Tags und Hugging Face für Bonsai 2; Hugging Face plus der Prism ML llama.cpp-Fork für Bonsai 27B

Die Zeile, die über mehr Deployments entscheidet als alle anderen, ist die fünfte. Bonsai 27B wurde auf zwei Arten ausgeliefert, Speicher zu verbrauchen: ein ternärer Build mit ungefähr 7,2 GB und ein binärer Build mit 3,9 GB. Bonsai 2 27B liefert einen — einen ternären Build mit 5,95 GB im Dense-Trit-Packing oder 7,21 GB im 2-Bit-Slot-Packing — und es gibt in dieser Generation keinen binären Begleiter. Wenn Sie den 3,9-GB-Build der ersten Generation ausgeführt haben und einen eins-zu-eins-Nachfolger erwartet haben: Bei 27B gibt es keinen.

Was die Generation tatsächlich gekauft hat

Prism MLs eigene Zahlen, auf Prism MLs eigenem Harness, ohne dass eine unabhängige Reproduktion verfügbar wäre: Das ternäre Bonsai 27B der ersten Generation meldete einen Durchschnitt im Thinking-Modus von 80,49 gegenüber 85,07 für seine Qwen3.6-27B-FP16-Referenz — 94,6 % beibehalten über 15 Benchmarks. Bonsai 2 27B meldet 84,78 gegenüber 86,32 für Qwen3.8-27B FP16 — 98,2 % über 14 Benchmarks. In absoluten Zahlen gewann das komprimierte Modell etwa 4,3 Punkte auf der Skala des Anbieters.

Zwei Einschränkungen gehören in denselben Atemzug, weil die Schlagzeile eine sauberere Lesart nahelegt, als die Daten stützen. Erstens sind die Benchmark-Suites nicht dieselbe Menge – 15 für die eine, 14 für die andere – und der Ausgangspunkt verschob sich von Qwen3.6-27B auf Qwen3.8-27B, das selbst ein stärkeres Modell war. Die 27B-Modellkarte des Anbieters selbst macht den zweiten Punkt explizit, indem sie das vorherige Release auf der neuen 14-Benchmark-Suite neu berechnet, für einen direkten Vergleich: Auf dieser gemeinsamen Grundlage erreicht das vorherige Release 80,98 und Bonsai 2 27B erreicht 84,78. Die ehrliche Lesart der Veränderung sind also ungefähr 3,8 Punkte gegenüber derselben Benchmark-Menge, wobei ein Teil davon vom Basismodell und ein Teil vom ternären Training stammt. Der Retention-Prozentsatz stieg von 94,6 % auf 98,2 %, teilweise weil sich der Nenner verschob.

Zweitens ist die Form des Verlusts aussagekräftiger als der Gesamtwert. In derselben Suite aus 14 Benchmarks verliert Bonsai 2 27B fast nichts dort, wo anhaltendes Schlussfolgern zum Tragen kommt: Mathematik 96,57 gegenüber 97,06, Coding 89,42 gegenüber 89,07 — gleichauf, minimal voraus — und Instruktionsbefolgung 82,66 gegenüber 81,25, voraus. Wissen und Schlussfolgern fallen von 85,55 auf 79,86 und Vision von 71,36 auf 66,19. Das ist genau das Profil, das man von einer Darstellung mit 1,72 Bit pro Gewicht erwarten würde: Der Schlussfolgerungskern überlebt, das Faktenabrufen und das Bildverständnis leiden darunter. Wenn Ihre Arbeitslast aus Code und Mathematik besteht, ist die Komprimierung nahezu kostenlos. Wenn sie Retrieval-geprägte Fragebeantwortung über einen Korpus ist, dann nicht.

Der 3,9-GB-Slot ist der Punkt, an dem es interessant wird.

Hier ist der Teil, den die Zwei-Generationen-Darstellung verbirgt. Das charakteristischste Artefakt der ersten Generation war der Binär-Build: ein 27B-Modell in 3,9 GB, das laut Anbieter 89,5 % von FP16 bei einem 15-Benchmark-Durchschnitt von 76,11 beibehält. Bonsai 2 hat kein binäres 27B-Modell. Doch Bonsai 2 hat ein 9B-Modell mit 1,997 GB im Dense-Trit-Packing und 2,42 GB im 2-Bit-Slot-Packing – ungefähr die Hälfte des Platzbedarfs des binären 27B-Modells, aus der neueren Generation und dem neueren Basismodell.

Ist das 9B besser als das 1-Bit-27B? Der Anbieter gibt keine Zahl an, die das beantwortet, und Sie sollten keine konstruieren. Die beiden Modelle wurden auf unterschiedlichen Suiten evaluiert – 19 Benchmarks in sechs Kompetenzbereichen für die kleinen Bonsai-2-Modelle, 15 für das 27B der ersten Generation – gegen unterschiedliche Baselines, und die Versionsberichte der kleinen Modelle geben die Kategorie-Retention gegenüber ihren eigenen vollpräzisen Qwen3.5-Pendants an statt eines einzelnen absoluten Durchschnitts, der mit den 76,11 des 27B vergleichbar wäre. Die Vergleiche, die es gibt, sind pro Benchmark und zeigen in beide Richtungen. Nach den Zahlen des Anbieters erzielt das 9B 71,81 auf BFCLv3 und 73,02 auf Tau2Bench, während das binäre 27B 74,41 auf BFCL v3 erreichte – nah genug, dass der Suitenunterschied ihn verschluckt.

Was sich ohne zu weit zu gehen sagen lässt, ist enger gefasst und dennoch nützlich: Die Footprint-Klasse, die das binary 27B einst allein besetzte, hat jetzt einen günstigeren Newcomer aus der nächsten Generation, und die beiden liegen so nah beieinander, dass niemand anhand einer Anbietertabelle zwischen ihnen wählen sollte. Das spricht dafür, mit den eigenen Prompts zu messen, und nicht dafür, einer Zahl zu vertrauen. Es ist außerdem die eine Stelle in diesem Vergleich, an der die Antwort wirklich keines der beiden Modelle im Titel ist.

Sie ausführen: die Zahlen und der Haken

Durchsatzwerte werden vom Anbieter gemessen und wurden nicht auf einer einheitlichen Maschine ermittelt, daher sind sie als Größenordnungen und nicht als Rangfolge zu verstehen.

• Bonsai 2 27B auf einem Apple M5 Max — etwa 47 Tok/s mit dem früheren Build vor der Rotation; erneute Messung auf dem aktuellen Stack steht noch aus

• Bonsai 2 27B auf einem M5 Pro — 28,1 tok/s beim 2-Bit-Slot-Packing, bei etwa 27,5 W auf der GPU-Rail

• Bonsai 2 27B auf einer RTX 5090 — 129,9 tok/s im 2-Bit-Slot-Packing, 120,5 im Dense-Trit-Packing

• Ternäres Bonsai 27B der ersten Generation auf einem M5 Max — 44,0 tok/s; auf einer H100 98,0 tok/s, mit seinem DSpark-Drafter steigend auf etwa 131,8

• Binäres Bonsai 27B der ersten Generation auf einem iPhone 17 Pro Max – etwa 11 Tok/s, thermisch begrenzt

Der Haken ist die Paketierung, und sie trifft beide Generationen gleichermaßen. Die ternären Kernel keiner der beiden Generationen sind in upstream llama.cpp enthalten. Die erste Generation benötigt für jede Datei den Prism-ML-Fork. Bonsai 2 liefert drei Packungen derselben Gewichte aus, und upstream llama.cpp führt genau eine davon aus – Q2_0, im aktuellen Master –, während es die kleinere PTQ1_0 und die schnellere PQ2_0 als unbekannte Typen ablehnt. Das Dense-Trit-Pack, das dem theoretischen Wert von 1,72 Bit pro Gewicht am nächsten kommt, ist also auch dasjenige, das einen geforkten Build erfordert.

Das verdient eine genauere Betrachtung, denn es erklärt das Ollama-Listing. Die Ollama-Tags für Bonsai 2 bedienen Q2_0: Die Modellschicht des 9B-Tags misst 2,557 GB, Byte für Byte die Q2_0-Dateigröße auf Hugging Face, und das kleinste PTQ1_0-Paket fehlt vollständig in der Registry. Was auch immer dieses Listing sonst sein mag, es ist kein Weg zum kleinsten Artefakt. Hier werden Bequemlichkeit und Footprint gegeneinander abgewogen, und dieser Kompromiss ist unsichtbar, solange man nicht die Dateigrößen liest.

Zu einem von beiden gelangen

Wenn Sie Ollama nutzen, wird Ihnen die Entscheidung abgenommen: Bonsai 2, vier Größen, ollama pull bonsai-2:27b oder :9b, ungefähr 8,3 GB bzw. 3,2 GB auf der Festplatte inklusive des Vision-Projektors. Wenn Sie das Dense-Trit-Packing, die Speculative-Decoding-Drafters oder irgendetwas aus der ersten Generation benötigen, handelt es sich um einen Hugging-Face-Download und einen Fork-Build, und das Demo-Repository des Anbieters ist die getestete Referenz für diesen Weg.

Wo eine Routing-Schicht hier wirklich hilft, ist auf der anderen Seite der Frage. Man kann zu keinem von beiden routen – sie sind lokale Gewichte, und OrcaRouter bietet heute keine Bonsai-Größe an. Was OrcaRouter liefert, ist die Vergleichsbasis: eine API vor über 200 gehosteten Modellen zu 0 % Aufschlag, der Listenpreis des Anbieters wird durchgereicht, mit automatischem Failover zwischen Anbietern. Die sinnvolle Reihenfolge für die meisten Teams ist, anhand eines gehosteten Modells festzustellen, was eine Aufgabe tatsächlich braucht, und dann zu entscheiden, ob ein lokales Modell mit 2 GB, 3,9 GB oder 6 GB diese Hürde meistert – statt aus einem Retentionsprozentsatz zu raten.

Welches konkret?

• Du möchtest die neueste ternäre Generation mit 27B und eine Installation mit einem einzigen Befehl – Bonsai 2 27B über Ollama, wobei du das Q2_0-Packing und die größere Größe auf der Festplatte akzeptierst.

• Sie möchten die kleinstmöglichen Artefakte der 27B-Klasse, oder Sie verlassen sich auf den DSpark-Drafter – Bonsai 27B der ersten Generation von Hugging Face, mit dem Fork-Build. Nichts in Bonsai 2 ersetzt ihn bei 27B.

• Sie haben den 3,9 GB großen Binär-Build ausgeführt, und dieser Footprint muss bestehen bleiben – gehen Sie nicht davon aus, dass Bonsai 2 einen Nachfolger hat. Bleiben Sie entweder dabei, oder messen Sie Bonsai 2 9B an Ihren eigenen Prompts; es ist halb so groß und eine Generation neuer, und der Anbieter hat keinen Vergleich veröffentlicht, der die Frage abschließend klärt.

• Sie brauchen vier Größenklassen aus einer einzigen Laufzeitumgebung — Bonsai 2 ist die einzige Generation, die das bietet.

Eine Sache, auf die man achten sollte, die all das vereinfachen würde: ein ptq1_0-Tag, der in der Ollama-Listung auftaucht. Das würde bedeuten, dass die Dense-Trit-Kernels die Engine erreicht haben, die Ollama ausliefert, die Fork-Anforderung für das kleinste Paket entfällt, und der Kompromiss zwischen Bequemlichkeit und Footprint kein Kompromiss mehr ist.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.