Bonsai 27B: Das 27B-Modell in der Bonsai-Familie, erklärt

Bonsai 27B ist das 27-Milliarden-Parameter-Modell in PrismMLs Bonsai-Familie und dasjenige, das Leute meinen, wenn sie „bonsai 27b“ eingeben – doch der Name allein bringt Sie nicht dorthin, denn drei verschiedene Dinge hören auf etwas, das ihm nahekommt. Bonsai 27B ist ein Low-Bit-Neuaufbau von Qwen3.6-27B, datiert auf den 14. Juli 2026 durch die eigene Ankündigung des Anbieters, und es wird als zwei Pakete desselben Modells ausgeliefert: 1-bit Bonsai 27B, das binäre {−1, +1}-Gewichte in etwa 3,9 GB speichert, und Ternary Bonsai 27B, das ternäre {−1, 0, +1}-Gewichte mit 1,71 effektiven Bits pro Gewicht speichert – 5,9 GB in der offiziellen Angabe des Anbieters, 7,165 GB, wie das Paket tatsächlich ausgeliefert wird. Es ist nicht Ternary Bonsai 2 27B, die separat benannte zweite Generation auf Basis von Qwen3.8-27B, und es ist nicht das Vision-Language-Modell mit 2 Milliarden Parametern, das PrismML für Snapdragon AR1 Gen 1 Smart Glasses gebaut hat. Beide Pakete von Bonsai 27B bieten einen Kontext von 262.000 Token, einen kompakten 4-Bit-Vision-Tower und eine Apache-2.0-Lizenz. Das Modell ist Bonsai 27B; die Entscheidung, die folgt, ist, welches seiner beiden Pakete zu Ihrem Speicherbudget passt.

Diese Seite ist die Referenz für dieses Modell. Sie ist keine Ankündigung: Bonsai 27B ist seit Juli 2026 verfügbar, und die Fragen, die es jetzt zu beantworten lohnt, sind die, mit denen Leserinnen und Leser ankommen – was genau es ist, was der Name unterscheidet und was der Betrieb tatsächlich kostet.

Welcher ist der 27B

Die Verwechslungsgefahr hier ist real, und es lohnt sich, sie vor allem anderen zu klären, denn eine falsche Vermutung schickt dich zu einem 2-Milliarden-Parameter-Modell oder zur falschen Generation des richtigen Modells.

• Bonsai — der Familienname und die Bezeichnung des Anbieters dafür. Für sich allein identifiziert er nichts, was man herunterladen kann. PrismML hat Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B und Bonsai Image veröffentlicht, dazu das Brillenmodell mit 2 Milliarden Parametern und eine frühere Veröffentlichung vom April 2026 namens Ternary Bonsai für die kleinere Linie. Eine Suche nach dem bloßen Wort landet zufällig in dieser Menge.

• Bonsai 27B — das Thema dieser Seite. Erste Generation der 27B-Reihe, abgeleitet von Qwen3.6-27B, datiert auf den 14. Juli 2026. Wenn eine Seite „Bonsai 27B“ ohne weitere Qualifizierung und ohne „2“ nennt, ist dies das Modell, das damit gemeint ist, und dies ist der zu verwendende Name.

• Ternary Bonsai 27B — kein anderes Modell. Es ist das qualitätsorientierte Paket von Bonsai 27B: dasselbe 27B-Modell, dieselbe Architektur und dieselbe Basis, jedoch mit ternären Gewichten statt binären. Das Repository heißt Ternary-Bonsai-27B-gguf, und seine Modellkarte nennt Qwen3.6-27B als Basis, genau wie es die Binärkarte tut. „Ternary“ ist hier ein Gewichtsformat, keine Version.

• Ternary Bonsai 2 27B — ein wirklich anderes Modell. Die zweite Generation der 27B-Reihe, aufgebaut auf Qwen3.8-27B und angekündigt am 17. September 2026, mit einer anderen Parameteraufteilung und einem anderen Qualitätsanspruch. Die „2“ trägt den gesamten Unterschied.

• 1-bit Bonsai 2B — ein anderes Familienmitglied in einem anderen Maßstab: ein Vision-Language-Modell mit 2 Milliarden Parametern für Hardware der Brillen-Klasse, nicht ein 27B-Modell in irgendeiner Präzision.

Wenn Sie also hierhergekommen sind, um zu klären, welches von diesen das 27B-Modell ist: Die Antwort ist, dass die dritte und vierte Zeile oben dasselbe Modell in zwei Gewichtsformaten sind und die fünfte diejenige ist, die es nicht ist. Praktisch gesagt: Nennen Sie es Bonsai 27B, und fügen Sie das Paket hinzu, wenn es darauf ankommt.

Die Spezifikation, aus der Modellkarte

Jede Zahl in diesem Abschnitt stammt aus den veröffentlichten Model Cards von PrismML für die beiden Pakete, und es handelt sich um die eigene Aussage des Anbieters über sein eigenes Modell. Wo eine Zahl eine Behauptung und keine Messung ist, wird sie als solche gekennzeichnet.

• Parameter — insgesamt etwa 27,3B, und „27B“ bezieht sich auf dieses Ganze. Es lohnt sich, die Aufteilung zu kennen, denn sie erklärt das Speicherverhalten: Rund 24,8B stecken im Sprach-Backbone über 64 Blöcke, rund 2,5B im Embedding und LM-Head und etwa 0,46B in einem 27-Block-Vision-Turm. Die Niedrigbit-Darstellung wird durchgängig angewandt — Embeddings, Attention, MLPs und der LM-Head —, ohne dass es irgendwo im Sprachnetzwerk eine höherpräzise Ausweichmöglichkeit gibt.

• Kontext — volle 262.000 Token, ohne Long-Context-Variante und ohne Build mit reduziertem Kontext. Die Kosten dieses Fensters werden in Grenzen gehalten, statt vollständig bezahlt zu werden: Das Backbone ist hybrid, sodass nur 16 seiner 64 Schichten einen vollständigen Attention-Cache behalten, und dieser Cache wird in einer nahezu verlustfreien 4-Bit-Form gespeichert. Beim vollen 262K-Fenster ist es der komprimierte Cache, der das Modell bei ungefähr 9,4 GB im Binary-Pack und 12,8 GB im Ternary-Pack hält.

• Modalität — Text und Bilder, beide Pakete. Der Vision-Tower wird in einer kompakten 4-Bit-Form (0,63 GB) zusammen mit einer BF16-Kopie (0,93 GB) ausgeliefert. Vision ist außerdem der Bereich, in dem die Komprimierung am teuersten ist, was weiter unten behandelt wird.

• Gewichtsformat und -größe — 1-Bit Bonsai 27B verwendet binäre {−1, +1}-Gewichte mit gruppenweiser FP16-Skalierung, gepackt als GGUF Q1_0_g128 mit tatsächlich 1,125 effektiven Bits pro Gewicht; die ausgelieferte Datei ist 3,803 GB groß, und die Karte rundet den eingesetzten Speicherbedarf auf etwa 3,9 GB. Ternary Bonsai 27B verwendet ternäre {−1, 0, +1}-Gewichte mit derselben gruppenweisen Skalierung; ein ternärer Wert trägt log₂3 ≈ 1,585 Bits an Information, daher liegt die Untergrenze der Darstellung bei ~1,71 Bits pro Gewicht, was ideal 5,9 GB ergibt. Das veröffentlichte ternäre Paket ist größer als dieses Ideal, weil die heutigen Kernel jeden ternären Wert in einem 2-Bit-Slot speichern – 2,125 Bits pro Gewicht im Einsatz – und die ausgelieferte Datei 7,165 GB groß ist. PrismML nennt beide Zahlen statt nur die schmeichelhafte, und die Lücke zwischen ihnen ist eine Kernel-Einschränkung und keine Modellierungsentscheidung.

• Lizenz — Apache 2.0 für beide Pakete, angegeben in beiden Repositories und in der Ankündigung des Anbieters. Das ist eine permissive Lizenz ohne Einschränkung des Nutzungsbereichs, was bei dieser Gewichtsgröße mehr zählt als bei den meisten.

• Basismodell — Qwen3.6-27B in beiden Fällen. Dies ist eine Rekomprimierung des Modells eines anderen statt eines von Grund auf trainierten Modells, und die Folge davon ist, dass sowohl die Leistungsobergrenze von Bonsai 27B als auch sein Aktualisierungsrhythmus der vorgelagerten 27B-Linie folgen statt der von PrismML.

Die ternäre Beziehung, einmal formuliert

Die beiden Pakete sind ein Modell, und die ehrliche Zusammenfassung ist, dass ternär Qualität und binär Footprint erkauft, wobei die Lücke zwischen ihnen kleiner ist, als der Größenunterschied von 3,9 GB gegenüber 7,2 GB vermuten lässt.

In PrismMLs eigener 15-Benchmark-Suite für den Thinking-Modus erreicht die FP16-Baseline Qwen3.6-27B 85,07. Ternary Bonsai 27B erreicht 80,49 — 94,6 % Retention, was der Anbieter auf etwa 95 % rundet. 1-bit Bonsai 27B erreicht 76,11 — 89,5 %, gerundet auf etwa 90 %. Das qualitätsorientierte Paket holt also ungefähr die Hälfte des Abstands zwischen dem Binärpaket und voller Präzision auf, kostet dabei aber etwa 3,3 GB mehr, und das Binärpaket ist dasjenige, das in ein 12-GB-Telefon passt. Dieselbe Suite zeigt für einen 4-Bit-Q4_K_XL-Build derselben Baseline 84,99 bzw. 99,9 % Retention in 17,6 GB — genau dieser Vergleich erklärt, warum es überhaupt eines der Low-Bit-Pakete gibt, da es sie bei der Qualität schlägt und auf jedem Gerät unterliegt, das weniger als 18 GB für ein Modell übrig hat.

Die Stellen, an denen das Binärpaket Einbußen zeigt, sind ungleichmäßig, und die Aufteilung nach Kategorien ist der nützliche Teil. Gegenüber der FP16-Baseline fällt es bei Mathematik von 95.33 auf 91.66 und bei Coding von 88.74 auf 81.88, aber bei Instruktionsbefolgung von 78.47 auf 65.74, bei agentischer und Tool-Calling-Arbeit von 80.00 auf 66.03 und bei Vision von 72.61 auf 59.57. Wenn Ihre Workload Arithmetik oder Codevervollständigung ist, sind 3.9 GB nahezu kostenlos. Wenn sie Tool-Calling-Agenten oder Bildverständnis umfasst, dann ist das der Bereich, in dem die Kompression tatsächlich bezahlt wird.

Die Modellkarte veröffentlicht außerdem eine abgeleitete Kennzahl, die sie Intelligenzdichte nennt – aggregierter Score pro Gigabyte, normalisiert, sodass ein perfekter Wert gegen unendlich strebt. Bei dieser Kennzahl erreicht 1-Bit Bonsai 27B 0,530 und Ternary Bonsai 27B 0,400, gegenüber 0,199 für einen 2-Bit-IQ2_XXS-Build derselben Baseline, 0,155 für einen 4-Bit-Q4_K_XL-Build und 0,051 für das FP16-Modell. Die interessante Zahl in dieser Liste ist der erste Vergleich: Das Binärpaket schlägt den herkömmlichen 2-Bit-Build bei der aggregierten Qualität mit weniger als der Hälfte des Speicherbedarfs, was die gesamte These der Familie in einer Zeile ist.

Der vollständige Direktvergleich zwischen den beiden Paketen und die Herkunft der Zahlen des jeweiligen Pakets sind auf der Seite Bonsai vs Bonsai 27B in diesem Blog dargelegt, zusammen mit dem 2-Milliarden-Parameter-Modell, das denselben Familiennamen trägt.

Eine Frage, die mit diesem Modell aufkommt, verdient eine sachliche Antwort und nichts darüber hinaus. Die Packs sind Low-Bit-Kodierungen desselben zugrunde liegenden Modells und keine neu trainierte Variante, und die Repositories veröffentlichen daneben keinen separat abgestimmten oder unzensierten Checkpoint — das einzige angebotene Full-Precision-Artefakt ist eine entpackte FP16-Konvertierung derselben Gewichte, veröffentlicht, damit man ein komprimiertes Pack gegen seine eigene Baseline mit Standard-Tooling vergleichen kann.

Gewichte und Lizenz, aus den Repositories

Die Gewichte von Bonsai 27B sind auf Hugging Face unter der Organisation prism-ml veröffentlicht, und die Dateiliste ist das Konkreteste an der Veröffentlichung. Das Repository des Binärpakets enthält das Modell selbst mit 3,803 GB, ein FP16-GGUF desselben Modells mit 53,808 GB zum Vergleich, einen DSpark-Drafter für spekulative Dekodierung mit 1,787 GB in 4-Bit und 7,292 GB in BF16 sowie Vision-Türme mit 0,931 GB und 0,629 GB. Das ternäre Repository enthält sein eigenes 7,165-GB-Paket plus eine zweite Packung mit 7,585 GB, die group-64 statt group-128 und upstream-kompatibel statt optimal ist, sowie dieselben Drafter- und Vision-Dateien. Beide Repositories stehen unter Apache 2.0 und beide nennen Qwen3.6-27B als Basis.

Aus dieser Auflistung folgen zwei Dinge. Das erste ist, dass 53,808 GB gegenüber 3,803 GB das 14,2-fache Verhältnis ist, das die Modellkarte an erster Stelle nennt, und es ist überprüfbar statt nur behauptet – die Full-Precision-Datei liegt direkt vor. Das zweite ist, dass das Release umfangreicher ist als das Modell: Wenn man zusätzlich den Drafter und den Vision-Tower nimmt, die der multimodale Pfad erfordert, fügt man einem 3,9-GB-Modell ungefähr 2,4 GB hinzu. Die 3,9 GB in der Schlagzeile sind die Sprachgewichte und nicht das Deployment.

Downloads sind der einzige Bereich, in dem das qualitätsorientierte Paket führt: Stand Oktober 2026 hat das ternäre GGUF-Repository 590.000 Downloads überschritten, gegenüber knapp über 400.000 für das binäre Paket, während die MLX-Container für beide jeweils über einer Million liegen. Die Form dieser Zahlen legt nahe, dass dieses Modell überwiegend auf Apple-Hardware und nicht auf Servern läuft und dass die Leute, die es herunterladen, die zusätzlichen fünf Punkte Retention kaufen statt die kleinstmögliche Datei – was in etwa dem entspricht, wofür der Anbieter das Paar konzipiert hat.

Es ausführen.

Was Sie heute erhalten können, sind vier Arten von Artefakten pro Paket, und welche davon Sie möchten, entscheidet Ihre Laufzeitumgebung und nicht die Qualität.

• GGUF für llama.cpp – der primäre Weg, und derjenige, für den die Low-Bit-Kernel geschrieben wurden. Beide Pakete sind llama.cpp-Builds für CUDA, Metal und CPU, doch die 1-Bit- und Ternär-Kernel befinden sich in PrismMLs eigenem Fork und nicht im Upstream, sodass das Standard-llama.cpp sie derzeit noch nicht korrekt laden kann. Das Group-64-Ternär-Packing existiert genau für die Fälle, in denen du Upstream-Kompatibilität brauchst und bereit bist, dafür 7,585 GB statt 7,165 GB in Kauf zu nehmen.

• MLX für Apple Silicon — separate ausgelieferte Container mit 5,129 GB für das Binärpaket und 8,491 GB für das ternäre. Beachte, dass der MLX-Binärcontainer größer ist als das GGUF-Binärpaket, was ein Unterschied beim Container-Overhead ist und nicht ein anderes Modell.

• AWQ 4-Bit für Server-Frameworks — ein 4-Bit-Build jedes Modells für die Serving-Frameworks, die einen AWQ-Checkpoint erwarten, in neun Shards mit insgesamt 18,70 GB, inklusive eines Multi-GPU-Rezepts. Dies ist kein Low-Bit-Artefakt; es ist dasselbe Modell in einer Präzision, die in einem Rack Sinn ergibt, und es verschenkt den gesamten Grund, aus dem es das Modell überhaupt gibt.

• Entpackte FP16-safetensors — das vollständige, rund 54 GB große Modell im Standardformat von Hugging Face, ausdrücklich veröffentlicht für Frameworks, die 1-Bit-Gewichte noch nicht nativ unterstützen. Der Anbieter sagt, dass dieses Artefakt zurückgezogen wird, sobald die Low-Bit-Kernel upstream Einzug halten.

Gemessener Decodierungsdurchsatz beim Binary-Pack, aus der Tabelle der Modellkarte selbst, beträgt 66,4 Token pro Sekunde auf einem M5 Max, 44,2 auf einem M5 Pro, 26,0 auf einem M4 Pro und 104,8 auf einer H100, wobei der Prefill-Wert bei 874, 421, 133 bzw. 2.755 Token pro Sekunde liegt. Die Ankündigungsseite nennt höhere Spitzenwerte – bis zu 87 Token pro Sekunde auf einem M5 Max und 163 auf einer RTX 5090 –, die die Best-Case-Konfiguration des Anbieters selbst und nicht die der Tabelle sind. Betrachten Sie die beiden Datensätze als unterschiedliche Messbedingungen, nicht als Widerspruch, und behandeln Sie beide als vom Anbieter angegebene Werte. Der maximale Speicherverbrauch, ebenfalls aus der Karte, beträgt 5,2 GB bei einem 4K-Kontext, 5,6 GB bei 10K und 11,6 GB bei 100K beim Binary-Pack sowie 8,4, 8,7 und 14,7 GB beim Ternary-Pack – mit dem Vorbehalt, dass diese Zahlen aus der Zeit vor dem 4-Bit-KV-Cache stammen, der das volle 262K-Fenster auf einstellige Gigabyte reduziert.

Der DSpark-Drafter ist optional und lohnt sich zu verstehen, bevor Sie ihn aktivieren, denn er ändert nichts an den Ausgaben: Er ist ein sechsschichtiger blockparalleler Transformer, konditioniert auf Hidden States, die aus fünf gleichmäßig verteilten Ziel-Layern abgegriffen werden, er fügt bei Serving-Präzision etwa 0,5 GB hinzu, und er verifiziert gegen das Zielmodell, statt selbst zu samplen. Deshalb kann der Anbieter eine 1,37-fache Beschleunigung auf CUDA nennen, ohne die Qualitätswerte anzutasten. Auf Apple Silicon ist er nicht standardmäßig aktiviert.

Die interessante Ingenieursfrage ist, wo das lokale Modell an seine Grenzen stößt – und das ist eher eine Routing- als eine Modellfrage. Ein 3,9-GB-Modell auf einem Laptop bewältigt, was in seinen Kontext passt; alles andere muss irgendwohin, und dieses Irgendwo ist ein gehostetes Modell hinter einer API. OrcaRouter ist diese Ebene – ein Endpunkt für über 200 gehostete Modelle mit 0 % Aufschlag auf die Listenpreise der Anbieter, automatisches Failover über Anbieter hinweg, und die Eskalationsregel von einer lokalen Stufe zu einer gehosteten, als Konfiguration ausgedrückt statt von Hand zusammengesetzt. Es ist die Ebene über einem lokalen Modell, kein Ersatz dafür.

Der Vergleichsindex

Bonsai 27B gehört zu einer Familie, in der jeder Nachbar eine andere Frage beantwortet, und dies sind die Seiten, die sich jeweils einer davon annehmen – keine von ihnen wird hier erneut erörtert.

• Bonsai vs Bonsai 27B — das 2-Milliarden-Parameter-Brillenmodell gegen dieses: sechzehnmal so viele Parameter und zweihundertsechsundfünfzigmal so viel Kontext, und warum der Familienname keine Auskunft darüber gibt, was man herunterlädt. Die Seite ist hier ein Blogbeitrag, kein gehostetes Modell, was eine Unterscheidung ist, die man in dieser Familie auseinanderhalten sollte.

• Bonsai 27B gegen Qwen3.8-27B — das direkte Duell zwischen diesem Modell und der neueren Basis, die es nicht verwendet. Eine eigene Seite in diesem Batch enthält diesen Vergleich, und da die beiden Modelle auf ähnliche Namen hören und eine Generation auseinanderliegen, lohnt es sich, sie für sich zu lesen, statt als Erweiterung dieser Spezifikation.

• Bonsai vs Ternary Bonsai 2 27B — der Generationssprung und die Tatsache, dass die beiden Releases ihre Qualität an zwei unterschiedlichen Maßstäben messen: Beibehaltung einer Baseline im einen Fall, eine vergleichende Aussage im anderen.

• Ternary Bonsai 2 27B — die zweite Generation für sich, auf Qwen3.8-27B, für Leser, die sich entschieden haben, dass sie das neuere Modell statt dieses wollen.

Was ist nicht geklärt

Jede Qualitätskennzahl auf dieser Seite stammt von PrismML, gemessen mit PrismMLs eigener 15-Benchmark-Suite, und niemand außerhalb des Unternehmens hat eine Reproduktion davon veröffentlicht. Das ist die größte einzelne Lücke im Wissen über Bonsai 27B: Die Kompressionsbehauptungen sind ungewöhnlich spezifisch und ungewöhnlich überprüfbar, und sie bleiben von dritter Seite ungeprüft. Der Anbieter sagt außerdem ausdrücklich, dass agentisches Codieren – langfristige, dateiübergreifende Run-and-Repair-Workflows – kein starkes Ziel dieses Releases ist und dass eine darauf abgestimmte Variante das Nächste auf der Roadmap ist, was mit den Verlusten beim Tool-Aufruf und beim Instruction-Following in der obigen Kategorienaufteilung übereinstimmt. Solange keine unabhängige Bewertung vorliegt, sollten sowohl der Retentionswert als auch das Dichte-Ranking als Position des Anbieters und nicht als ein etabliertes Ergebnis gelesen werden.

Was feststeht, ist kleiner und nützlicher: Die Gewichte existieren, die Größen lassen sich anhand der Dateiauflistung überprüfen, die Lizenz ist Apache 2.0, und die beiden Pakete unterscheiden sich um etwa 3,3 GB im Gegenzug für ungefähr fünf Punkte erhaltener Qualität. Das reicht, um zwischen ihnen zu wählen. Welches von beiden für Sie richtig ist, hängt davon ab, ob Ihre Arbeitslast eher wie Arithmetik oder eher wie Tool-Aufrufe aussieht, und die obigen Kategoriewerte sind die besten heute verfügbaren Belege für diese Entscheidung.