Bonsai 2 ist auf Ollama erschienen, bevor irgendjemand angekündigt hat, dass es kommen würde.

Irgendwann in den frühen Morgenstunden des 17. Oktober 2026, Ollama begann mit dem Ausliefern von Bonsai 2 – einem Bibliothekseintrag mit neun Tags, der Folgendes abdeckt: Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B und Bonsai 2 27B, jeweils in zwei Packungen plus einem Standard-Alias. Prism ML hat nichts dazu gesagt. Es gibt keinen Beitrag auf der News-Seite des Anbieters, keine Zeile in der Ankündigung der kleinen Modelle vom 15. Oktober – in diesem Beitrag werden llama.cpp und MLX als die Runtimes und eine gehostete Konsole als Demo genannt, und Ollama wird überhaupt nicht erwähnt. Der Eintrag existiert einfach, wobei alle neun Tags mit demselben Zeitstempel von vor wenigen Stunden versehen sind, was aussieht wie ein frischer Push und nicht wie eine schrittweise Einführung.

Die ehrliche Trennung ist also folgende. Jetzt schon aus der Registry und den Dateien feststellbar: die Tags, ihre Namen, ihre exakten Bytegrößen, ihre Content-Digests und – weil Ollama mit GGUF ausgeliefert wird – die Architektur- und Metadaten-Strings in den Gewichten selbst. Nicht bestätigt: wer sie gepackt hat, warum die Ankündigung des Anbieters die Plattform auslässt, ob die ternären Kernel in Ollamas eigener Engine upstream sind oder vendored, und ob irgendwelche Zahlen des Anbieters den Weg überstehen. Das sind getrennte Fragen, und dieser Artikel hält sie getrennt.

Was ist eigentlich auf dem Regal?

Neun Tags, vier Größen, drei Packungen derselben Gewichte. Ollamas Bibliotheksseite listet pro Größe einen Standard-Alias und eine -q2_0-Variante pro Größe:

• bonsai-2:latest — 3,2 GB, wird zum 9B aufgelöst (Digest c8b5462f8688)

• bonsai-2:2b und bonsai-2:2b-q2_0 — 911 MB, gleicher Digest de2ccb4e7328

• bonsai-2:4b und bonsai-2:4b-q2_0 — 1,6 GB, gleicher Digest 93edd652c932

• bonsai-2:9b und bonsai-2:9b-q2_0 — 3,2 GB, gleicher Digest c8b5462f8688

• bonsai-2:27b und bonsai-2:27b-q2_0 — 8,3 GB, derselbe Digest f3c4f4208659

Die Namensgebung leistet mehr, als es den Anschein hat. Zwei Tags pro Größe, die sich einen Digest teilen, sind kein Duplikat – sondern eine Aussage darüber, welches Packing Ollama gewählt hat. Ruft man das Manifest für bonsai-2:9b ab, ist die Modellschicht 2,557 GB groß. Das ist die Q2_0-Datei von Ternary Bonsai 2 9B, auf Hugging Face mit 2,557 GB auf das Byte genau gemessen. Das PQ2_0-Pack ist 2,417 GB groß, und das PTQ1_0-Pack – mit 1,997 GB das kleinste – ist hier gar nicht vorhanden.

Diese Entscheidung hat eine Konsequenz, die man klar benennen sollte, denn es ist die Art von Sache, die zu einem Support-Thread wird. Auf der Modellkarte des Anbieters führt upstream llama.cpp genau eine der drei Packungen aus: Q2_0, „aktueller Master, der die Hadamard-Aktivierungs-Runtime enthält.“ Es verwirft PQ2_0 und PTQ1_0 als unbekannte Typen, weil diese den Prism ML llama.cpp-Fork benötigen. Ollama nutzt seine eigene Engine. Q2_0 ist die Packung, die ein Standard-GGUF-Consumer plausibel laden kann – und Q2_0 ist genau die Packung, die Ollama ausgeliefert hat. Ob Ollama eigene ternäre Kernel entwickelt hat oder an einen mitgelieferten Build weiterleitet, verrät dir die Registry nicht. Was sie dir aber verrät, ist, dass sie die Datei nicht ausgeliefert haben, die nicht geladen werden kann.

Die GGUF-Metadaten verraten dir mehr als die Seite.

Die Seite von Ollama meldet vier Fakten pro Tag: eine Byte-Größe, ein „256K“-Kontext-Badge, einen Eingabetyp aus Text-plus-Bild und einen relativen Zeitstempel. Alles andere steht in der Datei. Das Lesen des GGUF-Headers jeder Modellschicht liefert Folgendes, und es lohnt sich aus einem bestimmten Grund: Es ist der einzige Teil dieser Geschichte, der keine Marketingbehauptung von irgendjemandem ist.

• general.architecture — qwen35 bei allen vier Größen

• general.name — Ternary-Bonsai-2-2B, -4B, -9B bei den drei kleinen; die 27B-Schicht meldet den generischen String Hf mit general.basename = folded

• general.file_type — 41 bei allen vier, mit general.quantization_version = 2

• general.size_label — 2B, 4B, 9B, 27B, passend zu den Tag-Namen

• Tensor-Anzahlen — 320 für das 2B, 426 für das 4B, 427 für das 9B, 851 für das 27B

Interessant ist der Architektur-String. qwen35 ist das Hybrid-Attention-Backbone von Qwen3.5, und er bestätigt aus dem Artefakt selbst, was die Modellkarten in Prosa sagen: Die drei kleinen sind Qwen3.5-2B, -4B und -9B, wobei die Architektur unverändert und die Gewichte ersetzt sind. Er legt außerdem eine Namensnaht offen, die die eigenen Release Notes des Anbieters übertünchen. Der Beitrag vom 15. Oktober sagt, die neuen Modelle seien „auf Qwen3.5 basierend“. Das 27B hat eine völlig andere Basis — Qwen3.8-27B, angekündigt am 17. September. Vier Größen, ein Familienname, zwei Basismodelle. Alles, was Sie über das Verhalten von „Bonsai 2“ lesen, das am 27B gemessen wurde, lässt sich nicht automatisch auf das 9B übertragen, und im GGUF-Header ist zu sehen, warum.

Die Metadaten des 27B sind außerdem sichtbar weniger ordentlich als die der übrigen: general.name = Hf, ein general.basename = folded, eine general.version = v5 und ein zusätzlicher Sampling-Key, den die kleinen drei nicht tragen. So sieht die Zwischenausgabe einer Konvertierungspipeline aus, wenn sie ohne einen abschließenden Umbenennungsdurchlauf gepusht wird. Es ist kein Defekt — die Tensoren sind die Tensoren —, aber es ist ein Fingerabdruck, und es deutet darauf hin, dass das 27B-Tag über einen anderen Pfad kam als die kleinen drei.

Was die Ollama-Zahlen nicht bedeuten

Hier ist der Punkt, an dem die meisten Berichte über ein Bibliotheks-Listing falsch liegen, deshalb lohnt es sich, langsamer zu werden. Die Byte-Größen auf Ollamas Seite sind Container-Größen, und für jede Größe sind sie größer als die darin enthaltene Modelldatei. Der 2B-Tag zeigt 911 MB gegenüber einer 0,547 GB großen Modellschicht und einem 0,365 GB großen Vision-Projektor. Der 27B-Tag zeigt 8,3 GB gegenüber einer 7,626 GB großen Modellschicht und einem 0,629 GB großen Projektor. Fügt man die Lizenz- und Parameter-Blobs hinzu, geht die Rechnung auf: Ollama gibt die Größe des gesamten heruntergeladenen Artefakts an, inklusive Vision-Turm.

Das bedeutet: Die 3,2 GB auf der Ollama-Seite für das 9B-Modell sind nicht vergleichbar mit der Angabe „2GB“ des Anbieters für dasselbe Modell, und die Differenz ist keine Diskrepanz, die gemeldet werden müsste – es sind zwei verschiedene Messungen von zwei verschiedenen Dingen. Die 0,43 GB / 0,95 GB / 2 GB von Prism ML sind nur die Sprachmodelle. Der Vision-Tower wird ausgelagert und erst geladen, wenn tatsächlich ein Bild eintrifft, sodass ein reines Text-Deployment nie dafür bezahlen muss, ein ollama pull jedoch schon. Wenn Sie ein Gerät anhand der Zahlen des Anbieters dimensionieren und dann von Ollama pullen, liegen Sie 0,5 bis 1 GB über dem Budget, bevor Sie überhaupt etwas ausführen.

Dieselbe Vorsicht gilt für das „256K“-Abzeichen. Der zugrunde liegende Kontext umfasst 262.144 Tokens, übernommen vom Qwen3.5-Backbone – 24 Linear-Attention- und 8 Full-Attention-Schichten beim 9B – und Ollamas Abzeichen rundet ihn für die Anzeige ab. Der Kontext ist real und er ist übernommen, nicht etwas, das Ollama hinzugefügt hat. Was nicht irgendwo auf der Seite angegeben wird, ist, wie viel Speicher ein langer Kontext kostet, und bei einem Hybrid-Attention-Modell mit einem Full-Attention-Cache auf einer Teilmenge der Schichten ist das keine kleine Zahl. Nichts auf der Ollama-Seite sagt Ihnen, ob 262K tatsächlich dort passt, wo Sie es ausführen möchten.

Wer hat das verpackt, und spielt das eine Rolle?

Unbeantwortet, und es sollte als unbeantwortet markiert werden, anstatt zu raten. Drei Möglichkeiten: Prism ML hat es hochgeladen, Ollama hat es im Rahmen seiner eigenen Katalogarbeit aus den öffentlichen GGUF-Repos des Anbieters gezogen, oder ein Dritter hat es getan. Die Registry kann Ihnen nicht sagen, welche davon zutrifft.

Was überprüft werden kann, ist die Herkunft des Artefakts, und sie passt zusammen. Ollamas eigene Modellbeschreibung besagt: „Bonsai 2 von Prism ML ist eine Familie von Vision-Modellen, die für ternäre Gewichte (−1, 0 oder +1) entwickelt wurde: etwa halb so groß wie Standard-4-Bit-Modelle, bei nahezu Vollpräzisionsqualität“ und verlinkt die Hugging-Face-Organisation des Anbieters, das Bonsai 2 27B Whitepaper und Apache 2.0. Der Lizenz-Blob, der in jedem der vier Größenmanifeste eingebettet ist, ist der wortgetreue Apache-2.0-Text. Der Parameter-Blob für die 2B-, 4B- und 9B-Modelle liest {"presence_penalty":1,"temperature":1,"top_k":20,"top_p":0.95} — was dem vom Anbieter empfohlenen Denkmodus-Sampling-Rezept aus den Modellkarten entspricht, wobei min_p genau so weggelassen wird, wie es die 27B-Karte für die GGUF-Dateien angibt. Das ist keine Vermutung, die jemand angestellt hat; das ist eine Konvertierung, die die Karte gelesen hat.

Was beruhigend ist und dir trotzdem nichts über die Sache verrät, die deine Erfahrung tatsächlich entscheidet: ob die ternären Kernel in der Engine enthalten sind, die du ausführst. Die ehrliche Haltung ist, dass ein erfolgreicher Pull nur beweist, dass die Datei ein wohlgeformtes GGUF ist – und nichts weiter. Verifiziere es auf deiner eigenen Hardware, bevor du darauf aufbaust.

Die Behauptungen des Anbieters und was überprüft wurde

Jede Qualitätskennzahl, die für diese Familie genannt wird, stammt von Prism ML, aus Prism MLs eigenem Harness, und keine davon wird unabhängig reproduziert. Das ist in diesem Alter normal, und es sollte offen ausgesprochen statt angedeutet werden. Der Beitrag vom 15. Oktober berichtet von 19 Benchmarks in sechs Kompetenzbereichen für die kleinen Modelle, mit Retention gegenüber Qwen3.5-Baselines in voller Präzision:

• 2B — Agentisch 95,5 %, Mathematik 107,8 %, Anweisungsbefolgung 121,5 %, Programmieren 115,0 %, Wissen 82,9 %, Vision 89,0 %

• 4B — 90,0 % / 99,3 % / 106,0 % / 100,7 % / 90,9 % / 91,3 %

• 9B — 92,4 % / 98,2 % / 100,0 % / 100,1 % / 93,0 % / 92,5 %

Mehrere davon liegen über 100 %, was weder ein Tippfehler noch ein Rundungsartefakt ist – es bedeutet, dass das ternäre Modell in dieser Kategorie besser abgeschnitten hat als das Vollpräzisionsmodell, aus dem es abgeleitet wurde. Instruction Following mit 121,5 % beim 2B ist das auffälligste Beispiel. Behandle das mit dem Misstrauen, das es verdient: Dass ein komprimiertes Modell seine eigene Baseline in einem vom Anbieter ausgewählten Benchmark schlägt, sagt mindestens ebenso viel über das Training und den Harness aus wie über die Repräsentation, und die Kategoriewerte der kleinen Modelle sind um einiges verrauschter als die des 27B. Die Zahlen des 27B sind konservativer und in ihrer Form glaubwürdiger – 84,78 gegenüber 86,32 für FP16, eine Retention von 98,2 % über 14 Thinking-Mode-Benchmarks hinweg, mit Mathematik bei 96,57 gegenüber 97,06 und Coding-Level bei 89,42 gegenüber 89,07, wobei der Verlust auf Wissen/Reasoning und Vision konzentriert ist. Wenn eine Modellfamilie unter einer 1,7-Bit-Repräsentation an Leistungsfähigkeit einbüßt, ist das genau das Profil, das man vorhersagen würde.

Die eine Behauptung im Small-Model-Post, die kein Benchmark ist, ist die, die man am ernstesten nehmen sollte: Die 9B-Variante „verbraucht rund 40 % weniger Tokens bei Standard-Instruction-Following- und alltäglichen Mathe-Aufgaben“. Das ist eine Aussage über Weitschweifigkeit, nicht über Fähigkeit, und es ist die Art von Sache, die man an einem Nachmittag mit den eigenen Prompts überprüfen kann. Sie interagiert außerdem mit einer Warnung auf den Model Cards des Anbieters selbst – der Thinking-Modus kann bei einer trivialen Frage über 3.000 Tokens verbrennen, also stellt man mindestens 8.192 Output-Tokens ein, und man sollte Greedy-Decoding nicht mit aktiviertem Thinking laufen lassen, weil es sich beim Reasoning festfahren kann. Ein Modell, das 40 % weniger weitschweifig ist und trotzdem ein Budget von 8.192 Tokens braucht, sagt einem damit, dass es an einer ganz bestimmten Stelle weitschweifig ist.

Wo dich das hinstellt

Wenn Sie bereits Ollama betreiben und ein Modell der 27B-Klasse auf einem Laptop ohne Datacenter-GPU ausprobieren wollten, sind die vier Tags der kürzeste Weg, den es derzeit gibt: ein Pull, kein Fork, kein Kernel-Build. Wenn Sie das Packing brauchen, das tatsächlich am kleinsten ist, oder die Speculative-Decoding-Drafters, die der Hersteller für die 4B- und 9B-Versionen mitliefert, dann sind sie in der Ollama-Listung nicht enthalten – das ist ein Hugging-Face-Download und der llama.cpp-Build von Prism ML, und das ist seit dem 15. Oktober so.

Was man außerdem wissen sollte, ist, dass lokal nicht die einzige Möglichkeit ist, ein Low-Bit-Modell zu nutzen, und nicht immer die richtige. OrcaRouter stellt eine einzige API vor mehr als 200 gehostete Modelle mit 0 % Aufschlag – der Listenpreis des Anbieters wird durchgereicht – plus automatisches Failover zwischen Anbietern, damit du ein Modell mit einer echten Arbeitslast bewerten kannst, bevor du entscheidest, ob es einen Platz auf deinem Laptop verdient. Keine der Größen von Bonsai 2 wird heute über OrcaRouter bereitgestellt, und dieser Beitrag behauptet auch nichts anderes: Die Familie ist ein Download, den du selbst ausführst, und das bleibt so, bis der Anbieter einen Endpunkt veröffentlicht. Was dir die Routing-Schicht bringt, ist die andere Hälfte der Entscheidung – die gehosteten Modelle, mit denen du es vergleichen wirst, hinter einem einzigen Schlüssel, mit Modellfusion und Routing-DSL, die verfügbar sind, wenn ein einzelnes Modell nicht ausreicht.

Worauf man achten sollte – in der Reihenfolge, wie stark es das Bild verändern würde: ein Ollama-Tag, der ein ptq1_0-Geschwister bekommt, was bedeuten würde, dass die Dense-Trit-Kernel den Sprung in den Upstream geschafft haben; ein Anbieter-Beitrag, der die Plattform anerkennt, was die Herkunftsfrage beantworten würde; und jeder unabhängige Benchmark des 9B oder des 27B, das Einzige, was die Retention-Zahlen aus der vom Anbieter gemeldeten Spalte herausbewegen würde. Bis eines davon eintrifft, ist die Listung ein Auslieferungsmechanismus, kein neues Modell — und das Modell, das es ausliefert, ist seit dem 15. Oktober öffentlich.

Nichts davon ist hypothetisch: Die dokumentierten KI-Ausfälle und Agent-Vorfälle, die hinter Releases wie diesem stehen, finden sich im OrcaRouter AI Incident Archive, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seinen Konfidenzgrad und sein Umstritten-Flag führt.