Ternary Bonsai 2 27B vs. Qwen3.8-27B: Was 47,9 Gigabyte Präzision tatsächlich bringen

Ternary Bonsai 2 27B und Qwen3.8-27B sind dasselbe Modell in zwei numerischen Welten. Sie teilen sich eine Architektur, einen Tokenizer, eine Trainingslinie und ein Kontextfenster von 262.144 Token. Was sie unterscheidet, ist die Art, wie die Gewichte niedergeschrieben werden: Qwen3.8-27B speichert jedes einzelne als 16-Bit-Gleitkommazahl und belegt in seiner FP16-Referenzform 53,81 GB, während Ternary Bonsai 2 27B jedes einzelne als eines von drei Symbolen speichert und 5,93 GB belegt. Prism ML kündigte den komprimierten Build am 17. September 2026 an und stellte ihn auf Hugging Face unter Apache 2.0 bereit; die ursprünglichen Qwen3.8-27B-Gewichte wurden am 13. August 2026 veröffentlicht, ebenfalls unter Apache 2.0.

Der Vergleich, auf den es ankommt, ist nicht, welcher besser ist. Es ist das, was dich die fehlenden 47,9 GB kosten, und die ehrliche Antwort ist enger und spezifischer, als dir eines der beiden Lager sagen wird. Prism ML berichtet, dass sein Build 98,2 % des Durchschnitts des Vollpräzisionsmodells über eine Suite aus 20 Benchmarks beibehält – 83,9 gegenüber 85,4. Diese Zahl stammt vom Anbieter selbst, gemessen auf dem eigenen Prüfstand des Anbieters, und einen Tag nach der Veröffentlichung hat sie außerhalb von Prism ML noch niemand reproduziert. Der aggregierte Wert verbirgt zudem den Teil, der dich eigentlich interessieren sollte, denn die 1,8 Punkte sind nicht gleichmäßig verteilt. Bei den beiden Benchmarks, die anhaltendes Software-Engineering beanspruchen, liegt die Lücke nicht bei 1,8 % – sie liegt eher bei 25 %.

Dasselbe Netzwerk, anders aufgeschrieben

Beginne mit dem, was die Kompression nicht berührt, denn genau deshalb ist der Vergleich überhaupt interessant. Die Layer-Anzahl, die Hidden Size, das Vokabular, das Attention-Muster und der Vision Tower gehören zum Basismodell. Qwen3.8-27B ist ein Hybrid-Attention-Design: 48 lineare Attention-Layer vom Typ Gated DeltaNet, verschachtelt mit 16 Full-Attention-Layern, eine Aufteilung von ungefähr 3:1, über 64 Layer mit einer Hidden Size von 5.120 und einem 248.320-Token-Vokabular. Dieses überwiegend lineare Backbone ist es, das einen 262K-Kontext überhaupt erst bezahlbar macht, und es ist die Eigenschaft, die Bonsai unverändert erbt.

Was Prism ML geändert hat, ist die Darstellung der Matrizen des Sprachmodells sowie die Kernel, die für deren Berechnung benötigt werden. Sein Whitepaper teilt die 27,36 Mrd. Parameter auf in 24,35 Mrd. im Sprach-Backbone über 64 Blöcke, 2,54 Mrd. im Embedding und LM-Head und 0,47 Mrd. in einem 27-Block-Vision-Tower. Der Vision-Tower wird als separate 4-Bit-mmproj-Datei von etwa 0,63 GB ausgeliefert und nur geladen, wenn tatsächlich ein Bild eintrifft, sodass ein reines Text-Deployment dafür nie bezahlen muss.

Eine praktische Konsequenz dieses größtenteils linearen Designs sollte vor jeder Benchmark-Diskussion hervorgehoben werden. Da die Architektur kein herkömmlicher Transformer ist, mussten die Low-Bit-Kernel eigens dafür geschrieben werden. Standard-llama.cpp lehnt beide Packings von Prism ML als unbekannte Typen ab – und lädt gefährlicherweise ein älteres ternäres Format ohne Beanstandung und erzeugt flüssig klingenden Unsinn, weil auf die Aktivierungen keine passende Rotation angewendet wird. Wenn Sie dieses Modell auf einer Binary ausführen, die nichts davon weiß, erhalten Sie keinen Fehler. Sie erhalten selbstsicher falsche Ausgabe.

Der Vergleich, Kategorie für Kategorie

Hier ist die 20-Benchmark-Aufschlüsselung des Anbieters, wobei die Vollpräzisionsbasis als Referenz dient. Jede Zahl in dieser Liste stammt von Prism ML; keine davon wurde unabhängig verifiziert.

• Mathematik — 96,57 für Ternary Bonsai 2 27B vs. 97,06 für Qwen3.8-27B. Effektiv gleichauf.

• Programmierung — 81,58 vs. 82,17. Ebenfalls knapp – und die Kategorie, auf die sich die gesamte Argumentation für die Technik stützt.

• Instruktionsbefolgung — 82,66 gegenüber 81,25. Das komprimierte Modell ist vorn dabei, was die einzige Zeile in der Tabelle ist, die wirklich überrascht.

• Wissen und logisches Denken — 83,95 vs. 86,66. Ein Rückgang um 2,7 Punkte und der größte Einzelbeitrag zu den fehlenden 1,8 Punkten.

• Agentische und Tool-Aufrufe — 77,57 vs. 79,74, einschließlich τ2-Bench mit 80,22 und BFCL v3 mit 74,92.

• Vision — 78,59 vs. 81,64, der größte Kategorienverlust. Beachten Sie, dass der Vision-Turm selbst nicht der komprimierte Teil ist; das Sprachmodell, das seine Ausgaben liest, ist es.

Lies die Form statt den Durchschnitt, und es zeigt sich eine klarere Geschichte. Komprimierung ist bei Mathematik, Programmieren und Instruktionsbefolgung nahezu kostenlos und bei Wissen und Vision teuer. Das ist das Gegenteil der Volksweisheit über Low-Bit-Modelle, wonach oberflächliches Wissen überlebt und das Schlussfolgern zusammenbricht. Hier ist es das Wissen, das erodiert, und das Schlussfolgern, das standhält.

Wo die 1,8 Punkte tatsächlich stecken

Das Aggregat ist ein Mittelwert über zwanzig Benchmarks, und Mittelwerte sind genau der Ort, an dem sich Lücken verstecken. Zieht man die Einzelergebnisse heraus, sind zwei davon deutlich schlechter, als der Durchschnitt vermuten lässt.

• Terminal-Bench 2.1 — 52,8 für den Ternary-Build gegenüber 69,7 für volle Präzision

• SWE-bench Verified — 60,8 gegen 80,6

Beide liegen nahe bei drei Vierteln der Punktzahl bei voller Präzision. Dagegen kommt AIME26 auf 95,83, LiveCodeBench auf 90,07 und AA-LCR auf 77,0 – nur einen Punkt vom unkomprimierten Modell entfernt. Dies ist das erste Mal überhaupt, dass die Bonsai-Familie auf Terminal-Bench evaluiert wurde, und Prism ML macht in seinen eigenen Unterlagen deutlich, dass die in der ersten Generation versprochene Software-Engineering-Fähigkeit für lange Zeithorizonte nur teilweise und nicht vollständig geliefert wird.

Die praktische Frage lautet also nicht „behält es 98,2 %?“ sondern „wie hoch ist meine Workload?“. Wenn Sie einen Coding-Agenten betreiben, der über Dutzende von Tool-Aufrufen hinweg einen Plan hält und über Minuten hinweg Dateien bearbeitet, gehören Sie zu der Kategorie mit der 25-%-Lücke, und die aggregierte Zahl ist aktiv irreführend. Wenn Sie Mathematik machen, Single-Turn-Codegenerierung, Extraktion, Klassifizierung oder Chat, gehören Sie zu den Kategorien, in denen die Lücke weggerundet wird. Das Nützlichste an der Tabelle des Anbieters selbst ist, dass sie Ihnen diese Unterscheidung ermöglicht, statt zu raten.

Was jedes Einzelne tatsächlich zum Laufen braucht

Die Hardware-Geschichte ist weniger symmetrisch, als es das Größenverhältnis vermuten lässt. Ein FP16-Modell mit 53,81 GB passt überhaupt nicht auf einen 16-GB-Laptop, wodurch der Vergleich weniger „schneller versus langsamer“ und eher „möglich versus nicht möglich“ ist. Prism MLs standardisierte Messungen bei Batchgröße 1, Vision-Tower ausgeschlossen:

• NVIDIA RTX 5090 — 142,5 Tok./s Dekodierung beim PQ2_0-Packing, bei 0,582 mWh pro Token

• Apple M5 Max — 46,8 tok/s Dekodierung, mit Prompt-Verarbeitung von etwa 765 tok/s

• Apple M5 Pro — 27,7 tok/s Dekodierung

• Apple M4 Pro — 18,0 tok/s Dekodierung, wobei die Prompt-Verarbeitung nahe 125 tok/s bei sehr langen Kontexten zum limitierenden Faktor wird

Die wichtige Einschränkung ist, dass nichts davon ein einzelnes Binary ist. Das PTQ1_0-Packing liefert 5,93 GB bei 1,76 Bit pro Gewicht; PQ2_0 kostet 7,25 GB bei 2,16 Bit pro Gewicht und erkauft sich Dekodiergeschwindigkeit auf Hardware, bei der der Instruktionsdurchsatz, nicht die Speicherbandbreite, der limitierende Faktor ist. Der MLX-Build für Apple Silicon ist ein drittes Artefakt mit eigener Berechnung – ein affiner 2-Bit-Container, der einen Bias speichert, den die ternären Gewichte nicht brauchen, und dabei auf 2,25 Bit pro Gewicht und 8,005 GiB auf der Festplatte landet, mit Metal- und CPU-Kernels, aber ohne CUDA-Pfad. „Es läuft in 5,9 GB“ gilt für genau eine dieser Dateien auf genau der richtigen Runtime.

Der Kostenvergleich, ehrlich dargestellt

Für Qwen3.8-27B gibt es zwei Möglichkeiten der Bezahlung, für sein komprimiertes Schwestermodell nur eine. Ternary Bonsai 2 27B ist ein Download: Apache 2.0, Ihre Hardware, keine Verbrauchsmessung. Qwen3.8-27B ist sowohl ein Download als auch ein gehosteter Dienst, und wenn Sie den gehosteten Weg wählen, ist die Zahl auf der Modellseite maßgeblich — 0,33 $ pro Million Eingabe-Tokens und 2,40 $ pro Million Ausgabe-Tokens, aus OrcaRouters eigener Infrastruktur bereitgestellt statt von jemand anderem weiterverkauft.

Genau hier verdient OrcaRouter einen Platz in diesem Vergleich statt einer Fußnote. Der geroutete Build von Qwen3.8-27B bietet denselben 262K-Kontext, akzeptiert Text, Bilder und Video und stellt die Reasoning-Effort-Steuerung bereit, mit der das Modell ausgeliefert wird. Er steht hinter demselben Schlüssel wie über 200 weitere Modelle, ohne Aufschlag auf den Listenpreis des Anbieters, was wichtiger ist, als es klingt: weil der Listenpreis durchgereicht statt weiterverkauft wird, schlägt eine Preisänderung des Anbieters hier noch am selben Tag durch statt erst bei der nächsten Vertragsverlängerung. Für ein Team, das die Full-Precision-Basis als Eskalationsstufe über einem lokalen Bonsai möchte, sind das ein Endpunkt und ein Schlüssel statt zweier Anbieterbeziehungen.

Zu welchem man greifen sollte

Bei der Entscheidung geht es hauptsächlich darum, wo die Arbeit stattfindet, nicht darum, welches Modell besser ist, denn bei den meisten Aufgaben handelt es sich um dasselbe Modell.

Wähle Qwen3.8-27B mit voller Präzision, wenn die Aufgabe langfristig angelegt und agentisch ist, wenn du evaluierst oder feinabstimmst, wenn du den YaRN-Kontext mit 1 Mio. Token benötigst oder wenn die Genauigkeit der Bildverarbeitung entscheidend ist. Die Terminal-Bench- und SWE-bench-Zahlen sind der Grund dafür.

• Wählen Sie Ternary Bonsai 2 27B, wenn die Arbeit auf Hardware stattfinden muss, die Ihnen gehört, wenn die Alternative darin besteht, überhaupt kein 27B-Modell auszuführen, oder wenn es sich um Arbeitslasten wie Mathematik, Programmierung, Extraktion oder werkzeugfreies Reasoning handelt, bei denen die Kategorien gleichauf liegen.

• Entscheiden Sie nicht anhand des Gesamtwerts. 83,9 und 85,4 liegen nah genug beieinander, dass ein einzelner Benchmark-Austausch sie umsortieren könnte, und nur eine der beiden Zahlen ist unabhängig verifiziert.

Was hier wirklich neu ist, ist nicht, dass ein 27B-Modell in sechs Gigabyte passt – das hat die erste Bonsai-Generation im Juli geschafft. Es ist, dass die Instruktionsbefolgung besser ausfiel als beim Vorgänger und dass Mathematik und Programmieren gleichauf lagen, was eine andere Aussage ist als „klein für seine Größe“. Ob es unter Ihrer Arbeitslast standhält, kann Ihnen ein Alter von einem Tag nicht sagen, und die erste unabhängige Bewertung dieses Modells ist das Ergebnis, auf das es sich zu warten lohnt.

Wenn Sie den Vergleich lieber mit Ihren eigenen Prompts als mit einer Benchmark-Suite durchführen möchten, ist der schnellste Weg, das gehostete Qwen3.8-27B über einen Endpunkt aufzurufen und den ternären Build lokal auszuführen und dann die Ausgaben bei den Aufgaben zu vergleichen, die Sie tatsächlich haben. Das ist Arbeit für einen Vormittag, und es wird Ihnen mehr über die 1,8 Punkte sagen als jede veröffentlichte Tabelle.