Bonsai 2 vs Ternary Bonsai 2 27B: de familienaam doet twee taken

Zoek je naar Bonsai 2 en dan kom je uit bij ongeveer vijf verschillende artefacten waarvan de voetafdruk een orde van grootte verschilt, en het is niet duidelijk uit de naam over welke een bepaald artikel het heeft. Ternary Bonsai 2 27B is degene die specifiek bedoeld wordt — een enkel ternair model uit de 27B-klasse, gebouwd op Qwen3.8-27B, aangekondigd op 17 september 2026 en geleverd als een dense-trit-pakket van 5,95 GB of een 2-bit-slot-pakket van 7,21 GB. Kaal Bonsai 2 is de overkoepelende term: dezelfde naam dekt Ternary Bonsai 2 2B, Ternary Bonsai 2 4B en Ternary Bonsai 2 9B, drie veel kleinere modellen gebouwd op Qwen3.5 en aangekondigd op 15 oktober 2026, en dekt nu ook een Ollama-bibliotheekvermelding die alle vier de groottes onder één tagfamilie aanbiedt.

Dit is dus niet de gebruikelijke rechtstreekse vergelijking. De ene kant is een deelverzameling van de andere, en de nuttige vraag is niet welke beter is, maar welke daarvan een lezer die "Bonsai 2" in een zoekvak heeft getypt, eigenlijk wil. Het antwoord hangt af van iets dat de naamgeving verbergt: de familie bestaat uit twee families, gesplitst op basis van basismodel, en die splitsing valt niet waar de groottecijfers suggereren.

Twee families die één naam dragen

Lees de GGUF-headers van de gepubliceerde bestanden en de naad zit meteen in een metadataveld. Elk Bonsai 2-artefact — 2B, 4B, 9B en 27B alike — rapporteert general.architecture = qwen35. Die string is de Qwen3.5 hybrid-attention-backbone, en voor de kleine drie klopt dat precies: de modelkaarten vermelden Qwen3.5-2B, Qwen3.5-4B en Qwen3.5-9B als basismodellen met de architectuur ongewijzigd. De 27B is een ander beest. Zijn basis is Qwen3.8-27B, een nieuwer en sterker 27B hybrid-attention-model, en het deelt toevallig de architectuurstring omdat Qwen3.8 dezelfde familie van backbone behoudt.

De eigen release-opmerkingen van de leverancier maken de splitsing zichtbaar als je ze naast elkaar leest en onzichtbaar als je ze afzonderlijk leest. De post van 15 oktober voor de kleine modellen zegt dat ze "gebaseerd zijn op Qwen3.5" en beschrijft ze als toevoeging aan Bonsai 2 27B — wat accuraat als iets anders wordt neergezet. De post van 17 september voor de 27B zegt Qwen3.8-27B. Twee aankondigingen, twee basismodellen, één familienaam, en een artikel van een derde partij dat zegt "Bonsai 2 is gebaseerd op Qwen3.5" heeft het mis over de 27B terwijl het er volkomen goed onderbouwd uitziet.

Dat is belangrijk omdat de generatie van het basismodel hier geen detail is. Het bepaalt het capaciteitsplafond, het bepaalt waar de retentiepercentages percentages van zijn, en het betekent dat de benchmarkcijfers van de kleine modellen en de benchmarkcijfers van de 27B niet twee punten op één curve zijn — het zijn twee afzonderlijke rapporten ten opzichte van twee afzonderlijke baselines. Behandel elke tabel die ze in één kolom naast elkaar zet met argwaan.

De cijfers, naast elkaar

Alle cijfers zijn opgegeven door Prism ML zelf; geen enkele is onafhankelijk gereproduceerd.

• Basismodel — Ternary Bonsai 2 2B / 4B / 9B: respectievelijk Qwen3.5-2B, -4B, -9B; Ternary Bonsai 2 27B: Qwen3.8-27B

• Aangekondigd — 15 oktober 2026 voor de kleine drie; 17 september 2026 voor de 27B

• Kleinste taalmodellenpakket — 0,429 GB PTQ1_0 bij 2B; 1,997 GB PTQ1_0 bij 9B; 5,947 GB PTQ1_0 bij 27B

• Standaardpakket — PQ2_0 voor allemaal: respectievelijk 0,517 GB, 1,146 GB, 2,417 GB en 7,206 GB

• Bits per gewicht — ~1,83 bij 2B, ~1,81 bij 4B, ~1,78 bij 9B, 1,72 ideaal / 1,75 verpakt bij 27B

• Context — 262.144 tokens in de hele familie, geërfd van de Qwen-backbone

• Vision — een apart mmproj-pack voor elke grootte, alleen geladen wanneer er een afbeelding binnenkomt

• Licentie — Apache 2.0 in alles

• Gerapporteerde retentie — 27B: 98,2% van Qwen3.8-27B FP16 over 14 benchmarks; kleine modellen: 19 benchmarks verdeeld over zes vaardigheidsgebieden, gerapporteerd als retentie per categorie ten opzichte van hun eigen Qwen3.5-baselines

Eén regel in die lijst is de reden dat de 27B 5,95 GB kost waar de 9B 2,00 GB kost, en het is niet alleen het aantal parameters. De 27B wordt beschreven als "end-to-end ternair" over embeddings, attention-projecties, MLP-projecties en de LM-head, met een beslissend detail: een kleine set tensoren — het recurrente-toestandspad van de linear-attentielagen plus de normalisatiegewichten, ongeveer 26,2 miljoen parameters, 0,0976% van het taalmodel — blijft in hogere precisie, en dat restant is wat het kerncijfer van 1,71 naar 1,72 bits per gewicht brengt. Bij de 9B levert dezelfde machinerie ~1,78 op. Het grotere model is efficiënter per gewicht, niet minder, omdat de vaste overhead voor hoge precisie wordt afgeschreven over tien keer zoveel parameters. Als je erover redeneert welke grootte je moet kiezen op basis van een bits-per-gewicht-tabel, is dat de ene richting waarin de tabel wijst.

Waar de kleine modellen echt winnen

Niet op kwaliteit — op de vorm van de bewering. De release van het kleine model is de enige in deze familie die een bewering over breedsprakigheid publiceert, en het is het meest controleerbare dat een van beide aankondigingen bevat: Prism ML meldt dat de 9B ongeveer 40% minder tokens gebruikt bij standaardtaken voor instructieopvolging en alledaagse rekentaken. Dat is een uitspraak over outputlengte, niet over vermogen, en je kunt het in een middag controleren aan de hand van je eigen prompts. Dezelfde post noemt het vermijden van repetitieve lussen en het beheersen van breedsprakigheid als expliciete ontwikkelprioriteiten, wat het soort ding is dat je schrijft wanneer je vorige generatie een probleem had.

Het is ook de enige release die een retentie boven 100% rapporteert op verschillende categorieën — 121,5% op instructieopvolging voor de 2B, 107,8% op wiskunde, 115,0% op coderen, tegen de Qwen3.5-baselines met volledige precisie. Dat zijn de eigen cijfers van de leverancier op de eigen suite van de leverancier, en dat een gecomprimeerd model zijn bronmodel verslaat op een met de hand uitgekozen benchmark, is minstens evenzeer een claim over training en harness als over ternaire rekenkunde. Het rapport van de 27B is conservatiever opgesteld — 84,78 tegenover 86,32, met wiskunde op 96,57 versus 97,06 en coderingsniveau op 89,42 versus 89,07, en het verlies geconcentreerd in kennis/redeneren en vision — wat het profiel is dat een 1,7-bits representatie zou moeten opleveren. Wanneer de verliezen van het ene rapport precies landen waar de theorie voorspelt en de winsten van het andere precies vallen op de categorieën die de leverancier in de schijnwerpers zette, dan is die asymmetrie informatie.

Verpakking: het stille voordeel van de 27B

Sinds 17 oktober 2026 zijn alle vier de groottes als bonsai-2:2b, :4b, :9b en :27b bij Ollama te pullen — negen tags in totaal, waarbij elke grootte ook een -q2_0-alias heeft. Dat is recent, het is niet aangekondigd door de leverancier, en het is de moeite waard om te weten wat het daadwerkelijk aanbiedt. De tags van Ollama verwijzen naar de Q2_0-packing, de enige die upstream llama.cpp kan laden. De dense-trit PTQ1_0-packs — de kleinste bestanden in de familie — staan helemaal niet op de registry. Dus de gemakkelijke weg en de kleine weg zijn verschillende wegen, en dat geldt voor alle vier de groottes in gelijke mate.

Waar de 27B in verschilt, is in wat hij niet meelevert. De 4B en 9B worden elk geleverd met twee optionele speculative-decoding-drafters: een MTP-head die in het 2-bit-slot-pack is ingebouwd, en een DFlash2-block-drafter die helpt bij kopieerintensief werk en bij algemene chat langzamer is dan gewone decoding. De 2B wordt er opzettelijk zonder geleverd — de nota van de leverancier is dat bij die omvang een decode-stap al goedkoop is en swept-depth-drafting bij alledaagse prompts langzamer meet dan gewone decoding. De generatie van de 27B heeft de equivalente drafter laten vallen die zijn eerstegeneratievoorganger had.

Dat is een echt verschil in capaciteiten tussen de groottes, en het komt helemaal niet voor op de Ollama-pagina.

Beslissen, en wat te doen met het antwoord

De 27B is degene waarvoor je moet kiezen als de workload langdurige redeneertaken betreft: code, wiskunde, agentische toolchains, lange documenten in een context van 262K. Het is de enige grootte in de familie met een basismodel uit de Qwen3.8-generatie, en de categorie-uitsplitsing van de leverancier zegt dat de compressie het bijna niets kost op het gebied van wiskunde en programmeren, maar wel zijn tol eist bij kennisherinnering en visie.

De 9B is degene om naar te grijpen als de beperking geheugen is in plaats van moeilijkheid: assistenten op een laptop, implementaties op telefoons, alles waarbij 2 GB versus 6 GB het verschil is tussen wel of niet uitbrengen. Het gepubliceerde profiel ervan is het sterkst precies waar dat van de 27B het zwakst is ten opzichte van de baseline — het opvolgen van instructies en het beheersen van breedsprakigheid — en dat is precies waar een kleine lokale assistent zijn tokens daadwerkelijk aan besteedt. De 2B en 4B bestaan voor nog krappere budgetten, en bij die groottes bevatten de retentiecijfers zo veel ruis dat je eigen prompts een betere leidraad zijn dan de tabel van de leverancier.

Een opmerking over de vergelijking die de meeste lezers daadwerkelijk zullen maken, namelijk met gehoste modellen in plaats van met elkaar. Geen van beide Bonsai 2-groottes wordt via OrcaRouter aangeboden, en dit stuk suggereert dat ook niet — het zijn gewichten die je downloadt. Maar de vraag "is een lokaal model van 2 GB goed genoeg voor deze taak" wordt beantwoord door ergens tegen af te meten, en OrcaRouter zet één API vóór meer dan 200 gehoste modellen tegen 0% opslag met de lijstprijs van de provider doorgegeven, plus automatische failover tussen providers en een routing-DSL om meerdere modellen in één aanroep samen te stellen. Bepaal de lat met een gehost model en test vervolgens of het lokale model die lat op jouw hardware haalt. Die volgorde bespaart de weken die mensen verliezen met het afstellen van een download die nooit voldoende zou zijn geweest.

Eén waarschuwing om uit dit stuk mee te nemen. Beide releases rapporteren retentiepercentages, beide zijn door de leverancier gemeten op de eigen testopstelling van de leverancier, en op dit moment heeft geen enkele derde partij een van beide gereproduceerd. Het enige dat je zelf kunt verifiëren is het artefact — de bestandsgroottes, de verpakkingen, de GGUF-metadata, de licentie en de doorvoer op je eigen machine. Daar moet je beginnen, en dat is ook waar de twee aankondigingen ophouden op elkaar te lijken: de losse pakketgroottes van de 27B worden per bestand gepubliceerd op Hugging Face, en de voetafdruk van 0,43 GB, 0,95 GB en 2 GB die de ronde doet voor de kleine modellen verwijst naar alleen het taalmodel, met de vision-toren uitgesloten. Vergelijk ze op dezelfde basis, anders zal de 9B lijken alsof hij een discussie heeft verloren die hij nooit heeft gehad.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.