Bonsai 27B: Het 27B-model in de Bonsai-familie, uitgelegd

Bonsai 27B is het model met 27 miljard parameters in de Bonsai-familie van PrismML, en het is degene die mensen bedoelen wanneer ze "bonsai 27b" typen — maar de naam alleen brengt je er niet, want drie verschillende dingen reageren op iets dat er dicht bij komt. Bonsai 27B is een low-bit herbouw van Qwen3.6-27B, gedateerd op 14 juli 2026 in de eigen aankondiging van de leverancier, en het wordt geleverd als twee pakketten van hetzelfde model: 1-bit Bonsai 27B, dat binaire {−1, +1}-gewichten opslaat in ongeveer 3,9 GB, en Ternary Bonsai 27B, dat ternaire {−1, 0, +1}-gewichten opslaat met 1,71 effectieve bits per gewicht — 5,9 GB in het belangrijkste cijfer van de leverancier, 7,165 GB zoals het pakket daadwerkelijk wordt geleverd. Het is niet Ternary Bonsai 2 27B, de afzonderlijk benoemde tweede generatie gebouwd op Qwen3.8-27B, en het is niet het visie-taalmodel met 2 miljard parameters dat PrismML bouwde voor slimme brillen met Snapdragon AR1 Gen 1. Beide pakketten van Bonsai 27B hebben een context van 262.000 tokens, een compacte 4-bit visietoren en een Apache 2.0-licentie. Het model is Bonsai 27B; de beslissing die volgt is welk van de twee pakketten bij je geheugenbudget past.

Deze pagina is de referentie voor dat model. Het is geen aankondiging: Bonsai 27B is beschikbaar sinds juli 2026, en de vragen die het nu waard zijn om te beantwoorden, zijn de vragen die een lezer meebrengt — wat het precies is, wat de naam onderscheidt, en wat het daadwerkelijk kost om het te draaien.

Welke is de 27B

Het verwarringsgevaar is hier reëel, en het loont om dat eerst op te lossen, want een verkeerde gok stuurt je naar een model met 2 miljard parameters of naar de verkeerde generatie van het juiste model.

• Bonsai — de familienaam, en de naam die de leverancier ervoor gebruikt. Op zichzelf identificeert het niets dat je kunt downloaden. PrismML heeft Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B en Bonsai Image uitgebracht, plus het brillenmodel met 2 miljard parameters, en een eerdere release uit april 2026 genaamd Ternary Bonsai voor de kleinere lijn. Een zoekopdracht naar het kale woord belandt willekeurig in die set.

• Bonsai 27B — het onderwerp van deze pagina. Generatie één van de 27B-lijn, afgeleid van Qwen3.6-27B, gedateerd 14 juli 2026. Wanneer een pagina "Bonsai 27B" zegt zonder andere kwalificatie en zonder "2", is dit het model dat daarmee wordt bedoeld, en dit is de naam die moet worden gebruikt.

• Ternary Bonsai 27B — geen ander model. Het is de op kwaliteit gerichte variant van Bonsai 27B: hetzelfde 27B-model, dezelfde architectuur en dezelfde basis, maar met ternaire gewichten in plaats van binaire. De repository heet Ternary-Bonsai-27B-gguf, en op de modelkaart wordt Qwen3.6-27B als basis vermeld, precies zoals op de binaire kaart. "Ternary" is hier een gewichtsformaat, geen versie.

• Ternary Bonsai 2 27B — een wezenlijk ander model. De tweede generatie van de 27B-lijn, gebouwd op Qwen3.8-27B en aangekondigd op 17 september 2026, met een andere parameterverdeling en een andere kwaliteitsclaim. De '2' vormt het hele onderscheid.

• 1-bit Bonsai 2B — een ander familielid op een andere schaal: een vision-languagemodel met 2 miljard parameters voor hardware op brillenniveau, geen 27B-model bij welke precisie dan ook.

Dus als je hierheen bent gekomen om uit te maken welke van deze het 27B-model is, dan is het antwoord dat de derde en vierde regel hierboven hetzelfde model zijn in twee gewichtsformaten, en de vijfde is degene die dat niet is. Praktisch: noem het Bonsai 27B, en voeg de pack toe wanneer het ertoe doet.

De specificatie, uit de modelkaart

Elk cijfer in deze sectie is afkomstig uit de gepubliceerde modelkaarten van PrismML voor de twee pakketten, en het is de eigen verklaring van de leverancier over zijn eigen model. Waar een getal een bewering is in plaats van een meting, wordt het als zodanig gelabeld.

• Parameters — ongeveer 27,3 miljard in totaal, en de "27B" verwijst naar dat geheel. De verdeling is het weten waard, want die verklaart het geheugengedrag: ruwweg 24,8 miljard zit in de taalbackbone verspreid over 64 blokken, ruwweg 2,5 miljard in de embedding en LM-head, en ongeveer 0,46 miljard in een visiontoren met 27 blokken. De low-bitrepresentatie wordt end-to-end toegepast — embeddings, attention, MLP's en de LM-head — zonder enige ontsnappingsroute naar hogere precisie, nergens in het taalnetwerk.

• Context — een volle 262.000 tokens, zonder variant voor lange context en zonder build met gereduceerde context. De kosten van dat venster worden beheerst in plaats van volledig betaald: de backbone is hybride, dus slechts 16 van zijn 64 lagen houden een volledige attention-cache aan, en die cache wordt opgeslagen in een nagenoeg verliesvrije 4-bitsvorm. Bij het volledige 262K-venster is de gecomprimeerde cache wat het model binnen ongeveer 9,4 GB houdt op de binaire variant en 12,8 GB op de ternaire variant.

• Modaliteit — tekst en afbeeldingen, beide pakketten. De vision tower wordt geleverd in een compacte 4-bitvorm (0,63 GB) met daarnaast een BF16-kopie (0,93 GB). Vision is ook waar de compressie het meest kost, wat hieronder wordt behandeld.

• Gewichtsformaat en -grootte — 1-bit Bonsai 27B gebruikt binaire {−1, +1}-gewichten met FP16 groepsgewijze scaling, verpakt als GGUF Q1_0_g128 bij een werkelijk effectief aantal van 1,125 bits per gewicht; het meegeleverde bestand is 3,803 GB, en de kaart rondt de gedeployeerde voetafdruk af op ongeveer 3,9 GB. Ternary Bonsai 27B gebruikt ternaire {−1, 0, +1}-gewichten met dezelfde groepsgewijze scaling; een ternaire waarde draagt log₂3 ≈ 1,585 bits aan informatie, dus de ondergrens van de representatie is ~1,71 bits per gewicht, wat in het ideale geval neerkomt op 5,9 GB. Het gepubliceerde ternaire pakket is groter dan dat ideaal, omdat de huidige kernels elke ternaire waarde in een 2-bit-slot opslaan — 2,125 bits per gewicht gedeployed — en het meegeleverde bestand is 7,165 GB. PrismML vermeldt beide getallen in plaats van alleen het flatteuze getal, en het verschil ertussen is eerder een kernelbeperking dan een modelleringskeuze.

• Licentie — Apache 2.0 op beide packs, vermeld in beide repositories en in de aankondiging van de leverancier. Dat is een permissieve licentie zonder beperking van het gebruiksgebied, wat bij deze omvang meer uitmaakt dan bij de meeste.

• Basismodel — Qwen3.6-27B in beide gevallen. Dit is een hercompressie van andermans model in plaats van een model dat vanaf nul is getraind, en het gevolg is dat zowel het mogelijkhedenplafond van Bonsai 27B als het vernieuwingsritme ervan de upstream 27B-lijn volgen in plaats van die van PrismML.

De ternaire relatie, één keer vermeld

De twee pakketten zijn één model, en de eerlijke samenvatting is dat ternair kwaliteit levert en binair een kleine voetafdruk, met een kloof ertussen die kleiner is dan het verschil in grootte van 3,9 GB tegenover 7,2 GB doet vermoeden.

In PrismML's eigen suite met 15 benchmarks voor de denkmodus scoort de FP16 Qwen3.6-27B-baseline 85,07. Ternary Bonsai 27B scoort 80,49 — 94,6% retentie, wat de leverancier afrondt naar ongeveer 95%. 1-bit Bonsai 27B scoort 76,11 — 89,5%, afgerond naar ongeveer 90%. Dus het kwaliteitsgerichte pakket herstelt ongeveer de helft van de afstand tussen het binaire pakket en volledige precisie, terwijl het ongeveer 3,3 GB meer kost, en het binaire pakket is degene die op een telefoon met 12 GB past. Dezelfde suite toont een 4-bit Q4_K_XL-build van dezelfde baseline op 84,99, ofwel 99,9% retentie, in 17,6 GB — de vergelijking die verklaart waarom er überhaupt een low-bit-pakket bestaat, want het verslaat ze op kwaliteit en verliest op elk apparaat dat minder dan 18 GB aan een model kan besteden.

Waar het binaire pack terrein prijsgeeft, is dat ongelijk, en de opsplitsing per categorie is het nuttige deel. Ten opzichte van de FP16-baseline daalt het van 95,33 naar 91,66 bij wiskunde en van 88,74 naar 81,88 bij programmeren, maar van 78,47 naar 65,74 bij het volgen van instructies, van 80,00 naar 66,03 bij agentisch en tool-calling-werk, en van 72,61 naar 59,57 bij visie. Als je werklast rekenwerk of codeaanvulling is, is 3,9 GB bijna gratis. Gaat het om agents die tools aanroepen of om beeldbegrip, dan is dat waar de compressie daadwerkelijk wordt betaald.

De modelkaart publiceert ook een afgeleide grootheid die het intelligentiedichtheid noemt: geaggregeerde score per gigabyte, genormaliseerd zodat een perfecte score de oneindigheid benadert. Op die maatstaf bereikt 1-bit Bonsai 27B 0,530 en Ternary Bonsai 27B 0,400, tegenover 0,199 voor een 2-bit IQ2_XXS-build van dezelfde baseline, 0,155 voor een 4-bit Q4_K_XL-build, en 0,051 voor het FP16-model. Het interessante getal in die lijst is de eerste vergelijking: het binaire pakket verslaat de conventionele 2-bit-build op geaggregeerde kwaliteit met minder dan de helft van de voetafdruk, wat precies de hele these van de familie in één regel is.

De volledige directe vergelijking tussen de twee pakketten, en waar de cijfers van elk vandaan komen, staat uiteengezet op de Bonsai vs Bonsai 27B-pagina op deze blog, naast het model met 2 miljard parameters dat de familienaam deelt.

Eén vraag die bij dit model opkomt verdient een feitelijk antwoord en niets meer. De packs zijn low-bit-coderingen van hetzelfde onderliggende model, geen opnieuw getrainde variant, en de repositories publiceren daarnaast geen afzonderlijk afgestemde of ongecensureerde checkpoint — het enige artefact met volledige precisie dat wordt aangeboden is een uitgepakte FP16-conversie van dezelfde gewichten, gepubliceerd zodat je een gecomprimeerde pack kunt vergelijken met zijn eigen baseline in standaardtooling.

Gewichten en licentie, uit de repositories

De gewichten van Bonsai 27B zijn gepubliceerd op Hugging Face onder de organisatie prism-ml, en de bestandslijst is het meest concrete aspect van de release. De repository van het binaire pakket bevat het model zelf met 3,803 GB, een FP16 GGUF van hetzelfde model met 53,808 GB ter vergelijking, een DSpark-drafter voor speculatieve decoding met 1,787 GB in 4-bit en 7,292 GB in BF16, en visiontorens met 0,931 GB en 0,629 GB. De ternaire repository bevat een eigen pakket van 7,165 GB plus een tweede verpakking van 7,585 GB, die group-64 is in plaats van group-128 en upstream-compatibel in plaats van optimaal, en dezelfde drafter- en vision-bestanden. Beide repositories zijn Apache 2.0 en beide noemen Qwen3.6-27B als basis.

Twee dingen volgen uit die lijst. Het eerste is dat 53,808 GB tegenover 3,803 GB de 14,2x-ratio is die de modelkaart vooraan noemt, en die is controleerbaar in plaats van beweerd — het bestand met volledige precisie staat er gewoon. Het tweede is dat de release zwaarder is dan het model: als je ook de drafter en de vision tower meeneemt, die het multimodale pad vereist, voeg je ongeveer 2,4 GB toe bovenop een model van 3,9 GB. De 3,9 GB in de kop betreft de taalgewichten en niet de deployment.

Downloads zijn de enige plek waar het op kwaliteit gerichte pakket vooroploopt: per oktober 2026 is de ternaire GGUF-repository voorbij 590.000 downloads gepasseerd, tegen iets meer dan 400.000 voor het binaire pakket, terwijl de MLX-containers voor beide elk boven een miljoen zitten. Dat patroon suggereert dat het grootste deel van dit model op Apple-hardware draait in plaats van op servers, en dat de mensen die het downloaden de extra vijf punten retentie kopen in plaats van het kleinst mogelijke bestand — wat ongeveer is waarvoor de leverancier het tweetal heeft ontworpen.

Het uitvoeren

Wat je vandaag kunt verkrijgen, zijn vier soorten artefacten per pakket, en welke je wilt, wordt bepaald door je runtime in plaats van door kwaliteit.

• GGUF for llama.cpp — het primaire pad, en degene waarvoor de low-bit-kernels zijn geschreven. Beide packs zijn llama.cpp-builds voor CUDA, Metal en CPU, maar de 1-bit- en ternaire kernels zitten in PrismML's eigen fork in plaats van upstream, dus stock llama.cpp zal ze nog niet correct laden. De group-64 ternaire packing bestaat juist voor de gevallen waarin je upstream-compatibiliteit nodig hebt en bereid bent 7,585 GB te nemen in plaats van 7,165 GB om die te krijgen.

• MLX voor Apple silicon — afzonderlijke geleverde containers van 5,129 GB voor het binaire pakket en 8,491 GB voor het ternaire pakket. Let op dat de MLX binaire container groter is dan het GGUF binaire pakket, wat een verschil in container-overhead is en niet een ander model.

• AWQ 4-bit voor serverframeworks — een 4-bits build van elk model voor de serveerframeworks die een AWQ-checkpoint verwachten, in negen shards met een totaal van 18,70 GB, inclusief een multi-GPU-recept. Dit is geen low-bit-artefact; het is hetzelfde model op een precisie die op een rack zinvol is, en het geeft de hele bestaansreden van het model weg.

• Uitgepakte FP16-safetensors — het volledige model van ~54 GB in het standaard Hugging Face-formaat, expliciet gepubliceerd voor frameworks die 1-bit-gewichten nog niet native ondersteunen. De leverancier zegt dat dit artefact wordt uitgefaseerd zodra de low-bit-kernels upstream beschikbaar komen.

Gemeten decode-doorvoer op de binary pack, uit de eigen tabel van de modelkaart, is 66,4 tokens per seconde op een M5 Max, 44,2 op een M5 Pro, 26,0 op een M4 Pro en 104,8 op een H100, met prefill op respectievelijk 874, 421, 133 en 2.755 tokens per seconde. De aankondigingspagina noemt hogere pieken — tot 87 tokens per seconde op een M5 Max en 163 op een RTX 5090 — wat de eigen best-caseconfiguratie van de leverancier is in plaats van die van de tabel. Behandel de twee sets als verschillende meetomstandigheden, niet als een tegenstrijdigheid, en behandel beide als door de leverancier gerapporteerd. Piekgeheugen, opnieuw uit de kaart, is 5,2 GB bij een 4K-context, 5,6 GB bij 10K en 11,6 GB bij 100K op de binary pack, en 8,4, 8,7 en 14,7 GB op de ternary pack — met de kanttekening dat die cijfers dateren van vóór de 4-bit KV-cache, en dat is wat het volledige 262K-venster terugbrengt tot minder dan 10 GB.

De DSpark-drafter is optioneel en het is de moeite waard om hem te begrijpen voordat je hem inschakelt, want hij verandert niets aan de uitvoer: het is een zeslaagse blok-parallelle transformer die is geconditioneerd op verborgen toestanden die worden afgetapt van vijf gelijkmatig verdeelde doellaagen, hij voegt ongeveer 0,5 GB toe bij servingprecisie, en hij verifieert tegen het doelmodel in plaats van zelf te samplen. Daarom kan de leverancier een versnelling van 1,37x op CUDA claimen zonder de kwaliteitscijfers aan te tasten. Hij is niet standaard ingeschakeld op Apple silicon.

Het punt waarop het lokale model niet verder komt, is de interessante technische vraag, en het is een routeringsvraag, geen modelvraag. Een model van 3,9 GB op een laptop verwerkt wat binnen zijn context past; al het andere moet ergens naartoe, en dat ergens is een gehost model achter een API. OrcaRouter is die laag — één endpoint voor meer dan 200 gehoste modellen met 0% opslag op de lijstprijzen van providers, automatische failover tussen providers, en de escalatieregel van een lokale tier naar een gehoste tier, uitgedrukt als configuratie in plaats van handmatig samengesteld. Het is de laag boven een lokaal model, geen vervanging ervoor.

De vergelijkingsindex

Bonsai 27B zit in een familie waarin elke buur een andere vraag beantwoordt, en dit zijn de pagina's die elk daarvan behandelen — geen ervan wordt hier opnieuw beargumenteerd.

• Bonsai vs Bonsai 27B — het brillenmodel met 2 miljard parameters tegenover dit model: zestien keer zoveel parameters en tweehonderdzesenvijftig keer zoveel context, en waarom de familienaam niets zegt over wat je aan het downloaden bent. De pagina is hier een blogpost, geen gehost model, een onderscheid dat in deze familie goed uit elkaar gehouden moet worden.

• Bonsai 27B tegen Qwen3.8-27B — de rechtstreekse confrontatie tussen dit model en de nieuwere basis die het niet gebruikt. Een aparte pagina in deze batch bevat die vergelijking, en omdat de twee modellen op elkaar lijkende namen dragen en één generatie van elkaar verschillen, is het de moeite waard die op zichzelf te lezen in plaats van als een uitbreiding van deze specificatie.

• Bonsai vs Ternary Bonsai 2 27B — de generatiesprong, en het feit dat de twee releases hun kwaliteit afmeten aan twee verschillende meetlatten: het behoud van een baseline in het ene geval, een vergelijkende claim in het andere.

• Ternary Bonsai 2 27B — de tweede generatie op zichzelf, op Qwen3.8-27B, voor lezers die hebben besloten dat ze liever het nieuwere model willen dan dit.

Wat is niet geregeld

Elk kwaliteitscijfer op deze pagina is van PrismML, gemeten op de eigen suite van PrismML met 15 benchmarks, en niemand buiten het bedrijf heeft er een reproductie van gepubliceerd. Dat is de allergrootste lacune in wat bekend is over Bonsai 27B: de compressieclaims zijn ongewoon specifiek en ongewoon controleerbaar, en ze zijn nog altijd niet door een derde partij gecontroleerd. De leverancier is er ook expliciet over dat agentic coding — langdurige, multi-file run-and-repair-workflows — geen sterke focus van deze release is en dat een daarvoor afgestemde variant het volgende op de roadmap is, wat consistent is met de verliezen bij tool-calling en instruction-following in de categorie-uitsplitsing hierboven. Totdat er een onafhankelijke evaluatie bestaat, moeten zowel het retentiecijfer als de dichtheidsranking worden gelezen als de positie van de leverancier en niet als een vaststaand resultaat.

Wat vaststaat, is kleiner en nuttiger: de gewichten bestaan, de groottes zijn controleerbaar tegen de bestandslijst, de licentie is Apache 2.0, en de twee pakketten verschillen ongeveer 3,3 GB van elkaar in ruil voor ruwweg vijf punten behouden kwaliteit. Dat is genoeg om tussen hen te kiezen. Welke van de twee geschikt is voor jou, hangt ervan af of je workload meer op rekenwerk lijkt of meer op tool-calling, en de categorienummers hierboven zijn het beste bewijs dat vandaag beschikbaar is voor die beslissing.