Bonsai 2 vs Bonsai 27B: De een kun je pullen, de ander niet.

Het meest concrete verschil tussen Bonsai 2 en Bonsai 27B heeft niets met benchmarks te maken. Op 17 oktober 2026 verscheen er een Ollama-bibliotheekvermelding voor de hele Bonsai 2-familie — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B en Bonsai 2 27B — en er is geen equivalente vermelding voor de eerste generatie. Zoek naar bonsai-27b, ternary-bonsai-27b of een variantnaam in dat register en je krijgt een 404. Bonsai 27B, uitgebracht door Prism ML op 14 juli 2026, moet worden gedownload van de Hugging Face-repositories van de leverancier en draaien op de Prism ML llama.cpp-fork. Bonsai 2 heeft een installatie van één regel.

Die asymmetrie is de hele praktische vorm van de keuze, en het is makkelijk om die te missen omdat de twee namen eruitzien als één productlijn met een versie-update. Het zijn twee generaties, twee basismodellen, twee verschillende sets verpakkingen, en — sinds deze week — twee verschillende leveringsmechanismen. Wat volgt is wat er daadwerkelijk tussen hen is veranderd, waar de oudere nog steeds wint, en de ene configuratie waarin het antwoord geen van beide is.

Wat elk is

Beide zijn ternaire compressies van een Qwen-model met hybride aandacht. Geen van beide is een nieuw getraind model — de architectuur, de gewichten en de quantisatiebewuste training komen van de Qwen-basis, en wat Prism ML bijdraagt, is de ternaire representatie en de kernels die deze gebruiken.

• Generatie — Bonsai 2 (september 2026, verlengd oktober 2026) vs Bonsai 27B (14 juli 2026)

• Basismodel op 27B-formaat — Qwen3.8-27B vs Qwen3.6-27B

• Basismodellen binnen de familie — Qwen3.5-2B, -4B, -9B en Qwen3.8-27B onder Bonsai 2; één enkele Qwen3.6-27B onder de eerste generatie

• Beschikbare formaten — vier (2B, 4B, 9B, 27B) versus één (27B)

• Twee operationele punten bij 27B — nee, één: Bonsai 2 27B wordt alleen ternair geleverd, terwijl Bonsai 27B zowel met een ternaire als een binaire build werd geleverd

• Kleinste voetafdruk in de 27B-klasse — 5,95 GB PTQ1_0 in Bonsai 2 versus 3,9 GB in de 1-bitbuild van de eerste generatie

• Context — 262.144 tokens geërfd van de Q​wen-backbone op beide

• Licentie — Apache 2.0 voor beide

• Levering — Ollama-tags en Hugging Face voor Bonsai 2; Hugging Face plus de Prism ML llama.cpp-fork voor Bonsai 27B

De rij die meer deployments bepaalt dan de rest, is de vijfde. Bonsai 27B werd op twee manieren geleverd om geheugen te besteden: een ternaire build van ongeveer 7,2 GB en een binaire build van 3,9 GB. Bonsai 2 27B levert er één — een ternaire build van 5,95 GB in de dense-trit-packing of 7,21 GB in de 2-bit-slot-packing — en er is geen binaire metgezel in deze generatie. Als je de 3,9 GB-build van de eerste generatie gebruikte en een gelijkwaardige opvolger verwachtte, dan is die er niet op 27B.

Wat de generatie werkelijk kocht

De eigen cijfers van Prism ML, op de eigen testomgeving van Prism ML, zonder onafhankelijke reproductie beschikbaar: de eerstegeneratie ternaire Bonsai 27B rapporteerde een gemiddelde in denkmodus van 80,49 tegenover 85,07 voor de Qwen3.6-27B FP16-referentie — 94,6% behouden over 15 benchmarks. Bonsai 2 27B rapporteert 84,78 tegenover 86,32 voor Qwen3.8-27B FP16 — 98,2% over 14 benchmarks. In absolute termen won het gecomprimeerde model ongeveer 4,3 punten op de schaal van de leverancier.

Twee kanttekeningen horen in één adem genoemd te worden, want de kop nodigt uit tot een schonere lezing dan de data ondersteunen. Ten eerste zijn de benchmarksuites niet dezelfde set — 15 voor de een, 14 voor de ander — en de baseline verschoof van Qwen3.6-27B naar Qwen3.8-27B, dat op zichzelf een sterker model was. De eigen 27B-modelkaart van de leverancier maakt het tweede punt expliciet door de vorige release opnieuw te berekenen op de nieuwe suite van 14 benchmarks voor een gelijkwaardige vergelijking: op die gemeenschappelijke basis scoort de vorige release 80,98 en Bonsai 2 27B scoort 84,78. De eerlijke lezing van de verandering is dus ongeveer 3,8 punten tegen dezelfde benchmarkreeks, waarbij een deel daarvan afkomstig is van het basismodel en een deel van de ternaire training. Het retentiepercentage steeg van 94,6% naar 98,2%, deels omdat de noemer verschoof.

Ten tweede is de vorm van het verlies informatiever dan het geheel. Op dezelfde suite van 14 benchmarks levert Bonsai 2 27B bijna niets in waar aanhoudend redeneren zich laat zien: wiskunde 96,57 tegen 97,06, programmeren 89,42 tegen 89,07 — gelijkwaardig, marginaal vooruit — en instructieopvolging 82,66 tegen 81,25, vooruit. Kennis en redeneren daalt van 85,55 naar 79,86, en visie van 71,36 naar 66,19. Dat is het profiel dat je zou verwachten bij een representatie van 1,72 bits per gewicht: de redeneerkern overleeft, de feitenkennis en het beeldbegrip moeten inleveren. Als je workload code en wiskunde is, is de compressie bijna gratis. Als het vraagbeantwoording in retrievalvorm over een corpus is, dan niet.

Het 3,9 GB-slot is waar dit interessant wordt.

Dit is het deel dat de tweegeneratieframing verbergt. Het meest kenmerkende artefact van de eerste generatie was de binaire build: een 27B-model in 3,9 GB, dat een door de leverancier gerapporteerde 89,5% van FP16 behield op een gemiddelde van 76,11 over 15 benchmarks. Bonsai 2 heeft geen binaire 27B. Maar Bonsai 2 heeft wel een 9B van 1,997 GB in de dense-trit-packing en 2,42 GB in de 2-bit-slot-packing — ongeveer de helft van de voetafdruk van de binaire 27B, uit de nieuwere generatie en het nieuwere basismodel.

Is de 9B beter dan de 1-bit 27B? De leverancier rapporteert geen getal dat die vraag beantwoordt, en je moet er ook geen construeren. De twee modellen zijn geëvalueerd op verschillende suites — 19 benchmarks verdeeld over zes vaardigheidsgebieden voor de kleine Bonsai 2-modellen, 15 voor de eerste-generatie 27B — tegen verschillende baselines, en de release-rapporten van de kleine modellen melden categorieretentie ten opzichte van hun eigen Qwen3.5-tegenhangers in volledige precisie, in plaats van één enkel absoluut gemiddelde dat vergelijkbaar is met de 76,11 van de 27B. De vergelijkingen die wél bestaan, zijn per benchmark en wijzen in beide richtingen. Volgens de cijfers van de leverancier scoort de 9B 71,81 op BFCLv3 en 73,02 op Tau2Bench, terwijl de binaire 27B 74,41 behaalde op BFCL v3 — dicht genoeg bij elkaar dat het verschil in suite dat overschaduwt.

Wat zonder te ver te gaan gezegd kan worden, is beperkter en nog steeds nuttig: de voetafdrukklasse die de binaire 27B voorheen alleen bezat, heeft nu een goedkopere nieuwkomer uit de volgende generatie, en de twee liggen zo dicht bij elkaar dat niemand op basis van een leverancierstabel tussen hen zou moeten kiezen. Dat is een pleidooi om op je eigen prompts te meten, niet om een getal te vertrouwen. Het is ook de enige plek in deze vergelijking waar het antwoord werkelijk geen van de twee modellen in de titel is.

Ze runnen: de cijfers en het addertje onder het gras

Doorvoercijfers zijn door leveranciers gemeten en niet op dezelfde machine verkregen, dus lees ze als orden van grootte in plaats van als een rangschikking.

• Bonsai 2 27B op een Apple M5 Max — ongeveer 47 tok/s op de eerdere pre-rotation-build; hermeting op de huidige stack staat nog te gebeuren

• Bonsai 2 27B op een M5 Pro — 28,1 tok/s in de 2-bit-slot-packing, bij ongeveer 27,5 W op de GPU-rail

• Bonsai 2 27B op een RTX 5090 — 129,9 tok/s in de 2-bit-slot-packing, 120,5 in de dense-trit-packing

• Eerste generatie ternaire Bonsai 27B op een M5 Max — 44,0 tok/s; op een H100, 98,0 tok/s, oplopend tot ongeveer 131,8 met zijn DSpark-draftmodel

• Eerste generatie binaire Bonsai 27B op een iPhone 17 Pro Max — ongeveer 11 tok/s, thermisch beperkt

Het addertje onder het gras is de verpakking, en die pakt voor beide generaties hetzelfde uit. Voor geen van beide generaties zitten de ternaire kernels in upstream llama.cpp. De eerste generatie heeft voor elk bestand de Prism ML-fork nodig. Bonsai 2 levert drie verpakkingen van dezelfde gewichten, en upstream llama.cpp draait er precies één van — Q2_0, in recente master — terwijl het de kleinere PTQ1_0 en de snellere PQ2_0 als onbekende typen afwijst. Dus de dense-tritverpakking die het dichtst bij de theoretische 1,72 bits per gewicht uitkomt, is ook degene die een geforkte build vereist.

Dat is het overdenken waard, want het verklaart de Ollama-vermelding. De Ollama-tags voor Bonsai 2 leveren Q2_0: de modellaag van de 9B-tag meet 2,557 GB, byte voor byte de bestandsgrootte van Q2_0 op Hugging Face, en het kleinste PTQ1_0-pakket ontbreekt volledig in het register. Wat die vermelding ook verder is, het is geen route naar het kleinste artefact. Hier worden gemak en omvang tegen elkaar ingeruild, en die ruil is onzichtbaar tenzij je de bestandsgroottes leest.

Bij een van beide komen

Als je op Ollama zit, wordt de beslissing voor je genomen: Bonsai 2, vier formaten, ollama pull bonsai-2:27b of :9b, ongeveer 8,3 GB en 3,2 GB op schijf, inclusief de vision-projector. Als je de dense-trit-packing, de drafters voor speculatieve decoding of iets uit de eerste generatie nodig hebt, is dat een Hugging Face-download en een fork-build, en de demo-repository van de leverancier is de geteste referentie voor dat traject.

Waar een routinglaag hier echt helpt, is aan de andere kant van de vraag. Je kunt naar geen van deze twee routeren — het zijn lokale gewichten, en OrcaRouter serveert vandaag geen enkele Bonsai-grootte. Wat OrcaRouter je geeft, is de vergelijkingsbasis: één API voor meer dan 200 gehoste modellen met 0% markup, waarbij de lijstprijs van de provider wordt doorgegeven, met automatische failover tussen providers. De verstandige volgorde voor de meeste teams is om op een gehost model vast te stellen wat een taak echt nodig heeft, en dan te beslissen of een lokaal model van 2 GB, 3,9 GB of 6 GB die lat haalt — in plaats van te gokken op basis van een retentiepercentage.

Welke, concreet?

• Je wilt de nieuwste ternaire generatie op 27B en een installatie met één commando — Bonsai 2 27B via Ollama, waarbij je de Q2_0-packing en de grotere grootte op schijf accepteert.

• Je wilt de kleinst mogelijke artefacten van de 27B-klasse, of je bent afhankelijk van de DSpark-drafter — eerste generatie Bonsai 27B van Hugging Face, met de fork-build. Niets in Bonsai 2 vervangt het op 27B.

• Je draaide de binaire build van 3,9 GB en die voetafdruk moet standhouden — ga er niet van uit dat Bonsai 2 een opvolger heeft. Blijf, of meet Bonsai 2 9B af tegen je eigen prompts; het is half zo groot en een generatie nieuwer, en de leverancier heeft geen vergelijking gepubliceerd die uitsluitsel geeft.

• Je hebt vier grootteklassen nodig vanuit één runtime — Bonsai 2 is de enige generatie die dat biedt.

Eén ding om in de gaten te houden dat dit alles zou vereenvoudigen: een ptq1_0 tag die op de Ollama-lijst verschijnt. Dat zou betekenen dat de dense-trit-kernels de engine hebben bereikt die Ollama meelevert, dat de fork-vereiste voor het kleinste pakket komt te vervallen, en dat de afweging tussen gemak en footprint ophoudt een afweging te zijn.

Niets daarvan is hypothetisch: de gedocumenteerde AI-fouten en agent-incidenten achter releases zoals deze zijn verzameld in the OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en markering voor betwisting bevat.