Bonsai 27B: 27B-modellen i Bonsai-familjen, förklarad

Bonsai 27B är modellen med 27 miljarder parametrar i PrismML:s Bonsai-familj, och det är den man menar när man skriver "bonsai 27b" — men namnet i sig leder dig inte dit, eftersom tre olika saker svarar mot något som ligger nära det. Bonsai 27B är en lågbitarsombyggnad av Qwen3.6-27B, daterad 14 juli 2026 enligt leverantörens eget tillkännagivande, och den levereras som två paket av samma modell: 1-bit Bonsai 27B, som lagrar binära {−1, +1}-vikter i cirka 3,9 GB, och Ternary Bonsai 27B, som lagrar ternära {−1, 0, +1}-vikter vid 1,71 effektiva bitar per vikt — 5,9 GB i leverantörens rubriksiffra, 7,165 GB när paketet faktiskt levereras. Den är inte Ternary Bonsai 2 27B, den separat namngivna andra generationen som bygger på Qwen3.8-27B, och den är inte den 2 miljarder parametrar stora vision-språkmodellen som PrismML byggde för Snapdragon AR1 Gen 1-smartglasögon. Båda paketen av Bonsai 27B har en kontext på 262 000 token, ett kompakt 4-bitars visionstorn och en Apache 2.0-licens. Modellen är Bonsai 27B; beslutet som följer är vilket av dess två paket som passar din minnesbudget.

Den här sidan är referensen för den modellen. Det är inte ett tillkännagivande: Bonsai 27B har varit tillgänglig sedan juli 2026, och frågorna som är värda att besvara om den nu är de som en läsare kommer med – vad den exakt är, vad namnet särskiljer och vad det faktiskt kostar att köra den.

Vilken är 27B?

Förväxlingsrisken här är verklig, och den är värd att reda ut innan något annat, eftersom en felaktig gissning skickar dig till en modell med 2 miljarder parametrar eller till fel generation av den rätta.

• Bonsai — familjenamnet, och leverantörens namn på det. I sig självt identifierar det inget du kan ladda ner. PrismML har släppt Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B och Bonsai Image, plus glasögonmodellen med 2 miljarder parametrar, och en tidigare utgåva från april 2026 som heter Ternary Bonsai för den mindre linjen. En sökning på det enskilda ordet hamnar slumpmässigt i den uppsättningen.

• Bonsai 27B — ämnet för denna sida. Första generationen i 27B-serien, härstammar från Qwen3.6-27B, daterad 14 juli 2026. När en sida säger "Bonsai 27B" utan någon annan kvalificerare och utan "2", är det den här modellen som avses, och det här är namnet som ska användas.

• Ternary Bonsai 27B — inte en annan modell. Det är det kvalitetsinriktade paketet av Bonsai 27B: samma 27B-modell, samma arkitektur och samma bas, med ternära vikter i stället för binära. Repositoriet heter Ternary-Bonsai-27B-gguf, och dess modellkort anger Qwen3.6-27B som bas, precis som det binära kortet gör. ”Ternary” här är ett viktformat, inte en version.

• Ternary Bonsai 2 27B — en genuint annorlunda modell. Andra generationen i 27B-serien, byggd på Qwen3.8-27B och tillkännagiven den 17 september 2026, med en annan parameterfördelning och ett annat kvalitetsanspråk. Hela skillnaden bärs av "2:an".

• 1-bit Bonsai 2B — en annan familjemedlem i en annan skala: en bildspråklig modell med 2 miljarder parametrar för hårdvara i glasögonklass, inte en 27B-modell oavsett precision.

Så om du kom hit för att avgöra vilken av dessa som är 27B-modellen, är svaret att den tredje och fjärde raden ovan är samma modell i två viktformat, och den femte är den som inte är det. I praktiken: kalla den Bonsai 27B, och lägg till paketet när det spelar roll.

Specifikationen, från modellkortet

Alla siffror i det här avsnittet kommer från PrismML:s publicerade modellkort för de två paketen, och det är leverantörens egen uppgift om sin egen modell. När en siffra är ett påstående snarare än en mätning, märks den som ett sådant.

• Parametrar — cirka 27,3B totalt, och ”27B” syftar på helheten. Uppdelningen är värd att känna till eftersom den förklarar minnesbeteendet: ungefär 24,8B ligger i språkstommen fördelat över 64 block, ungefär 2,5B i inbäddningen och LM-huvudet, och cirka 0,46B i ett visionstorn med 27 block. Lågbitrepresentationen tillämpas från början till slut – inbäddningar, attention, MLP:er och LM-huvudet – utan något kryphål för högre precision någonstans i språknätverket.

•Kontext — hela 262 000 tokens, utan någon långkontextvariant och utan någon reducerad kontextvariant. Kostnaden för det fönstret hanteras i stället för att betalas direkt: stommen är hybrid, så bara 19 av dess 64 lager behåller en full attention-cache, och den cachen lagras i en nästan förlustfri 4-bitars form. Vid det fulla 262K-fönstret är den komprimerade cachen det som håller modellen inom ungefär 9,4 GB på den binära packen och 12,8 GB på den ternära.

• Modalitet — text och bilder, båda paketen. Visionstornet levereras i ett kompakt 4-bitarsformat (0,63 GB) tillsammans med en BF16-kopia (0,93 GB). Vision är också där komprimeringen kostar mest, vilket tas upp nedan.

• Viktformat och storlek — 1-bit Bonsai 27B använder binära {−1, +1}-vikter med FP16-gruppvis skalning, packade som GGUF Q1_0_g128 vid verkliga 1,125 effektiva bitar per vikt; den levererade filen är 3,803 GB, och kortet avrundar det driftsatta minnesavtrycket till cirka 3,9 GB. Ternary Bonsai 27B använder ternära {−1, 0, +1}-vikter med samma gruppvisa skalning; ett ternärt värde bär log₂3 ≈ 1,585 bitar information, så representationens golv är ~1,71 bitar per vikt, vilket i idealfallet uppgår till 5,9 GB. Det publicerade ternära paketet är större än detta ideal, eftersom dagens kärnor lagrar varje ternärt värde i en 2-bitarsplats — 2,125 bitar per vikt vid drift — och den levererade filen är 7,165 GB. PrismML anger båda siffrorna i stället för bara den smickrande, och gapet mellan dem är en kernelbegränsning snarare än ett modelleringsval.

• Licens — Apache 2.0 på båda paketen, vilket anges i båda repositorierna och i leverantörens tillkännagivande. Det är en tillåtande licens utan begränsning av användningsområde, vilket spelar större roll i den här viktstorleken än i de flesta.

• Basmodell — Qwen3.6-27B i båda fallen. Detta är en omkomprimering av någon annans modell snarare än en modell tränad från grunden, och konsekvensen är att Bonsai 27B:s kapacitetstak och dess uppdateringstakt båda följer den uppströms 27B-linjen snarare än PrismML:s.

Den ternära relationen, uttryckt en gång

De två paketen är en och samma modell, och den ärliga sammanfattningen är att ternär köper kvalitet och binär köper fotavtryck, med ett gap mellan dem som är mindre än vad storleksskillnaden 3,9 GB mot 7,2 GB antyder.

I PrismML:s egen svit med 15 benchmarks i tänkandeläge får FP16-baslinjen Qwen3.6-27B 85,07. Ternär Bonsai 27B får 80,49 – 94,6 % bibehållande, vilket leverantören avrundar till cirka 95 %. 1-bitars Bonsai 27B får 76,11 – 89,5 %, avrundat till cirka 90 %. Så det kvalitetsinriktade paketet tar igen ungefär halva avståndet mellan det binära paketet och full precision, samtidigt som det kostar cirka 3,3 GB mer, och det binära paketet är det som får plats i en telefon med 12 GB. Samma svit visar ett 4-bitars Q4_K_XL-bygge av samma baslinje på 84,99, eller 99,9 % bibehållande, i 17,6 GB – vilket är jämförelsen som förklarar varför något av lågbitpaketen överhuvudtaget finns, eftersom det slår dem i kvalitet och förlorar på varje enhet som har mindre än 18 GB att ge en modell.

Där den binära packningen ger vika är ojämnt, och det användbara är uppdelningen i kategorier. Jämfört med FP16-baslinjen sjunker den från 95,33 till 91,66 på matematik och 88,74 till 81,88 på kodning, men från 78,47 till 65,74 på instruktionsföljning, 80,00 till 66,03 på agentiskt arbete och arbete med verktygsanrop, och 72,61 till 59,57 på vision. Om din arbetsbelastning är aritmetik eller kodkomplettering är 3,9 GB nästan gratis. Om det är verktygsanropande agenter eller bildförståelse är det där man faktiskt betalar för komprimeringen.

Modellkortet publicerar också en härledd siffra som det kallar intelligensdensitet – aggregerad poäng per gigabyte, normaliserad så att en perfekt poäng närmar sig oändligheten. Enligt det måttet når 1-bit Bonsai 27B 0,530 och Ternary Bonsai 27B 0,400, mot 0,199 för en 2-bitars IQ2_XXS-build av samma baslinje, 0,155 för en 4-bitars Q4_K_XL-build och 0 för FP16-modellen. Det intressanta talet i den listan är den första jämförelsen: den binära paketeringen slår den konventionella 2-bitarsbuilden i aggregerad kvalitet med mindre än halva fotavtrycket, vilket är hela tesen för familjen på en rad.

Den fullständiga direktjämförelsen mellan de två paketen, och varifrån siffrorna för vart och ett av dem kommer, finns på sidan Bonsai vs Bonsai 27B på den här bloggen, tillsammans med modellen med 2 miljarder parametrar som delar familjenamnet.

En fråga som kommer med den här modellen förtjänar ett sakligt svar och inget mer. Paketen är lågbitarskodningar av samma underliggande modell snarare än en omtränad variant, och repositorierna publicerar ingen separat finjusterad eller ocensurerad checkpoint bredvid dem – den enda fullprecisionsartefakten som erbjuds är en uppackad FP16-konvertering av samma vikter, publicerad så att du kan jämföra ett komprimerat paket mot dess egen baslinje i standardverktyg.

Vikter och licens, från repositorierna

Bonsai 27B:s vikter publiceras på Hugging Face under organisationen prism-ml, och filförteckningen är det mest konkreta med lanseringen. Det binära paketets repo innehåller själva modellen på 3,803 GB, en FP16-GGUF av samma modell på 53,808 GB för jämförelse, en DSpark-draftmodell för spekulativ avkodning på 1,787 GB i 4-bit och 7,292 GB i BF16, samt visionstorn på 0,931 GB och 0,629 GB. Det ternära repot innehåller sitt eget paket på 7,165 GB plus en andra packning på 7,585 GB, som är group-64 i stället för group-128 och upstream-kompatibel i stället för optimal, samt samma drafter- och visionsfiler. Båda reporna är Apache 2.0 och båda anger Qwen3.6-27B som bas.

Två saker följer av den listan. Det första är att 53,808 GB mot 3,803 GB är förhållandet på 14,2x som modellkortet inleder med, och det är kontrollerbart snarare än påstått – filen med full precision finns ju där. Det andra är att släppet är tyngre än modellen: om man även tar med draftmodellen och visionstornet, vilket den multimodala vägen kräver, lägger man till ungefär 2,4 GB ovanpå en modell på 3,9 GB. Huvudnumret på 3,9 GB avser språkvikterna, inte driftsättningen.

Nedladdningar är det enda område där det kvalitetsorienterade paketet leder: i oktober 2026 har det ternära GGUF-förvaret passerat 590 000 nedladdningar mot drygt 400 000 för det binära paketet, medan MLX-behållarna för båda ligger på över en miljon vardera. Det mönstret tyder på att merparten av den här modellen körs på Apple-hårdvara snarare än på servrar, och att de som laddar ner den köper de extra fem poängen i retention snarare än den minsta möjliga filen – vilket i stort sett är vad leverantören utformade paret för.

Kör det

Det du kan få idag är fyra typer av artefakter per paket, och vilken du vill ha avgörs av din runtime snarare än av kvalitet.

• GGUF för llama.cpp — den primära vägen, och den som lågbitkärnorna skrevs för. Båda paketen är llama.cpp-byggen för CUDA, Metal och CPU, men 1-bitars- och ternärkärnorna finns i PrismML:s egen fork snarare än i uppströmsversionen, så vanlig llama.cpp kommer ännu inte att kunna ladda dem korrekt. Group-64-ternärpackningen finns just för de fall där du behöver kompatibilitet med uppströmsversionen och är villig att ta 7,585 GB i stället för 7,165 GB för att få det.

• MLX för Apple silicon — separata levererade containrar på 5,129 GB för det binära paketet och 8,491 GB för det ternära. Observera att MLX-binärcontainern är större än GGUF-binärpaketet, vilket är en skillnad i container-overhead snarare än en annan modell.

• AWQ 4-bit för serverramverk — en 4-bitarsversion av varje modell för de serveringsramverk som förväntar sig en AWQ-checkpoint, i nio shards med totalt 18,70 GB, inklusive ett multi-GPU-recept. Det här är inte en lågbitarsartefakt; det är samma modell vid en precision som är vettig i ett rack, och den byter bort hela anledningen till att modellen finns.

• Unpackade FP16-safetensors — den kompletta modellen på ~54 GB i standardformat från Hugging Face, publicerad uttryckligen för ramverk som ännu inte stöder 1-bitarsvikter inbyggt. Leverantören säger att denna artefakt kommer att avvecklas när lågbitkärnorna landar uppströms.

Den uppmätta avkodningsgenomströmningen för binärpaketet, enligt modellkortets egen tabell, är 66,4 tokens per sekund på en M5 Max, 44,2 på en M5 Pro, 26,0 på en M4 Pro och 104,8 på en H100, med prefill på 874, 421, 133 respektive 2 755 tokens per sekund. Sidan med tillkännagivandet anger högre toppvärden – upp till 87 tokens per sekund på en M5 Max och 163 på en RTX 5090 – vilka är leverantörens egen bästa möjliga konfiguration snarare än tabellens. Betrakta de två uppsättningarna som olika mätbetingelser, inte som en motsägelse, och betrakta båda som leverantörsrapporterade. Toppminnet, återigen enligt kortet, är 5,2 GB vid en 4K-kontext, 5,6 GB vid 10K och 11,6 GB vid 100K för binärpaketet, samt 8,4, 8,7 och 14,7 GB för ternärpaketet – med förbehållet att dessa siffror är från före 4-bitars KV-cachen, som är det som får hela 262K-fönstret ner till ensiffriga gigabyte.

DSpark-draftaren är valfri och värd att förstå innan du aktiverar den, eftersom den inte förändrar något i utdata: den är en sexlagers blockparallell transformer som betingas på dolda tillstånd som avläses från fem jämnt fördelade mållager, den lägger till cirka 0,5 GB vid serveringsprecision, och den verifierar mot målmodellen i stället för att sampla på egen hand. Det är därför leverantören kan ange en hastighetsökning på 1,37x i CUDA utan att röra kvalitetssiffrorna. Den är inte aktiverad som standard på Apple silicon.

Den intressanta ingenjörsfrågan är var den lokala modellen tar slut, och det är en routingfråga snarare än en modellfråga. En modell på 3,9 GB på en bärbar dator hanterar det som får plats i dess kontext; allt annat måste ta vägen någonstans, och den någonstansen är en hostad modell bakom ett API. OrcaRouter är det lagret – en enda slutpunkt för över 200 hostade modeller med 0 % påslag på leverantörernas listpriser, automatisk redundansväxling mellan leverantörer, och eskaleringsregeln från en lokal nivå till en hostad nivå uttryckt som konfiguration i stället för att sättas ihop för hand. Det är lagret ovanför en lokal modell, inte en ersättning för den.

Jämförelseindexet

Bonsai 27B ingår i en familj där varje granne svarar på en egen fråga, och det här är sidorna som tar sig an var och en — ingen av dem argumenteras på nytt här.

• Bonsai mot Bonsai 27B – 2-miljardersparametermodellen för glasögon mot den här: sexton gånger så många parametrar och tvåhundrafemtiosex gånger så mycket kontext, och varför familjenamnet inte säger något om vad du laddar ner. Sidan är ett blogginlägg här, inte en hostad modell, vilket är en distinktion som är värd att hålla reda på i den här familjen.

• Bonsai 27B mot Qwen3.8-27B — duellen mellan den här modellen och den nyare basen som den inte använder. En dedikerad sida i den här omgången innehåller den jämförelsen, och eftersom de två modellerna har liknande namn och ligger en generation ifrån varandra är den värd att läsas på sina egna villkor snarare än som en förlängning av den här specifikationen.

• Bonsai vs Ternary Bonsai 2 27B — generationsklivet, och det faktum att de två utgåvorna redovisar sin kvalitet mot två olika måttstockar: bibehållande av en baslinje i det ena fallet, ett jämförande påstående i det andra.

• Ternary Bonsai 2 27B — den andra generationen fristående, på Qwen3.8-27B, för läsare som har bestämt sig för att de vill ha den nyare modellen snarare än den här.

Vad är inte avgjort

Varje kvalitetssiffra på den här sidan är PrismML:s, uppmätt i PrismML:s egen svit med 15 benchmarks, och ingen utanför företaget har publicerat en reproduktion av den. Det är den enskilt största luckan i det som är känt om Bonsai 27B: komprimeringspåståendena är ovanligt specifika och ovanligt kontrollerbara, och de har ännu inte granskats av en tredje part. Leverantören är också tydlig med att agentisk kodning – långsiktiga arbetsflöden över flera filer med kör-och-reparera-steg – inte är ett starkt mål för den här utgåvan och att en variant som är anpassad för det är nästa punkt på färdplanen, vilket stämmer med förlusterna i verktygsanrop och instruktionsföljning i kategoriuppdelningen ovan. Tills en oberoende utvärdering finns bör både retentionssiffran och densitetsrankningen läsas som leverantörens ståndpunkt snarare än som ett etablerat resultat.

Det som är avgjort är mindre och mer användbart: vikterna finns, storlekarna går att kontrollera mot filförteckningen, licensen är Apache 2.0, och de två paketen skiljer sig åt med ungefär 3,3 GB i utbyte mot ungefär fem punkter i bibehållen kvalitet. Det räcker för att välja mellan dem. Vilket av dem som är rätt för dig beror på om din arbetsbelastning liknar mer aritmetik eller mer verktygsanrop, och kategorisiffrorna ovan är det bästa tillgängliga underlaget för det beslutet i dag.