Bonsai 2 vs Ternary Bonsai 2 27B: Familjenamnet gör två jobb

Sök efter Bonsai 2 och du landar på ungefär fem olika artefakter med fotavtryck som spänner över en storleksordning, och det är inte uppenbart utifrån namnet vilken av dem en given artikel handlar om. Ternary Bonsai 2 27B är den specifika — en enda ternär modell i 27B-klassen byggd på Qwen3.8-27B, som tillkännagavs den 17 september 2026 och levereras som ett 5,95 GB dense-trit-paket eller ett 7,21 GB 2-bit-slot-paket. Bara Bonsai 2 är paraplyet: samma namn täcker Ternary Bonsai 2 2B, Ternary Bonsai 2 4B och Ternary Bonsai 2 9B, tre mycket mindre modeller byggda på Qwen3.5 och som tillkännagavs den 15 oktober 2026, och det täcker nu också en Ollama-bibliotekspost som erbjuder alla fyra storlekar under en och samma taggfamilj.

Så det här är inte den vanliga direkta jämförelsen. Den ena sidan är en delmängd av den andra, och den användbara frågan är inte vilken som är bättre utan vilken av dem en läsare som skrivit in "Bonsai 2" i en sökruta faktiskt vill ha. Svaret hänger på något som namngivningen döljer: familjen är två familjer, uppdelade efter basmodell, och uppdelningen infaller inte där storlekssiffrorna antyder.

Två familjer som bär ett namn

Läs GGUF-huvudena i de publicerade filerna och sömmen finns precis där i ett metadatafält. Varje Bonsai 2-artefakt — 2B, 4B, 9B och 27B likaså — rapporterar general.architecture = qwen35. Den strängen är Qwen3.5:s hybrid-attention-stomme, och för de tre små är den exakt rätt: modellkorten listar Qwen3.5-2B, Qwen3.5-4B och Qwen3.5-9B som basmodeller med arkitekturen oförändrad. 27B är ett annat djur. Dess bas är Qwen3.8-27B, en nyare och starkare 27B hybrid-attention-modell, och den råkar dela arkitektursträngen eftersom Qwen3.8 behåller samma familj av stomme.

Leverantörens egna releaseanteckningar gör delningen synlig om man läser dem sida vid sida och osynlig om man bara läser en av dem. Inlägget den 15 oktober för de små modellerna säger att de är "baserade på Qwen3.5" och beskriver dem som att de ansluter till Bonsai 2 27B – vilket korrekt framställs som något annat. Inlägget den 17 september för 27B säger Qwen3.8-27B. Två tillkännagivanden, två basmodeller, ett familjenamn, och en tredjepartsartikel som säger "Bonsai 2 är baserad på Qwen3.5" har fel om 27B medan den framstår som perfekt välunderbyggd.

Det spelar roll eftersom basmodellens generation inte är någon detalj här. Den sätter kapacitetstaket, den avgör vad retentionsprocenterna är procent av, och det innebär att de små modellernas benchmark-siffror och 27B:s benchmark-siffror inte är två punkter på en och samma kurva – de är två separata rapporter mot två separata baslinjer. Var misstänksam mot alla tabeller som ställer upp dem i en och samma kolumn.

Siffrorna, sida vid sida

Samtliga siffror är leverantörsrapporterade av Prism ML; inga har reproducerats oberoende.

• Basmodell — Ternary Bonsai 2 2B / 4B / 9B: Qwen3.5-2B, -4B, -9B respektive; Ternary Bonsai 2 27B: Qwen3.8-27B

• Meddelades — 15 oktober 2026 för de tre små; 17 september 2026 för 27B

• Minsta språkmodellpaketet — 0,429 GB PTQ1_0 vid 2B; 1,997 GB PTQ1_0 vid 9B; 5,947 GB PTQ1_0 vid 27B

• Standardpaket — PQ2_0 för alla: 0,517 GB, 1,146 GB, 2,417 GB och 7,206 GB respektive

• Bitar per vikt — ~1,83 vid 2B, ~1,81 vid 4B, ~1,78 vid 9B, 1,72 ideal / 1,75 packat vid 27B

• Kontext — 262 144 tokens i hela familjen, ärvda från Qwen-stommen

• Vision — ett separat mmproj-paket för varje storlek, som endast laddas när en bild anländer

• Licens — Apache 2.0 genomgående

• Bibehållande enligt rapporten – 27B: 98,2 % av Qwen3.8-27B FP16 över 14 benchmarks; små modeller: 19 benchmarks över sex färdighetsområden, rapporterat som bibehållande per kategori mot deras egna Qwen3.5-baslinjer

En rad i den listan är anledningen till att 27B kostar 5,95 GB där 9B kostar 2,00 GB, och det beror inte bara på antalet parametrar. 27B beskrivs som "end-to-end ternär" över inbäddningar, uppmärksamhetsprojektioner, MLP-projektioner och LM-huvudet, med en avgörande detalj: en liten uppsättning tensorer – den återkommande tillståndsvägen för de linjära uppmärksamhetslagren plus normaliseringsvikterna, omkring 26,2 miljoner parametrar, 0,0976 % av språkmodellen – förblir i högre precision, och den återstoden är vad som flyttar huvudsiffran från 1,71 till 1,72 bitar per vikt. På 9B ger samma maskineri ~1,78. Den större modellen är mer effektiv per vikt, inte mindre, eftersom den fasta overheaden för hög precision amorteras över tio gånger så många parametrar. Om du resonerar kring vilken storlek du ska välja utifrån en tabell över bitar per vikt, är det den riktning tabellen pekar i.

Där de små modellerna faktiskt vinner

Inte på kvalitet – på påståendets form. Lanseringen av den lilla modellen är den enda i den här familjen som publicerar ett påstående om verbositet, och det är det mest kontrollerbara inslaget i någon av de båda annonseringarna: Prism ML rapporterar att 9B använder ungefär 40 % färre tokens på standarduppgifter för instruktionsföljning och vardagsmatematik. Det är ett påstående om utdatalängd, inte förmåga, och du kan verifiera det mot dina egna prompts på en eftermiddag. Samma inlägg listar att undvika repetitiva loopar och att kontrollera verbositet som uttalade utvecklingsprioriteringar, vilket är den typ av sak man skriver när ens tidigare generation hade ett problem.

Det är också den enda versionen som rapporterar en bibehållning över 100 % inom flera kategorier – 121,5 % på instruktionsföljning för 2B, 107,8 % på matematik, 115,0 % på kodning – jämfört med Qwen3.5-baslinjerna i full precision. Det är leverantörens egna siffror på leverantörens egen svit, och att en komprimerad modell får högre poäng än sin källmodell på en handplockad benchmark är ett påstående om träning och testrigg minst lika mycket som om ternär aritmetik. 27B:ns rapport är mer konservativt utformad – 84,78 mot 86,32, med matematik på 96,57 mot 97,06 och kodningsnivån på 89,42 mot 89,07, och med förlusten koncentrerad till kunskap/resonemang och vision – vilket är profilen en 1,7-bitars representation bör ge. När en rapports förluster hamnar exakt där teorin förutspår och en annans vinster hamnar i de kategorier leverantören valde att lyfta fram, är den asymmetrin information.

Förpackning: 27B:s tysta fördel

Sedan den 17 oktober 2026 går alla fyra storlekar att hämta som bonsai-2:2b, :4b, :9b och :27b från Ollama – nio taggar totalt, och varje storlek har även ett -q2_0-alias. Det är nytt, det är oannonserat av leverantören, och det är värt att veta vad det faktiskt levererar. Ollamas taggar motsvarar Q2_0-packningen, den enda som uppströms llama.cpp kan läsa in. dense-trit PTQ1_0-paketen – de minsta filerna i familjen – finns inte alls i registret. Så den bekväma vägen och den lilla vägen är olika vägar, på samma sätt för alla fyra storlekar.

Det som skiljer 27B är vad den inte levererar. 4B och 9B kommer vardera med två valfria utkastmodeller för spekulativ avkodning: ett MTP-huvud inbyggt i 2-bitars slot-paketet, och en DFlash2-blockutkastare som hjälper vid kopieringstungt arbete och är långsammare än vanlig avkodning vid allmän chatt. 2B levereras medvetet utan en — leverantörens anteckning är att vid den storleken är ett avkodningssteg redan billigt och swept-depth-drafting uppmättes långsammare på vardagliga prompter än vanlig avkodning. 27B:s generation tog bort motsvarande utkastare som dess föregångare i första generationen hade.

Det är en verklig skillnad i förmåga mellan storlekarna, och den syns inte alls på Ollama-sidan.

Att bestämma sig, och vad man ska göra med svaret

27B är den att välja om arbetsbelastningen är långsiktigt resonemang: kod, matematik, agentiska verktygskedjor, långa dokument som hålls i en 262K-kontext. Det är den enda storleken i familjen med en basmodell från Qwen3.8-generationen, och leverantörens kategoriuppdelning säger att komprimeringen nästan inte kostar den något inom matematik och kodning medan den tar ut sin tribut inom kunskapsåterkallning och vision.

9B är den man tar till om begränsningen är minne snarare än svårighetsgrad: assistenter som körs lokalt på bärbara datorer, utrullningar på telefoner, allt där 2 GB kontra 6 GB är skillnaden mellan att leverera och inte. Dess publicerade profil är som starkast exakt där 27B:ns är svagast relativt baslinjen – instruktionsföljning och kontroll av mångordighet – vilket är vad en liten lokal assistent faktiskt spenderar sina tokens på. 2B och 4B finns för ännu stramare budgetar, och i de storlekarna blir retentionssiffrorna tillräckligt brusiga för att dina egna prompter ska vara en bättre vägledning än leverantörens tabell.

En kommentar om den jämförelse som de flesta läsare faktiskt kommer att göra, nämligen mot hostade modeller snarare än mot varandra. Ingen av Bonsai 2:s storlekar serveras via OrcaRouter, och den här artikeln antyder inte något annat – de är vikter du laddar ner. Men frågan ”är en lokal modell på 2 GB tillräckligt bra för den här uppgiften” besvaras genom att mäta mot något, och OrcaRouter sätter ett API framför över 200 hostade modeller med 0 % påslag med leverantörernas listpriser vidareförda, plus automatiskt failover mellan leverantörer och ett routing-DSL för att kombinera flera modeller i ett enda anrop. Sätt ribban med en hostad modell och testa sedan om den lokala klarar ribban på din hårdvara. Den ordningen sparar de veckor folk förlorar på att finjustera en nedladdning som aldrig skulle räcka.

En varning att ta med sig från den här artikeln. Båda släppen rapporterar retentionsprocent, båda är mätta av leverantören i leverantörens egen testrigg, och i dag har ingen tredje part reproducerat någon av dem. Det enda du själv kan verifiera är artefakten – filstorlekarna, paketeringarna, GGUF-metadata, licensen och genomströmningen på din egen maskin. Det är där man ska börja, och det är också där de två tillkännagivandena slutar likna varandra: 27B:s fristående paketstorlekar publiceras per fil på Hugging Face, och de små modellernas omtalade fotavtryck på 0,43 GB, 0,95 GB och 2 GB avser enbart språkmodellen, med visionstornet exkluderat. Jämför dem på samma villkor, annars kommer 9B att framstå som om den förlorade en argumentation som den aldrig har haft.

Inget av detta är hypotetiskt: de dokumenterade AI-felen och agentincidenterna bakom släpp som detta samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, tillförlitlighetsgrad och omtvistad flagga.