Bonsai 27B: Model 27B w rodzinie Bonsai — wyjaśnienie

Bonsai 27B to model o 27 miliardach parametrów z rodziny Bonsai firmy PrismML — ten, który ludzie mają na myśli, gdy wpisują „bonsai 27b” — ale sama nazwa nie wystarczy, by do niego trafić, ponieważ trzy różne rzeczy noszą bardzo podobną nazwę. Bonsai 27B to niskobitowa przebudowa Qwen3.6-27B, datowana na 14 lipca 2026 r. według własnego ogłoszenia dostawcy, i jest dostarczany jako dwa pakiety tego samego modelu: 1-bit Bonsai 27B, który przechowuje binarne wagi {−1, +1} w około 3,9 GB, oraz Ternary Bonsai 27B, który przechowuje trójkowe wagi {−1, 0, +1} przy 1,71 efektywnego bitu na wagę — 5,9 GB w nagłówkowej wartości dostawcy, 7,165 GB w przypadku faktycznie dostarczanego pakietu. To nie jest Ternary Bonsai 2 27B, osobno nazwana druga generacja zbudowana na Qwen3.8-27B, i nie jest to model wizyjno-językowy o 2 miliardach parametrów, który PrismML zbudował dla inteligentnych okularów Snapdragon AR1 Gen 1. Oba pakiety Bonsai 27B mają kontekst 262 000 tokenów, kompaktową 4-bitową wieżę wizyjną i licencję Apache 2.0. Model to Bonsai 27B; kolejna decyzja dotyczy tego, który z jego dwóch pakietów zmieści się w twoim budżecie pamięci.

Ta strona jest dokumentacją referencyjną tego modelu. To nie jest ogłoszenie: Bonsai 27B jest dostępny od lipca 2026 r., a pytania, na które warto teraz odpowiedzieć, to te, z którymi przychodzi czytelnik — czym dokładnie jest, co odróżnia ta nazwa i ile faktycznie kosztuje jego uruchamianie.

Który z nich to 27B?

Możliwość pomylenia jest tutaj realna i warto ją rozstrzygnąć przed czymkolwiek innym, ponieważ błędny domysł kieruje cię do modelu z 2 miliardami parametrów albo do niewłaściwej generacji właściwego modelu.

• Bonsai — nazwa rodziny i nazwa nadana jej przez dostawcę. Sama w sobie nie identyfikuje niczego, co można pobrać. PrismML wydało Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B i Bonsai Image, a także model okularów z 2 miliardami parametrów oraz wcześniejsze wydanie z kwietnia 2026 r. o nazwie Ternary Bonsai dla mniejszej linii. Wyszukanie samego słowa losowo trafia w ten zbiór.

• Bonsai 27B — temat tej strony. Pierwsza generacja linii 27B, wywodząca się z Qwen3.6-27B, z dnia 14 lipca 2026 r. Gdy strona mówi „Bonsai 27B” bez żadnego innego określenia i bez „2”, chodzi właśnie o ten model i należy użyć właśnie tej nazwy.

• Ternary Bonsai 27B — nie jest innym modelem. To ukierunkowany na jakość pakiet Bonsai 27B: ten sam model 27B, ta sama architektura i ta sama baza, z wagami trójkowymi zamiast binarnych. Repozytorium nosi nazwę Ternary-Bonsai-27B-gguf, a jego karta modelu wskazuje Qwen3.6-27B jako bazę dokładnie tak, jak robi to karta binarna. „Ternary” w tym kontekście to format wag, a nie wersja.

• Ternary Bonsai 2 27B — naprawdę inny model. Druga generacja linii 27B, oparta na Qwen3.8-27B i ogłoszona 17 września 2026 r., z innym podziałem parametrów i inną deklaracją jakości. Cała różnica tkwi w „2”.

• 1-bit Bonsai 2B — inny członek rodziny w innej skali: model wizyjno-językowy o 2 miliardach parametrów dla sprzętu klasy okularów, a nie model 27B w jakiejkolwiek precyzji.

Więc jeśli przyszedłeś tu rozstrzygnąć, który z nich jest modelem 27B, odpowiedź brzmi: trzeci i czwarty wiersz powyżej to ten sam model w dwóch formatach wag, a piąty jest tym, który nim nie jest. W praktyce: nazywaj go Bonsai 27B i dodawaj pack, kiedy ma to znaczenie.

Specyfikacja, z karty modelu

Każda liczba w tej sekcji pochodzi z opublikowanych kart modeli PrismML dla obu pakietów i stanowi oświadczenie samego dostawcy o jego własnym modelu. Jeżeli dana liczba jest twierdzeniem, a nie wynikiem pomiaru, została jako taka oznaczona.

• Parametry — łącznie około 27,3 mld, a „27B" odnosi się do całości. Warto znać ten podział, ponieważ wyjaśnia on zachowanie pamięci: około 24,8 mld przypada na szkielet językowy w 64 blokach, około 2,5 mld na osadzenia i głowicę LM, a około 0,46 mld na 27-blokową wieżę wizyjną. Reprezentacja niskobitowa jest stosowana od początku do końca — osadzenia, uwaga, MLP i głowica LM — bez żadnej furtki do wyższej precyzji gdziekolwiek w sieci językowej.

• Kontekst — pełne 262 000 tokenów, bez wariantu długiego kontekstu i bez wersji z ograniczonym kontekstem. Koszt tego okna jest zarządzany, a nie ponoszony od razu: szkielet jest hybrydowy, więc tylko 16 z jego 64 warstw utrzymuje pełną pamięć podręczną uwagi, a ta pamięć podręczna jest przechowywana w niemal bezstratnym formacie 4-bitowym. Przy pełnych 262 000 to skompresowana pamięć podręczna utrzymuje to na poziomie około 9,4 GB w wariancie ternarnym i 12,8 GB?

• Modalność — tekst i obrazy, oba pakiety. Wieża wizyjna jest dostarczana w kompaktowej formie 4-bitowej (0,63 GB) wraz z kopią BF16 (0,93 GB). Wizja to również obszar, w którym kompresja kosztuje najwięcej, co omówiono poniżej.

• Format wag i rozmiar — 1-bit Bonsai 27B używa binarnych wag {−1, +1} z grupowym skalowaniem FP16, pakowanych jako GGUF Q1_0_g128 przy rzeczywistych 1,125 efektywnego bitu na wagę; dostarczany plik ma 3,803 GB, a karta zaokrągla wdrożoną zajętość do około 3,9 GB. Ternary Bonsai 27B używa trójwartościowych wag {−1, 0, +1} z tym samym grupowym skalowaniem; wartość trójwartościowa niesie log₂3 ≈ 1,585 bita informacji, więc dolna granica tej reprezentacji to ~1,71 bita na wagę, co daje 5,9 GB w wariancie idealnym. Opublikowany pakiet trójwartościowy jest większy od tego ideału, ponieważ dzisiejsze kernele przechowują każdą wartość trójwartościową w 2-bitowym slocie — 2,125 bita na wagę we wdrożeniu — a dostarczany plik ma 7,165 GB. PrismML podaje obie liczby, a nie tylko tę pochlebną, a różnica między nimi wynika z ograniczenia kerneli, a nie z wyboru modelowania.

• Licencja — Apache 2.0 w obu pakietach, podana w obu repozytoriach oraz w ogłoszeniu dostawcy. To licencja permisywna bez ograniczeń dotyczących pola zastosowania, co przy tej wielkości wag ma większe znaczenie niż w większości przypadków.

• Model bazowy — Qwen3.6-27B w obu przypadkach. To rekompresja cudzego modelu, a nie model wytrenowany od podstaw, w związku z czym zarówno pułap możliwości Bonsai 27B, jak i jego cykl odświeżania podążają za upstreamową linią 27B, a nie za linią PrismML.

Relacja trójargumentowa, sformułowana raz

Oba pakiety to jeden model, a uczciwe podsumowanie jest takie, że wersja ternarna daje jakość, a wersja binarna daje mniejszą zajętość, przy czym dzieląca je różnica jest mniejsza, niż sugeruje różnica rozmiarów 3,9 GB wobec 7,2 GB.

We własnym zestawie 15 benchmarków PrismML w trybie myślenia model bazowy FP16 Qwen3.6-27B uzyskuje wynik 85,07. Ternary Bonsai 27B uzyskuje 80,49 — 94,6% retencji, co producent zaokrągla do około 95%. 1-bit Bonsai 27B uzyskuje 76,11 — 89,5%, w zaokrągleniu do około 90%. Tak więc pakiet zorientowany na jakość odzyskuje około połowy dystansu między pakietem binarnym a pełną precyzją, kosztując około 3,3 GB więcej, a to pakiet binarny mieści się w telefonie z 12 GB. Ten sam zestaw pokazuje wersję 4-bitową Q4_K_XL tego samego modelu bazowego na poziomie 84,99, czyli 99,9% retencji, w 17,6 GB — i to właśnie to porównanie wyjaśnia, dlaczego którykolwiek z niskobitowych pakietów w ogóle istnieje, ponieważ przewyższa je jakością, a przegrywa na każdym urządzeniu, które może przeznaczyć na model mniej niż 18 GB.

To, gdzie pakiet binarny ustępuje, jest nierównomierne, a podział na kategorie jest tym, co użyteczne. W porównaniu z punktem odniesienia FP16 spada on z 95,33 do 91,66 w matematyce i z 88,74 do 81,88 w kodowaniu, ale z 78,47 do 65,74 w podążaniu za instrukcjami, z 80,00 do 66,03 w pracy agentowej i wywoływaniu narzędzi oraz z 72,61 do 59,57 w zadaniach wizyjnych. Jeśli Twoje obciążenie to arytmetyka lub uzupełnianie kodu, 3,9 GB jest niemal darmowe. Jeśli chodzi o agentów wywołujących narzędzia lub rozumienie obrazów, to właśnie tam faktycznie płaci się za kompresję.

Karta modelu publikuje również pochodną wartość, którą nazywa gęstością inteligencji — zagregowany wynik na gigabajt, znormalizowany tak, że doskonały wynik dąży do nieskończoności. W tym pomiarze 1-bit Bonsai 27B osiąga 0,530, a Ternary Bonsai 27B 0,400, wobec 0,199 dla 2-bitowej wersji IQ2_XXS tego samego modelu bazowego, 0,155 dla 4-bitowej wersji Q4_K_XL i 0,051 dla modelu FP16. Ciekawą liczbą na tej liście jest pierwsze porównanie: binarna paczka przewyższa konwencjonalną 2-bitową wersję pod względem zagregowanej jakości przy mniej niż połowie rozmiaru, co jest całą tezą tej rodziny w jednym zdaniu.

Pełne bezpośrednie porównanie obu pakietów oraz źródło liczb każdego z nich przedstawiono na stronie Bonsai vs Bonsai 27B na tym blogu, obok modelu o 2 miliardach parametrów noszącego tę samą nazwę rodziny.

Jedno pytanie, które pojawia się przy tym modelu, zasługuje na rzeczową odpowiedź i nic więcej. Pakiety to niskobitowe kodowania tego samego modelu bazowego, a nie ponownie wytrenowany wariant, a repozytoria nie publikują obok nich osobno dostrojonego ani nieocenzurowanego checkpointu — jedynym artefaktem o pełnej precyzji w ofercie jest rozpakowana konwersja FP16 tych samych wag, opublikowana po to, by można było porównać skompresowany pakiet z jego własnym punktem odniesienia w standardowych narzędziach.

Wagi i licencja, z repozytoriów

Wagi modelu Bonsai 27B są opublikowane na Hugging Face w organizacji prism-ml, a lista plików jest najbardziej konkretną informacją o wydaniu. Repozytorium pakietu binarnego zawiera sam model o rozmiarze 3.803 GB, FP16 GGUF tego samego modelu o rozmiarze 53.808 GB dla porównania, draft model DSpark do dekodowania spekulatywnego o rozmiarze 1.787 GB w 4-bit i 7.292 GB w BF16 oraz wieże wizyjne o rozmiarach 0.931 GB i 0.629 GB. Repozytorium ternarne zawiera własny pakiet 7.165 GB oraz drugie upakowanie 7.585 GB, które jest group-64, a nie group-128, i kompatybilne z upstream, a nie optymalne, a także te same pliki draft modelu i wizyjne. Oba repozytoria są na licencji Apache 2.0 i oba wskazują Qwen3.6-27B jako model bazowy.

Z tego zestawienia wynikają dwie rzeczy. Pierwsza: 53,808 GB w porównaniu z 3,803 GB to współczynnik 14,2x, od którego zaczyna karta modelu, i można go sprawdzić, a nie tylko zadeklarować — plik pełnej precyzji jest tuż obok. Druga: wydanie jest cięższe niż sam model: jeśli weźmiesz również draftera i wieżę wizyjną, których wymaga ścieżka multimodalna, dodajesz około 2,4 GB do modelu o rozmiarze 3,9 GB. Ta liczba 3,9 GB na pierwszym planie dotyczy wag językowych, a nie całego wdrożenia.

Pobrania to jedyne miejsce, w którym przoduje paczka zorientowana na jakość: według stanu na październik 2026 repozytorium trójwartościowego GGUF przekroczyło 590 000 pobrań wobec niewiele ponad 400 000 dla paczki binarnej, podczas gdy kontenery MLX dla obu przekraczają milion każdy. Taki rozkład sugeruje, że większość tego modelu jest uruchamiana na sprzęcie Apple, a nie na serwerach, oraz że osoby, które go pobierają, wybierają dodatkowe pięć punktów retencji zamiast najmniejszego możliwego pliku — co w przybliżeniu odpowiada temu, do czego dostawca zaprojektował tę parę.

Uruchamianie tego.

To, co możesz dziś uzyskać, to cztery rodzaje artefaktów na paczkę, a o tym, który chcesz, decyduje Twoje środowisko uruchomieniowe, a nie jakość.

• GGUF dla llama.cpp — główna ścieżka i ta, dla której napisano jądra niskobitowe. Oba pakiety to kompilacje llama.cpp dla CUDA, Metal i CPU, ale jądra 1-bitowe i ternarne znajdują się we własnym forku PrismML, a nie w upstreamie, więc standardowy llama.cpp jeszcze nie wczyta ich poprawnie. Pakowanie ternarne group-64 istnieje właśnie dla przypadków, w których potrzebujesz zgodności z upstreamem i jesteś gotów zaakceptować 7,585 GB zamiast 7,165 GB, aby ją uzyskać.

• MLX dla Apple silicon — oddzielne dostarczane kontenery: 5,129 GB dla paczki binarnej i 8,491 GB dla wersji ternarnej. Należy zauważyć, że kontener binarny MLX jest większy niż paczka binarna GGUF, co wynika z różnicy w narzucie kontenera, a nie z innego modelu.

• AWQ 4-bit dla frameworków serwerowych — 4-bitowa kompilacja każdego modelu dla frameworków serwujących, które oczekują checkpointu AWQ, podzielona na dziewięć shardów o łącznym rozmiarze 18,70 GB, wraz z przepisem dla wielu GPU. To nie jest artefakt niskobitowy; to ten sam model w precyzji, która ma sens w szafie rack, a przy tym poświęca cały powód, dla którego ten model istnieje.

• Rozpakowane safetensors FP16 — pełny model ~54 GB w standardowym formacie Hugging Face, opublikowany specjalnie dla frameworków, które nie obsługują jeszcze natywnie wag 1-bitowych. Dostawca mówi, że ten artefakt zostanie wycofany, gdy niskobitowe jądra trafią do upstreamu.

Zmierzona przepustowość dekodowania na pakiecie binarnym, zgodnie z tabelą w samej karcie modelu, wynosi 66,4 tokena na sekundę na M5 Max, 44,2 na M5 Pro, 26,0 na M4 Pro i 104,8 na H100, a prefill odpowiednio 874, 421, 133 i 2755 tokenów na sekundę. Strona z ogłoszeniem podaje wyższe wartości szczytowe — do 87 tokenów na sekundę na M5 Max i 163 na RTX 5090 — które odpowiadają najlepszej konfiguracji producenta, a nie tej z tabeli. Oba zestawy należy traktować jako różne warunki pomiaru, a nie jako sprzeczność, i oba jako dane podane przez producenta. Maksymalne zużycie pamięci, ponownie z karty, to 5,2 GB przy kontekście 4K, 5,6 GB przy 10K i 11,6 GB przy 100K na pakiecie binarnym oraz 8,4, 8,7 i 14,7 GB na pakiecie ternarnym — z zastrzeżeniem, że te wartości pochodzą sprzed 4-bitowej pamięci podręcznej KV, która to sprowadza pełne okno 262K do jednocyfrowych wartości w gigabajtach.

Model draftujący DSpark jest opcjonalny i warto go zrozumieć, zanim go włączysz, ponieważ nie zmienia niczego w wynikach: to sześciowarstwowy transformator równoległy blokowo, warunkowany stanami ukrytymi pobieranymi z pięciu równomiernie rozmieszczonych warstw docelowych, dodaje około 0,5 GB w precyzji serwowania i weryfikuje się względem modelu docelowego, zamiast próbkować samodzielnie. Dlatego dostawca może podawać przyspieszenie 1,37x na CUDA, nie ruszając wskaźników jakości. Nie jest domyślnie włączony na Apple silicon.

Tam, gdzie lokalny model dochodzi do granicy możliwości, zaczyna się ciekawe pytanie inżynieryjne — i jest to pytanie o routing, a nie o model. Model o rozmiarze 3,9 GB na laptopie obsługuje to, co mieści się w jego kontekście; wszystko inne musi trafić gdzieś, a tym gdzieś jest model hostowany za API. OrcaRouter to właśnie ta warstwa — jeden endpoint dla ponad 200 hostowanych modeli z 0% marży na ceny katalogowe dostawców, automatyczny failover między dostawcami, a reguła eskalacji z poziomu lokalnego do hostowanego wyrażona jako konfiguracja, a nie składana ręcznie. To warstwa ponad lokalnym modelem, a nie jego zamiennik.

Indeks porównania

Bonsai 27B należy do rodziny, w której każdy sąsiad odpowiada na inne pytanie, a te strony podejmują każde z nich — żadne nie jest tu ponownie argumentowane.

• Bonsai vs Bonsai 27B — model okularowy o 2 miliardach parametrów kontra ten: szesnaście razy więcej parametrów i dwieście pięćdziesiąt sześć razy większy kontekst, a do tego dlaczego nazwa rodziny nie mówi nic o tym, co właściwie pobierasz. Ta strona to wpis na blogu, a nie hostowany model, i to rozróżnienie warto w tej rodzinie utrzymywać w jasny sposób.

• Bonsai 27B kontra Qwen3.8-27B — bezpośrednie starcie tego modelu z nowszą bazą, której nie wykorzystuje. Temu porównaniu poświęcono osobną stronę w tym zestawieniu, a ponieważ oba modele noszą podobne nazwy i dzieli je jedna generacja, warto przeczytać ją jako samodzielny materiał, a nie jako rozszerzenie tej specyfikacji.

• Bonsai vs Ternary Bonsai 2 27B — skok międzypokoleniowy oraz fakt, że oba wydania podają swoją jakość względem dwóch różnych miar: w jednym przypadku utrzymanie poziomu odniesienia, w drugim — twierdzenie porównawcze.

• Ternary Bonsai 2 27B — druga generacja sama w sobie, na Qwen3.8-27B, dla czytelników, którzy zdecydowali, że chcą nowszego modelu, a nie tego.

Co nie zostało ustalone

Każda liczba dotycząca jakości na tej stronie pochodzi od PrismML, została zmierzona we własnym, 15-elementowym zestawie benchmarków PrismML i nikt spoza firmy nie opublikował jej reprodukcji. To największa pojedyncza luka w tym, co wiadomo o Bonsai 27B: twierdzenia dotyczące kompresji są niezwykle konkretne i niezwykle łatwe do sprawdzenia, a mimo to pozostają niesprawdzone przez stronę trzecią. Dostawca wyraźnie zaznacza również, że kodowanie agentowe — długoterminowe, wieloplikowe przepływy pracy typu uruchom i napraw — nie jest silnym celem tego wydania, a wariant dostrojony do niego jest następną pozycją w planie rozwoju, co jest spójne ze stratami w zakresie wywoływania narzędzi i stosowania się do instrukcji w powyższym podziale na kategorie. Dopóki nie istnieje niezależna ocena, zarówno wskaźnik retencji, jak i ranking gęstości należy odczytywać jako stanowisko dostawcy, a nie jako ustalony wynik.

To, co zostało ustalone, jest mniejsze i bardziej użyteczne: wagi istnieją, rozmiary można sprawdzić na podstawie wykazu plików, licencja to Apache 2.0, a dwa pakiety różnią się o około 3,3 GB w zamian za mniej więcej pięć punktów zachowanej jakości. To wystarczy, aby wybrać między nimi. To, który z nich jest dla Ciebie odpowiedni, zależy od tego, czy Twoje obciążenie bardziej przypomina arytmetykę, czy bardziej wywoływanie narzędzi, a powyższe liczby dla poszczególnych kategorii są dziś najlepszym dostępnym dowodem przy podejmowaniu tej decyzji.