Bonsai 2 trafił do Ollama, zanim ktokolwiek zapowiedział, że się pojawi.

Gdzieś wczesnym rankiem 17 października 2026 r., Ollama zaczęła udostępniać Bonsai 2 — wpis w bibliotece z dziewięcioma tagami obejmujący Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B oraz Bonsai 2 27B, każdy w dwóch wariantach upakowania plus domyślny alias. Prism ML milczy na ten temat. Na stronie z aktualnościami dostawcy nie ma żadnego wpisu, nie ma wzmianki w ogłoszeniu małych modeli z 15 października — tamten wpis wymienia llama.cpp i MLX jako środowiska uruchomieniowe oraz hostowaną konsolę jako demo, a o Ollama nie wspomina ani słowem. Wpis po prostu istnieje, a wszystkie dziewięć tagów ma ten sam znacznik czasu sprzed kilku godzin, co wygląda jak świeże wypchnięcie, a nie jak stopniowe wdrażanie.

Uczciwy podział wygląda więc tak. To, co można poznać już teraz, z rejestru i plików: tagi, ich nazwy, ich dokładne rozmiary w bajtach, skróty ich zawartości oraz — ponieważ Ollama dostarcza GGUF — architektura i ciągi metadanych wewnątrz samych wag. Niepotwierdzone: kto je spakował, dlaczego ogłoszenie dostawcy pomija platformę, czy jądra ternary są częścią samego silnika Ollama, czy zostały dostarczone z zewnątrz, oraz czy jakiekolwiek liczby dostawcy przetrwają tę podróż. To osobne pytania i ten tekst trzyma je osobno.

Co właściwie jest na półce

Dziewięć tagów, cztery rozmiary, trzy paczki tych samych wag. Strona biblioteki Ollama podaje domyślny alias dla każdego rozmiaru oraz -q2_0 wariant dla każdego rozmiaru:

• bonsai-2:latest — 3,2 GB, wskazuje na 9B (skrót c8b5462f8688)

• bonsai-2:2b i bonsai-2:2b-q2_0 — 911 MB, ten sam digest de2ccb4e7328

• bonsai-2:4b i bonsai-2:4b-q2_0 — 1,6 GB, ten sam digest 93edd652c932

• bonsai-2:9b i bonsai-2:9b-q2_0 — 3,2 GB, ten sam skrót c8b5462f8688

• bonsai-2:27b i bonsai-2:27b-q2_0 — 8,3 GB, ten sam digest f3c4f4208659

Nazewnictwo robi więcej, niż się wydaje. Dwa tagi na rozmiar dzielące ten sam digest to nie duplikat — to stwierdzenie o tym, które upakowanie wybrał Ollama. Pobierz manifest dla bonsai-2:9b, a warstwa modelu ma 2,557 GB. To jest plik Ternary Bonsai 2 9B w wariancie Q2_0, zmierzony na Hugging Face na 2,557 GB co do bajtu. Paczka PQ2_0 ma 2,417 GB, a paczka PTQ1_0 — najmniejsza, o rozmiarze 1,997 GB — nie ma tu w ogóle.

Ten wybór ma konsekwencję, którą warto powiedzieć wprost, bo to właśnie taki rodzaj rzeczy, który przeradza się w wątek na forum pomocy. Na karcie modelu dostawcy llama.cpp z upstreamu uruchamia dokładnie jedno z trzech pakowań: Q2_0, „najnowszy master, który zawiera runtime aktywacji Hadamarda”. On odrzuca PQ2_0 i PTQ1_0 jako nieznane typy, ponieważ te wymagają forka Prism ML llama.cpp. Ollama udostępnia własny silnik. Q2_0 to paczka, którą standardowy konsument GGUF może z dużym prawdopodobieństwem załadować — a Q2_0 to dokładnie ta paczka, którą dostarczyła Ollama. Czy Ollama zbudowała własne jądra obsługujące typy ternarne, czy kieruje do dołączonej kompilacji, tego rejestr ci nie mówi. Mówi natomiast, że nie dostarczyli pliku, którego nie można załadować.

Metadane GGUF mówią ci więcej niż strona.

Strona Ollama podaje cztery fakty dla każdego tagu: rozmiar w bajtach, plakietkę kontekstu „256K”, typ danych wejściowych tekst-plus-obraz oraz względny znacznik czasu. Wszystko inne znajduje się w pliku. Odczyt nagłówka GGUF każdej warstwy modelu daje następujące informacje i warto go odczytać z konkretnego powodu: to jedyna część tej historii, która nie jest czyimś marketingowym twierdzeniem.

• general.architecture — qwen35 we wszystkich czterech rozmiarach

• general.name — Ternary-Bonsai-2-2B, -4B, -9B dla małej trójki; warstwa 27B podaje ogólny ciąg Hf z general.basename = folded

• general.file_type — 41 we wszystkich czterech, z general.quantization_version = 2

• general.size_label — 2B, 4B, 9B, 27B, odpowiadające nazwom tagów

• Liczba tensorów — 320 dla 2B, 426 dla 4B, 427 dla 9B, 851 dla 27B

Ciąg architektury jest tym interesującym. qwen35 to szkielet Qwen3.5 z hybrydowym attention i potwierdza na podstawie samego artefaktu to, co karty modeli mówią w opisie: trzy mniejsze to Qwen3.5-2B, -4B i -9B z niezmienioną architekturą i wymienionymi wagami. Ujawnia też szew nazewniczy, który własne informacje dostawcy o wydaniu próbują zamaskować. Wpis z 15 października mówi, że nowe modele są „oparte na Qwen3.5”. 27B to zupełnie inna baza — Qwen3.8-27B, ogłoszona 17 września. Cztery rozmiary, jedna nazwa rodziny, dwa modele bazowe. Cokolwiek przeczytasz o zachowaniu „Bonsai 2” zmierzonym na 27B, nie przenosi się automatycznie na 9B, a w nagłówku GGUF można zobaczyć dlaczego.

Metadane modelu 27B są również widocznie mniej schludne niż pozostałe: general.name = Hf, general.basename = folded, general.version = v5 oraz jeden dodatkowy klucz sampling, którego nie mają trzy mniejsze modele. Tak wygląda wynik pośredni potoku konwersji, gdy zostaje wypchnięty bez końcowego przebiegu zmiany nazw. To nie jest defekt — tensory to tensory — ale to odcisk palca; sugeruje, że tag 27B przeszedł inną ścieżką niż trzy mniejsze modele.

Czego nie oznaczają liczby Ollama

Tu właśnie większość omówień listingu biblioteki idzie w złym kierunku, więc warto zwolnić. Rozmiary w bajtach na stronie Ollama to kontenerowe rozmiary, a dla każdego rozmiaru są większe niż plik modelu w środku. Tag 2B wskazuje 911 MB w porównaniu z warstwą modelu 0,547 GB i projektorem wizyjnym 0,365 GB. Tag 27B wskazuje 8,3 GB w porównaniu z warstwą modelu 7,626 GB i projektorem 0,629 GB. Dodaj bloby licencji i parametrów, a arytmetyka się domyka: Ollama podaje rozmiar całego pobranego artefaktu, z wieżą wizyjną włącznie.

To oznacza, że 3,2 GB na stronie Ollama dla modelu 9B nie jest porównywalne z podawaną przez dostawcę wartością „2 GB” dla tego samego modelu, a ta różnica nie jest rozbieżnością, którą należy zgłaszać — to dwa różne pomiary dwóch różnych rzeczy. Wartości 0,43 GB / 0,95 GB / 2 GB firmy Prism ML to wyłącznie same modele językowe. Wieża wizyjna jest odciążana i ładowana tylko wtedy, gdy faktycznie pojawi się obraz, więc wdrożenie obsługujące wyłącznie tekst nigdy za nią nie płaci, ale ollama pull już tak. Jeśli dobierasz urządzenie na podstawie wartości podanych przez dostawcę, a potem pobierasz z Ollama, przekroczysz budżet o 0,5–1 GB, zanim cokolwiek uruchomisz.

Ta sama ostrożność dotyczy plakietki „256K”. Bazowy kontekst to 262 144 tokenów, odziedziczony z modelu podstawowego Qwen3.5 — 24 warstwy uwagi liniowej i 8 warstw pełnej uwagi w modelu 9B — a plakietka Ollamy zaokrągla go w dół na potrzeby wyświetlania. Kontekst jest prawdziwy i odziedziczony, a nie dodany przez Ollamę. To, czego nie podano nigdzie na stronie, to ile pamięci kosztuje długi kontekst, a w modelu z hybrydową uwagą, z pamięcią podręczną pełnej uwagi na podzbiorze warstw, nie jest to mała liczba. Nic na stronie Ollamy nie mówi, czy 262K faktycznie zmieści się tam, gdzie zamierzasz to uruchomić.

Kto przygotował ten pakiet i czy to ma znaczenie?

Bez odpowiedzi — i powinno to zostać oznaczone jako bez odpowiedzi, a nie zgadywane. Trzy możliwości: Prism ML to wypchnął, Ollama pobrała to z publicznych repozytoriów GGUF dostawcy w ramach własnych prac nad katalogiem, albo zrobiła to strona trzecia. Rejestr nie może ci powiedzieć, która z nich.

To, co można sprawdzić, to pochodzenie artefaktu – i to się zgadza. Opis modelu samego Ollama mówi: „Bonsai 2 od Prism ML to rodzina modeli wizyjnych zbudowanych dla wag trójwartościowych (−1, 0 lub +1): około połowy rozmiaru standardowych modeli 4-bitowych, przy jakości bliskiej pełnej precyzji” i podaje linki do organizacji dostawcy na Hugging Face, whitepapera Bonsai 2 27B oraz Apache 2.0. Blob licencji osadzony w każdym z czterech manifestów rozmiaru to dosłowny tekst Apache 2.0. Blob parametrów dla 2B, 4B i 9B ma postać {"presence_penalty":1,"temperature":1,"top_k":20,"top_p":0.95} — co jest zalecaną przez dostawcę trybu myślenia recepturą próbkowania z kart modeli, z pominiętym min_p dokładnie tak, jak karta 27B mówi, że pliki GGUF go pomijają. To nie jest czyjeś zgadywanie; to konwersja, która przeczytała kartę.

Co jest pocieszające i wciąż nie mówi ci nic o tym, co tak naprawdę decyduje o twoim doświadczeniu: czy jądra trójwartościowe znajdują się w silniku, którego używasz. Uczciwe stanowisko jest takie, że udane pobranie dowodzi, że plik jest poprawnie sformowanym GGUF, i niczego więcej. Zweryfikuj to na własnym sprzęcie, zanim na tym oprzesz dalsze prace.

Twierdzenia dostawcy oraz to, co zostało sprawdzone

Każda liczba dotycząca jakości przypisana do tej rodziny pochodzi od Prism ML, z własnego środowiska testowego Prism ML, i żadna z nich nie została odtworzona niezależnie. To jest normalne na tym etapie i należy powiedzieć to wprost, a nie sugerować. Wpis z 15 października podaje 19 benchmarków w sześciu obszarach umiejętności dla małych modeli, wraz z retencją względem pełnoprecyzyjnych punktów odniesienia Qwen3.5:

• 2B — agentowe 95,5%, matematyka 107,8%, przestrzeganie instrukcji 121,5%, kodowanie 115,0%, wiedza 82,9%, wizja 89,0%

• 4B — 90,0% / 99,3% / 106,0% / 100,7% / 90,9% / 91,3%

• 9B — 92,4% / 98,2% / 100,0% / 100,1% / 93,0% / 92,5%

Kilka z nich przekracza 100%, co nie jest literówką ani artefaktem zaokrągleń — oznacza to, że model ternarny uzyskał w tej kategorii wyższy wynik niż model pełnej precyzji, z którego został wyprowadzony. Przestrzeganie instrukcji na poziomie 121,5% dla modelu 2B to najbardziej wymowny przykład. Potraktuj to z należną podejrzliwością: to, że skompresowany model bije własny punkt odniesienia w benchmarku wybranym przez dostawcę, mówi co najmniej tyle samo o treningu i systemie testowym, co o samej reprezentacji, a wyniki kategorii dla małych modeli są znacznie bardziej zaszumione niż te dla 27B. Liczby dla 27B są bardziej konserwatywne i bardziej wiarygodne w kształcie — 84,78 wobec 86,32 dla FP16, retencja 98,2% w 14 benchmarkach trybu myślenia, z matematyką na poziomie 96,57 wobec 97,06 i poziomem kodowania 89,42 wobec 89,07, a strata skoncentrowana w wiedzy/rozumowaniu i wizji. Tam, gdzie rodzina modeli traci zdolności przy reprezentacji 1,7-bitowej, taki właśnie profil można by przewidzieć.

Jedynym twierdzeniem w poście o małych modelach, które nie jest benchmarkiem, jest to, które warto potraktować najpoważniej: model 9B „zużywa około 40% mniej tokenów w standardowych zadaniach stosowania się do instrukcji i codziennych zadaniach matematycznych”. To twierdzenie o gadatliwości, a nie o zdolnościach, i właśnie tego typu rzecz można sprawdzić w jedno popołudnie na własnych promptach. Współgra ono też z ostrzeżeniem na kartach modeli samego dostawcy — tryb myślenia może spalić ponad 3000 tokenów na błahe pytanie, więc ustaw co najmniej 8192 tokeny wyjściowe i nie uruchamiaj zachłannego dekodowania z włączonym myśleniem, bo może utknąć w rozumowaniu. Model, który jest o 40% mniej gadatliwy, a mimo to potrzebuje budżetu 8192 tokenów, mówi ci, że jest gadatliwy w konkretnym miejscu.

Gdzie cię to stawia

Jeśli już korzystasz z Ollama i chcesz wypróbować model klasy 27B na laptopie bez GPU z centrum danych, cztery tagi to najkrótsza ścieżka, jaka istnieje w tej chwili: jedno pobranie, żadnego forka, żadnej kompilacji kerneli. Jeśli potrzebujesz upakowania, które jest rzeczywiście najmniejsze, albo modeli szkicujących do dekodowania spekulacyjnego, które dostawca dostarcza dla 4B i 9B, w ofercie Ollama ich nie ma — to pobranie z Hugging Face i kompilacja llama.cpp od Prism ML, i tak jest od 15 października.

Inna rzecz warta poznania: lokalnie to nie jedyny sposób korzystania z modelu niskobitowego i nie zawsze jest to właściwy sposób. OrcaRouter stawia jedno API przed ponad 200 hostowanymi modelami z marżą 0% — cena katalogowa dostawcy przekazywana jest dalej — plus automatyczne przełączanie awaryjne między dostawcami, dzięki czemu możesz ocenić model na realnym obciążeniu, zanim zdecydujesz, czy zasługuje na miejsce na twoim laptopie. Żaden z rozmiarów Bonsai 2 nie jest dziś serwowany przez OrcaRouter i ten tekst nie twierdzi inaczej: ta rodzina to plik do pobrania, który uruchamiasz samodzielnie, i tak pozostanie, dopóki dostawca nie opublikuje endpointu. To, co daje ci warstwa routingu, to druga połowa decyzji — hostowane modele, z którymi będziesz go porównywać, za jednym kluczem, z fuzją modeli i DSL routingu dostępnymi, gdy pojedynczy model nie wystarcza.

Na co warto zwrócić uwagę, w kolejności od tego, jak bardzo zmieniłoby to obraz sytuacji: tag Ollama zyskujący brata ptq1_0, co oznaczałoby, że gęste jądra tritowe trafiły do upstreamu; wpis dostawcy potwierdzający platformę, który odpowiedziałby na pytanie o pochodzenie; oraz jakikolwiek niezależny benchmark modelu 9B lub 27B, który jako jedyny przeniósłby wskaźniki retencji z kolumny raportowanej przez dostawcę. Dopóki któryś z tych elementów się nie pojawi, pozycja na liście jest mechanizmem dostarczania, a nie nowym modelem — a model, który dostarcza, jest publicznie dostępny od 15 października.

Nic z tego nie jest hipotetyczne: udokumentowane awarie AI i incydenty z agentami stojące za takimi wydaniami jak to są zebrane w the OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, stopień ważności, ocenę pewności i oznaczenie sporne.