Ternary Bonsai 2 27B vs Qwen3.8-27B IQ2_XXS GGUF: mniej bitów, lepsze wyniki

Ternary Bonsai 2 27B jest mniejszy niż kompilacja IQ2_XXS GGUF modelu Qwen3.8-27B i, według opublikowanych wraz z nim liczb, również lepszy — co nie powinno być możliwe, gdyby jedyną rzeczą, która je dzieliła, był budżet bitów. Kompilacja Bonsai zawiera 1,76 bita na wagę w pliku o rozmiarze 5,93 GB. Konwencjonalna 2-bitowa kwantyzacja tego samego modelu bazowego zawiera około 2,2 bita na wagę w pliku o rozmiarze około 7,3 GB. Prism ML, które 17 września 2026 r. ogłosiło kompilację trójkową, podaje średnią z 20 benchmarków wynoszącą 83,9 dla swojego modelu wobec 75,2 dla punktu porównawczego IQ2_XXS — różnicę 8,7 punktu na korzyść modelu, który używa mniej bitów.

Ta inwersja to cała historia i nie jest to sztuczka. Te dwa pliki powstają w różnych procesach na różnych etapach życia modelu, a różnica między tymi procesami znaczy więcej niż różnica w szerokości bitowej. To także porównanie, w którym popularna rada — „weź po prostu kwantyzację 2-bitową, teraz są w porządku” — napotyka swój najwyraźniejszy kontrprzykład i w którym za kontrprzykładem stoi niezależny pomiar, a nie słowo producenta.

Paradoks to mechanizm

IQ2_XXS to format kwantyzacji po treningu. Model jest trenowany do zbieżności w pełnej precyzji, a następnie jego wagi są zaokrąglane do niskobitowej reprezentacji wybranej przez procedurę dopasowania. Model nigdy nie ma szansy się zaadaptować; jest mierzony po fakcie i aproksymowany. Rodzina i-quant ulepsza starsze k-quants, używając macierzy ważności — przebiegu kalibracji, który decyduje, które wagi zasługują na większą część dostępnej precyzji — ale podstawowa kolejność operacji pozostaje niezmieniona. Najpierw trening, potem kompresja.

Bonsai odwraca tę kolejność. Opis własnej metody Prism ML mówi, że całkowicie porzuciła ona kwantyzację po treningu i wymuszała ograniczenie trójkowe podczas treningu: przejście w przód wykonuje obliczenia na wagach ograniczonych do {−1, 0, +1}, podczas gdy przejście wstecz wciąż przenosi gradienty o pełnej precyzji. Model poświęca swój trening na uczenie się reprezentacji, które przetrwają to ograniczenie, zamiast mieć to ograniczenie narzucane na reprezentacje, które nigdy się go nie spodziewały. Algorytm jest określany jako zastrzeżona własność intelektualna, ale jego kształt będzie znajomy każdemu, kto czytał prace z rodziny BitNet.

Na to nakładają się dwa udoskonalenia i oba są widoczne w arytmetyce. Pierwsze to selektywna precyzja: 26,2 miliona parametrów — około 0,098% modelu, mniej więcej 52 MB przy bf16, głównie ścieżka stanu rekurencyjnego warstw uwagi liniowej plus wagi normalizacji — jest utrzymywanych w pełnej precyzji, a nie poddawanych ternaryzacji. Drugie to rotacja blokowa. Każda macierz wag jest przekształcana przez rotację Walsha–Hadamarda przy rozmiarze bloku 1024, zanim zostaną wybrane wartości trójstanowe, co rozprasza wartości odstające po współrzędnych i sprawia, że aproksymacja trójpoziomowa jest mniej destrukcyjna. Rotacja jest wkomponowana w przechowywane wagi, więc nie kosztuje dodatkowych bajtów; zamiast tego odpowiednie przekształcenie jest stosowane do aktywacji w czasie wykonania.

Ten ostatni szczegół niesie ze sobą konsekwencję, z którą stykasz się już przy pierwszej próbie uruchomienia tego, i to jest prawdziwy koszt tego podejścia.

Który IQ2_XXS masz na myśli i jakie faktycznie osiąga wyniki?

Zanim zaczniemy porównywać jakość, sprostowanie, które umyka większości omówień: „IQ2_XXS” nie jest jednym artefaktem. To typ kwantyzacji llama.cpp, a ten sam typ zastosowany przez różne łańcuchy narzędzi do tego samego modelu bazowego daje pliki, które różnią się znacząco rozmiarem i istotnie jakością.

Najbardziej jednoznacznym publicznym dowodem jest niezależne porównanie opublikowane 15 sierpnia 2026 r. przez użytkownika badającego, czy warto było w ogóle budować sub-2-bitowy Qwen3.8-27B. Test to pomiar dywergencji KL na wikitext-2, 100 fragmentów przy kontekście 512, względem lokalnie zbudowanego odniesienia Q8_0 o wartości perplexity 6,7500, przy czym każdy kandydat korzystał z tej samej macierzy istotności, korpusu, baseline'u i kompilacji llama.cpp podczas jednej sesji. Wyniki:

• unsloth UD-IQ2_XXS — 8,39 GiB, perplexity 7,6528, średnia KLD 0,146, mediana KLD 0,076, zgodność top-1 82,98%

• bartowski IQ2_XXS — 8,75 GiB, perplexity 8,5352, średnia KLD 0,301, mediana KLD 0,162, zgodność top-1 76,53%

Wariant dynamiczny jest o 0,36 GiB mniejszy od statycznego i około 2,1x lepszy pod względem średniego KLD — przy 1,13x perplexity bazowej. Dwa pliki noszące tę samą etykietę, różniące się dwukrotnie w metryce, która mierzy, jak bardzo rozkład wyjściowy się przesunął. Ten sam test wykazał, że każdy kandydat poniżej 2 bitów jest gorszy od obu opublikowanych opcji IQ2, dlatego praktyczne minimum dla tego modelu bazowego znajduje się na poziomie IQ2, a nie poniżej.

Ma to znaczenie dla porównania, ponieważ zmienia to, do czego odnosi się „build IQ2_XXS o rozmiarze 7,3 GB”. Liczba podana przez Prism ML pochodzi z jej własnej kwantyzacji modelu bazowego przy 2,2 bita na wagę. Dynamiczny build unsloth tej samej rodziny ma 8,39 GiB. Build bartowski ma 8,75 GiB. Różnica rozmiarów między Bonsai a „IQ2_XXS” wynosi zatem gdzieś między 1,4x a 1,5x, w zależności od tego, o który build chodzi — większa niż 1,23x sugerowane przez nagłówek, i to wszystko jeszcze przed rozpoczęciem porównania jakości.

Gdzie psuje się build po treningu i dlaczego łatwo to przeoczyć

Zagregowana różnica 8,7 punktu to najmniej informacyjny sposób przedstawienia tej różnicy, ponieważ degradacja w wersji IQ2_XXS nie jest jednolita. Jest selektywna, a wzorzec jest odwrotny od tego, co przewidywałaby większość ludzi.

• MMLU-Redux — wersja po treningu wypada przyzwoicie, w granicach 85–89

• GPQA Diamond — około 65,5 wobec 85,76 dla kompilacji ternarnej

• AIME26 — w zakresie od 57,5 do 78,6 w zależności od kompilacji, w porównaniu z 95,83 dla kompilacji trójskładnikowej

• LiveCodeBench — w zakresie od 56,4 do 70,05, wobec 90,07 dla kompilacji ternary

Dokładne wartości IQ2 wahają się między zestawami Prism ML a pomiarami społeczności, a powyższe zakresy obejmują jedne i drugie, ale charakter jest spójny w każdym źródle: wiedza powierzchowna przetrwa, a wszystko, co wymaga podtrzymanego ciągu rozumowania, gwałtownie się pogarsza. To dokładnie ten tryb awarii, którego pobieżny test nie wykryje. Poproś wersję 2-bitową o streszczenie dokumentu lub odpowiedź na pytanie faktograficzne, a zachowa się jak znacznie większy model. Poproś ją o przeprowadzenie wieloetapowego wyprowadzenia albo wygenerowanie nietrywialnego kodu, a załamanie jest nagłe, nie stopniowe. Dlatego „przy mojej próbie działało dobrze” nie jest dowodem na temat modelu skwantyzowanego — to dowód na temat promptów, które akurat wypróbowałeś.

Wersja ternarna nie wykazuje tego załamania na tych samych benchmarkach. Prism ML podaje AIME26 na poziomie 95,83 wobec 94,58 dla swojej pełnoprecyzyjnej bazy oraz LiveCodeBench na poziomie 90,07 wobec 90,05 — praktycznie ten sam poziom, i najbardziej użyteczne pojedyncze twierdzenie w tym wydaniu, ponieważ mówi, że ograniczenie na etapie treningu zapewniło to, co traci jego odpowiednik po treningu.

Kontrargument, który jest realny i którego tabela jakości nie ujmuje

Wszystko powyższe przemawia na korzyść wariantu trójwartościowego pod względem jakości na bajt. Jest jednak jeden wymiar, w którym konwencjonalny GGUF wygrywa bezapelacyjnie, i wcale nie jest to wymiar błahy: działa na oprogramowaniu, które już masz.

Wersja IQ2_XXS modelu Qwen3.8-27B to standardowy artefakt llama.cpp. Ładuje się w llama.cpp, Ollama, LM Studio, Jan i wszystkim innym, co linkuje ggml, na każdej platformie obsługiwanej przez ggml, bez konieczności tworzenia forka i bez specjalnych jąder. Jej macierz ważności można odbudować lub zastąpić. Zachowuje się jak każdy inny skwantyzowany model, który masz na dysku.

Ternary Bonsai 2 27B nie. Jądra ternarne dla hybrydowej uwagi tej architektury znajdują się we własnym forku llama.cpp firmy Prism ML. Standardowy llama.cpp odrzuca PTQ1_0 i PQ2_0 jako nierozpoznane typy — i nie ma pojęcia, co zrobić z obróconą bazą, którą zakładają te paczki. Kompilacja MLX dla Apple Silicon ma jądra Metal i CPU, ale nie ma ścieżki CUDA, więc na maszynie NVIDIA przełącza się awaryjnie na przebieg w przód na CPU, który może zająć minuty. Prism ML owszem wymienia integrację z kilkoma środowiskami uruchomieniowymi, ale zasadnicza kwestia pozostaje: użyteczność tego modelu jest ograniczona tym, czy wybrane przez ciebie środowisko uruchomieniowe zostało o nim nauczone.

To jest uczciwy kompromis. Wybierasz między buildem, który jest 1,4x większy, mierzalnie gorszy dokładnie w zadaniach, do których najprawdopodobniej chcesz modelu 27B, i który można uruchomić wszędzie — a buildem, który jest mniejszy i lepszy, w ekosystemie, który obecnie sprowadza się do forka jednego laboratorium plus tych środowisk uruchomieniowych, które go przyjęły.

Czego potrzeba, aby uruchomić którekolwiek z nich

Rachunek pamięci jest ciaśniejszy, niż sugerują rozmiary plików, ponieważ pliki nie są jedyną rzeczą w VRAM.

• Kompilacja IQ2_XXS — od 8,39 do 8,75 GiB wag, pozostawiając około 7,5 GB wolnego miejsca na karcie 16 GB na kontekst i modele szkicowe. Powyższy niezależny test zauważa konkretnie, że kompilacja o rozmiarze 8,39 GiB już pomieści dodatkowo model szkicowy o rozmiarze 2,1 GB.

• Ternary Bonsai 2 27B — 5,93 GB dla modelu językowego PTQ1_0, plus 0,63 GB na wieżę wizyjną, jeśli w ogóle używasz obrazów, plus kontekst. Pakowanie PQ2_0 firmy Prism ML kosztuje 7,25 GB i jest szybszą opcją na sprzęcie ograniczonym przepustowością instrukcji, a nie przepustowością pamięci.

Jeśli chodzi o szybkość, podawane wartości dla wariantu ternarnego to 142,5 tok/s przy dekodowaniu na RTX 5090 i 46,8 tok/s na Apple M5 Max; raporty zewnętrzne dotyczące wersji IQ2 są skąpsze, z pomiarem Vulkan na dwóch kartach Radeon na poziomie około 3,8 tok/s przy generowaniu, choć ta liczba mówi więcej o tym konkretnym backendzie niż o samej kwantyzacji. Wartości przepustowości po obu stronach traktuj jako silnie zależne od konkretnego sprzętu.

Gdzie OrcaRouter pasuje, a gdzie nie

Żaden z tych plików nie jest czymś, co router udostępnia. To lokalne artefakty, a uczciwe ujęcie sprawy jest takie, że OrcaRouter nie hostuje żadnego z nich — to porównanie dotyczy tego, co działa na Twoim własnym sprzęcie. Po naszej stronie znajduje się natomiast model, z którego oba zostały wyprowadzone. Qwen3.8-27B w pełnej precyzji jest dostępny w ramach własnej infrastruktury OrcaRouter w cenie $0,33 za milion tokenów wejściowych i $2,40 za milion tokenów wyjściowych, z nienaruszonym natywnym kontekstem 262K tego modelu oraz kontrolą wysiłku rozumowania na poziomie niskim/średnim/wysokim.

To daje konfigurację hybrydową, w przypadku której warto przejść do konkretów. Uruchamiaj skompresowaną kompilację lokalnie do zadań, w których się sprawdza, a sporadyczne żądanie wymagające pełnej precyzji kieruj do hostowanego modelu bazowego za pomocą tego samego klucza — bez drugiej umowy z dostawcą, bez zmian w kodzie, ponieważ obie strony mówią tym samym API. Jeśli lokalna kompilacja okaże się niewłaściwa dla danego obciążenia, żądanie, które się nie powiedzie, może zostać automatycznie przełączone w tryb awaryjny, a nie zwrócone jako błąd, co jest tańszym sposobem przekonania się, że kwantyzacja się nie nadaje, niż odkrycie tego na produkcji.

Krótka wersja

• Pod względem opublikowanej jakości na bajt build ternarny wyraźnie wygrywa, a przewaga ta koncentruje się na rozumowaniu i kodzie — kategoriach, w których build po treningu ulega największej degradacji.

• Pod względem przenośności kompilacja IQ2_XXS wygrywa równie wyraźnie. Wszędzie standardowe środowiska uruchomieniowe, bez forka, bez specjalnych kernelów, bez cichego trybu awarii skutkującego śmieciami.

• To porównanie nie brzmi „1,76 bitu versus 2,2 bitu”. Brzmi „reprezentacja wybrana podczas treningu versus dopasowana później”, a różnica 0,44 bitu to przy tym błąd zaokrąglenia.

• Każdy wskaźnik jakości dla wersji ternarnej w tym artykule to własny pomiar Prism ML na zestawie testów wybranym przez Prism ML. Wyniki KLD dla wersji IQ2 są niezależne, jednokrotne i dotyczą jednego modelu bazowego oraz jednego zestawu testowego; stanowią najsilniejszy dowód zewnętrzny w tym porównaniu i nie mówią nic o Bonsai.

Luka zamknie się także z drugiej strony, i to prawdopodobnie wkrótce. Jeśli trójwartościowe jądra trafią do upstreamu llama.cpp, jedyny poważny zarzut wobec Bonsai wyparuje, a wybór stanie się prosty. Do tego czasu wersja IQ2_XXS zachowuje realną przewagę, która nie ma nic wspólnego z tym, jak dobra jest.

Jeśli decydujesz w tym tygodniu, test, który rozstrzygnie sprawę, zajmie popołudnie: weź dwadzieścia poleceń z własnego obciążenia pracą, które wymagają więcej niż jednego kroku rozumowania, uruchom obie kompilacje i oceń odpowiedzi w ciemno. Opublikowane tabele mówią ci, gdzie szukać. Nie powiedzą ci jednak, czy twoja praca tam się znajduje.