Ternary Bonsai 2 27B vs Qwen3.8-27B IQ2_XXS GGUF: minder bits, betere scores

Ternary Bonsai 2 27B is kleiner dan de IQ2_XXS GGUF-build van Qwen3.8-27B en, op basis van de cijfers die daarbij zijn gepubliceerd, ook beter — wat niet mogelijk zou moeten zijn als alles wat hen scheidde een bitbudget was. De Bonsai-build bevat 1,76 bits per gewicht in een bestand van 5,93 GB. De conventionele 2-bit-kwantisatie van hetzelfde basismodel bevat ongeveer 2,2 bits per gewicht in een bestand van ongeveer 7,3 GB. Prism ML, dat de ternaire build op 17 september 2026 aankondigde, meldt een gemiddelde over 20 benchmarks van 83,9 voor zijn model tegenover 75,2 voor het IQ2_XXS-vergelijkingspunt — een verschil van 8,7 punten in het voordeel van het model dat minder bits gebruikt.

Die inversie is het hele verhaal, en het is geen truc. De twee bestanden worden door verschillende processen in verschillende stadia van het leven van het model geproduceerd, en het verschil tussen die processen is meer waard dan het verschil in bitbreedte. Het is ook de vergelijking waarbij het populaire advies — "pak gewoon een 2-bit quant, die zijn nu prima" — op zijn duidelijkste tegenvoorbeeld stuit, en waarbij achter het tegenvoorbeeld een onafhankelijke meting zit in plaats van het woord van een leverancier.

De paradox is het mechanisme

IQ2_XXS is een post-training-kwantisatieformaat. Het model wordt in volledige precisie tot convergentie getraind en daarna worden de gewichten afgerond naar een low-bit-representatie die door een fitprocedure wordt gekozen. Het model krijgt nooit de kans zich aan te passen; het wordt achteraf gemeten en benaderd. De i-quant-familie verbetert op oudere k-quants door een importantiematrix te gebruiken — een kalibratieronde die bepaalt welke gewichten meer van de beschikbare precisie verdienen — maar de fundamentele volgorde van bewerkingen blijft ongewijzigd. Trainen, dan comprimeren.

Bonsai keert die volgorde om. De beschrijving die Prism ML van zijn eigen methode geeft, is dat het de post-trainingkwantisatie volledig heeft laten varen en de ternaire beperking oplegde tijdens de training: de forward pass rekent met gewichten die beperkt zijn tot {−1, 0, +1}, terwijl de backward pass nog steeds gradiënten met volledige precisie meedraagt. Het model besteedt zijn training aan het leren van representaties die de beperking overleven, in plaats van dat de beperking wordt opgelegd aan representaties die dit nooit verwachtten. Het algoritme wordt beschreven als bedrijfseigen intellectuele eigendom, maar de vorm ervan zal bekend zijn bij iedereen die de BitNet-reeks publicaties heeft gelezen.

Bovenop komen twee verfijningen, en beide zijn zichtbaar in de rekenkunde. De eerste is selectieve precisie: 26,2 miljoen parameters — ongeveer 0,098% van het model, ruwweg 52 MB bij bf16, grotendeels het pad van de recurrente toestand van de linear-attention-lagen plus normalisatiegewichten — blijven in volledige precisie in plaats van geternariseerd. De tweede is een bloksgewijze rotatie. Elke gewichtsmatrix wordt vóór het kiezen van de ternaire waarden getransformeerd door een Walsh–Hadamard-rotatie met blokgrootte 1.024, wat uitschieters over coördinaten verspreidt en een driewaardige benadering minder destructief maakt. De rotatie wordt in de opgeslagen gewichten gevouwen, dus kost geen extra bytes; in plaats daarvan wordt de overeenkomstige transformatie tijdens runtime op activaties toegepast.

Dat laatste detail heeft een gevolg dat je al bij de eerste poging om het ding te draaien tegenkomt, en dat is de werkelijke prijs van de aanpak.

Welke IQ2_XXS bedoel je, en wat die daadwerkelijk scoort?

Voordat we kwaliteit vergelijken, een correctie die de meeste berichtgeving overslaat: "IQ2_XXS" is niet één artefact. Het is een llama.cpp-kwantisatietype, en hetzelfde type toegepast door verschillende toolchains op hetzelfde basismodel levert bestanden op die in grootte wezenlijk en in kwaliteit substantieel verschillen.

Het duidelijkste openbare bewijs is een onafhankelijke vergelijking die op 15 augustus 2026 is gepubliceerd door een gebruiker die onderzocht of een sub-2-bit Qwen3.8-27B überhaupt de moeite waard was om te bouwen. De test is een wikitext-2 KL-divergentiemeting, 100 chunks bij 512 context, tegen een lokaal gebouwde Q8_0-referentie met een perplexiteit van 6.7500, waarbij elke kandidaat dezelfde importantiematrix, corpus, baseline en llama.cpp-build in één sessie gebruikt. De resultaten:

• unsloth UD-IQ2_XXS — 8,39 GiB, perplexiteit 7,6528, gemiddelde KLD 0,146, mediane KLD 0,076, top-1-overeenstemming 82,98%

• bartowski IQ2_XXS — 8,75 GiB, perplexiteit 8,5352, gemiddelde KLD 0,301, mediane KLD 0,162, top-1-overeenkomst 76,53%

De dynamische variant is 0,36 GiB kleiner dan de statische en ongeveer 2,1x beter op gemiddelde KLD — bij 1,13x de basislijnperplexiteit. Twee bestanden met hetzelfde label, gescheiden door een factor twee op de metriek die meet hoe ver de outputdistributie is afgedreven. Dezelfde test vond elke sub-2-bit-kandidaat slechter dan beide gepubliceerde IQ2-opties, wat de reden is dat de praktische ondergrens voor dit basismodel bij IQ2 ligt en niet eronder.

Dit is van belang voor de vergelijking, omdat het verandert waar "de 7,3 GB IQ2_XXS-build" naar verwijst. Het cijfer van Prism ML komt uit zijn eigen kwantisatie van het basismodel op 2,2 bits per gewicht. Een dynamische unsloth-build van dezelfde familie meet 8,39 GiB. Een bartowski-build meet 8,75 GiB. Het grootteverschil tussen Bonsai en "IQ2_XXS" ligt daarom ergens tussen 1,4x en 1,5x, afhankelijk van welke build je bedoelt — groter dan de 1,23x die de kop suggereert, en dat alles nog voordat de kwaliteitsvergelijking begint.

Waar de post-training-build breekt, en waarom het gemakkelijk te missen is

Het geaggregeerde verschil van 8,7 punten is de minst informatieve manier om het verschil uit te drukken, omdat de degradatie in de IQ2_XXS-build niet uniform is. Die is selectief, en het patroon is het tegenovergestelde van wat de meeste mensen zouden voorspellen.

• MMLU-Redux — de post-training-build houdt zich respectabel staande, in de midden- tot hoge 80

• GPQA Diamond — ongeveer 65,5, tegenover 85,76 voor de ternaire build

• AIME26 — in het bereik van 57,5 tot 78,6 afhankelijk van de build, tegenover 95,83 voor de ternaire build

• LiveCodeBench — in het bereik van 56,4 tot 70,05, tegenover 90,07 voor de ternaire build

De exacte IQ2-cijfers verschillen tussen de suites van Prism ML en de communitymetingen, en de bovenstaande bereiken bestrijken beide, maar de vorm is consistent in elke bron: oppervlakkige kennis overleeft, en alles wat een langdurige redeneerketen vereist, gaat scherp achteruit. Dat is precies het faalpatroon dat een informele test niet zal vinden. Vraag een 2-bits build om een document samen te vatten of een feitelijke vraag te beantwoorden, en die presteert als een veel groter model. Vraag die om een afleiding in meerdere stappen vol te houden of niet-triviale code te produceren, en de ineenstorting is plotseling in plaats van geleidelijk. Daarom is "het voelde prima toen ik het probeerde" geen bewijs over een gekwantiseerd model — het is bewijs over de prompts die je toevallig hebt geprobeerd.

De ternaire build vertoont die ineenstorting niet op dezelfde benchmarks. Prism ML rapporteert AIME26 op 95,83 tegen 94,58 voor zijn full-precision basis, en LiveCodeBench op 90,07 tegen 90,05 — vrijwel gelijk, en de meest nuttige bewering in de release, omdat ze stelt dat de beperking tijdens de training precies datgene oplevert wat de beperking tijdens de post-training verliest.

Het tegenargument, dat reëel is en dat de kwaliteitstabel niet weergeeft

Alles hierboven pleit voor de ternaire build als het om kwaliteit per byte gaat. Er is één dimensie waarop de conventionele GGUF zonder meer wint, en dat is geen kleintje: hij draait op de software die je al hebt.

De IQ2_XXS-build van Qwen3.8-27B is een standaard llama.cpp-artefact. Het laadt in llama.cpp, Ollama, LM Studio, Jan en al het andere dat aan ggml linkt, op elk platform dat ggml ondersteunt, zonder dat er een fork nodig is en zonder speciale kernels. De importantiematrix ervan kan opnieuw worden opgebouwd of vervangen. Het gedraagt zich zoals elk ander gekwantiseerd model dat je op schijf hebt staan.

Ternary Bonsai 2 27B doet dat niet. De ternaire kernels voor de hybride attention van deze architectuur zitten in de eigen llama.cpp-fork van Prism ML. Standaard llama.cpp verwerpt PTQ1_0 en PQ2_0 als niet-herkende typen — en heeft geen idee wat het moet doen met de geroteerde basis waar die packs van uitgaan. De MLX-build voor Apple Silicon heeft Metal- en CPU-kernels, maar geen CUDA-pad, dus op een NVIDIA-machine valt hij terug op een CPU-forward pass die minuten kan duren. Prism ML vermeldt wel integratie met verschillende runtimes, maar het onderliggende punt blijft staan: de bruikbaarheid van dit model wordt begrensd door de vraag of je gekozen runtime er kennis van heeft gekregen.

Dat is de eerlijke afweging. Je kiest tussen een build die 1,4x groter is, meetbaar slechter bij precies de taken waarvoor je hoogstwaarschijnlijk een 27B-model wilt, en universeel uitvoerbaar — en een build die kleiner en beter is, op een ecosysteem dat momenteel neerkomt op de fork van één lab plus welke runtimes het ook hebben overgenomen.

Wat er nodig is om een van beide te draaien

De geheugenrekensom is krapper dan de bestandsgroottes doen vermoeden, omdat de bestanden niet het enige zijn in VRAM.

• IQ2_XXS-build — 8,39 tot 8,75 GiB aan gewichten, waardoor op een 16GB-kaart ongeveer 7,5 GB vrij blijft voor context en conceptmodellen. De onafhankelijke test hierboven merkt specifiek op dat een build van 8,39 GiB al een conceptmodel van 2,1 GB ernaast kan huisvesten.

• Ternary Bonsai 2 27B — 5,93 GB voor het taalmodel met PTQ1_0, plus de visietoren van 0,63 GB als je überhaupt afbeeldingen gebruikt, plus context. De PQ2_0-packing van Prism ML kost 7,25 GB en is de snellere optie op hardware die beperkt wordt door instructiedoorvoer in plaats van bandbreedte.

Qua snelheid zijn de gerapporteerde ternaire cijfers 142,5 tok/s bij decoderen op een RTX 5090 en 46,8 tok/s op een Apple M5 Max; rapportage door derden over de IQ2-build is schaarser, met een Vulkan-meting op dual Radeon-kaarten van ongeveer 3,8 tok/s bij genereren, hoewel dat getal meer zegt over die specifieke backend dan over de kwantisatie. Beschouw doorvoercijfers aan beide zijden als sterk hardwarespecifiek.

Waar OrcaRouter past, en waar niet

Geen van deze bestanden is iets wat een router serveert. Het zijn lokale artefacten, en de eerlijke voorstelling van zaken is dat OrcaRouter geen van beide host — dit is een vergelijking over wat op je eigen hardware draait. Wat wel aan onze kant zit, is het model waarvan ze beide zijn afgeleid. Qwen3.8-27B in volledige precisie is beschikbaar via de eigen infrastructuur van OrcaRouter voor $0,33 per miljoen invoertokens en $2,40 per miljoen uitvoertokens, met de native 262K-context van het model en de low/medium/high reasoning-effort-besturing intact.

Dat levert een hybride opzet op waarover het de moeite waard is concreet te zijn. Draai de gecomprimeerde build lokaal voor de taken waarin hij goed is, en stuur het incidentele verzoek dat volledige precisie nodig heeft door naar het gehoste basismodel via dezelfde sleutel — geen tweede leverancierscontract, geen codewijziging, omdat beide kanten dezelfde API spreken. Als de lokale build verkeerd blijkt te zijn voor een workload, kan het verzoek dat mislukt automatisch een failover ondergaan in plaats van als fout te worden geretourneerd, wat een goedkopere manier is om te ontdekken dat een kwantisatie ongeschikt is dan om dat in productie te ontdekken.

De korte versie

• Op gepubliceerde kwaliteit per byte wint de ternaire build duidelijk, en die winst is geconcentreerd in redeneren en code — de categorieën waarin de post-training build het meest achteruitgaat.

• Op het gebied van overdraagbaarheid wint de IQ2_XXS-build net zo duidelijk. Standaardruntimes overal, geen fork, geen speciale kernels, geen faalmodus waarbij stilzwijgend rommel wordt geproduceerd.

• De vergelijking is niet "1,76 bits versus 2,2 bits". Het is "een representatie die tijdens de training wordt gekozen versus een die achteraf wordt gefit", en het verschil van 0,44 bits is een afrondingsfout daarbij vergeleken.

• Elk kwaliteitscijfer voor de ternaire build in dit artikel is de eigen meting van Prism ML op een suite die Prism ML zelf heeft gekozen. De KLD-resultaten voor de IQ2-builds zijn onafhankelijk, op één enkele run gebaseerd en specifiek voor één basismodel en één testset; ze vormen het sterkste bewijs van derden in deze vergelijking en ze zeggen niets over Bonsai.

De kloof zal zich ook vanuit de andere richting sluiten, en waarschijnlijk binnenkort. Als de ternaire kernels upstream in llama.cpp worden opgenomen, verdampt het enige serieuze bezwaar tegen Bonsai en wordt de keuze eenvoudig. Tot die tijd behoudt de IQ2_XXS-build een reëel voordeel dat niets te maken heeft met hoe goed hij is.

Als je deze week beslist, kost de test die de knoop doorhakt een middag: neem twintig prompts uit je eigen werk die meer dan één redeneerstap vereisen, draai beide builds en beoordeel de antwoorden blind. De gepubliceerde tabellen vertellen je waar je moet kijken. Ze kunnen je niet vertellen of jouw werk daar zit.