Bonsai 2 vs Ternary Bonsai 2 27B: il nome della famiglia svolge due ruoli

Cerca Bonsai 2 e ti imbatterai in circa cinque artefatti diversi con footprint che coprono un ordine di grandezza, e non è ovvio dal nome a quale di essi si riferisca un dato articolo. Ternary Bonsai 2 27B è quello specifico — un singolo modello ternario di classe 27B basato su Qwen3.8-27B, annunciato il 17 settembre 2026 e distribuito come pacchetto dense-trit da 5,95 GB o pacchetto 2-bit-slot da 7,21 GB. Il semplice Bonsai 2 è il termine ombrello: lo stesso nome copre Ternary Bonsai 2 2B, Ternary Bonsai 2 4B e Ternary Bonsai 2 9B, tre modelli molto più piccoli basati su Qwen3.5 e annunciati il 15 ottobre 2026, e ora copre anche una voce della libreria Ollama che serve tutte e quattro le dimensioni sotto un'unica famiglia di tag.

Quindi questo non è il solito confronto diretto. Una parte è un sottoinsieme dell'altra, e la domanda utile non è quale sia migliore, ma quale dei due voglia davvero un lettore che ha digitato "Bonsai 2" in un campo di ricerca. La risposta dipende da qualcosa che la denominazione nasconde: la famiglia è in realtà due famiglie, divise in base al modello di base, e la divisione non cade dove i numeri delle dimensioni lasciano supporre.

Due famiglie con un unico nome

Leggi le intestazioni GGUF dei file pubblicati e la cucitura è proprio lì in un campo dei metadati. Ogni artefatto di Bonsai 2 — 2B, 4B, 9B e 27B allo stesso modo — riporta general.architecture = qwen35. Quella stringa è il backbone ad attenzione ibrida di Qwen3.5, e per i tre piccoli è esattamente corretto: le model card elencano Qwen3.5-2B, Qwen3.5-4B e Qwen3.5-9B come modelli base con l'architettura invariata. Il 27B è un animale diverso. La sua base è Qwen3.8-27B, un modello ad attenzione ibrida da 27B più recente e più potente, e capita che condivida la stringa dell'architettura perché Qwen3.8 mantiene la stessa famiglia di backbone.

Le note di rilascio del fornitore stesso rendono la separazione visibile se le si legge una accanto all'altra e invisibile se se ne legge una da sola. Il post del 15 ottobre sui modelli piccoli dice che sono "basati su Qwen3.5" e li descrive come modelli che si affiancano a Bonsai 2 27B — che viene accuratamente inquadrato come qualcosa di diverso. Il post del 17 settembre sul 27B dice Qwen3.8-27B. Due annunci, due modelli di base, un nome di famiglia, e un articolo di terze parti che dice "Bonsai 2 si basa su Qwen3.5" sbaglia sul 27B pur sembrando perfettamente documentato.

Questo è importante perché la generazione del modello base non è un dettaglio, qui. Stabilisce il tetto di capacità, stabilisce di che cosa le percentuali di ritenzione sono percentuali, e significa che i numeri dei benchmark dei modelli piccoli e i numeri dei benchmark del 27B non sono due punti su un'unica curva — sono due report separati rispetto a due baseline separate. Tratta con sospetto qualsiasi tabella che li allinei in un'unica colonna.

I numeri, fianco a fianco

Tutti i dati sono dichiarati dall'azienda Prism ML; nessuno è stato riprodotto in modo indipendente.

• Modello base — Ternary Bonsai 2 2B / 4B / 9B: rispettivamente Qwen3.5-2B, -4B, -9B; Ternary Bonsai 2 27B: Qwen3.8-27B

• Annunciato — 15 ottobre 2026 per i tre piccoli; 17 settembre 2026 per il 27B

• Pacchetto di modelli linguistici più piccolo — 0,429 GB PTQ1_0 a 2B; 1,997 GB PTQ1_0 a 9B; 5,947 GB PTQ1_0 a 27B

• Pacchetto predefinito — PQ2_0 per tutti loro: 0,517 GB, 1,146 GB, 2,417 GB e 7,206 GB rispettivamente

• Bit per peso — ~1,83 a 2B, ~1,81 a 4B, ~1,78 a 9B, 1,72 ideale / 1,75 packed a 27B

• Contesto — 262.144 token in tutta la famiglia, ereditati dal backbone Q​wen

• Visione — un pacchetto mmproj separato per ogni dimensione, caricato solo quando arriva un'immagine

• Licenza — Apache 2.0 in tutto

• Ritenzione come riportata — 27B: 98,2% di Qwen3.8-27B FP16 su 14 benchmark; modelli piccoli: 19 benchmark su sei aree di competenza, riportati come ritenzione per categoria rispetto ai propri baseline Qwen3.5

Una riga in quell'elenco è il motivo per cui il 27B costa 5,95 GB mentre il 9B costa 2,00 GB, e non è solo una questione di numero di parametri. Il 27B è descritto come "ternario end-to-end" in embedding, proiezioni dell'attenzione, proiezioni MLP e LM head, con un dettaglio decisivo: un piccolo insieme di tensori — il percorso dello stato ricorrente dei layer di attenzione lineare più i pesi di normalizzazione, circa 26,2 milioni di parametri, lo 0,0976% del modello linguistico — resta a precisione più alta, e quel resto è ciò che sposta il dato principale da 1,71 a 1,72 bit per peso. Sul 9B lo stesso meccanismo dà ~1,78. Il modello più grande è più efficiente per peso, non meno, perché il sovraccarico fisso ad alta precisione viene ammortizzato su un numero di parametri dieci volte maggiore. Se stai valutando quale dimensione scegliere da una tabella di bit per peso, quella è l'unica direzione in cui la tabella punta.

Dove i modelli piccoli vincono davvero

Non sulla qualità — sulla forma dell'affermazione. Il rilascio del modello piccolo è l'unico di questa famiglia che pubblica un'affermazione sulla verbosità, ed è la cosa più verificabile che entrambi gli annunci contengano: Prism ML riferisce che il 9B usa circa il 40% in meno di token su compiti standard di instruction-following e matematica quotidiana. Questa è un'affermazione sulla lunghezza dell'output, non sulle capacità, e puoi verificarla con i tuoi stessi prompt in un pomeriggio. Lo stesso post elenca evitare cicli ripetitivi e controllare la verbosità come priorità di sviluppo esplicite, che è il genere di cosa che si scrive quando la generazione precedente aveva un problema.

È anche l'unico rilascio che riporta una ritenzione superiore al 100% su diverse categorie — 121,5% nel seguire le istruzioni per il 2B, 107,8% in matematica, 115,0% nel coding — rispetto alle baseline Qwen3.5 a precisione piena. Quelli sono i numeri del fornitore stesso sulla suite del fornitore stesso, e un modello compresso che supera il proprio modello di origine su un benchmark scelto a mano è un'affermazione che riguarda l'addestramento e l'harness almeno quanto l'aritmetica ternaria. Il report del 27B è modellato in modo più conservativo — 84,78 contro 86,32, con la matematica a 96,57 contro 97,06 e il livello di coding a 89,42 contro 89,07, e la perdita concentrata in conoscenza/ragionamento e visione — che è il profilo che una rappresentazione a 1,7 bit dovrebbe produrre. Quando le perdite di un report cadono esattamente dove la teoria prevede e i guadagni di un altro cadono sulle categorie che il fornitore ha scelto di mettere in evidenza, quell'asimmetria è un'informazione.

Packaging: il vantaggio silenzioso del 27B

Dal 17 ottobre 2026 tutte e quattro le dimensioni sono scaricabili come bonsai-2:2b, :4b, :9b e :27b da Ollama — nove tag in totale, ciascuna dimensione porta anche un alias -q2_0. È recente, non è annunciato dal fornitore, e vale la pena sapere cosa offre effettivamente. I tag di Ollama risolvono al packing Q2_0, l'unico che llama.cpp upstream può caricare. I pacchetti dense-trit PTQ1_0 — i file più piccoli della famiglia — non sono affatto nel registro. Quindi il percorso comodo e il percorso piccolo sono percorsi diversi, per tutte e quattro le dimensioni ugualmente.

La differenza del 27B sta in ciò chenonfornisce. Il 4B e il 9B includono ciascuno due drafter opzionali per la decodifica speculativa: una testa MTP integrata nel pacchetto a slot da 2 bit e un drafter a blocchi DFlash2 che aiuta nei lavori con molta copiatura ed è più lento della decodifica semplice nelle chat generiche. Il 2B viene fornito deliberatamente senza alcun drafter: la nota del fornitore indica che a quella dimensione un passo di decodifica è già economico e il drafting a profondità swept è risultato più lento della decodifica semplice sui prompt quotidiani. La generazione del 27B ha rimosso il drafter equivalente che il suo predecessore di prima generazione includeva.

Questa è una reale differenza di capacità tra le dimensioni, e non compare affatto sulla pagina di Ollama.

Decidere, e cosa fare con la risposta

Il 27B è quello da scegliere se il carico di lavoro è il ragionamento a lungo orizzonte: codice, matematica, catene di strumenti agentici, documenti lunghi mantenuti in un contesto da 262K. È l'unica dimensione della famiglia con un modello base della generazione Qwen3.8, e la ripartizione per categorie del fornitore afferma che la compressione non le costa quasi nulla in matematica e programmazione, mentre si fa sentire nel richiamo delle conoscenze e nella visione.

Il 9B è quello a cui ricorrere se il vincolo è la memoria anziché la difficoltà: assistenti residenti su laptop, deployment su telefono, qualsiasi cosa in cui 2 GB contro 6 GB faccia la differenza tra rilasciare o no. Il suo profilo pubblicato è più forte esattamente dove quello del 27B è più debole rispetto alla baseline — il rispetto delle istruzioni e il controllo della verbosità — che è ciò su cui un piccolo assistente locale spende effettivamente i suoi token. Il 2B e il 4B esistono per budget ancora più ristretti, e a quelle dimensioni i numeri di retention diventano abbastanza rumorosi che i tuoi stessi prompt sono una guida migliore della tabella del fornitore.

Una nota sul confronto che la maggior parte dei lettori farà davvero, ovvero con modelli ospitati anziché tra loro. Nessuna delle dimensioni di Bonsai 2 viene servita tramite OrcaRouter, e questo articolo non suggerisce il contrario — sono pesi che scarichi. Ma alla domanda «un modello locale da 2 GB è abbastanza buono per questo compito?» si risponde misurando rispetto a qualcosa, e OrcaRouter mette un'unica API davanti a oltre 200 modelli ospitati con 0% di ricarico con il prezzo di listino del provider passato direttamente, più failover automatico tra provider e un DSL di routing per comporre diversi modelli in un'unica chiamata. Stabilisci l'asticella con un modello ospitato, poi verifica se quello locale la supera sul tuo hardware. Quest'ordine fa risparmiare le settimane che le persone perdono a ottimizzare un download che non sarebbe mai stato sufficiente.

Una precauzione da trarre da questo pezzo. Entrambe le release riportano percentuali di retention, entrambe sono misurate dal vendor sul proprio harness e, a oggi, nessuna terza parte ha riprodotto né l'una né l'altra. L'unica cosa che puoi verificare da solo è l'artefatto: le dimensioni dei file, i packing, i metadati GGUF, la licenza e il throughput sulla tua macchina. È da lì che si deve partire, ed è anche lì che i due annunci smettono di somigliarsi: le dimensioni dei pacchetti standalone del 27B sono pubblicate per file su Hugging Face, mentre il footprint passaparola dei modelli piccoli, 0,43 GB, 0,95 GB e 2 GB, si riferisce al solo modello linguistico, con la vision tower esclusa. Confrontali sulla stessa base, altrimenti il 9B sembrerà aver perso una discussione che non ha mai avuto.

Niente di tutto ciò è ipotetico: i fallimenti documentati dell'IA e gli incidenti degli agenti alla base di rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.