Bonsai 2 vs Bonsai 27B: uno lo puoi scaricare, l'altro no

La differenza più concreta tra Bonsai 2 e Bonsai 27B non ha nulla a che fare con i benchmark. Il 17 ottobre 2026 è stata pubblicata una voce della libreria Ollama che copre l'intera famiglia Bonsai 2 — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B e Bonsai 2 27B — e non esiste una voce equivalente per la prima generazione. Cerca bonsai-27b, ternary-bonsai-27b o qualsiasi nome variante su quel registro e ottieni un 404. Bonsai 27B, rilasciato da Prism ML il 14 luglio 2026, deve essere scaricato dai repository Hugging Face del fornitore ed eseguito con il fork llama.cpp di Prism ML. Bonsai 2 ha un'installazione da una riga.

Quell’asimmetria è tutta la sostanza pratica della scelta, ed è facile lasciarsela sfuggire perché i due nomi sembrano un’unica linea di prodotto con un aggiornamento di versione. Sono due generazioni, due modelli base, due diversi set di confezionamenti e — da questa settimana — due diversi meccanismi di consegna. Quello che segue è ciò che è effettivamente cambiato tra loro, dove quello più vecchio vince ancora e l’unica configurazione in cui la risposta non è nessuno dei due.

Che cosa è ciascuno

Entrambe sono compressioni ternarie di un modello Q​wen con attenzione ibrida. Nessuna delle due è un modello addestrato da zero — l'architettura, i pesi e l'addestramento consapevole della quantizzazione provengono dalla base Q​wen, e ciò che Prism ML apporta è la rappresentazione ternaria e i kernel che la utilizzano.

• Generazione — Bonsai 2 (settembre 2026, esteso a ottobre 2026) vs Bonsai 27B (14 luglio 2026)

• Modello base nella dimensione 27B — Qwen3.8-27B vs Qwen3.6-27B

• Modelli base in tutta la famiglia — Qwen3.5-2B, -4B, -9B e Qwen3.8-27B con Bonsai 2; un singolo Qwen3.6-27B nella prima generazione

• Dimensioni offerte — quattro (2B, 4B, 9B, 27B) contro una (27B)

• Due punti operativi a 27B — no, uno: Bonsai 2 27B viene distribuito solo in ternario, mentre Bonsai 27B veniva distribuito sia come build ternaria sia come build binaria

• Ingombro più ridotto della classe 27B — 5,95 GB PTQ1_0 in Bonsai 2 rispetto a 3,9 GB nella build a 1 bit della prima generazione

• Contesto — 262.144 token ereditati dal backbone Qwen su entrambi

• Licenza — Apache 2.0 su entrambi

• Distribuzione — tag Ollama e Hugging Face per Bonsai 2; Hugging Face più il fork llama.cpp di Prism ML per Bonsai 27B

La riga che determina più deployment di tutte le altre è la quinta. Bonsai 27B è stato distribuito in due modi per spendere memoria: una build ternaria a circa 7,2 GB e una build binaria a 3,9 GB. Bonsai 2 27B ne offre una sola — una build ternaria a 5,95 GB nel packing dense-trit o 7,21 GB nel packing a slot da 2 bit — e non esiste una controparte binaria in questa generazione. Se usavi la build da 3,9 GB della prima generazione e ti aspettavi un successore equivalente, non ce n'è uno a 27B.

Che cosa ha effettivamente comprato la generazione

I numeri di Prism ML, sul suo stesso harness, senza alcuna riproduzione indipendente disponibile: il Bonsai 27B ternario di prima generazione ha riportato una media in modalità thinking di 80,49 contro 85,07 per il suo riferimento Qwen3.6-27B FP16 — 94,6% mantenuto su 15 benchmark. Bonsai 2 27B riporta 84,78 contro 86,32 per Qwen3.8-27B FP16 — 98,2% su 14 benchmark. In termini assoluti, il modello compresso ha guadagnato circa 4,3 punti sulla scala del fornitore.

Due avvertenze vanno fatte nello stesso respiro, perché il titolo invita a una lettura più netta di quanto i dati supportino. Innanzitutto, le suite di benchmark non sono lo stesso insieme — 15 per l'una, 14 per l'altra — e la baseline è passata da Qwen3.6-27B a Qwen3.8-27B, che di per sé era un modello più forte. La scheda del modello 27B dello stesso fornitore rende esplicito il secondo punto ricalcolando la release precedente sulla nuova suite di 14 benchmark per una riga di confronto omogeneo: su quella base comune la release precedente ottiene 80,98 e Bonsai 2 27B ottiene 84,78. Quindi la lettura onesta della differenza è di circa 3,8 punti rispetto allo stesso insieme di benchmark, con una parte che deriva dal modello di base e una parte dall'addestramento ternario. La percentuale di ritenzione è salita dal 94,6% al 98,2% in parte perché il denominatore si è spostato.

In secondo luogo, la forma della perdita è più informativa del dato aggregato. Sulla stessa suite di 14 benchmark, Bonsai 2 27B non perde quasi nulla dove si manifesta il ragionamento sostenuto: matematica 96,57 contro 97,06, programmazione 89,42 contro 89,07 — alla pari, marginalmente in vantaggio — e seguire le istruzioni 82,66 contro 81,25, in vantaggio. Conoscenza e ragionamento scendono da 85,55 a 79,86, e visione da 71,36 a 66,19. È il profilo che ci si aspetterebbe da una rappresentazione a 1,72 bit per peso: il nucleo del ragionamento sopravvive, il richiamo fattuale e la comprensione delle immagini subiscono il colpo. Se il tuo carico di lavoro è codice e matematica, la compressione è quasi gratuita. Se è risposta a domande di tipo retrieval su un corpus, non lo è.

Lo slot da 3,9 GB è dove la cosa diventa interessante

Ecco la parte che la cornice delle due generazioni nasconde. L'artefatto più distintivo della prima generazione era la build binaria: un modello 27B in 3,9 GB, che manteneva un 89,5% di FP16 riportato dal fornitore su una media di 76,11 su 15 benchmark. Bonsai 2 non ha un 27B binario. Ma Bonsai 2 ha un 9B a 1,997 GB nel packing dense-trit e 2,42 GB nel packing a slot da 2 bit — all'incirca metà dell'ingombro del 27B binario, dalla generazione più recente e dal modello base più recente.

Il 9B è migliore del 27B a 1 bit? Il fornitore non riporta un numero che risponda a questa domanda, e non dovresti costruirne uno. I due modelli sono stati valutati su suite diverse — 19 benchmark in sei aree di competenza per i piccoli modelli Bonsai 2, 15 per il 27B di prima generazione — rispetto a baseline diverse, e i rapporti di rilascio dei modelli piccoli riportano la ritenzione per categoria rispetto alle loro controparti Qwen3.5 a piena precisione, piuttosto che una singola media assoluta comparabile al 76,11 del 27B. I confronti che esistono sono per benchmark e puntano in entrambe le direzioni. Sui numeri del fornitore, il 9B ottiene 71,81 su BFCLv3 e 73,02 su Tau2Bench, mentre il 27B binario ha registrato 74,41 su BFCL v3 — abbastanza vicino che la differenza tra le suite lo inghiotte.

Ciò che si può dire senza esagerare è più ristretto e comunque utile: la classe di footprint che il 27B binario possedeva da solo ora ha un concorrente più economico della generazione successiva, e i due sono abbastanza vicini che nessuno dovrebbe scegliere tra loro basandosi su una tabella di un fornitore. Questo è un motivo per misurare sui propri prompt, non per fidarsi di un numero. È anche l'unico punto in questa comparazione in cui la risposta genuinamente non è nessuno dei due modelli nel titolo.

Gestirli: i numeri e l'inghippo

I dati di throughput sono misurati dai fornitori e non sono stati rilevati su una macchina comune, quindi vanno letti come ordini di grandezza più che come una classifica.

• Bonsai 2 27B su un Apple M5 Max — circa 47 tok/s sulla build pre-rotazione precedente, in attesa di una nuova misurazione sullo stack attuale

Bonsai 2 27B su un M5 Pro — 28,1 tok/s con il packing a slot da 2 bit, a circa 27,5 W sul rail della GPU

• Bonsai 2 27B su una RTX 5090 — 129,9 tok/s nell'impacchettamento a slot da 2 bit, 120,5 nell'impacchettamento dense-trit

• Bonsai 27B ternario di prima generazione su un M5 Max — 44,0 tok/s; su un H100, 98,0 tok/s, che sale a circa 131,8 con il suo drafter DSpark

• Bonsai 27B binario di prima generazione su un iPhone 17 Pro Max — circa 11 tok/s, limitato termicamente

Il problema è il packaging, e taglia allo stesso modo per entrambe le generazioni. I kernel ternari di nessuna delle due generazioni sono in upstream llama.cpp. La prima generazione richiede il fork Prism ML per ogni file. Bonsai 2 distribuisce tre impacchettamenti degli stessi pesi e upstream llama.cpp ne esegue esattamente uno — Q2_0, nel master recente — mentre rifiuta il più piccolo PTQ1_0 e il più veloce PQ2_0 come tipi sconosciuti. Quindi il pacchetto dense-trit che si avvicina di più ai teorici 1,72 bit per peso è anche quello che richiede una build forkata.

Vale la pena soffermarsi su questo, perché spiega l'elenco di Ollama. I tag Ollama per Bonsai 2 servono Q2_0: il layer del modello del tag 9B misura 2,557 GB, byte per byte la dimensione del file Q2_0 su Hugging Face, e il pacchetto PTQ1_0 più piccolo è del tutto assente dal registry. Qualunque altra cosa sia quell'elenco, non è una via verso l'artefatto più piccolo. Qui si stanno scambiando comodità e ingombro, e lo scambio è invisibile a meno che non si leggano le dimensioni dei file.

Arrivare a uno dei due

Se usi Ollama, la decisione è già presa: Bonsai 2, quattro dimensioni, ollama pull bonsai-2:27b oppure :9b, circa 8,3 GB e 3,2 GB su disco, incluso il proiettore visivo. Se ti servono il dense-trit packing, i drafters di speculative decoding o qualsiasi cosa dalla prima generazione, si tratta di un download da Hugging Face e di una build fork, e il repository demo del fornitore è il riferimento testato per quel percorso.

Dove un livello di routing aiuta davvero, in questo caso, è dall'altro lato della questione. Non puoi instradare verso nessuno dei due: sono pesi locali e oggi OrcaRouter non serve nessuna dimensione di Bonsai. Quello che OrcaRouter ti offre è la base di confronto: un'unica API davanti a oltre 200 modelli ospitati con markup dello 0%, con il prezzo di listino del provider passato così com'è e failover automatico tra i provider. La sequenza sensata per la maggior parte dei team è stabilire su un modello ospitato di cosa ha realmente bisogno un'attività, per poi decidere se un modello locale da 2 GB, 3,9 GB o 6 GB supera quella soglia, invece di tirare a indovinare da una percentuale di retention.

Quale, concretamente?

• Vuoi la generazione ternaria più recente a 27B e un'installazione con un solo comando — Bonsai 2 27B tramite Ollama, accettando il packing Q2_0 e la maggiore dimensione su disco.

• Vuoi gli artefatti di classe 27B più piccoli possibile, oppure ti affidi al drafter DSpark — Bonsai 27B di prima generazione da Hugging Face, con la build fork. Nulla in Bonsai 2 lo sostituisce a 27B.

• Stavi eseguendo la build binaria da 3,9 GB e hai bisogno che quel footprint regga — non dare per scontato che Bonsai 2 abbia un successore. O resti, oppure metti alla prova Bonsai 2 9B con i tuoi prompt; è grande la metà ed è una generazione più recente, e il fornitore non ha pubblicato un confronto che dirima la questione.

• Ti servono quattro classi dimensionali da un unico runtime — Bonsai 2 è l'unica generazione che le offre.

Una cosa da tenere d'occhio che semplificherebbe tutto questo: un ptq1_0 tag che compare nell'elenco di Ollama. Ciò significherebbe che i kernel dense-trit hanno raggiunto il motore che Ollama distribuisce, il requisito del fork viene meno per il pacchetto più piccolo, e il compromesso comodità-ingombro smette di essere un compromesso.

Niente di tutto ciò è ipotetico: i fallimenti documentati dell'IA e gli incidenti degli agenti alla base di rilasci come questo sono raccolti in l'OrcaRouter AI Incident Archive, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.