Ternary Bonsai 2 27B vs Bonsai 27B: Due mesi, due modelli di base, una variante mancante

Ternary Bonsai 2 27B è arrivato il 17 settembre 2026, due mesi dopo l'arrivo di Bonsai 27B, il 14 luglio 2026, e il confronto principale tra i due è una singola coppia di numeri: la prima generazione ha mantenuto circa il 95% della media dei benchmark del suo modello base a piena precisione, e la seconda mantiene il 98,2%. Questo sembra un miglioramento generazionale lineare, e in gran parte lo è — ma le due cifre non misurano la stessa cosa, perché il modello base è cambiato sotto di esse. La versione di luglio ha compresso Qwen3.6-27B. La versione di settembre comprime Qwen3.8-27B. Parte del guadagno di qualità appartiene alla ricetta di compressione e parte appartiene al più recente Qwen3.8-27B, e nessuna cifra pubblicata separa le due.

C'è una seconda differenza tra le generazioni che ha ricevuto molta meno attenzione e che conta di più per uno specifico gruppo di utenti: il primo Bonsai è stato distribuito in due varianti e il secondo in una sola. La build da 3,9 GB che faceva stare un modello di classe 27B su un iPhone 17 Pro non ha un successore in questa release. Se è quel footprint il motivo per cui Bonsai ti interessava in primo luogo, la generazione più recente non è un aggiornamento — è un prodotto diverso che non copre il tuo caso.

Cosa ha davvero spedito la prima generazione

Bonsai 27B è stato rilasciato il 14 luglio 2026 con licenza Apache 2.0 come due artefatti costruiti sullo stesso modello di base, e la separazione tra essi era il punto centrale del rilascio.

• Ternary Bonsai 27B — pesi ternari {−1, 0, +1} con scaling group-wise in FP16, 1,71 bit effettivi per peso, un footprint di 5,9 GB. La build orientata alla qualità, pensata per un laptop di uso quotidiano con piena capacità di ragionamento, tool-calling e agentica.

• Bonsai 27B a 1 bit — pesi binari {−1, +1} con la stessa scalatura per gruppo, 1,125 bit effettivi per peso, un ingombro di 3,9 GB. La build orientata all'ingombro, dimensionata per rientrare nel budget di memoria di un iPhone 17 Pro.

Entrambi avevano un contesto di 262K token, entrambi mantenevano una torre di visione compatta a 4 bit, così il modello rimaneva multimodale, ed entrambi supportavano la decodifica speculativa con un drafter DSpark. L'impostazione di Prism ML all'epoca era che la rappresentazione a basso bit funzionava end-to-end — embedding, attenzione, MLP e la testa LM — senza scappatoie di precisione superiore, e che la versione a 1 bit era il primo modello di classe 27B a girare su un telefono in assoluto. Il throughput riportato sulla variante a 1 bit era di circa 11 token al secondo su un iPhone 17 Pro, 87 tok/s su un Apple M5 Max e 163 tok/s su una RTX 5090; la variante ternaria era dichiarata a 58 tok/s sull'M5 Max e 134 tok/s sulla 5090.

Il costo in termini di qualità è stato riportato accanto a quei numeri anziché essere nascosto. Su una suite di 15 benchmark in modalità thinking, la base a piena precisione ha ottenuto 85,0, la versione ternaria 80,5 — circa il 95% — e la versione a 1 bit 76,1, circa il 90%. Il degrado si è concentrato nel tool calling agentico, sceso da 80,0 a 66,0 nella versione a 1 bit, e nella visione, scesa da 72,6 a 59,6. Matematica e programmazione hanno tenuto notevolmente meglio in entrambe le varianti.

Che cosa ha cambiato la seconda generazione

Ternary Bonsai 2 27B mantiene la ricetta e cambia gli input. La rappresentazione ternaria è ancora {−1, 0, +1} con una scala FP16 per gruppo di 128 pesi, ora impacchettata a 1,76 bit per peso in un file da 5,93 GB, con contesto da 262K e la stessa torre di visione separata — 0,63 GB a 4 bit in questa versione, caricata solo quando arriva un'immagine.

Due cose sono davvero nuove, ed entrambe sono descritte come la ragione per cui il dato sulla retention si è mosso.

Il primo è la precisione selettiva. A differenza della build di luglio, che ternarizzava praticamente tutto, Bonsai 2 mantiene 26.238.464 parametri in piena precisione — lo 0,0976% del modello linguistico, circa 52 MB in bf16, concentrati nel percorso dello stato ricorrente dei layer di attenzione lineare più i pesi di normalizzazione. Si tratta di una piccola concessione in byte e apparentemente di una grande in termini di comportamento.

Il secondo è una base di pesi ruotata. Le matrici dei pesi vengono memorizzate dopo una rotazione di Walsh–Hadamard a blocchi con dimensione del blocco pari a 1.024, con la trasformata corrispondente applicata alle attivazioni a runtime, sulla base del principio che distribuire gli outlier tra le coordinate rende un'approssimazione a tre livelli meno lossy. Non costa spazio di archiviazione aggiuntivo perché la rotazione è incorporata nei pesi, ma si trova comunque sul percorso computazionale.

Poi c'è il cambiamento che non è affatto una tecnica: il modello di base. Qwen3.8-27B è un design ad attenzione ibrida — circa 75% di attenzione lineare, 25% di attenzione completa — mentre il suo predecessore non lo era. I punteggi di categoria riportati da Prism ML mostrano cosa ha fruttato quella mossa. Il rispetto delle istruzioni si attesta a 82,66 per Bonsai 2, contro 74,53 per Qwen3.6-27B, la base che la prima generazione ha compresso. Ragionamento e conoscenza si attestano a 83,95 contro 84,71 per la base più vecchia, e il coding a 81,58 contro 82,57. La nuova base è migliore nel rispetto delle istruzioni di un ampio margine e leggermente indietro in due altre categorie, che è esattamente il tipo di profilo che rende le percentuali di retention tra generazioni poco utili di per sé.

Perché i due dati di retention non sono comparabili

Il 95% e il 98,2% sembrano due letture sulla stessa scala. Non lo sono, per tre ragioni che vale la pena tenere ben presenti prima di concludere che la ricetta è migliorata di 3,2 punti.

• I denominatori sono diversi. Il 95% della prima generazione è stato misurato su una suite di 15 benchmark contro Qwen3.6-27B. Il 98,2% della seconda proviene da una suite di 20 benchmark contro Qwen3.8-27B. Suite diverse, baseline diverse, mix di difficoltà diversi.

• Le baseline si sono mosse in modo indipendente. Parte del guadagno in ritenzione è dovuto al modello compresso che migliora nella compressione, e parte al modello di base che cambia in modi che risultano più favorevoli ai pesi ternari. Nulla di pubblicato separa questi contributi.

• La ritenzione è relativa, quindi può aumentare mentre la capacità assoluta cala in una categoria. Un modello che mantiene il 99% di un genitore più debole può comunque restare indietro rispetto a un modello che mantiene il 96% di uno più forte.

Il confronto assoluto è più informativo di quello relativo, e su questa base il quadro è più chiaro. L'aggregato di 83.9 di Bonsai 2 è superiore all'83.6 che Qwen3.6-27B a piena precisione ha ottenuto sulla suite precedente, il che significa che il successore compresso è ora in vantaggio rispetto al modello non compresso che ha sostituito una generazione prima. La build ternaria di prima generazione ha ottenuto 80.5 sulla propria suite. Entrambe queste cifre sono di Prism ML, e le suite sono diverse, quindi guarda l'ordine, non i decimali.

La variante che non è tornata

Questa è la parte del confronto che cambia una decisione d'acquisto piuttosto che un grafico di benchmark.

Non esiste un Bonsai 2 da 1 bit. La versione di settembre include una build ternaria, in due configurazioni — PTQ1_0 a 1,76 bit per peso e 5,93 GB, e PQ2_0 a 2,16 bit per peso e 7,25 GB — più un contenitore MLX per Apple Silicon. Non esiste una variante binaria da 3,9 GB, né alcun annuncio in tal senso. Il dato di 3,9 GB di classe smartphone che compare nella copertura attuale si riferisce ancora al modello di luglio.

La conseguenza pratica è diretta. Se il tuo target è un iPhone o iPad, o qualsiasi dispositivo in cui un modello linguistico da 5,9 GB più una vision tower da 0,63 GB più un budget di contesto non entrano, allora la build a 1 bit di prima generazione resta l'unica opzione in questa famiglia, e continuerà a esserlo finché non esisterà un Bonsai 2 a 1 bit. Aggiornare il percorso ternario non aggiorna quel percorso. Chiunque legga «Bonsai 2 è migliore» e riscarichi sul telefono scoprirà che il file non entra.

Se siete su un laptop o un desktop, il calcolo è l'opposto: non c'è motivo di usare la build ternaria di luglio quando quella di settembre è più piccola per unità di qualità, migliore sui benchmark che contano e offre lo stesso contesto da 262K.

Velocità, dove le generazioni sono davvero difficili da classificare

Il throughput è la parte di questo confronto in cui la risposta onesta è che i numeri pubblicati non supportano una classifica netta, e vale la pena dirlo invece di scegliere la coppia più lusinghiera.

Le misurazioni standardizzate della seconda generazione a batch size 1 con il vision tower escluso sono 142,5 tok/s in decodifica su una RTX 5090 con il packing PQ2_0, 46,8 tok/s su un Apple M5 Max, 27,7 su un M5 Pro e 18,0 su un M4 Pro. La prima generazione dichiarava 134 tok/s su una RTX 5090 e 58 tok/s su un M5 Max per la sua build ternaria. Il dato della 5090 si muove modestamente nella direzione attesa. Il dato dell'M5 Max si muove nella direzione opposta — da 58 a 46,8 — il che non è l'aspetto che dovrebbe avere un salto generazionale di due mesi.

Due avvertenze impediscono che ciò costituisca un risultato. Le basi di misurazione differiscono tra le versioni, e almeno un dato M5 Max pubblicato per il modello più recente è stato attribuito a una build precedente all'ottimizzazione della rotazione. Ma vale la pena segnalarlo come questione aperta, perché il meccanismo che lo spiegherebbe è proprio nelle note di rilascio: la base ruotata colloca una trasformazione sul percorso critico di ogni proiezione con batch size 1, e il decode su Apple Silicon è il regime in cui questo pesa di più. La tecnica che garantisce qualità può costare throughput di decode, e sull'hardware a memoria unificata questo compromesso è più netto che mai.

Il container MLX aggiunge una complicazione a parte per gli utenti Apple. È un formato affine a 2 bit il cui blocco memorizza sia una scala sia un bias per ogni gruppo di 128 pesi, ma i pesi ternari richiedono solo la scala, quindi il bias è peso morto — il blocco costa 36 byte per 128 pesi invece di 34, e il tasso impacchettato si attesta a 2,25 bit per peso con una dimensione file misurata di 8,005 GiB. È un container diverso che trasporta gli stessi valori, ed è il pacchetto che il setup dimostrativo scarica per impostazione predefinita.

Eseguendo l'una o l'altra generazione

Entrambe le generazioni condividono un vincolo operativo a cui nessuna versione di questo modello è sfuggita: nessuna delle due funziona su llama.cpp standard. I kernel ternari per questa architettura risiedono nella fork di Prism ML stessa, llama.cpp standard rifiuta i packing attuali come sconosciuti e — cosa peggiore — caricherà il vecchio formato ternario senza protestare e produrrà spazzatura fluida, perché non applica la rotazione che i pesi presuppongono. La build MLX include kernel Metal e CPU, ma nessun percorso CUDA. Qualunque generazione tu scelga, la questione del runtime trova risposta nella distribuzione di Prism ML stessa o in un runtime che ha adottato i suoi kernel, non dall'ecosistema ggml nel suo complesso.

Il punto in cui OrcaRouter entra in una decisione come questa è un livello più in alto. Nessuna delle generazioni di Bonsai è ospitata qui — sono download che esegui sul tuo hardware. Ciò per cui il livello di routing è utile è il confine: le richieste a cui il tuo modello locale non dovrebbe rispondere.Definisci la politica di escalation una volta sola nella configurazione di routing anziché nel codice dell'applicazione, in modo che un livello servito localmente inoltri richieste a contesto lungo, ad alta componente visiva o comunque fuori ambito a un modello ospitato invece di farle fallire, e in modo che il fallback sopravviva a qualunque generazione di Bonsai tu abbia installato. Sia il livello locale sia quello ospitato, poi,stanno dietro un'unica chiave, e la politica risiede in un unico posto quando arriverà la prossima generazione di Bonsai e i confini dei livelli si sposteranno di nuovo.

Cosa fare con questo

• Se esegui la build ternaria di luglio su un laptop o un desktop — passa a Ternary Bonsai 2 27B. È un modello migliore con all'incirca lo stesso ingombro, e i punteggi delle categorie in cui vince sono quelli che contano per il lavoro agentico e di instruction-following.

• Se esegui la build 1-bit di luglio su un telefono — resta. Non c'è un successore, e la build ternaria da 5,93 GB non è un sostituto diretto per una da 3,9 GB.

• Se stai valutando la famiglia per la prima volta — decidi prima il footprint, poi la generazione. La variante che ti serve determina in quale release stai facendo acquisti, e questo ordine è l'inverso di come viene solitamente descritto questo upgrade.

• Se stai scegliendo in base ai benchmark — considera 95% e 98,2% come due misurazioni diverse anziché due punti su una linea, e considera ogni cifra in entrambi come dato del fornitore stesso finché non compare una valutazione indipendente del modello di settembre. Quella valutazione è quella da tenere d'occhio, perché è la prima che potrà confrontare le due generazioni su una base comune.