Bonsai 27B: Model 27B dalam Keluarga Bonsai, Dijelaskan

Bonsai 27B adalah model berparameter 27 miliar dalam keluarga Bonsai milik PrismML, dan inilah yang dimaksud orang ketika mereka mengetik "bonsai 27b" — tetapi nama itu sendiri tidak akan mengantarkan Anda ke sana, karena ada tiga hal berbeda yang menjawab sesuatu yang mirip dengannya. Bonsai 27B adalah rekonstruksi bit-rendah dari Qwen3.6-27B, tertanggal 14 Juli 2026 menurut pengumuman vendor sendiri, dan dikirim sebagai dua paket dari model yang sama: 1-bit Bonsai 27B, yang menyimpan bobot biner {−1, +1} dalam sekitar 3,9 GB, dan Ternary Bonsai 27B, yang menyimpan bobot ternari {−1, 0, +1} pada 1,71 bit efektif per bobot — 5,9 GB dalam angka utama vendor, 7,165 GB sebagaimana paket yang sebenarnya dikirim. Ini bukan Ternary Bonsai 2 27B, generasi kedua yang dinamai terpisah dan dibangun di atas Qwen3.8-27B, dan ini bukan model visi-bahasa berparameter 2 miliar yang dibuat PrismML untuk kacamata pintar Snapdragon AR1 Gen 1. Kedua paket Bonsai 27B membawa konteks 262.000 token, menara visi 4-bit yang ringkas, dan lisensi Apache 2.0. Modelnya adalah Bonsai 27B; keputusan yang menyusul adalah paket mana dari dua paketnya yang cocok dengan anggaran memori Anda.

Halaman ini adalah rujukan untuk model tersebut. Ini bukan pengumuman: Bonsai 27B telah tersedia sejak Juli 2026, dan pertanyaan yang layak dijawab tentangnya sekarang adalah pertanyaan yang dibawa pembaca saat tiba — apa tepatnya itu, apa yang dibedakan oleh namanya, dan berapa biaya sebenarnya untuk menjalankannya.

Yang mana yang 27B?

Kebingungan di sini nyata, dan perlu diselesaikan sebelum hal lainnya, karena salah tebak akan membawa Anda ke model 2 miliar parameter atau ke generasi yang keliru dari model yang benar.

• Bonsai — nama keluarga, dan nama yang diberikan vendor untuknya. Dengan sendirinya, itu tidak mengidentifikasi apa pun yang dapat Anda unduh. PrismML telah merilis Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B dan Bonsai Image, plus model kacamata 2 miliar parameter, serta rilis April 2026 yang lebih awal bernama Ternary Bonsai untuk lini yang lebih kecil. Pencarian untuk kata itu saja akan mendarat secara acak di kumpulan tersebut.

• Bonsai 27B — subjek halaman ini. Generasi pertama dari lini 27B, diturunkan dari Qwen3.6-27B, bertanggal 14 Juli 2026. Ketika sebuah halaman menyebut "Bonsai 27B" tanpa kualifikasi lain dan tanpa "2", inilah model yang dimaksud, dan inilah nama yang harus digunakan.

• Ternary Bonsai 27B — bukan model yang berbeda. Ini adalah paket Bonsai 27B yang berorientasi kualitas: model 27B yang sama, arsitektur yang sama, dan basis yang sama, dengan bobot ternary, bukan bobot biner. Repositorinya bernama Ternary-Bonsai-27B-gguf, dan kartu modelnya menyebut Qwen3.6-27B sebagai basis persis seperti yang dilakukan kartu biner. "Ternary" di sini adalah format bobot, bukan versi.

• Ternary Bonsai 2 27B — sebuah model yang benar-benar berbeda. Generasi kedua dari lini 27B, dibangun di atas Qwen3.8-27B dan diumumkan pada 17 September 2026, dengan pembagian parameter yang berbeda dan klaim kualitas yang berbeda. Angka "2" membawa seluruh perbedaannya.

• 1-bit Bonsai 2B — anggota keluarga yang berbeda pada skala yang berbeda: model visi-bahasa berparameter 2 miliar untuk perangkat keras kelas kacamata, bukan model 27B pada presisi apa pun.

Jadi, jika Anda ke sini untuk menentukan mana di antara ini yang merupakan model 27B, jawabannya adalah baris ketiga dan keempat di atas adalah model yang sama dengan dua format bobot, dan baris kelima adalah yang bukan. Secara praktis: sebut saja Bonsai 27B, dan tambahkan paketnya saat memang penting.

Spesifikasi, dari kartu model

Setiap angka di bagian ini berasal dari kartu model terbitan PrismML untuk kedua paket tersebut, dan itu merupakan pernyataan vendor sendiri tentang modelnya sendiri. Jika suatu angka merupakan klaim dan bukan hasil pengukuran, angka itu dilabeli sebagai klaim.

• Parameter — totalnya sekitar 27,3B, dan "27B" merujuk pada keseluruhan itu. Rinciannya penting untuk diketahui karena menjelaskan perilaku memori: sekitar 24,8B berada di tulang punggung bahasa di 64 blok, sekitar 2,5B di embedding dan LM head, dan sekitar 0,46B di menara visi 27 blok. Representasi bit rendah diterapkan dari ujung ke ujung — embedding, attention, MLP, dan LM head — tanpa jalur presisi lebih tinggi di mana pun dalam jaringan bahasa.

• Konteks — total 262.000 token, tanpa varian konteks panjang dan tanpa build dengan konteks yang dikurangi. Biaya jendela itu dikelola, bukan dibayar penuh: backbone-nya hibrida, jadi hanya 16 dari 64 lapisannya yang mempertahankan cache atensi penuh, dan cache itu disimpan dalam bentuk 4-bit yang hampir lossless. Pada jendela penuh 262K, cache terkompresi itulah yang menjaga model tetap berada dalam kisaran sekitar 9,4 GB pada paket biner dan 12,8 GB pada paket terner.

• Modalitas — teks dan gambar, kedua paket. Menara visi dikirim dalam bentuk 4-bit yang ringkas (0,63 GB) dengan salinan BF16 (0,93 GB) di sampingnya. Visi juga merupakan tempat kompresi paling mahal, yang dibahas di bawah.

• Format dan ukuran bobot — Bonsai 27B 1-bit menggunakan bobot biner {−1, +1} dengan penskalaan group-wise FP16, dikemas sebagai GGUF Q1_0_g128 pada 1,125 bit efektif per bobot; file yang dikirim berukuran 3,803 GB, dan kartu membulatkan jejak yang digunakan menjadi sekitar 3,9 GB. Bonsai 27B ternary menggunakan bobot ternary {−1, 0, +1} dengan penskalaan group-wise yang sama; nilai ternary membawa log₂3 ≈ 1,585 bit informasi, sehingga batas bawah representasinya adalah ~1,71 bit per bobot, yang berarti 5,9 GB secara ideal. Paket ternary yang dipublikasikan lebih besar daripada ideal tersebut, karena kernel saat ini menyimpan setiap nilai ternary dalam slot 2-bit — 2,125 bit per bobot yang digunakan — dan file yang dikirim berukuran 7,165 GB. PrismML menyatakan kedua angka tersebut, bukan hanya angka yang menguntungkan, dan selisih di antara keduanya adalah keterbatasan kernel, bukan pilihan pemodelan.

• Lisensi — Apache 2.0 pada kedua paket, dinyatakan di kedua repositori dan dalam pengumuman vendor. Ini adalah lisensi permisif tanpa pembatasan bidang penggunaan, yang lebih penting pada ukuran bobot ini daripada pada umumnya.

• Model dasar — Qwen3.6-27B dalam kedua kasus. Ini adalah kompresi ulang model milik orang lain alih-alih model yang dilatih dari awal, dan konsekuensinya adalah plafon kemampuan Bonsai 27B serta irama pembaruannya sama-sama mengikuti lini 27B hulu alih-alih PrismML.

Hubungan terner, dinyatakan sekali

Dua paket itu adalah satu model, dan ringkasan yang jujurnya adalah bahwa ternary unggul dalam kualitas dan biner unggul dalam footprint, dengan selisih di antara keduanya yang lebih kecil daripada yang disiratkan oleh perbedaan ukuran 3,9 GB dibanding 7,2 GB.

Pada suite mode berpikir dengan 15 benchmark milik PrismML sendiri, baseline FP16 Qwen3.6-27B mencetak skor 85,07. Ternary Bonsai 27B mencetak 80,49 — retensi 94,6%, yang dibulatkan vendor menjadi sekitar 95%. 1-bit Bonsai 27B mencetak 76,11 — 89,5%, dibulatkan menjadi sekitar 90%. Jadi, paket yang berorientasi kualitas memulihkan kira-kira setengah jarak antara paket biner dan presisi penuh, tetapi memakan biaya sekitar 3,3 GB lebih banyak, dan paket biner-lah yang muat di ponsel 12 GB. Suite yang sama menunjukkan build 4-bit Q4_K_XL dari baseline yang sama pada 84,99, atau retensi 99,9%, dalam 17,6 GB — inilah perbandingan yang menjelaskan mengapa paket bit rendah mana pun ada sama sekali, karena ia mengungguli keduanya dalam kualitas dan kalah pada setiap perangkat yang hanya punya kurang dari 18 GB untuk dialokasikan ke model.

Di mana paket biner harus mengalah tidaklah merata, dan pemisahan kategori adalah bagian yang berguna. Dibandingkan dengan baseline FP16, nilainya turun dari 95,33 ke 91,66 pada matematika dan 88,74 ke 81,88 pada coding, tetapi dari 78,47 ke 65,74 pada pengikutan instruksi, 80,00 ke 66,03 pada pekerjaan agentik dan pemanggilan alat, dan 72,61 ke 59,57 pada visi. Jika beban kerja Anda adalah aritmetika atau penyelesaian kode, 3,9 GB hampir gratis. Jika itu agen pemanggil alat atau pemahaman gambar, di situlah kompresi sebenarnya dibayar.

Kartu model juga mempublikasikan angka turunan yang disebutnya kepadatan inteligensi — skor agregat per gigabita, dinormalisasi sehingga skor sempurna mendekati tak hingga. Berdasarkan ukuran itu, 1-bit Bonsai 27B mencapai 0,530 dan Ternary Bonsai 27B 0,400, dibandingkan dengan 0,199 untuk build 2-bit IQ2_XXS dari baseline yang sama, 0,155 untuk build 4-bit Q4_K_XL, dan 0,051 untuk model FP16. Angka yang menarik dalam daftar itu adalah perbandingan pertama: paket biner mengalahkan build 2-bit konvensional pada kualitas agregat dengan jejak kurang dari setengahnya, yang merupakan keseluruhan tesis keluarga ini dalam satu baris.

Perbandingan langsung lengkap antara kedua paket tersebut, dan dari mana angka masing-masing berasal, diuraikan di halaman Bonsai vs Bonsai 27B di blog ini, bersama model 2 miliar parameter yang menyandang nama keluarga yang sama.

Satu pertanyaan yang muncul bersama model ini layak mendapat jawaban faktual saja dan tidak lebih. Paket-paket tersebut adalah pengodean bit rendah dari model dasar yang sama, bukan varian yang dilatih ulang, dan repositori-repositori itu tidak menerbitkan checkpoint yang disetel secara terpisah atau tanpa sensor di sampingnya — satu-satunya artefak presisi penuh yang ditawarkan adalah konversi FP16 yang belum dikemas dari bobot yang sama, yang diterbitkan agar Anda dapat membandingkan paket terkompresi dengan baseline-nya sendiri menggunakan perkakas standar.

Bobot dan lisensi, dari repositori

Bobot Bonsai 27B dipublikasikan di Hugging Face di bawah organisasi prism-ml, dan daftar file adalah hal paling konkret tentang rilis ini. Repositori paket biner memuat model itu sendiri sebesar 3,803 GB, FP16 GGUF dari model yang sama sebesar 53,808 GB sebagai perbandingan, drafter speculative-decoding DSpark sebesar 1,787 GB dalam 4-bit dan 7,292 GB dalam BF16, serta vision tower sebesar 0,931 GB dan 0,629 GB. Repositori ternary memuat paket 7,165 GB miliknya sendiri plus packing kedua sebesar 7,585 GB, yang menggunakan group-64 alih-alih group-128 dan kompatibel dengan upstream alih-alih optimal, serta file drafter dan vision yang sama. Kedua repositori berlisensi Apache 2.0 dan keduanya menyebut Qwen3.6-27B sebagai basis.

Dua hal mengikuti dari daftar itu. Yang pertama adalah bahwa 53,808 GB dibandingkan 3,803 GB adalah rasio 14,2x yang menjadi andalan kartu model, dan itu dapat diperiksa, bukan sekadar diklaim — file presisi penuhnya ada tepat di sana. Yang kedua adalah bahwa rilis ini lebih berat daripada modelnya: jika Anda juga menyertakan drafter dan vision tower, yang diperlukan oleh jalur multimodal, Anda menambahkan sekitar 2,4 GB di atas model 3,9 GB. Angka utama 3,9 GB adalah bobot bahasanya dan bukan deployment-nya.

Unduhan adalah satu-satunya tempat paket yang berorientasi kualitas unggul: per Oktober 2026, repositori GGUF ternary telah melewati 590.000 unduhan, dibandingkan dengan sedikit lebih dari 400.000 untuk paket biner, sementara kontainer MLX untuk keduanya masing-masing berada di atas satu juta. Pola itu menunjukkan bahwa sebagian besar model ini dijalankan pada perangkat keras Apple, bukan pada server, dan bahwa orang-orang yang mengunduhnya membeli tambahan lima poin retensi, bukan file sekecil mungkin—yang kurang lebih memang tujuan vendor merancang kedua paket tersebut.

Menjalankannya

Yang dapat Anda peroleh saat ini adalah empat jenis artefak per paket, dan mana yang Anda inginkan ditentukan oleh runtime Anda, bukan oleh kualitas.

• GGUF untuk llama.cpp — jalur utama, dan jalur yang menjadi target penulisan kernel bit-rendah. Kedua paket merupakan build llama.cpp untuk CUDA, Metal, dan CPU, tetapi kernel 1-bit dan ternary berada di fork milik PrismML sendiri, bukan di upstream, sehingga llama.cpp standar belum dapat memuatnya dengan benar. Pengepakan ternary group-64 ada justru untuk kasus-kasus ketika Anda memerlukan kompatibilitas upstream dan bersedia mengambil 7,585 GB alih-alih 7,165 GB untuk mendapatkannya.

• MLX untuk Apple silicon — kontainer terpisah yang dikirimkan sebesar 5,129 GB untuk paket biner dan 8,491 GB untuk yang terner. Perlu dicatat bahwa kontainer biner MLX lebih besar daripada paket biner GGUF, yang merupakan perbedaan overhead kontainer, bukan model yang berbeda.

• AWQ 4-bit untuk framework server — build 4-bit dari setiap model untuk framework penyajian yang mengharapkan checkpoint AWQ, dalam sembilan shard dengan total 18,70 GB, termasuk resep multi-GPU. Ini bukan artefak bit rendah; ini adalah model yang sama pada presisi yang masuk akal di rak, dan mengorbankan seluruh alasan model tersebut ada.

• Unpacked FP16 safetensors — model lengkap berukuran ~54 GB dalam format Hugging Face bawaan, diterbitkan secara eksplisit untuk kerangka kerja yang belum mendukung bobot 1-bit secara native. Vendor menyatakan artefak ini akan dipensiunkan setelah kernel bit-rendah masuk ke upstream.

Throughput dekode terukur pada binary pack, dari tabel milik kartu model itu sendiri, adalah 66,4 token per detik pada M5 Max, 44,2 pada M5 Pro, 26,0 pada M4 Pro, dan 104,8 pada H100, dengan prefill masing-masing 874, 421, 133, dan 2.755 token per detik. Halaman pengumuman menyebut puncak yang lebih tinggi — hingga 87 token per detik pada M5 Max dan 163 pada RTX 5090 — yang merupakan konfigurasi kasus terbaik milik vendor sendiri, bukan konfigurasi dalam tabel. Anggap kedua kumpulan angka itu sebagai kondisi pengukuran yang berbeda, bukan sebagai kontradiksi, dan anggap keduanya sebagai laporan vendor. Memori puncak, sekali lagi dari kartu, adalah 5,2 GB pada konteks 4K, 5,6 GB pada 10K, dan 11,6 GB pada 100K pada binary pack, serta 8,4, 8,7, dan 14,7 GB pada ternary pack — dengan catatan bahwa angka-angka tersebut mendahului cache KV 4-bit, yang membuat jendela penuh 262K turun menjadi satu digit gigabyte.

DSpark drafter bersifat opsional dan layak dipahami sebelum Anda mengaktifkannya, karena tidak mengubah apa pun pada output: ini adalah transformer paralel-blok enam lapis yang dikondisikan pada hidden state yang diambil dari lima lapisan target yang berjarak merata, menambahkan sekitar 0,5 GB pada presisi serving, dan memverifikasi terhadap model target alih-alih melakukan sampling sendiri. Itulah sebabnya vendor dapat menyebutkan percepatan 1,37x pada CUDA tanpa mengubah angka kualitas. Fitur ini tidak diaktifkan secara default pada Apple silicon.

Di mana model lokal mencapai batasnya adalah pertanyaan rekayasa yang menarik, dan ini adalah pertanyaan perutean, bukan pertanyaan model. Model 3,9 GB di laptop menangani apa yang muat dalam konteksnya; segala hal lainnya harus dialihkan ke suatu tempat, dan tempat itu adalah model yang dihosting di balik API. OrcaRouter adalah lapisan itu — satu endpoint untuk lebih dari 200 model yang dihostingdengan markup 0% atas harga daftar penyedia, failover otomatis di antara penyedia, dan aturan eskalasi dari tier lokal ke tier yang dihosting yang dinyatakan sebagai konfigurasi, bukan dirakit secara manual. Ini adalah lapisan di atas model lokal, bukan pengganti model tersebut.

Indeks perbandingan

Bonsai 27B berada dalam sebuah keluarga di mana setiap tetangganya menjawab pertanyaan yang berbeda, dan inilah halaman-halaman yang membahas masing-masing — tidak ada satu pun yang diperdebatkan ulang di sini.

• Bonsai vs Bonsai 27B — model kacamata 2 miliar parameter melawan yang ini: enam belas kali parameter dan dua ratus lima puluh enam kali konteks, dan mengapa nama keluarga tidak memberikan informasi tentang apa yang Anda unduh. Halaman ini adalah pos blog di sini, bukan model yang dihosting, sebuah perbedaan yang perlu diperhatikan dengan benar dalam keluarga ini.

• Bonsai 27B melawan Qwen3.8-27B — adu langsung antara model ini dan basis yang lebih baru yang tidak digunakannya. Sebuah halaman khusus dalam batch ini memuat perbandingan tersebut, dan karena kedua model menyandang nama yang mirip serta terpaut satu generasi, halaman itu layak dibaca berdasarkan konteksnya sendiri alih-alih sebagai perpanjangan dari spesifikasi ini.

• Bonsai vs Ternary Bonsai 2 27B — lompatan antargenerasi, dan fakta bahwa kedua rilis ini melaporkan kualitasnya terhadap dua tolok ukur yang berbeda: retensi baseline dalam satu kasus, klaim komparatif dalam kasus lainnya.

• Ternary Bonsai 2 27B — generasi kedua yang berdiri sendiri, di atas Qwen3.8-27B, untuk pembaca yang telah memutuskan mereka menginginkan model yang lebih baru daripada model ini.

Apa yang belum terselesaikan

Setiap angka kualitas di halaman ini adalah milik PrismML, diukur pada rangkaian 15 tolok ukur milik PrismML sendiri, dan tidak ada pihak di luar perusahaan yang telah menerbitkan reproduksinya. Itulah celah terbesar dalam apa yang diketahui tentang Bonsai 27B: klaim kompresinya luar biasa spesifik dan luar biasa dapat diperiksa, namun masih belum diperiksa oleh pihak ketiga. Vendor juga secara eksplisit menyatakan bahwa pengodean agentik — alur kerja berjangka panjang, multi-berkas, jalankan-dan-perbaiki — bukan target utama rilis ini dan bahwa varian yang disetel untuk itu adalah hal berikutnya dalam peta jalan, yang konsisten dengan penurunan pemanggilan alat dan pengikutan instruksi pada pemisahan kategori di atas. Sampai ada evaluasi independen, baik angka retensi maupun peringkat kepadatan harus dibaca sebagai posisi vendor, bukan sebagai hasil yang mapan.

Yang sudah pasti lebih kecil dan lebih berguna: bobotnya ada, ukurannya dapat diperiksa terhadap daftar berkas, lisensinya Apache 2.0, dan kedua paket tersebut berbeda sekitar 3,3 GB dengan imbalan sekitar lima poin kualitas yang dipertahankan. Itu sudah cukup untuk memilih di antara keduanya. Mana yang tepat untuk Anda bergantung pada apakah beban kerja Anda lebih mirip aritmetika atau lebih mirip pemanggilan alat, dan angka kategori di atas adalah bukti terbaik yang tersedia untuk keputusan itu saat ini.