Bonsai 2 vs Bonsai 27B: Salah Satunya Bisa Anda Tarik, yang Lain Tidak Bisa

Perbedaan paling konkret antara Bonsai 2 dan Bonsai 27B sama sekali tidak ada hubungannya dengan benchmark. Pada 17 Oktober 2026, sebuah entri pustaka Ollama mulai tersedia, mencakup seluruh keluarga Bonsai 2 — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B dan Bonsai 2 27B — dan tidak ada entri setara untuk generasi pertama. Periksa bonsai-27b, ternary-bonsai-27b atau nama varian apa pun di registri itu dan Anda akan mendapatkan 404. Bonsai 27B, yang dirilis oleh Prism ML pada 14 Juli 2026, harus diunduh dari repositori Hugging Face milik vendor dan dijalankan dengan fork llama.cpp milik Prism ML. Bonsai 2 memiliki instalasi satu baris.

Asimetri itu adalah keseluruhan bentuk praktis dari pilihan ini, dan mudah terlewat karena kedua nama tampak seperti satu lini produk dengan kenaikan versi. Keduanya adalah dua generasi, dua model dasar, dua set kemasan yang berbeda, dan — per minggu ini — dua mekanisme pengiriman yang berbeda. Berikut ini adalah apa yang sebenarnya berubah di antara keduanya, di mana yang lebih lama masih unggul, dan satu konfigurasi di mana jawabannya bukan keduanya.

Apa itu masing-masing

Keduanya adalah kompresi ternary dari model Q​wen dengan hybrid-attention. Tidak satu pun merupakan model yang baru dilatih — arsitektur, bobot, dan pelatihan yang sadar kuantisasi berasal dari basis Q​wen, dan yang disumbangkan Prism ML adalah representasi ternary serta kernel yang mengonsumsinya.

• Generasi — Bonsai 2 (September 2026, diperluas Oktober 2026) vs Bonsai 27B (14 Juli 2026)

• Model dasar pada ukuran 27B — Qwen3.8-27B vs Qwen3.6-27B

• Model dasar di seluruh keluarga — Qwen3.5-2B, -4B, -9B dan Qwen3.8-27B di bawah Bonsai 2; satu Qwen3.6-27B di bawah generasi pertama

• Ukuran yang ditawarkan — empat (2B, 4B, 9B, 27B) vs satu (27B)

• Dua titik operasi pada 27B — tidak, satu: Bonsai 2 27B hanya mengirimkan versi ternary, sedangkan Bonsai 27B mengirimkan build ternary sekaligus build biner

• Jejak terkecil di kelas 27B — 5,95 GB PTQ1_0 di Bonsai 2 vs 3,9 GB pada build 1-bit generasi pertama

• Konteks — 262.144 token yang diwarisi dari backbone Qwen pada keduanya

• Lisensi — Apache 2.0 pada keduanya

• Pengiriman — tag Ollama dan Hugging Face untuk Bonsai 2; Hugging Face plus fork llama.cpp Prism ML untuk Bonsai 27B

Baris yang menentukan lebih banyak deployment daripada yang lain adalah baris kelima. Bonsai 27B hadir dengan dua cara untuk menggunakan memori: build ternary sekitar 7,2 GB dan build biner 3,9 GB. Bonsai 2 27B hanya menghadirkan satu — build ternary 5,95 GB dalam pengemasan dense-trit atau 7,21 GB dalam pengemasan 2-bit-slot — dan tidak ada pendamping biner pada generasi ini. Jika Anda menjalankan build 3,9 GB milik generasi pertama dan mengharapkan penerus yang sepadan, tidak ada yang seperti itu pada 27B.

Apa yang sebenarnya dibeli oleh generasi itu

Angka Prism ML sendiri, pada harness milik Prism ML sendiri, tanpa reproduksi independen yang tersedia: Bonsai 27B terner generasi pertama melaporkan rata-rata mode berpikir 80,49 dibandingkan dengan 85,07 untuk referensi Qwen3.6-27B FP16 miliknya — 94,6% dipertahankan di 15 tolok ukur. Bonsai 2 27B melaporkan 84,78 dibandingkan dengan 86,32 untuk Qwen3.8-27B FP16 — 98,2% di 14 tolok ukur. Secara absolut, model terkompresi memperoleh sekitar 4,3 poin pada skala vendor.

Dua catatan penting perlu disampaikan sekaligus, karena judul utamanya mengundang pembacaan yang lebih rapi daripada yang didukung data. Pertama, rangkaian benchmark-nya bukan himpunan yang sama — 15 untuk yang satu, 14 untuk yang lain — dan baseline-nya berpindah dari Qwen3.6-27B ke Qwen3.8-27B, yang sendirinya merupakan model yang lebih kuat. Kartu model 27B milik vendor sendiri memperjelas poin kedua dengan menghitung ulang rilis sebelumnya pada rangkaian 14 benchmark baru untuk baris yang setara: pada dasar yang sama itu, rilis sebelumnya mencetak 80,98 dan Bonsai 2 27B mencetak 84,78. Jadi pembacaan jujur atas perubahan ini adalah sekitar 3,8 poin terhadap rangkaian benchmark yang sama, dengan sebagian berasal dari model dasar dan sebagian dari pelatihan ternary. Persentase retensi naik dari 94,6% menjadi 98,2% sebagian karena penyebutnya berubah.

Kedua, bentuk loss-nya lebih informatif daripada agregatnya. Pada rangkaian 14 benchmark yang sama, Bonsai 2 27B hampir tidak mengorbankan apa pun di area yang mengandalkan penalaran berkelanjutan: matematika 96,57 dibandingkan 97,06, coding 89,42 dibandingkan 89,07 — sejajar, sedikit lebih unggul — dan pengikutan instruksi 82,66 dibandingkan 81,25, lebih unggul. Pengetahuan dan penalaran turun dari 85,55 ke 79,86, dan visi dari 71,36 ke 66,19. Itulah profil yang Anda harapkan dari representasi 1,72 bit per bobot: inti penalaran bertahan, daya ingat faktual dan pemahaman gambar yang terkena dampaknya. Jika beban kerja Anda adalah kode dan matematika, kompresinya nyaris gratis. Jika berupa tanya jawab berbentuk retrieval atas suatu korpus, tidak demikian.

Slot 3,9 GB adalah bagian yang membuat ini jadi menarik.

Inilah bagian yang disembunyikan oleh kerangka dua generasi. Artefak paling khas dari generasi pertama adalah build biner: model 27B dalam 3,9 GB, yang mempertahankan 89,5% dari FP16 menurut laporan vendor pada rata-rata 15 benchmark sebesar 76,11. Bonsai 2 tidak memiliki 27B biner. Namun Bonsai 2 memang memiliki 9B pada 1,997 GB dalam pengemasan trit padat dan 2,42 GB dalam pengemasan slot 2-bit — kira-kira setengah jejak dari 27B biner, dari generasi yang lebih baru dan model dasar yang lebih baru.

Apakah 9B lebih baik daripada 27B 1-bit? Vendor tidak melaporkan angka yang menjawab hal itu, dan Anda tidak boleh menyusunnya. Kedua model dievaluasi pada rangkaian yang berbeda — 19 benchmark di enam area keterampilan untuk model Bonsai 2 kecil, 15 untuk 27B generasi pertama — terhadap baseline yang berbeda, dan laporan rilis model kecil mencantumkan retensi kategori terhadap padanan Qwen3.5 presisi penuh milik mereka sendiri alih-alih satu rata-rata absolut yang sebanding dengan 76,11 milik 27B. Perbandingan yang ada bersifat per-benchmark dan mengarah ke kedua arah. Menurut angka vendor, 9B mencetak 71,81 pada BFCLv3 dan 73,02 pada Tau2Bench, sedangkan 27B biner mencatat 74,41 pada BFCL v3 — cukup dekat sehingga perbedaan rangkaian uji menelannya.

Apa yang dapat dikatakan tanpa berlebihan itu lebih sempit dan tetap berguna: kelas jejak yang dulu dikuasai sendiri oleh 27B biner kini memiliki pendatang yang lebih murah dari generasi berikutnya, dan keduanya cukup berdekatan sehingga tidak ada yang seharusnya memilih di antara keduanya hanya dari tabel vendor. Itu adalah alasan untuk mengukur pada prompt Anda sendiri, bukan untuk memercayai sebuah angka. Ini juga satu-satunya tempat dalam perbandingan ini di mana jawabannya benar-benar bukan salah satu dari kedua model dalam judul.

Menjalankannya: angka-angka dan jebakannya

Angka throughput diukur oleh vendor dan tidak diambil pada mesin yang sama, jadi bacalah sebagai urutan besaran, bukan sebagai peringkat.

• Bonsai 2 27B pada Apple M5 Max — sekitar 47 tok/s pada build pra-rotasi sebelumnya, menunggu pengukuran ulang pada stack saat ini

• Bonsai 2 27B pada M5 Pro — 28,1 tok/s dalam pengepakan slot 2-bit, pada sekitar 27,5 W di rel GPU

• Bonsai 2 27B pada RTX 5090 — 129,9 tok/s dalam pengemasan slot 2-bit, 120,5 dalam pengemasan trit padat

• Bonsai 27B ternary generasi pertama pada M5 Max — 44,0 tok/s; pada H100, 98,0 tok/s, naik menjadi sekitar 131,8 dengan drafter DSpark-nya

• Bonsai 27B biner generasi pertama di iPhone 17 Pro Max — sekitar 11 tok/s, dibatasi secara termal

Kendalanya ada pada pengemasan, dan hal itu berdampak sama pada kedua generasi. Kernel terner dari kedua generasi tidak ada di llama.cpp upstream. Generasi pertama memerlukan fork Prism ML untuk setiap file. Bonsai 2 menyertakan tiga pengepakan dari bobot yang sama dan llama.cpp upstream hanya menjalankan salah satunya — Q2_0, di master terbaru — sementara menolak PTQ1_0 yang lebih kecil dan PQ2_0 yang lebih cepat sebagai tipe yang tidak dikenal. Jadi, paket trit padat yang paling mendekati teoretis 1,72 bit per bobot juga merupakan paket yang memerlukan build hasil fork.

Itu layak direnungkan, karena itulah yang menjelaskan daftar Ollama. Tag Ollama untuk Bonsai 2 menyajikan Q2_0: lapisan model pada tag 9B berukuran 2,557 GB, persis sama byte demi byte dengan ukuran file Q2_0 di Hugging Face, dan paket PTQ1_0 terkecil sama sekali tidak ada di registri. Apa pun lagi daftar itu, ia bukan jalur menuju artefak terkecil. Di sini, kemudahan dan jejak ukuran saling dipertukarkan, dan pertukaran itu tidak terlihat kecuali Anda membaca ukuran filenya.

Menuju ke salah satunya

Jika Anda menggunakan Ollama, keputusannya sudah dibuatkan untuk Anda: Bonsai 2, empat ukuran, ollama pull bonsai-2:27b atau :9b, kira-kira 8,3 GB dan 3,2 GB di disk termasuk proyektor visi. Jika Anda memerlukan pengemasan dense-trit, drafter speculative-decoding, atau apa pun dari generasi pertama, itu adalah unduhan Hugging Face dan build fork, dan repositori demo vendor adalah referensi yang teruji untuk jalur tersebut.

Di sinilah lapisan perutean benar-benar membantu, yaitu pada sisi lain dari pertanyaan ini. Anda tidak dapat merutekan ke salah satu dari keduanya — keduanya adalah bobot lokal, dan OrcaRouter tidak menyediakan ukuran Bonsai apa pun saat ini. Yang diberikan OrcaRouter kepada Anda adalah dasar pembanding: satu API di depan lebih dari 200 model terkelola dengan markup 0%, harga daftar penyedia diteruskan apa adanya, dengan failover otomatis antappenyedia. Urutan yang masuk akal bagi sebagian besar tim adalah menetapkan pada model terkelola apa yang sebenarnya dibutuhkan suatu tugas, lalu memutuskan apakah model lokal 2 GB, 3,9 GB, atau 6 GB memenuhi standar tersebut — alih-alih menebak dari persentase retensi.

Yang mana, secara konkret?

• Anda menginginkan generasi ternary terbaru pada 27B dan instalasi satu perintah — Bonsai 2 27B melalui Ollama, dengan menerima packing Q2_0 dan ukuran on-disk yang lebih besar.

• Anda menginginkan artefak kelas 27B sekecil mungkin, atau Anda mengandalkan drafter DSpark — Bonsai 27B generasi pertama dari Hugging Face, dengan build fork. Tidak ada apa pun di Bonsai 2 yang menggantikannya pada 27B.

• Anda menjalankan build biner 3,9 GB dan perlu footprint itu tetap terjaga — jangan berasumsi Bonsai 2 memiliki penerus. Entah tetap, atau ukur Bonsai 2 9B terhadap prompt Anda sendiri; ukurannya setengahnya dan satu generasi lebih baru, dan vendor belum menerbitkan perbandingan yang menuntaskannya.

• Anda memerlukan empat kelas ukuran dari satu runtime — Bonsai 2 adalah satu-satunya generasi yang menawarkan itu.

Satu hal yang perlu diperhatikan, yang akan menyederhanakan semua ini: tag ptq1_0 yang muncul di listing Ollama. Itu berarti kernel dense-trit telah mencapai mesin yang dikirim Ollama, persyaratan fork hilang untuk paket terkecil, dan trade-off kenyamanan-versus-jejak tidak lagi menjadi trade-off.

Tidak ada satu pun dari itu yang hipotetis: kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda status diperdebatkan.