Bonsai 2 Tiba di Ollama Sebelum Ada yang Mengumumkan Kedatangannya

Suatu saat pada dini hari 17 Oktober 2026, Ollama mulai menyajikan Bonsai 2 — entri pustaka dengan sembilan tag yang mencakup Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B dan Bonsai 2 27B, masing-masing dalam dua pengemasan ditambah alias default. Prism ML belum mengatakan apa pun tentangnya. Tidak ada postingan di halaman berita vendor, tidak ada baris dalam pengumuman 15 Oktober tentang model-model kecil — postingan itu menyebut llama.cpp dan MLX sebagai runtime dan konsol yang dihosting sebagai demo, serta sama sekali tidak menyebut Ollama. Listing itu sekadar ada, dengan kesembilan tag yang semuanya menunjukkan usia beberapa jam yang sama, yang merupakan tampilan push baru dan bukan tampilan peluncuran bertahap.

Jadi pembagian yang jujur adalah ini. Yang bisa diketahui sekarang, dari registry dan file-file: tag-tag, nama-namanya, ukuran byte persisnya, digest kontennya, dan — karena Ollama mengirimkan GGUF — string arsitektur dan metadata di dalam bobot itu sendiri. Belum dikonfirmasi: siapa yang mengemasnya, mengapa pengumuman vendor tersebut menghilangkan platformnya, apakah kernel ternary berada di hulu di mesin Ollama sendiri atau di-vendor, dan apakah angka-angka vendor tersebut bertahan dalam perjalanannya. Itu pertanyaan-pertanyaan yang terpisah dan tulisan ini menjaganya tetap terpisah.

Apa sebenarnya yang ada di rak

Sembilan tag, empat ukuran, tiga kemasan dengan bobot yang sama. Halaman pustaka Ollama mencantumkan alias default per ukuran dan sebuah -q2_0 varian per ukuran:

• bonsai-2:latest — 3.2 GB, mengarah ke 9B (digest c8b5462f8688)

• bonsai-2:2b dan bonsai-2:2b-q2_0 — 911 MB, digest yang sama de2ccb4e7328

• bonsai-2:4b dan bonsai-2:4b-q2_0 — 1.6 GB, digest yang sama 93edd652c932

• bonsai-2:9b dan bonsai-2:9b-q2_0 — 3,2 GB, digest yang sama c8b5462f8688

• bonsai-2:27b dan bonsai-2:27b-q2_0 — 8,3 GB, digest yang sama f3c4f4208659

Penamaan ini melakukan lebih banyak pekerjaan daripada yang terlihat. Dua tag per ukuran yang berbagi digest bukanlah duplikat — itu adalah pernyataan tentang packing mana yang dipilih Ollama. Tarik manifest untuk bonsai-2:9b dan lapisan modelnya adalah 2.557 GB. Itu adalah Q2_0 file milik Ternary Bonsai 2 9B, yang diukur di Hugging Face sebesar 2.557 GB hingga ke byte. Paket PQ2_0 berukuran 2.417 GB dan PTQ1_0 paket — yang terkecil pada 1.997 GB — sama sekali tidak ada di sini.

Pilihan itu memiliki konsekuensi yang layak dinyatakan dengan jelas, karena hal semacam itu bisa berubah menjadi utas dukungan. Pada kartu model vendor, llama.cpp upstream menjalankan tepat satu dari tiga paket: Q2_0, "master terbaru, yang menyertakan runtime aktivasi Hadamard." Ia menolak PQ2_0 dan PTQ1_0 sebagai tipe yang tidak dikenal, karena keduanya memerlukan fork llama.cpp milik Prism ML. Ollama melayani dengan mesinnya sendiri. Q2_0 adalah paket yang kemungkinan besar dapat dimuat oleh konsumen GGUF standar — dan Q2_0 justru merupakan paket yang dirilis Ollama. Apakah Ollama mengembangkan kernel ternary sendiri atau mengarahkan ke build yang di-vendor bukanlah sesuatu yang diberitahukan registry kepada Anda. Yang justru diberitahukannya adalah bahwa mereka tidak merilis file yang tidak dapat dimuat.

Metadata GGUF memberi tahu Anda lebih banyak daripada yang ditunjukkan halaman itu

Halaman Ollama melaporkan empat fakta per tag: ukuran byte, lencana konteks "256K", tipe masukan teks-plus-gambar, dan stempel waktu relatif. Segala hal lainnya ada di dalam file. Membaca header GGUF dari setiap lapisan model memberikan hal berikut, dan ini layak dibaca karena alasan tertentu: ini adalah satu-satunya bagian dari kisah ini yang bukan klaim pemasaran seseorang.

• general.architecture — qwen35 pada keempat ukuran

• general.name — Ternary-Bonsai-2-2B, -4B, -9B pada tiga model kecil; lapisan 27B melaporkan string generik Hf dengan general.basename = folded

• general.file_type — 41 pada keempatnya, dengan general.quantization_version = 2

• general.size_label — 2B, 4B, 9B, 27B, sesuai dengan nama tag

• Jumlah tensor — 320 untuk 2B, 426 untuk 4B, 427 untuk 9B, 851 untuk 27B

String arsitekturnya adalah yang menarik. qwen35 adalah tulang punggung atensi hibrida Qwen3.5, dan ini menegaskan dari artefaknya sendiri apa yang dikatakan kartu model dalam bentuk prosa: tiga model kecil itu adalah Qwen3.5-2B, -4B, dan -9B dengan arsitektur yang tidak berubah, dan bobotnya diganti. Ini juga menyingkap celah penamaan yang ditutup-tutupi oleh catatan rilis vendor sendiri. Postingan 15 Oktober menyebut bahwa model-model baru "berbasis Qwen3.5." 27B adalah basis yang sepenuhnya berbeda — Qwen3.8-27B, yang diumumkan pada 17 September. Empat ukuran, satu nama keluarga, dua model dasar. Apa pun yang Anda baca tentang perilaku "Bonsai 2" yang diukur pada 27B tidak otomatis terbawa turun ke 9B, dan header GGUF adalah tempat Anda dapat melihat alasannya.

Metadata 27B juga terlihat kurang rapi dibandingkan yang lain: general.name = Hf, general.basename = folded, general.version = v5, dan satu kunci sampling tambahan yang tidak dimiliki oleh ketiga model kecil itu. Seperti itulah bentuk keluaran antara dari pipeline konversi ketika didorong keluar tanpa tahap penamaan ulang akhir. Ini bukan cacat — tensor ya tetap tensor — tetapi ini adalah sidik jari, dan ini menunjukkan bahwa tag 27B melewati jalur yang berbeda dari ketiga model kecil itu.

Apa yang tidak dimaksudkan oleh angka-angka Ollama

Di sinilah sebagian besar pembahasan tentang daftar library menjadi keliru, jadi ada baiknya kita memperlambat sedikit. Ukuran byte di halaman Ollama adalah ukuran kontainer, dan untuk setiap ukuran, ukurannya lebih besar daripada file model di dalamnya. Tag 2B menunjukkan 911 MB dibandingkan dengan lapisan model 0,547 GB dan proyektor visi 0,365 GB. Tag 27B menunjukkan 8,3 GB dibandingkan dengan lapisan model 7,626 GB dan proyektor 0,629 GB. Tambahkan blob lisensi dan parameter, maka perhitungannya pun cocok: Ollama menyebutkan seluruh artefak yang ditarik, termasuk menara visi.

Itu berarti 3,2 GB di halaman Ollama untuk model 9B tidak bisa dibandingkan dengan angka "2GB" dari vendor untuk model yang sama, dan selisih itu bukan ketidaksesuaian yang perlu dilaporkan — itu adalah dua pengukuran berbeda atas dua hal yang berbeda. 0,43 GB / 0,95 GB / 2 GB milik Prism ML adalah model bahasanya saja. Tower visi di-offload dan hanya dimuat saat gambar benar-benar masuk, jadi deployment khusus teks tidak pernah membayarnya, tetapi ollama pull melakukannya. Jika Anda menentukan ukuran perangkat berdasarkan angka vendor lalu melakukan pull dari Ollama, Anda akan melebihi anggaran 0,5 hingga 1 GB sebelum menjalankan apa pun.

Kewaspadaan yang sama juga berlaku untuk lencana "256K". Konteks yang mendasarinya adalah 262.144 token, yang diwarisi dari tulang punggung Qwen3.5 — 24 lapisan linear-attention dan 8 lapisan full-attention pada 9B — dan lencana Ollama membulatkannya ke bawah untuk keperluan tampilan. Konteksnya nyata dan diwarisi, bukan sesuatu yang ditambahkan oleh Ollama. Yang tidak dinyatakan di mana pun di halaman tersebut adalah berapa banyak memori yang dibutuhkan oleh konteks panjang, dan pada model hybrid-attention dengan cache full-attention pada sebagian lapisan, itu bukan angka yang kecil. Tidak ada apa pun di halaman Ollama yang memberi tahu Anda apakah 262K benar-benar muat di tempat mana pun yang ingin Anda gunakan untuk menjalankannya.

Siapa yang mengemas ini, dan apakah itu penting?

Tidak terjawab, dan seharusnya ditandai sebagai tidak terjawab alih-alih ditebak. Tiga kemungkinan: Prism ML yang mem-push-nya, Ollama menariknya dari repo GGUF publik vendor sebagai bagian dari pekerjaan katalog mereka sendiri, atau pihak ketiga yang melakukannya. Registry tidak dapat memberi tahu Anda yang mana.

Yang dapat diperiksa adalah asal-usul artefak, dan itu cocok. Deskripsi model Ollama sendiri menyatakan "Bonsai 2 dari Prism ML adalah keluarga model visi yang dibangun untuk bobot terner (−1, 0 atau +1): sekitar setengah ukuran model 4-bit standar, dengan kualitas mendekati presisi penuh" dan menautkan organisasi Hugging Face milik vendor, whitepaper Bonsai 2 27B, dan Apache 2.0. Blob lisensi yang tertanam di masing-masing dari keempat manifes ukuran adalah teks Apache 2.0 verbatim. Blob parameter untuk 2B, 4B dan 9B berbunyi {"presence_penalty":1,"temperature":1,"top_k":20,"top_p":0.95} — yang merupakan rekomendasi vendor untuk mode berpikir resep sampling dari kartu model, dengan min_p dihilangkan persis seperti yang dikatakan kartu 27B bahwa file GGUF menghilangkannya. Itu bukan tebakan yang dibuat seseorang; itu adalah konversi yang membaca kartu tersebut.

Yang melegakan dan tetap tidak memberi tahu Anda apa pun tentang hal yang sebenarnya menentukan pengalaman Anda: apakah kernel ternary ada di engine yang Anda jalankan. Posisi yang jujur adalah bahwa pull yang berhasil membuktikan bahwa file tersebut adalah GGUF yang terbentuk dengan baik, dan tidak lebih. Verifikasi di perangkat keras Anda sendiri sebelum Anda membangun di atasnya.

Klaim vendor, dan apa yang telah diperiksa

Setiap angka kualitas yang dilekatkan pada keluarga ini berasal dari Prism ML, pada harness milik Prism ML sendiri, dan tidak ada satu pun yang direproduksi secara independen. Itu wajar pada tahap ini dan sebaiknya dikatakan terang-terangan alih-alih disiratkan. Pos 15 Oktober melaporkan 19 tolok ukur di enam area keterampilan untuk model-model kecil, dengan retensi terhadap baseline Qwen3.5 presisi penuh:

• 2B — agentik 95,5%, matematika 107,8%, mengikuti instruksi 121,5%, pengodean 115,0%, pengetahuan 82,9%, visi 89,0%

• 4B — 90,0% / 99,3% / 106,0% / 100,7% / 90,9% / 91,3%

• 9B — 92,4% / 98,2% / 100,0% / 100,1% / 93,0% / 92,5%

Beberapa di antaranya melampaui 100%, yang bukan salah ketik dan bukan artefak pembulatan — itu berarti model ternary tersebut memperoleh skor lebih tinggi daripada model presisi penuh yang menjadi asalnya pada kategori itu. Pengikutan instruksi pada 121,5% untuk 2B adalah contoh yang paling mencolok. Tanggapi hal itu dengan kecurigaan yang pantas: model terkompresi yang mengalahkan baseline-nya sendiri pada tolok ukur yang dipilih vendor adalah pernyataan tentang pelatihan dan harness, setidaknya sama besarnya dengan pernyataan tentang representasi, dan skor kategori model kecil jauh lebih bising daripada skor 27B. Angka-angka 27B lebih konservatif dan lebih kredibel secara pola — 84,78 versus 86,32 untuk FP16, retensi 98,2% pada 14 tolok ukur mode berpikir, dengan matematika pada 96,57 versus 97,06 dan tingkat pengodean pada 89,42 versus 89,07, serta penurunan yang terkonsentrasi pada pengetahuan/penalaran dan visi. Ketika sebuah keluarga model kehilangan kemampuan di bawah representasi 1,7-bit, itulah profil yang akan Anda prediksi.

Satu klaim dalam postingan tentang model kecil yang bukan tolok ukur adalah klaim yang paling layak ditanggapi dengan serius: model 9B "menggunakan sekitar 40% lebih sedikit token pada tugas standar mengikuti instruksi dan matematika sehari-hari." Itu klaim tentang verbositas, bukan kemampuan, dan itu jenis hal yang bisa Anda periksa dalam satu sore dengan prompt Anda sendiri. Ini juga berkaitan dengan peringatan pada kartu model milik vendor sendiri — mode berpikir dapat menghabiskan lebih dari 3.000 token untuk pertanyaan sepele, jadi setel setidaknya 8.192 token keluaran, dan jangan menjalankan decoding greedy dengan mode berpikir aktif karena model dapat macet saat bernalar. Model yang verbositasnya 40% lebih rendah dan masih membutuhkan anggaran 8.192 token memberi tahu Anda bahwa ia bertele-tele di tempat tertentu.

Ke mana ini membawamu

Jika Anda sudah menjalankan Ollama dan ingin mencoba model kelas 27B di laptop tanpa GPU datacenter, empat tag itu adalah jalur terpendek yang ada saat ini: sekali pull, tanpa fork, tanpa build kernel. Jika Anda membutuhkan packing yang benar-benar paling kecil, atau drafter speculative-decoding yang disediakan vendor untuk 4B dan 9B, daftar Ollama tidak memilikinya — itu adalah unduhan Hugging Face dan build Prism ML llama.cpp, dan sudah begitu sejak 15 Oktober.

Hal lain yang perlu diketahui adalah bahwa lokal bukan satu-satunya cara untuk mengonsumsi model bit rendah, dan tidak selalu merupakan cara yang tepat. OrcaRouter menempatkan satu API di depan 200+ model terkelola dengan markup 0% — harga daftar penyedia diteruskan apa adanya — plus failover otomatis antar penyedia, sehingga Anda dapat mengevaluasi model pada beban kerja nyata sebelum memutuskan apakah model itu layak mendapat tempat di laptop Anda. Tidak ada ukuran Bonsai 2 yang dilayani melalui OrcaRouter saat ini, dan artikel ini tidak mengklaim sebaliknya: keluarga ini adalah unduhan yang Anda jalankan sendiri, dan akan tetap demikian sampai vendor menerbitkan endpoint. Yang Anda dapatkan dari lapisan perutean adalah separuh keputusan lainnya — model terkelola yang akan Anda bandingkan, di balik satu kunci, dengan fusi model dan DSL perutean tersedia saat satu model saja tidak cukup.

Yang perlu diperhatikan, dalam urutan seberapa besar hal itu akan mengubah gambaran: tag Ollama yang mendapatkan ptq1_0 saudara, yang berarti kernel dense-trit berhasil masuk ke upstream; sebuah postingan vendor yang mengakui platform tersebut, yang akan menjawab pertanyaan asal-usul; dan benchmark independen apa pun untuk 9B atau 27B, yang merupakan satu-satunya hal yang akan memindahkan angka retensi keluar dari kolom yang dilaporkan vendor. Sampai salah satu dari itu terwujud, listing ini adalah mekanisme pengiriman, bukan model baru — dan model yang dikirimkannya sudah publik sejak 15 Oktober.

Tidak ada satu pun dari itu yang hipotetis: kegagalan AI dan insiden agen yang terdokumentasi di balik rilis seperti ini dikumpulkan dalam OrcaRouter AI Incident Archive, di mana setiap entri membawa sumbernya sendiri, tingkat keparahan, peringkat keyakinan, dan penanda status diperdebatkan.