Bonsai 2 vs Ternary Bonsai 2 27B: Cái tên họ đang gánh hai vai

Tìm kiếm Bonsai 2 và bạn sẽ gặp khoảng năm artefact khác nhau với dấu chân trải rộng tới cả một bậc độ lớn, và không dễ nhận ra từ tên gọi rằng một bài viết nhất định đang nói về cái nào. Ternary Bonsai 2 27B là cái cụ thể — một mô hình ternary hạng 27B duy nhất được xây dựng trên Qwen3.8-27B, công bố ngày 17 tháng 9 năm 2026 và phát hành dưới dạng gói dense-trit 5,95 GB hoặc gói 2-bit-slot 7,21 GB. Ở dạng trần, Bonsai 2 là chiếc ô: cùng một tên bao trùm Ternary Bonsai 2 2B, Ternary Bonsai 2 4B và Ternary Bonsai 2 9B, ba mô hình nhỏ hơn nhiều được xây dựng trên Qwen3.5 và công bố ngày 15 tháng 10 năm 2026, và giờ đây nó còn bao trùm một mục trong thư viện Ollama phục vụ cả bốn kích cỡ dưới một họ thẻ.

Vậy đây không phải là một cuộc đối đầu trực diện thông thường. Một bên là tập con của bên kia, và câu hỏi hữu ích không phải là bên nào tốt hơn mà là bên nào trong số đó mới là thứ mà một người đọc đã gõ "Bonsai 2" vào ô tìm kiếm thực sự muốn. Câu trả lời phụ thuộc vào một điều mà cách đặt tên đã che giấu: dòng sản phẩm này thực ra là hai dòng, được phân tách theo mô hình cơ sở, và sự phân chia đó không rơi đúng vào chỗ mà các con số kích cỡ gợi ý.

Hai gia đình cùng mang một cái tên

Đọc header GGUF của các tệp đã xuất bản và mối nối nằm ngay đó trong một trường metadata. Mọi artefact Bonsai 2 — 2B, 4B, 9B và 27B đều như nhau — đều báo cáo general.architecture = qwen35. Chuỗi đó là xương sống attention lai của Qwen3.5, và với ba mô hình nhỏ thì điều đó hoàn toàn đúng: thẻ mô hình liệt kê Qwen3.5-2B, Qwen3.5-4B và Qwen3.5-9B là các mô hình cơ sở với kiến trúc không thay đổi. Còn 27B lại là một câu chuyện khác. Nền tảng của nó là Qwen3.8-27B, một mô hình attention lai 27B mới hơn và mạnh hơn, và nó tình cờ chia sẻ chuỗi kiến trúc vì Qwen3.8 giữ cùng một họ xương sống.

Ghi chú phát hành của chính nhà cung cấp khiến sự tách biệt trở nên rõ ràng nếu bạn đọc chúng cạnh nhau và vô hình nếu bạn chỉ đọc riêng từng cái. Bài đăng ngày 15 tháng 10 dành cho các mô hình nhỏ nói rằng chúng "dựa trên Qwen3.5" và mô tả chúng là tham gia cùng Bonsai 2 27B — thứ được trình bày chính xác như một thứ khác. Bài đăng ngày 17 tháng 9 dành cho 27B nói Qwen3.8-27B. Hai thông báo, hai mô hình nền, một tên họ, và một bài viết của bên thứ ba nói rằng "Bonsai 2 dựa trên Qwen3.5" thì sai về 27B trong khi trông như thể được dẫn nguồn hoàn hảo.

Điều đó quan trọng vì thế hệ mô hình nền không phải là một chi tiết ở đây. Nó đặt ra mức trần năng lực, nó quy định các tỷ lệ giữ lại là tỷ lệ phần trăm củacái gì, và điều đó có nghĩa là các con số benchmark của các mô hình nhỏ và các con số benchmark của 27B không phải là hai điểm trên cùng một đường cong — chúng là hai báo cáo riêng biệt so với hai đường cơ sở riêng biệt. Hãy nghi ngờ bất kỳ bảng nào xếp chúng vào cùng một cột.

Các con số, nằm cạnh nhau

Tất cả số liệu do Prism ML tự báo cáo; không có số liệu nào được tái lập độc lập.

• Mô hình cơ sở — Ternary Bonsai 2 2B / 4B / 9B: tương ứng là Qwen3.5-2B, -4B, -9B; Ternary Bonsai 2 27B: Qwen3.8-27B

• Đã công bố — 15 tháng 10 năm 2026 cho ba mô hình nhỏ; 17 tháng 9 năm 2026 cho 27B

• Gói mô hình ngôn ngữ nhỏ nhất — 0.429 GB PTQ1_0 ở 2B; 1.997 GB PTQ1_0 ở 9B; 5.947 GB PTQ1_0 ở 27B

• Gói mặc định — PQ2_0 cho tất cả: lần lượt 0.517 GB, 1.146 GB, 2.417 GB và 7.206 GB

• Số bit trên mỗi trọng số — ~1,83 ở 2B, ~1,81 ở 4B, ~1,78 ở 9B, 1,72 lý tưởng / 1,75 đóng gói ở 27B

• Ngữ cảnh — 262.144 token trên toàn bộ dòng mô hình, được kế thừa từ nền tảng Qwen

• Vision — một gói mmproj riêng ở mọi kích thước, chỉ được nạp khi có ảnh đến

• Giấy phép — Apache 2.0 xuyên suốt

• Mức duy trì như được báo cáo — 27B: 98,2% của Qwen3.8-27B FP16 trên 14 benchmark; các mô hình nhỏ: 19 benchmark thuộc sáu lĩnh vực kỹ năng, được báo cáo là mức duy trì theo từng danh mục so với mốc cơ sở Qwen3.5 của chính chúng

Một dòng trong danh sách đó là lý do vì sao 27B tốn 5.95 GB trong khi 9B chỉ tốn 2.00 GB, và đó không chỉ là số lượng tham số. 27B được mô tả là "end-to-end ternary" trên embeddings, các phép chiếu attention, các phép chiếu MLP và LM head, với một chi tiết mang tính quyết định: một tập nhỏ tensor — đường trạng thái hồi quy của các lớp linear-attention cộng với các trọng số chuẩn hoá, khoảng 26,2 triệu tham số, 0,0976% của mô hình ngôn ngữ — vẫn giữ ở độ chính xác cao hơn, và phần còn lại đó chính là thứ đưa con số tiêu đề từ 1,71 lên 1,72 bit trên mỗi trọng số. Trên 9B, cùng bộ máy đó cho ra ~1,78. Mô hình lớn hơn hiệu quả hơn trên mỗi trọng số, chứ không kém hơn, vì phần chi phí cố định ở độ chính xác cao được phân bổ trên số tham số nhiều gấp mười lần. Nếu bạn đang cân nhắc nên chọn kích thước nào từ một bảng bits-per-weight, thì đó là hướng duy nhất mà bảng đó chỉ ra.

Nơi các mô hình nhỏ thực sự giành chiến thắng

Không phải về chất lượng — mà về hình thái của tuyên bố. Bản phát hành mô hình nhỏ là bản duy nhất trong dòng này đưa ra tuyên bố về độ dài dòng, và đó là thứ dễ kiểm chứng nhất mà cả hai thông báo có: Prism ML báo cáo rằng 9B dùng ít hơn khoảng 40% token trong các tác vụ tuân theo chỉ dẫn tiêu chuẩn và toán thường ngày. Đó là một phát biểu về độ dài đầu ra, không phải về năng lực, và bạn có thể kiểm chứng nó với chính các prompt của mình trong một buổi chiều. Cùng bài đăng đó liệt kê việc tránh các vòng lặp lặp lại và kiểm soát độ dài dòng là những ưu tiên phát triển được nêu rõ, đó là kiểu điều bạn viết khi thế hệ trước của mình từng có vấn đề.

Đây cũng là bản phát hành duy nhất báo cáo mức duy trì trên 100% ở một số hạng mục — 121,5% ở mức tuân thủ chỉ dẫn đối với 2B, 107,8% ở toán, 115,0% ở lập trình, so với các baseline Qwen3.5 độ chính xác đầy đủ. Đó là những con số của chính nhà cung cấp trên bộ kiểm thử của chính họ, và việc một mô hình nén đạt điểm cao hơn mô hình nguồn của nó trên một bộ đánh giá được chọn lọc thủ công là một tuyên bố về huấn luyện và bộ khung đánh giá ít nhất cũng nhiều như về số học ternary. Báo cáo của 27B có hình dạng thận trọng hơn — 84,78 so với 86,32, với toán ở 96,57 so với 97,06 và mức lập trình ở 89,42 so với 89,07, và mức tổn thất tập trung vào kiến thức/lập luận và thị giác — đúng là hồ sơ mà một biểu diễn 1,7-bit nên tạo ra. Khi tổn thất của một báo cáo rơi đúng vào nơi lý thuyết dự đoán và lợi ích của báo cáo kia rơi vào đúng những hạng mục mà nhà cung cấp chọn để nhấn mạnh, sự bất đối xứng đó chính là thông tin.

Bao bì: lợi thế âm thầm của 27B

Kể từ ngày 17 tháng 10 năm 2026, cả bốn kích cỡ đều có thể pull dưới dạng bonsai-2:2b, :4b, :9b và :27b từ Ollama — tổng cộng chín tag, mỗi kích cỡ còn mang thêm bí danh -q2_0. Đó là thông tin gần đây, chưa được nhà cung cấp công bố, và đáng để biết nó thực sự cung cấp những gì. Các tag của Ollama phân giải thành gói Q2_0, gói duy nhất mà llama.cpp thượng nguồn có thể nạp. Các gói PTQ1_0 dense-trit — những tệp nhỏ nhất trong họ — hoàn toàn không có trên registry. Vậy nên con đường tiện lợi và con đường nhỏ là những con đường khác nhau, và điều đó đúng như nhau với cả bốn kích cỡ.

Điểm khác biệt của 27B nằm ở thứ nó không xuất xưởng kèm theo. Bản 4B và 9B đều đi kèm hai drafter giải mã suy đoán tùy chọn: một đầu MTP tích hợp sẵn trong gói khe 2-bit, và một drafter khối DFlash2 giúp ích cho các tác vụ thiên về sao chép nhưng chậm hơn giải mã thường trên trò chuyện thông dụng. Bản 2B cố tình không kèm theo cái nào — ghi chú của nhà cung cấp là ở kích thước đó, một bước giải mã vốn đã rẻ, và kỹ thuật drafting quét độ sâu đo được còn chậm hơn giải mã thường trên các prompt thường ngày. Thế hệ 27B đã bỏ đi drafter tương đương mà phiên bản tiền nhiệm thế hệ đầu từng mang theo.

Đó là một khác biệt thực sự về năng lực giữa các kích cỡ, và nó hoàn toàn không xuất hiện trên trang Ollama.

Quyết định, và phải làm gì với câu trả lời

27B là lựa chọn nên dùng nếu khối lượng công việc là suy luận tầm xa: lập trình, toán học, chuỗi công cụ agentic, các tài liệu dài được giữ trong ngữ cảnh 262K. Đây là kích thước duy nhất trong dòng có mô hình nền từ thế hệ Qwen3.8, và bảng phân loại theo danh mục của nhà cung cấp cho biết việc nén gần như không khiến nó mất gì ở toán và lập trình, nhưng lại gây tổn thất ở khả năng truy hồi kiến thức và thị giác.

9B là mẫu nên chọn nếu ràng buộc là bộ nhớ chứ không phải độ khó: trợ lý chạy trên laptop, triển khai trên điện thoại, bất cứ thứ gì mà 2 GB so với 6 GB là khác biệt giữa phát hành được và không. Hồ sơ được công bố của nó mạnh nhất đúng ở chỗ 27B yếu nhất so với mức cơ sở — tuân thủ chỉ dẫn và kiểm soát độ dài — những thứ mà một trợ lý cục bộ nhỏ thực sự dùng token của mình vào. 2B và 4B tồn tại cho những ngân sách còn eo hẹp hơn nữa, và ở những kích thước đó, các con số duy trì trở nên nhiễu đến mức chính các prompt của bạn là chỉ dẫn tốt hơn bảng của nhà cung cấp.

Một lưu ý về phép so sánh mà hầu hết độc giả thực sự sẽ thực hiện, đó là so với các mô hình hosted chứ không phải so sánh chúng với nhau. Cả hai kích cỡ của Bonsai 2 đều không được phục vụ qua OrcaRouter, và bài viết này không ngụ ý điều ngược lại — chúng là các trọng số bạn tự tải về. Nhưng câu hỏi "một mô hình cục bộ 2 GB có đủ tốt cho tác vụ này không" được trả lời bằng cách đo lường so với một thứ gì đó, và OrcaRouter đặt một API duy nhất trước hơn 200 mô hình hosted với mức markup 0% cùng giá niêm yết của nhà cung cấp được giữ nguyên, cộng với tính năng chuyển đổi dự phòng tự động giữa các nhà cung cấp và một DSL định tuyến để kết hợp nhiều mô hình vào một lệnh gọi duy nhất. Hãy thiết lập mức chuẩn bằng một mô hình hosted, rồi kiểm tra xem mô hình cục bộ có vượt qua được mức đó trên phần cứng của bạn không. Thứ tự đó giúp tiết kiệm hàng tuần mà người ta đánh mất khi tinh chỉnh một bản tải về vốn dĩ sẽ không bao giờ đủ.

Một lưu ý cần rút ra từ bài viết này. Cả hai bản phát hành đều báo cáo tỷ lệ giữ lại, cả hai đều do nhà cung cấp đo trên harness của chính nhà cung cấp, và tính đến hôm nay, chưa có bên thứ ba nào tái lập được kết quả của cả hai. Điều duy nhất bạn có thể tự xác minh là sản phẩm phát hành — kích thước tệp, cách đóng gói, metadata GGUF, giấy phép và thông lượng trên máy của chính bạn. Đó là nơi nên bắt đầu, và cũng là nơi hai thông báo không còn giống nhau: kích thước gói độc lập của 27B được công bố theo từng tệp trên Hugging Face, còn con số dung lượng được truyền miệng của các mô hình nhỏ là 0.43 GB, 0.95 GB và 2 GB chỉ đề cập đến riêng mô hình ngôn ngữ, không bao gồm vision tower. Hãy so sánh chúng trên cùng một cơ sở, nếu không thì 9B sẽ trông như thể đã thua một cuộc tranh luận mà nó chưa từng có.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.