Bonsai 2 vs Bonsai 27B: Một trong hai cái bạn có thể tải về, cái còn lại thì không.

Sự khác biệt cụ thể nhất giữa Bonsai 2 và Bonsai 27B không liên quan gì đến các benchmark. Vào ngày 17 tháng 10 năm 2026, một mục trong thư viện Ollama đã được đưa lên, bao gồm toàn bộ dòng Bonsai 2 — Ternary Bonsai 2 2B, Ternary Bonsai 2 4B, Ternary Bonsai 2 9B và Bonsai 2 27B — và không có mục tương đương nào cho thế hệ đầu tiên. Tìm bonsai-27b, ternary-bonsai-27b hoặc bất kỳ tên biến thể nào trên registry đó và bạn sẽ nhận được 404. Bonsai 27B, được Prism ML phát hành vào ngày 14 tháng 7 năm 2026, phải được tải xuống từ các kho Hugging Face của nhà cung cấp và chạy với bản fork llama.cpp của Prism ML. Bonsai 2 chỉ cần một dòng lệnh để cài đặt.

Sự bất đối xứng đó chính là toàn bộ cục diện thực tế của sự lựa chọn, và rất dễ bỏ sót vì hai cái tên trông như một dòng sản phẩm chỉ khác một bản nâng cấp phiên bản. Chúng là hai thế hệ, hai mẫu cơ sở, hai bộ đóng gói khác nhau, và — tính đến tuần này — hai cơ chế giao hàng khác nhau. Phần tiếp theo là những gì thực sự đã thay đổi giữa chúng, những điểm mà mẫu cũ vẫn thắng, và cấu hình duy nhất mà câu trả lời không phải là bên nào trong hai.

Mỗi loại là gì

Cả hai đều là các dạng nén tam phân của một mô hình attention lai Qwen. Cả hai đều không phải là một mô hình mới được huấn luyện — kiến trúc, trọng số và quá trình huấn luyện nhận biết lượng tử hóa đều đến từ nền tảng Qwen, và đóng góp của Prism ML là biểu diễn tam phân cùng các kernel sử dụng nó.

• Thế hệ — Bonsai 2 (tháng 9 năm 2026, kéo dài đến tháng 10 năm 2026) so với Bonsai 27B (14 tháng 7 năm 2026)

• Mô hình cơ sở ở kích thước 27B — Qwen3.8-27B so với Qwen3.6-27B

• Các mô hình cơ sở trong toàn bộ họ mô hình — Qwen3.5-2B, -4B, -9B và Qwen3.8-27B thuộc Bonsai 2; một Qwen3.6-27B duy nhất thuộc thế hệ đầu tiên

• Kích thước được cung cấp — bốn (2B, 4B, 9B, 27B) so với một (27B)

• Hai điểm vận hành ở 27B — không, chỉ một: Bonsai 2 27B chỉ phát hành ternary, trong khi Bonsai 27B đã phát hành cả bản ternary lẫn bản nhị phân

• Dung lượng nhỏ nhất trong phân khúc 27B — 5.95 GB PTQ1_0 trong Bonsai 2 so với 3.9 GB trong bản dựng 1-bit của thế hệ đầu tiên

• Ngữ cảnh — 262,144 token được kế thừa từ backbone Qwen trên cả hai

• Giấy phép — Apache 2.0 cho cả hai

• Phân phối — các tag Ollama và Hugging Face cho Bonsai 2; Hugging Face cùng bản fork llama.cpp của Prism ML cho Bonsai 27B

Dòng quyết định nhiều lượt triển khai hơn phần còn lại là dòng thứ năm. Bonsai 27B được phát hành theo hai phương án tiêu tốn bộ nhớ: một bản dựng ternary ở khoảng 7,2 GB và một bản dựng nhị phân ở 3,9 GB. Bonsai 2 27B chỉ phát hành một bản — một bản dựng ternary ở 5,95 GB theo cách đóng gói dense-trit hoặc 7,21 GB theo cách đóng gói 2-bit-slot — và không có bản nhị phân đi kèm trong thế hệ này. Nếu bạn đang chạy bản dựng 3,9 GB của thế hệ đầu tiên và mong đợi một bản kế nhiệm tương đương, thì ở 27B không có bản nào như vậy.

Điều mà thế hệ đó thực sự đã mua

Các con số của chính Prism ML, trên hệ thống kiểm thử của chính Prism ML, mà không có bản tái lập độc lập nào: Bonsai 27B tam phân thế hệ đầu tiên báo cáo mức trung bình ở chế độ suy nghĩ là 80,49, so với 85,07 của mô hình tham chiếu Qwen3.6-27B FP16 — duy trì được 94,6% trên 15 benchmark. Bonsai 2 27B báo cáo 84,78 so với 86,32 của Qwen3.8-27B FP16 — 98,2% trên 14 benchmark. Xét theo giá trị tuyệt đối, mô hình nén đã tăng khoảng 4,3 điểm trên thang điểm của nhà cung cấp.

Hai lưu ý cần được nói cùng lúc, bởi vì tiêu đề gợi ra một cách đọc rõ ràng hơn mức dữ liệu ủng hộ. Đầu tiên, các bộ benchmark không phải cùng một tập hợp — 15 cho một bên, 14 cho bên kia — và đường cơ sở đã chuyển từ Qwen3.6-27B sang Qwen3.8-27B, vốn tự nó đã là một mô hình mạnh hơn. Thẻ mô hình 27B của chính nhà cung cấp làm rõ điểm thứ hai bằng cách tính lại bản phát hành trước đó trên bộ 14 benchmark mới để có một hàng so sánh tương đương: trên cùng nền tảng đó, bản phát hành trước đạt 80.98 và Bonsai 2 27B đạt 84.78. Vậy nên cách đọc trung thực về thay đổi này là khoảng 3.8 điểm so với cùng một bộ benchmark, với một phần đến từ mô hình cơ sở và một phần đến từ huấn luyện ternary. Tỷ lệ giữ lại tăng từ 94.6% lên 98.2% một phần vì mẫu số đã thay đổi.

Thứ hai, hình dạng của tổn thất giàu thông tin hơn so với con số tổng hợp. Trên cùng bộ 14 benchmark, Bonsai 2 27B gần như không thua kém gì ở những chỗ khả năng suy luận bền bỉ thể hiện rõ: toán 96,57 so với 97,06, lập trình 89,42 so với 89,07 — ngang bằng, thậm chí nhỉnh hơn một chút — và tuân thủ chỉ dẫn 82,66 so với 81,25, nhỉnh hơn. Kiến thức và suy luận giảm từ 85,55 xuống 79,86, còn thị giác từ 71,36 xuống 66,19. Đó là hồ sơ bạn sẽ kỳ vọng từ một biểu diễn 1,72 bit trên mỗi trọng số: lõi suy luận vẫn sống sót, còn khả năng hồi tưởng sự kiện và hiểu hình ảnh phải chịu tổn thất. Nếu khối lượng công việc của bạn là mã và toán học, việc nén gần như miễn phí. Nếu đó là hỏi đáp dạng truy xuất trên một kho ngữ liệu, thì không.

Khe 3,9 GB chính là nơi mọi thứ trở nên thú vị.

Đây là phần mà cách đóng khung hai thế hệ che giấu. Tạo tác đặc trưng nhất của thế hệ đầu tiên là bản dựng nhị phân: một mô hình 27B trong 3,9 GB, giữ lại 89,5% so với FP16 theo báo cáo của nhà cung cấp, trên mức trung bình 15 bài kiểm chuẩn là 76,11. Bonsai 2 không có bản nhị phân 27B. Nhưng Bonsai 2 lại có bản 9B ở 1,997 GB trong cách đóng gói dense-trit và 2,42 GB trong cách đóng gói 2-bit-slot — chỉ bằng khoảng một nửa kích thước của bản nhị phân 27B, đến từ thế hệ mới hơn và mô hình nền mới hơn.

Liệu 9B có tốt hơn 27B 1-bit không? Nhà cung cấp không báo cáo một con số nào trả lời được điều đó, và bạn không nên tự dựng ra một con số. Hai mô hình được đánh giá trên các bộ kiểm thử khác nhau — 19 benchmark thuộc sáu lĩnh vực kỹ năng đối với các mô hình Bonsai 2 nhỏ, 15 đối với 27B thế hệ đầu tiên — dựa trên các baseline khác nhau, và báo cáo phát hành của các mô hình nhỏ đưa ra mức duy trì theo danh mục so với các bản Qwen3.5 độ chính xác đầy đủ tương ứng của chúng, chứ không phải một điểm trung bình tuyệt đối duy nhất có thể so sánh với 76.11 của 27B. Những so sánh thực sự tồn tại là theo từng benchmark và chỉ về cả hai hướng. Theo số liệu của nhà cung cấp, 9B đạt 71.81 trên BFCLv3 và 73.02 trên Tau2Bench, trong khi 27B nhị phân đạt 74.41 trên BFCL v3 — đủ gần đến mức khác biệt về bộ đánh giá nuốt chửng nó.

Điều có thể nói mà không phóng đại thì hẹp hơn và vẫn hữu ích: phân khúc footprint mà binary 27B từng độc chiếm giờ đã có một lựa chọn rẻ hơn đến từ thế hệ kế tiếp, và cả hai đủ gần nhau đến mức không ai nên chọn giữa chúng dựa trên bảng thông số của nhà cung cấp. Đó là lý do để đo trên chính prompt của bạn, chứ không phải để tin vào một con số. Đây cũng là điểm duy nhất trong so sánh này mà câu trả lời thực sự không phải là mô hình nào trong hai mô hình nêu ở tiêu đề.

Vận hành chúng: những con số và cái bẫy

Các con số về thông lượng đều do nhà cung cấp tự đo và không được thực hiện trên cùng một cục máy, nên hãy xem chúng như các bậc độ lớn thay vì một bảng xếp hạng.

• Bonsai 2 27B trên Apple M5 Max — khoảng 47 tok/s trên bản dựng trước luân chuyển trước đó, đang chờ đo lại trên stack hiện tại

• Bonsai 2 27B trên M5 Pro — 28,1 tok/s trong kiểu đóng gói khe 2-bit, ở mức xấp xỉ 27,5 W trên đường nguồn GPU

• Bonsai 2 27B trên RTX 5090 — 129,9 tok/s với cách đóng gói 2-bit-slot, 120,5 với cách đóng gói trit dày đặc

• Bonsai 27B ternary thế hệ đầu tiên trên M5 Max — 44,0 tok/s; trên H100, 98,0 tok/s, tăng lên khoảng 131,8 với bộ dự thảo DSpark của nó

• Bonsai 27B nhị phân thế hệ đầu tiên trên iPhone 17 Pro Max — khoảng 11 tok/s, bị giới hạn bởi nhiệt

Vấn đề nằm ở khâu đóng gói, và nó tác động theo cùng một cách đến cả hai thế hệ. Không thế hệ nào có các kernel ternary nằm trong llama.cpp upstream. Thế hệ thứ nhất cần bản fork Prism ML cho mọi tệp. Bonsai 2 phát hành ba cách đóng gói của cùng một bộ trọng số, và llama.cpp upstream chỉ chạy được đúng một trong số đó — Q2_0, trong master gần đây — đồng thời từ chối PTQ1_0 nhỏ hơn và PQ2_0 nhanh hơn vì là các kiểu chưa được biết. Vậy nên gói dense-trit tiệm cận nhất với mức lý thuyết 1,72 bit mỗi trọng số cũng chính là gói đòi hỏi một bản build đã fork.

Điều đó đáng để ngẫm kỹ, vì nó giải thích mục niêm yết Ollama. Các thẻ Ollama cho Bonsai 2 phục vụ Q2_0: lớp mô hình của thẻ 9B đo được 2.557 GB, khớp từng byte với kích thước tệp Q2_0 trên Hugging Face, và gói PTQ1_0 nhỏ nhất hoàn toàn vắng mặt khỏi registry. Dù mục niêm yết đó còn là gì đi nữa, nó không phải là con đường dẫn đến artefact nhỏ nhất. Sự tiện lợi và dung lượng đang được đánh đổi ở đây, và sự đánh đổi ấy vô hình trừ khi bạn đọc kích thước tệp.

Đi đến một trong hai

Nếu bạn đang dùng Ollama, quyết định đã được định sẵn cho bạn: Bonsai 2, bốn kích cỡ, ollama pull bonsai-2:27b hoặc :9b, khoảng 8,3 GB và 3,2 GB trên đĩa bao gồm cả projector thị giác. Nếu bạn cần cách đóng gói trit dày đặc, các drafter giải mã suy đoán, hoặc bất cứ thứ gì từ thế hệ đầu tiên, thì đó là một bản tải xuống từ Hugging Face và một bản dựng fork, và kho demo của nhà cung cấp là tham chiếu đã được kiểm nghiệm cho hướng đi đó.

Điểm mà một lớp định tuyến thực sự hữu ích ở đây nằm ở phía bên kia của câu hỏi. Bạn không thể định tuyến đến một trong hai thứ này — chúng là các trọng số cục bộ, và OrcaRouter hiện không phục vụ bất kỳ kích thước Bonsai nào. Điều OrcaRouter mang lại cho bạn là đường cơ sở để so sánh: một API duy nhất đứng trước hơn 200 mô hình được lưu trữ với mức chênh lệch 0%, giá niêm yết của nhà cung cấp được chuyển nguyên vẹn, cùng khả năng chuyển đổi dự phòng tự động giữa các nhà cung cấp. Trình tự hợp lý cho hầu hết các đội nhóm là xác lập trên một mô hình được lưu trữ xem một tác vụ thực sự cần những gì, rồi quyết định liệu một mô hình cục bộ 2 GB, 3.9 GB hay 6 GB có vượt qua được mức đó hay không — thay vì đoán dựa trên một tỷ lệ phần trăm lưu trữ.

Cái nào, cụ thể là cái nào?

• Bạn muốn thế hệ ternary mới nhất ở 27B và cài đặt chỉ với một lệnh — Bonsai 2 27B qua Ollama, chấp nhận cách đóng gói Q2_0 và kích thước trên đĩa lớn hơn.

• Bạn muốn các artefact thuộc lớp 27B nhỏ nhất có thể, hoặc bạn dựa vào drafter DSpark — Bonsai 27B thế hệ đầu tiên từ Hugging Face, với bản dựng fork. Không có gì trong Bonsai 2 thay thế được nó ở 27B.

• Bạn đang chạy bản dựng nhị phân 3.9 GB và cần giữ nguyên mức dung lượng đó — đừng cho rằng Bonsai 2 có phiên bản kế nhiệm. Hoặc giữ nguyên, hoặc đo Bonsai 2 9B với chính các prompt của bạn; nó nhỏ bằng một nửa và mới hơn một thế hệ, còn nhà cung cấp chưa công bố bản so sánh nào đủ để ngã ngũ.

• Bạn cần bốn lớp kích thước từ một runtime — Bonsai 2 là thế hệ duy nhất cung cấp điều đó.

Một điều cần để mắt tới có thể đơn giản hóa toàn bộ chuyện này: một nhãn ptq1_0 xuất hiện trên danh mục Ollama. Điều đó có nghĩa là các kernel dense-trit đã có mặt trong engine mà Ollama phát hành, yêu cầu fork biến mất đối với gói nhỏ nhất, và sự đánh đổi giữa tiện lợi và dung lượng không còn là một sự đánh đổi nữa.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.