Bonsai 27B: Giải thích về mô hình 27B trong dòng Bonsai

Bonsai 27B là mô hình 27 tỷ tham số trong dòng Bonsai của PrismML, và nó chính là thứ mọi người ám chỉ khi gõ "bonsai 27b" — nhưng chỉ cái tên thôi sẽ không đưa bạn đến đúng nó, vì có ba thứ khác nhau cùng mang một cái tên gần giống như vậy. Bonsai 27B là bản tái dựng low-bit của Qwen3.6-27B, được chính nhà cung cấp công bố vào ngày 14 tháng 7 năm 2026, và nó được phát hành dưới dạng hai gói của cùng một mô hình: 1-bit Bonsai 27B, lưu trọng số nhị phân {−1, +1} trong khoảng 3,9 GB, và Ternary Bonsai 27B, lưu trọng số ternary {−1, 0, +1} ở mức 1,71 bit hiệu dụng mỗi trọng số — 5,9 GB theo con số nổi bật của nhà cung cấp, còn 7,165 GB khi gói được phát hành thực tế. Nó không phải Ternary Bonsai 2 27B, thế hệ thứ hai được đặt tên riêng, xây dựng trên Qwen3.8-27B, và cũng không phải mô hình thị giác-ngôn ngữ 2 tỷ tham số mà PrismML xây dựng cho kính thông minh Snapdragon AR1 Gen 1. Cả hai gói của Bonsai 27B đều có ngữ cảnh 262.000 token, một tháp thị giác 4-bit nhỏ gọn và giấy phép Apache 2.0. Mô hình là Bonsai 27B; quyết định tiếp theo là gói nào trong hai gói của nó phù hợp với ngân sách bộ nhớ của bạn.

Trang này là tài liệu tham chiếu cho mô hình đó. Đây không phải là một thông báo: Bonsai 27B đã có mặt từ tháng 7 năm 2026, và những câu hỏi đáng để trả lời về nó lúc này là những câu hỏi mà người đọc mang sẵn khi đến — nó chính xác là gì, cái tên phân biệt điều gì, và chi phí thực sự để chạy nó là bao nhiêu.

Cái nào là 27B

Tính dễ nhầm lẫn ở đây là có thật, và đáng để giải quyết trước mọi thứ khác, bởi vì một phỏng đoán sai sẽ đưa bạn đến một mô hình 2 tỷ tham số hoặc đến sai thế hệ của mô hình đúng.

• Bonsai — tên dòng sản phẩm, và cũng là tên mà nhà cung cấp đặt cho nó. Chỉ riêng nó thì không định danh được thứ gì bạn có thể tải xuống. PrismML đã phát hành Bonsai 1.7B, Bonsai 4B, Bonsai 8B, Bonsai 27B và Bonsai Image, cùng mô hình kính 2 tỷ tham số, và một bản phát hành hồi tháng 4 năm 2026 có tên Ternary Bonsai cho dòng nhỏ hơn. Việc tìm kiếm chỉ với từ trần sẽ rơi ngẫu nhiên vào tập hợp đó.

• Bonsai 27B — chủ thể của trang này. Thế hệ thứ nhất của dòng 27B, có nguồn gốc từ Qwen3.6-27B, ngày 14 tháng 7 năm 2026. Khi một trang ghi "Bonsai 27B" mà không có thêm thông tin bổ sung nào và không có số "2", thì đây chính là mô hình mà nó muốn nói đến, và đây là tên cần dùng.

• Ternary Bonsai 27B — không phải là một mô hình khác. Đây là bản đóng gói định hướng chất lượng của Bonsai 27B: vẫn cùng mô hình 27B, cùng kiến trúc và cùng mô hình cơ sở, nhưng dùng trọng số ternary thay vì trọng số nhị phân. Kho lưu trữ có tên Ternary-Bonsai-27B-gguf, và thẻ mô hình của nó ghi Qwen3.6-27B là mô hình cơ sở đúng như thẻ nhị phân. "Ternary" ở đây là một định dạng trọng số, không phải một phiên bản.

• Ternary Bonsai 2 27B — một mô hình thực sự khác biệt. Thế hệ thứ hai của dòng 27B, được xây dựng trên Qwen3.8-27B và được công bố vào ngày 17 tháng 9 năm 2026, với cách phân chia tham số khác và tuyên bố về chất lượng khác. Chữ “2” mang toàn bộ sự khác biệt.

• 1-bit Bonsai 2B — một thành viên khác trong cùng dòng họ, ở một quy mô khác: mô hình thị giác - ngôn ngữ 2 tỷ tham số dành cho phần cứng cỡ kính, chứ không phải mô hình 27B ở bất kỳ độ chính xác nào.

Vậy nếu bạn đến đây để xác định cái nào trong số này là mô hình 27B, thì câu trả lời là dòng thứ ba và thứ tư ở trên là cùng một mô hình ở hai định dạng trọng số, còn dòng thứ năm thì không phải. Thực tế: cứ gọi nó là Bonsai 27B, và thêm pack khi cần.

Thông số kỹ thuật, từ thẻ mô hình

Mọi số liệu trong phần này đều đến từ các thẻ mô hình đã công bố của PrismML cho hai gói, và đó là tuyên bố của chính nhà cung cấp về mô hình của mình. Khi một con số là tuyên bố chứ không phải kết quả đo lường, nó được ghi nhãn như vậy.

• Tham số — tổng cộng khoảng 27,3B, và con số "27B" là để chỉ toàn bộ khối lượng đó. Việc phân chia này đáng để tìm hiểu vì nó giải thích hành vi bộ nhớ: khoảng 24,8B nằm trong phần xương sống ngôn ngữ trải khắp 64 khối, khoảng 2,5B nằm ở embedding và LM head, và khoảng 0,46B nằm trong một tháp thị giác gồm 27 khối. Biểu diễn bit thấp được áp dụng từ đầu đến cuối — embedding, attention, MLP và LM head — không có bất kỳ lối thoát nào sang độ chính xác cao hơn ở bất cứ đâu trong mạng ngôn ngữ.

• Ngữ cảnh — đầy đủ 262.000 token, không có biến thể ngữ cảnh dài và không có bản dựng giảm ngữ cảnh. Chi phí của cửa sổ đó được quản lý thay vì trả trọn một lần: xương sống là lai, nên chỉ 16 trong số 64 lớp của nó giữ bộ đệm attention đầy đủ, và bộ đệm đó được lưu ở dạng 4-bit gần như không mất mát. Ở cửa sổ 262K đầy đủ, bộ đệm nén chính là thứ giữ mô hình trong khoảng 9,4 GB trên gói nhị phân và 12,8 GB trên gói tam phân.

• Phương thức — văn bản và hình ảnh, cả hai gói. Tháp thị giác được cung cấp ở dạng 4-bit gọn nhẹ (0,63 GB) cùng với một bản sao BF16 (0,93 GB) đi kèm. Thị giác cũng là nơi việc nén tốn kém nhất, điều này sẽ được đề cập bên dưới.

• Định dạng và kích thước trọng số — Bonsai 27B 1-bit sử dụng trọng số nhị phân {−1, +1} với phép chia tỉ lệ theo nhóm bằng FP16, được đóng gói dưới dạng GGUF Q1_0_g128 ở mức thực là 1,125 bit hiệu dụng trên mỗi trọng số; tệp phát hành có dung lượng 3,803 GB, và thẻ làm tròn mức chiếm dụng khi triển khai thành khoảng 3,9 GB. Bonsai 27B tam phân sử dụng trọng số tam phân {−1, 0, +1} với cùng cách chia tỉ lệ theo nhóm; một giá trị tam phân mang log₂3 ≈ 1,585 bit thông tin, nên giới hạn dưới của cách biểu diễn là ~1,71 bit mỗi trọng số, tức 5,9 GB trong điều kiện lý tưởng. Gói tam phân được công bố lớn hơn mức lý tưởng đó, vì các kernel ngày nay lưu mỗi giá trị tam phân trong một khe 2 bit — 2,125 bit mỗi trọng số khi triển khai — và tệp phát hành là 7,165 GB. PrismML nêu cả hai con số thay vì chỉ nêu con số tô hồng, và khoảng cách giữa chúng là một hạn chế của kernel chứ không phải là lựa chọn mô hình hóa.

• Giấy phép — Apache 2.0 cho cả hai gói, được nêu rõ trên cả hai kho lưu trữ và trong thông báo của nhà cung cấp. Đó là một giấy phép cấp phép tự do (permissive) không có hạn chế về lĩnh vực sử dụng, và điều này ở kích thước trọng lượng này lại quan trọng hơn so với hầu hết các trường hợp.

• Mô hình cơ sở — Qwen3.6-27B trong cả hai trường hợp. Đây là một bản tái nén mô hình của người khác chứ không phải mô hình được huấn luyện từ đầu, và hệ quả là cả trần năng lực lẫn nhịp cập nhật của Bonsai 27B đều bám theo dòng 27B thượng nguồn thay vì của PrismML.

Mối quan hệ bậc ba, được phát biểu một lần

Hai gói này là cùng một mô hình, và tóm tắt trung thực là: ternary đổi lấy chất lượng, còn binary đổi lấy kích thước nhỏ gọn, với khoảng cách giữa chúng nhỏ hơn mức mà chênh lệch kích thước 3,9 GB so với 7,2 GB gợi ý.

Trên bộ 15 bài kiểm tra ở chế độ thinking của chính PrismML, mô hình cơ sở FP16 Qwen3.6-27B đạt 85,07. Ternary Bonsai 27B đạt 80,49 — duy trì 94,6%, mà nhà cung cấp làm tròn thành khoảng 95%. Bonsai 27B 1-bit đạt 76,11 — 89,5%, làm tròn thành khoảng 90%. Vậy gói thiên về chất lượng thu hẹp được khoảng một nửa khoảng cách giữa gói nhị phân và độ chính xác đầy đủ, đổi lại tốn thêm khoảng 3,3 GB, còn gói nhị phân mới là gói vừa với một chiếc điện thoại 12 GB. Cùng bộ kiểm tra đó cho thấy bản dựng 4-bit Q4_K_XL của chính mô hình cơ sở này đạt 84,99, tức duy trì 99,9%, trong 17,6 GB — đây là phép so sánh giải thích vì sao lại tồn tại bất kỳ gói bit thấp nào, vì nó thắng chúng về chất lượng và thua trên mọi thiết bị chỉ có dưới 18 GB để dành cho mô hình.

Việc gói nhị phân mất lợi thế diễn ra không đồng đều, và phần phân tách theo danh mục mới là phần hữu ích. So với mốc cơ sở FP16, nó giảm từ 95,33 xuống 91,66 ở toán và từ 88,74 xuống 81,88 ở lập trình, nhưng từ 78,47 xuống 65,74 ở tuân theo chỉ dẫn, từ 80,00 xuống 66,03 ở công việc tác tử và gọi công cụ, và từ 72,61 xuống 59,57 ở thị giác. Nếu khối lượng công việc của bạn là số học hoặc hoàn thành mã, thì 3,9 GB gần như miễn phí. Nếu đó là các tác tử gọi công cụ hoặc hiểu hình ảnh, thì đó chính là nơi việc nén thực sự đang phải trả giá.

Thẻ mô hình cũng công bố một chỉ số dẫn xuất mà nó gọi là mật độ trí tuệ — điểm tổng hợp trên mỗi gigabyte, được chuẩn hóa sao cho một điểm hoàn hảo tiến tới vô cực. Theo thước đo đó, 1-bit Bonsai 27B đạt 0.530 và Ternary Bonsai 27B đạt 0.400, so với 0.199 của bản dựng 2-bit IQ2_XXS trên cùng một baseline, 0.155 của bản dựng 4-bit Q4_K_XL, và 0.051 của mô hình FP16. Con số thú vị trong danh sách đó là phép so sánh đầu tiên: gói nhị phân đánh bại bản dựng 2-bit thông thường về chất lượng tổng hợp với dung lượng chưa bằng một nửa, đó chính là toàn bộ luận điểm của dòng này gói gọn trong một dòng.

Cuộc đối đầu trực tiếp đầy đủ giữa hai gói, cùng nguồn gốc các con số của từng gói, được trình bày trong trang Bonsai vs Bonsai 27B trên blog này, bên cạnh mô hình 2 tỷ tham số mang chung tên họ.

Một câu hỏi nảy sinh cùng mô hình này xứng đáng có một câu trả lời đúng sự thật và không hơn. Các pack là các bản mã hóa bit thấp của cùng một mô hình nền tảng chứ không phải một biến thể được huấn luyện lại, và các kho lưu trữ không công bố kèm theo bất kỳ checkpoint nào được tinh chỉnh riêng hoặc không kiểm duyệt — artifact độ chính xác đầy đủ duy nhất được cung cấp là bản chuyển đổi FP16 chưa đóng gói của cùng các trọng số đó, được công bố để bạn có thể so sánh một pack nén với chính baseline của nó bằng công cụ có sẵn.

Trọng số và giấy phép, từ các kho lưu trữ

Trọng số của Bonsai 27B được công bố trên Hugging Face dưới tổ chức prism-ml, và danh sách tệp là điều cụ thể nhất về bản phát hành này. Kho của gói nhị phân chứa chính mô hình ở 3,803 GB, một FP16 GGUF của cùng mô hình ở 53,808 GB để so sánh, một bộ drafter giải mã suy đoán DSpark ở 1,787 GB dạng 4-bit và 7,292 GB dạng BF16, cùng các tháp thị giác ở 0,931 GB và 0,629 GB. Kho ternary chứa gói 7,165 GB của riêng nó cùng một gói đóng thứ hai ở 7,585 GB, vốn là group-64 thay vì group-128 và tương thích với upstream thay vì tối ưu, cùng các tệp drafter và thị giác giống nhau. Cả hai kho đều theo Apache 2.0 và cả hai đều ghi Qwen3.6-27B là mô hình nền tảng.

Có hai điều rút ra từ danh sách đó. Điều đầu tiên là 53,808 GB so với 3,803 GB chính là tỷ lệ 14,2x mà model card nêu lên đầu, và nó có thể kiểm chứng được chứ không chỉ là khẳng định — tệp độ chính xác đầy đủ nằm ngay đó. Điều thứ hai là bản phát hành nặng hơn mô hình: nếu bạn tính cả drafter và vision tower, thứ mà đường đa phương thức yêu cầu, thì bạn đang cộng thêm khoảng 2,4 GB lên trên một mô hình 3,9 GB. Con số 3,9 GB được nhấn mạnh là trọng số ngôn ngữ chứ không phải toàn bộ triển khai.

Lượt tải xuống là điểm duy nhất mà gói định hướng chất lượng dẫn đầu: tính đến tháng 10 năm 2026, kho GGUF ternary đã vượt 590.000 lượt tải so với chỉ hơn 400.000 lượt của gói nhị phân, trong khi các container MLX cho cả hai đều ở mức trên một triệu mỗi loại. Hình dạng đó cho thấy phần lớn mô hình này đang được chạy trên phần cứng Apple thay vì trên máy chủ, và rằng những người tải nó đang mua thêm năm điểm lưu giữ thay vì tệp nhỏ nhất có thể — đó gần như chính là mục đích mà nhà cung cấp đã thiết kế cặp này hướng tới.

Đang chạy nó

Những gì bạn có thể nhận được ngày hôm nay là bốn loại artifact cho mỗi gói, và việc bạn muốn loại nào được quyết định bởi runtime của bạn chứ không phải bởi chất lượng.

• GGUF cho llama.cpp — con đường chính, và cũng là con đường mà các kernel bit thấp được viết ra để phục vụ. Cả hai gói đều là bản dựng llama.cpp cho CUDA, Metal và CPU, nhưng các kernel 1-bit và ternary nằm trong bản fork riêng của PrismML chứ không phải upstream, nên llama.cpp nguyên bản sẽ chưa nạp chúng đúng cách. Kiểu đóng gói ternary nhóm-64 tồn tại chính xác cho những trường hợp bạn cần tương thích với upstream và sẵn sàng chấp nhận 7.585 GB thay vì 7.165 GB để có được điều đó.

• MLX cho Apple silicon — các container được phát hành riêng biệt, với dung lượng 5,129 GB cho gói nhị phân và 8,491 GB cho gói ternary. Lưu ý rằng container nhị phân MLX lớn hơn gói nhị phân GGUF, đây là sự khác biệt về overhead của container chứ không phải là một mô hình khác.

• AWQ 4-bit cho các framework máy chủ — bản build 4-bit của từng mô hình dành cho các framework phục vụ vốn mong đợi một checkpoint AWQ, gồm chín shard với tổng dung lượng 18.70 GB, bao gồm cả công thức đa GPU. Đây không phải là một artifact bit thấp; đây chính là cùng mô hình ở độ chính xác hợp lý trên rack, và nó đánh đổi đi toàn bộ lý do mô hình tồn tại.

• FP16 safetensors chưa đóng gói — toàn bộ mô hình ~54 GB ở định dạng Hugging Face nguyên bản, được phát hành rõ ràng dành cho các framework chưa hỗ trợ trọng số 1-bit một cách gốc. Nhà cung cấp cho biết artifact này sẽ bị ngừng cung cấp khi các kernel bit thấp được đưa lên upstream.

Thông lượng giải mã đo được trên gói nhị phân, từ chính bảng của thẻ mô hình, là 66,4 token mỗi giây trên M5 Max, 44,2 trên M5 Pro, 26,0 trên M4 Pro và 104,8 trên H100, với prefill lần lượt ở mức 874, 421, 133 và 2.755 token mỗi giây. Trang thông báo đưa ra các đỉnh cao hơn — lên tới 87 token mỗi giây trên M5 Max và 163 trên RTX 5090 — đây là cấu hình tốt nhất của chính nhà cung cấp chứ không phải của bảng. Hãy coi hai bộ số này là các điều kiện đo khác nhau, không phải là mâu thuẫn, và coi cả hai đều là do nhà cung cấp báo cáo. Bộ nhớ đỉnh, cũng từ thẻ, là 5,2 GB ở ngữ cảnh 4K, 5,6 GB ở 10K và 11,6 GB ở 100K trên gói nhị phân, và 8,4, 8,7 và 14,7 GB trên gói ternary — kèm lưu ý rằng những con số đó có trước bộ đệm KV 4-bit, thứ đưa cửa sổ đầy đủ 262K xuống mức một chữ số GB.

Bộ tạo nháp DSpark là tùy chọn và đáng để hiểu trước khi bạn bật nó, vì nó không thay đổi gì về đầu ra: đây là một transformer song song theo khối gồm sáu lớp, được điều kiện hóa trên các trạng thái ẩn trích ra từ năm lớp mục tiêu cách đều nhau, nó thêm khoảng 0,5 GB ở độ chính xác khi phục vụ, và nó xác minh dựa trên mô hình mục tiêu thay vì tự lấy mẫu. Đó là lý do nhà cung cấp có thể công bố mức tăng tốc 1,37 lần trên CUDA mà không đụng đến các chỉ số chất lượng. Nó không được bật mặc định trên Apple silicon.

Chỗ mà model cục bộ hết đường chính là câu hỏi kỹ thuật thú vị, và đó là câu hỏi về định tuyến chứ không phải câu hỏi về model. Một model 3,9 GB trên laptop xử lý được những gì vừa với ngữ cảnh của nó; mọi thứ còn lại đều phải đi đâu đó, và cái "đâu đó" ấy là một model chạy trên máy chủ đặt sau một API. OrcaRouter chính là lớp đó — một endpoint duy nhất cho hơn 200 model hosted với mức markup 0% trên giá niêm yết của nhà cung cấp, tự động chuyển đổi dự phòng giữa các nhà cung cấp, và quy tắc nâng cấp từ tầng cục bộ lên tầng hosted được biểu diễn dưới dạng cấu hình thay vì ghép nối thủ công. Đó là lớp nằm trên model cục bộ, chứ không phải là thứ thay thế cho nó.

Chỉ số so sánh

Bonsai 27B nằm trong một họ mà mỗi thành viên lân cận trả lời một câu hỏi khác nhau, và đây là những trang phụ trách từng câu hỏi — không câu nào trong số đó được tranh luận lại ở đây.

• Bonsai so với Bonsai 27B — mô hình kính 2 tỷ tham số so với mô hình này: gấp mười sáu lần tham số và gấp hai trăm năm mươi sáu lần ngữ cảnh, và tại sao tên họ mô hình không mang thông tin gì về thứ bạn đang tải xuống. Trang này là một bài đăng blog ở đây, không phải một mô hình được lưu trữ, một sự khác biệt đáng để phân biệt rõ trong họ mô hình này.

• Bonsai 27B đối đầu với Qwen3.8-27B — màn đối đầu trực tiếp giữa mô hình này và mô hình nền mới hơn mà nó không sử dụng. Một trang riêng trong lô này chứa phần so sánh đó, và vì hai mô hình có tên gọi na ná nhau cùng nằm cách nhau một thế hệ, nên nó đáng được đọc như một tài liệu độc lập thay vì như phần mở rộng của đặc tả này.

• Bonsai vs Ternary Bonsai 2 27B — bước nhảy vọt giữa các thế hệ, cùng việc hai bản phát hành báo cáo chất lượng của mình dựa trên hai thước đo khác nhau: một bên là mức duy trì so với đường cơ sở, bên kia là một tuyên bố mang tính so sánh.

• Ternary Bonsai 2 27B — thế hệ thứ hai đứng độc lập, trên Qwen3.8-27B, dành cho những độc giả đã quyết định rằng họ muốn mô hình mới hơn thay vì mô hình này.

Điều gì chưa được giải quyết

Mọi con số chất lượng trên trang này đều là của PrismML, được đo trên bộ 15 benchmark của chính PrismML, và chưa có ai bên ngoài công ty công bố bản tái lập của nó. Đó là lỗ hổng lớn nhất trong những gì đã biết về Bonsai 27B: các tuyên bố về nén đặc biệt cụ thể và đặc biệt có thể kiểm chứng, và chúng vẫn chưa được bên thứ ba kiểm tra. Nhà cung cấp cũng nói rõ rằng lập trình tác tử — quy trình làm việc dài hạn, nhiều tệp, chạy-và-sửa — không phải là mục tiêu mạnh của bản phát hành này và rằng một biến thể được tinh chỉnh cho việc đó là thứ tiếp theo trong lộ trình, điều này nhất quán với các tổn thất về gọi công cụ và tuân theo chỉ dẫn trong phân tách danh mục ở trên. Cho đến khi có một đánh giá độc lập, cả con số duy trì lẫn xếp hạng mật độ nên được đọc như quan điểm của nhà cung cấp thay vì như một kết quả đã được xác lập.

Điều đã rõ thì nhỏ hơn và hữu ích hơn: các trọng số đã tồn tại, kích thước có thể đối chiếu với danh sách tệp, giấy phép là Apache 2.0, và hai gói chênh nhau khoảng 3,3 GB để đổi lấy khoảng năm điểm chất lượng được giữ lại. Thế là đủ để chọn giữa chúng. Việc gói nào phù hợp với bạn phụ thuộc vào việc khối lượng công việc của bạn trông giống tính toán hơn hay giống gọi công cụ hơn, và các con số theo danh mục ở trên là bằng chứng tốt nhất hiện có cho quyết định đó ngày hôm nay.