Ternary Bonsai 2 27B so với Bonsai 27B: Hai tháng, hai mô hình cơ sở, một biến thể còn thiếu

Ternary Bonsai 2 27B ra mắt vào ngày 17 tháng 9 năm 2026, hai tháng sau khi Bonsai 27B ra mắt vào ngày 14 tháng 7 năm 2026, và so sánh đáng chú ý nhất giữa chúng là một cặp số duy nhất: thế hệ thứ nhất giữ được khoảng 95% điểm trung bình trên benchmark của mô hình nền độ chính xác đầy đủ, còn thế hệ thứ hai giữ được 98,2%. Điều đó có vẻ như là một cải tiến thế hệ đơn giản, và phần lớn đúng là như vậy — nhưng hai con số này không đo cùng một thứ, bởi vì mô hình nền đã thay đổi bên dưới chúng. Bản phát hành tháng 7 nén Qwen3.6-27B. Bản phát hành tháng 9 nén Qwen3.8-27B. Một phần mức tăng chất lượng thuộc về công thức nén và một phần thuộc về Qwen3.8-27B mới hơn, và không có số liệu công bố nào tách biệt hai yếu tố đó.

Có một khác biệt thứ hai giữa các thế hệ ít nhận được sự chú ý hơn nhiều và lại quan trọng hơn đối với một nhóm người dùng cụ thể: Bonsai thế hệ đầu tiên được phát hành với hai biến thể, còn thế hệ thứ hai chỉ có một. Bản build 3.9 GB từng giúp một mô hình cỡ 27B chạy vừa trên iPhone 17 Pro không có phiên bản kế nhiệm trong bản phát hành này. Nếu chính dung lượng đó là lý do bạn quan tâm đến Bonsai ngay từ đầu, thì thế hệ mới hơn không phải là một bản nâng cấp — nó là một sản phẩm khác, không đáp ứng trường hợp của bạn.

Những gì thế hệ đầu tiên thực sự đã phát hành

Bonsai 27B được phát hành vào ngày 14 tháng 7 năm 2026 theo giấy phép Apache 2.0 dưới dạng hai tạo tác được xây dựng trên cùng một mô hình cơ sở, và việc tách thành hai chính là điểm mấu chốt của bản phát hành này.

• Ternary Bonsai 27B — trọng số ternary {−1, 0, +1} với phép chia tỷ lệ theo nhóm bằng FP16, 1,71 bit hiệu dụng mỗi trọng số, dung lượng 5,9 GB. Bản dựng hướng tới chất lượng, được định vị cho một chiếc laptop thường ngày với đầy đủ năng lực suy luận, gọi công cụ và tác tử.

1-bit Bonsai 27B — trọng số nhị phân {−1, +1} với cùng cách chia tỷ lệ theo nhóm, 1,125 bit hiệu dụng mỗi trọng số, dung lượng 3,9 GB. Bản dựng tối ưu dung lượng, có kích thước vừa vặn với hạn mức bộ nhớ của iPhone 17 Pro.

Cả hai đều mang ngữ cảnh 262K token, cả hai đều giữ một tháp thị giác 4-bit nhỏ gọn để mô hình duy trì khả năng đa phương thức, và cả hai đều hỗ trợ giải mã suy đoán với một bộ soạn thảo DSpark. Cách diễn giải của Prism ML vào thời điểm đó là biểu diễn bit thấp vận hành xuyên suốt từ đầu đến cuối — embeddings, attention, các MLP và đầu LM — mà không có lối thoát nào sang độ chính xác cao hơn, và bản dựng 1-bit là mô hình đầu tiên thuộc lớp 27B chạy được trên điện thoại. Thông lượng được báo cáo trên biến thể 1-bit vào khoảng 11 token mỗi giây trên iPhone 17 Pro, 87 tok/s trên Apple M5 Max, và 163 tok/s trên RTX 5090; biến thể ternary được công bố ở mức 58 tok/s trên M5 Max và 134 tok/s trên 5090.

Chi phí về chất lượng được báo cáo song song với những con số đó thay vì bị giấu đi. Trên một bộ 15 benchmark ở chế độ thinking, bản cơ sở full-precision đạt 85,0, bản dựng ternary đạt 80,5 — khoảng 95% — và bản dựng 1-bit đạt 76,1, khoảng 90%. Sự suy giảm tập trung vào gọi công cụ dạng tác nhân (agentic tool calling), vốn giảm từ 80,0 xuống 66,0 trên bản dựng 1-bit, và vào thị giác, vốn giảm từ 72,6 xuống 59,6. Toán và lập trình trụ vững tốt hơn đáng kể ở cả hai biến thể.

Thế hệ thứ hai đã thay đổi những gì

Ternary Bonsai 2 27B giữ nguyên công thức và thay đổi đầu vào. Biểu diễn ternary vẫn là {−1, 0, +1} với một scale FP16 cho mỗi nhóm 128 trọng số, hiện đóng gói xuống còn 1.76 bit mỗi trọng số trong một tệp 5.93 GB, với ngữ cảnh 262K và tháp thị giác riêng biệt tương tự — 0.63 GB ở 4-bit trong bản phát hành này, chỉ được tải khi có hình ảnh đến.

Có hai điều thực sự mới, và cả hai đều được nêu là lý do khiến con số duy trì thay đổi.

Đầu tiên là độ chính xác có chọn lọc. Khác với bản dựng tháng Bảy, vốn đã ternar hóa gần như mọi thứ, Bonsai 2 giữ 26.238.464 tham số ở độ chính xác đầy đủ — 0,0976% của mô hình ngôn ngữ, khoảng 52 MB ở bf16, tập trung ở đường trạng thái hồi tiếp của các lớp chú ý tuyến tính cùng với các trọng số chuẩn hóa. Đó là một nhượng bộ nhỏ về số byte và dường như là một nhượng bộ lớn về hành vi.

Thứ hai là một cơ sở trọng số được xoay. Các ma trận trọng số được lưu sau một phép quay Walsh–Hadamard theo khối ở kích thước khối 1.024, với phép biến đổi tương ứng được áp dụng cho các giá trị kích hoạt khi chạy, dựa trên lý thuyết rằng việc trải các điểm ngoại lai ra khắp các tọa độ khiến phép xấp xỉ ba mức ít mất mát hơn. Nó không tốn thêm dung lượng lưu trữ vì phép quay được gộp vào các trọng số, nhưng nó lại nằm trên đường tính toán.

Rồi có một thay đổi không phải là kỹ thuật gì cả: mô hình nền. Qwen3.8-27B là một thiết kế attention lai — khoảng 75% attention tuyến tính, 25% attention đầy đủ — trong khi mô hình tiền nhiệm thì không. Điểm số theo hạng mục mà Prism ML báo cáo cho thấy động thái đó mang lại những gì. Khả năng tuân thủ chỉ dẫn đạt 82,66 đối với Bonsai 2, so với 74,53 ở Qwen3.6-27B, mô hình nền mà thế hệ đầu tiên đã nén. Suy luận và kiến thức đạt 83,95 so với 84,71 ở mô hình nền cũ hơn, và lập trình đạt 81,58 so với 82,57. Mô hình nền mới tốt hơn hẳn về khả năng tuân thủ chỉ dẫn và kém hơn một chút ở hai hạng mục còn lại, đúng kiểu hồ sơ khiến các tỷ lệ phần trăm duy trì giữa các thế hệ trở nên không hữu ích nếu đứng riêng.

Vì sao hai số liệu giữ chân không thể so sánh với nhau

95% và 98,2% trông như hai kết quả đọc trên cùng một thang đo. Nhưng thực tế không phải vậy, vì ba lý do cần được phân biệt rõ ràng trước khi kết luận rằng công thức đã cải thiện được 3,2 điểm.

• Mẫu số khác nhau. Chỉ số 95% của thế hệ đầu tiên được đo trên bộ 15 benchmark so với Qwen3.6-27B. Chỉ số 98.2% của thế hệ thứ hai đến từ bộ 20 benchmark so với Qwen3.8-27B. Bộ đánh giá khác nhau, đường cơ sở khác nhau, tổ hợp độ khó khác nhau.

• Các đường cơ sở đã dịch chuyển một cách độc lập. Một phần mức tăng về khả năng duy trì là nhờ mô hình nén nén tốt hơn, và một phần là do mô hình cơ sở thay đổi theo những hướng tình cờ thân thiện hơn với trọng số tam phân. Chưa có công trình công bố nào tách bạch được những đóng góp đó.

• Khả năng duy trì là tương đối, nên nó có thể tăng lên trong khi năng lực tuyệt đối lại giảm ở một hạng mục. Một mô hình duy trì được 99% từ mô hình cha yếu hơn vẫn có thể xếp sau một mô hình duy trì được 96% từ mô hình cha mạnh hơn.

So sánh tuyệt đối mang tính thông tin cao hơn so với so sánh tương đối, và trên cơ sở đó, câu chuyện rõ ràng hơn. Điểm tổng hợp 83.9 của Bonsai 2 cao hơn mức 83.6 mà Qwen3.6-27B độ chính xác đầy đủ đạt được trên bộ kiểm thử cũ hơn — nghĩa là phiên bản kế nhiệm đã nén giờ đang vượt lên trên mô hình không nén mà nó đã thay thế ở thế hệ trước đó. Bản dựng ternary thế hệ đầu tiên đạt 80.5 trên bộ kiểm thử riêng của nó. Cả hai con số đó đều là của Prism ML, và các bộ kiểm thử không giống nhau, nên hãy đọc thứ tự xếp hạng thay vì các chữ số thập phân.

Biến thể đã không trở lại

Đây là phần trong sự so sánh có thể thay đổi quyết định mua hàng chứ không chỉ là một biểu đồ điểm chuẩn.

Không có Bonsai 2 1-bit. Bản phát hành tháng 9 cung cấp một bản dựng ternary, với hai cách đóng gói — PTQ1_0 ở mức 1,76 bit mỗi trọng số và 5,93 GB, và PQ2_0 ở mức 2,16 bit mỗi trọng số và 7,25 GB — cùng một container MLX cho Apple Silicon. Không có biến thể nhị phân 3,9 GB và cũng không có thông báo nào về biến thể như vậy. Con số 3,9 GB dành cho điện thoại xuất hiện trong các bài đưa tin hiện nay vẫn đề cập đến mô hình tháng 7.

Hệ quả thực tế là trực tiếp. Nếu mục tiêu của bạn là iPhone hoặc iPad, hay bất kỳ thiết bị nào mà một mô hình ngôn ngữ 5,9 GB cộng với một tháp thị giác 0,63 GB cộng với ngân sách ngữ cảnh không vừa, thì bản dựng 1-bit thế hệ đầu tiên vẫn là lựa chọn duy nhất trong dòng sản phẩm này, và nó sẽ tiếp tục như vậy cho đến khi có một Bonsai 2 1-bit. Nâng cấp nhánh ternary không nâng cấp nhánh đó. Bất kỳ ai đọc “Bonsai 2 tốt hơn” và tải lại xuống điện thoại sẽ thấy tệp không vừa.

Nếu bạn đang dùng laptop hoặc máy tính để bàn, phép tính lại ngược lại: không có lý do gì để chạy bản dựng ternary tháng 7 khi bản tháng 9 nhỏ hơn trên mỗi đơn vị chất lượng, tốt hơn trên những benchmark quan trọng, và mang cùng ngữ cảnh 262K.

Tốc độ, nơi các thế hệ thực sự khó xếp hạng

Thông lượng là phần trong so sánh này mà câu trả lời trung thực là các con số đã công bố không ủng hộ một thứ hạng rõ ràng, và đáng để nói ra điều đó thay vì chọn cặp số tô hồng.

Các phép đo được chuẩn hóa của thế hệ thứ hai ở batch size 1, không tính vision tower, là 142,5 tok/s giải mã trên RTX 5090 với gói PQ2_0, 46,8 tok/s trên Apple M5 Max, 27,7 trên M5 Pro và 18,0 trên M4 Pro. Thế hệ thứ nhất công bố 134 tok/s trên RTX 5090 và 58 tok/s trên M5 Max cho bản dựng ternary của nó. Con số của 5090 dịch chuyển khiêm tốn theo hướng mong đợi. Con số của M5 Max lại đi theo hướng ngược lại — từ 58 xuống 46,8 — điều không giống với những gì một bước tiến thế hệ hai tháng lẽ ra phải thể hiện.

Hai lưu ý khiến điều đó chưa thể trở thành một phát hiện. Các cơ sở đo lường khác nhau giữa các bản phát hành, và ít nhất một con số M5 Max đã công bố cho mẫu mới hơn được cho là thuộc về một bản dựng có trước tối ưu hóa phép quay. Nhưng đáng để đánh dấu như một câu hỏi mở, bởi cơ chế có thể giải thích điều đó đang nằm ngay trong ghi chú phát hành: cơ sở đã quay đặt một phép biến đổi lên đường tới hạn của mọi phép chiếu ở kích thước batch 1, và giải mã trên Apple Silicon là chế độ mà điều đó gây tổn hại nhiều nhất. Kỹ thuật mua lại chất lượng có thể phải trả giá bằng thông lượng giải mã, và trên phần cứng bộ nhớ hợp nhất, sự đánh đổi đó là gay gắt nhất.

Container MLX mang đến một rắc rối riêng cho người dùng Apple. Đây là định dạng 2-bit affine mà mỗi khối lưu cả scale lẫn bias cho từng nhóm 128 trọng số, nhưng trọng số ternary chỉ cần scale, nên bias là phần thừa vô ích — khối tốn 36 byte cho mỗi 128 trọng số thay vì 34, và tỷ lệ đóng gói dừng ở 2,25 bit mỗi trọng số với kích thước tệp đo được là 8,005 GiB. Đây là một container khác mang cùng các giá trị, và là gói mà thiết lập minh họa tải xuống theo mặc định.

Chạy một trong hai thế hệ

Cả hai thế hệ đều có chung một ràng buộc vận hành mà không phiên bản nào của mô hình này thoát khỏi: không thế hệ nào chạy được trên llama.cpp nguyên bản. Các kernel ternary cho kiến trúc này nằm trong fork riêng của Prism ML, llama.cpp nguyên bản từ chối các packing hiện tại vì coi chúng là không xác định, và — tệ hơn — nó sẽ nạp định dạng ternary cũ mà không hề báo lỗi và tạo ra văn bản trôi chảy nhưng vô nghĩa, bởi vì nó không áp dụng phép quay mà các trọng số giả định. Bản dựng MLX có kernel Metal và CPU nhưng không có đường CUDA. Dù bạn chọn thế hệ nào, câu hỏi về runtime đều được trả lời bởi bản phân phối của chính Prism ML hoặc bởi một runtime đã tiếp nhận các kernel của nó, chứ không phải bởi hệ sinh thái ggml nói chung.

Vị trí của OrcaRouter trong một quyết định như thế này là ở một cấp cao hơn. Không có thế hệ Bonsai nào được host ở đây — chúng là những bản tải về mà bạn chạy trên phần cứng của riêng mình. Điều mà lớp định tuyến hữu ích chính là ranh giới: những yêu cầu mà mô hình cục bộ của bạn không nên trả lời. Hãy xác định chính sách leo thang một lần trong cấu hình định tuyến thay vì trong mã ứng dụng, để một tầng được phục vụ cục bộ chuyển các yêu cầu ngữ cảnh dài, nặng về thị giác hoặc ngoài phạm vi lên một mô hình được host thay vì để chúng thất bại, và để cơ chế dự phòng vẫn hoạt động bất kể bạn đang cài đặt thế hệ Bonsai nào. Cả tầng cục bộ lẫn tầng được host sau đó đều nằm sau một khóa duy nhất, và chính sách chỉ nằm ở một nơi khi thế hệ Bonsai tiếp theo ra mắt và ranh giới giữa các tầng lại thay đổi.

Làm gì với cái này

• Nếu bạn chạy bản dựng ternary tháng Bảy trên laptop hoặc máy để bàn — hãy chuyển sang Ternary Bonsai 2 27B. Đây là một mô hình tốt hơn với dung lượng gần như tương đương, và điểm số theo hạng mục mà nó giành ưu thế chính là những điểm quan trọng cho công việc agentic và tuân theo chỉ dẫn.

• Nếu bạn đang chạy bản build 1-bit tháng 7 trên điện thoại — hãy giữ nguyên. Không có bản kế nhiệm nào, và bản build ternary 5.93 GB không phải là bản thay thế trực tiếp cho bản 3.9 GB.

• Nếu đây là lần đầu bạn đánh giá dòng sản phẩm này — hãy quyết định kích thước trước, rồi mới đến thế hệ. Biến thể bạn cần sẽ quyết định bản phát hành mà bạn đang cân nhắc mua, và thứ tự đó ngược lại với cách người ta thường mô tả bản nâng cấp này.

• Nếu bạn đang lựa chọn dựa trên các benchmark — hãy coi 95% và 98,2% là hai phép đo khác nhau thay vì hai điểm trên cùng một đường, và hãy coi mọi con số trong cả hai là của chính nhà cung cấp cho đến khi một đánh giá độc lập về mô hình tháng 9 xuất hiện. Đánh giá đó chính là thứ cần để mắt tới, vì đây là đánh giá đầu tiên có thể so sánh hai thế hệ trên một cơ sở chung.