Ternary Bonsai 2 27B so với Qwen3.8-27B IQ2_XXS GGUF: Ít bit hơn, điểm số tốt hơn

Ternary Bonsai 2 27B nhỏ hơn bản dựng GGUF IQ2_XXS của Qwen3.8-27B và, theo các con số được công bố kèm nó, cũng tốt hơn — điều lẽ ra không thể xảy ra nếu tất cả những gì phân biệt chúng chỉ là một ngân sách bit. Bản dựng Bonsai mang 1,76 bit cho mỗi trọng số trong một tệp 5,93 GB. Cách lượng tử hóa 2-bit thông thường của cùng mô hình cơ sở mang khoảng 2,2 bit cho mỗi trọng số trong một tệp khoảng 7,3 GB. Prism ML, đơn vị công bố bản dựng ternary vào ngày 17 tháng 9 năm 2026, báo cáo mức trung bình trên 20 bài kiểm chuẩn là 83,9 cho mô hình của mình, so với 75,2 cho điểm so sánh IQ2_XXS — một khoảng cách 8,7 điểm nghiêng về mô hình dùng ít bit hơn.

Sự đảo ngược đó chính là toàn bộ câu chuyện, và nó không phải là một mẹo. Hai tệp được tạo ra bởi những quy trình khác nhau ở những giai đoạn khác nhau trong vòng đời của mô hình, và sự khác biệt giữa những quy trình đó đáng giá hơn sự khác biệt về độ rộng bit. Đây cũng là phép so sánh mà lời khuyên phổ biến — "cứ lấy một bản lượng tử hóa 2-bit, giờ chúng ổn cả rồi" — đụng phải phản ví dụ rõ ràng nhất của nó, và là nơi phản ví dụ đó có một phép đo độc lập đằng sau thay vì lời của nhà cung cấp.

Nghịch lý chính là cơ chế

IQ2_XXS là một định dạng lượng tử hóa sau huấn luyện. Mô hình được huấn luyện đến hội tụ ở độ chính xác đầy đủ, và sau đó, các trọng số của nó được làm tròn thành một biểu diễn bit thấp do một quy trình khớp lựa chọn. Mô hình không bao giờ có cơ hội thích nghi; nó bị đo đạc sau khi hoàn tất và bị xấp xỉ. Họ i-quant cải thiện so với các k-quants cũ hơn bằng cách sử dụng ma trận quan trọng — một lượt hiệu chuẩn quyết định trọng số nào xứng đáng nhận được nhiều hơn độ chính xác sẵn có — nhưng thứ tự thao tác cơ bản vẫn không thay đổi. Huấn luyện, rồi nén.

Bonsai đảo ngược thứ tự đó. Mô tả của Prism ML về phương pháp của chính mình là nó đã từ bỏ hoàn toàn lượng tử hóa sau huấn luyện và áp đặt ràng buộc tam phân trong quá trình huấn luyện: lượt truyền xuôi tính toán với các trọng số bị giới hạn trong {−1, 0, +1}, trong khi lượt truyền ngược vẫn mang các gradient độ chính xác đầy đủ. Mô hình dành quá trình huấn luyện của mình để học những biểu diễn có thể tồn tại được qua ràng buộc, thay vì bị áp đặt ràng buộc lên những biểu diễn chưa từng mong đợi điều đó. Thuật toán được mô tả là tài sản trí tuệ độc quyền, nhưng hình dạng của nó sẽ quen thuộc với bất kỳ ai từng đọc dòng nghiên cứu BitNet.

Hai cải tiến nằm ở trên cùng, và cả hai đều hiển hiện trong phép tính. Cái thứ nhất là độ chính xác chọn lọc: 26,2 triệu tham số — khoảng 0,098% của mô hình, xấp xỉ 52 MB ở bf16, chủ yếu là đường trạng thái hồi quy của các lớp attention tuyến tính cộng với trọng số chuẩn hóa — được giữ ở độ chính xác đầy đủ thay vì được tam phân hóa. Cái thứ hai là phép quay theo khối. Mỗi ma trận trọng số được biến đổi bởi một phép quay Walsh–Hadamard ở kích thước khối 1.024 trước khi các giá trị tam phân được chọn, điều này phân tán các giá trị ngoại lai khắp các tọa độ và làm cho phép xấp xỉ ba mức ít phá hủy hơn. Phép quay được gộp vào các trọng số đã lưu, do đó nó không tốn thêm byte nào; thay vào đó, phép biến đổi tương ứng được áp dụng cho các hoạt hóa tại thời điểm chạy.

Chi tiết cuối cùng đó có một hệ quả mà bạn gặp phải ngay từ lần đầu thử chạy thứ đó, và đó chính là cái giá thực sự của cách tiếp cận này.

Ý bạn là IQ2_XXS nào, và nó thực sự đạt điểm bao nhiêu

Trước khi so sánh chất lượng, một điểm đính chính mà hầu hết các bài đưa tin đều bỏ qua: "IQ2_XXS" không phải là một artifact duy nhất. Đó là một kiểu lượng tử hóa của llama.cpp, và cùng một kiểu đó khi được các toolchain khác nhau áp dụng lên cùng một mô hình cơ sở sẽ tạo ra những tệp khác nhau đáng kể về kích thước và khác biệt rõ rệt về chất lượng.

Bằng chứng công khai rõ ràng nhất là một so sánh độc lập được đăng vào ngày 15 tháng 8 năm 2026 bởi một người dùng đang tìm hiểu liệu một Qwen3.8-27B dưới 2 bit có đáng để xây dựng hay không. Bài kiểm tra là một phép đo phân kỳ KL trên wikitext-2, 100 đoạn với ngữ cảnh 512, so với một tham chiếu Q8_0 được xây dựng cục bộ có perplexity là 6.7500, với mọi ứng viên đều dùng cùng ma trận quan trọng, ngữ liệu, đường cơ sở và bản dựng llama.cpp trong một lần chạy. Kết quả:

• unsloth UD-IQ2_XXS — 8.39 GiB, độ hỗn loạn 7.6528, KLD trung bình 0.146, KLD trung vị 0.076, tỷ lệ đồng thuận top-1 82.98%

• bartowski IQ2_XXS — 8,75 GiB, độ hỗn loạn 8,5352, KLD trung bình 0,301, KLD trung vị 0,162, tỷ lệ đồng thuận top-1 76,53%

Biến thể động có kích thước 0,36 GiB nhỏ hơn so với biến thể tĩnh và tốt hơn khoảng 2,1 lần trên KLD trung bình — ở mức 1,13 lần perplexity cơ sở. Hai tệp mang cùng một nhãn, cách nhau một hệ số hai trên chỉ số đo mức phân phối đầu ra đã lệch đi bao xa. Cùng phép kiểm tra đó cho thấy mọi ứng viên dưới 2 bit đều tệ hơn cả hai tùy chọn IQ2 đã công bố, đó là lý do ngưỡng thực tế cho mô hình cơ sở này nằm ở IQ2 chứ không thấp hơn.

Điều này quan trọng đối với việc so sánh vì nó thay đổi ý nghĩa của "bản dựng IQ2_XXS 7,3 GB". Con số của Prism ML đến từ quá trình lượng tử hóa của chính họ đối với mô hình cơ sở ở mức 2,2 bit mỗi trọng số. Một bản dựng động unsloth của cùng dòng mô hình đo được 8,39 GiB. Một bản dựng bartowski đo được 8,75 GiB. Do đó, khoảng cách kích thước giữa Bonsai và "IQ2_XXS" nằm đâu đó trong khoảng từ 1,4 lần đến 1,5 lần, tùy thuộc vào bản dựng bạn muốn nói đến — lớn hơn mức 1,23 lần mà tiêu đề ngụ ý, và tất cả đều diễn ra trước khi so sánh chất lượng bắt đầu.

Nơi quá trình build sau huấn luyện bị hỏng, và vì sao rất dễ bỏ sót

Khoảng cách tổng hợp 8,7 điểm là cách diễn đạt sự khác biệt ít thông tin nhất, vì sự suy giảm trong bản dựng IQ2_XXS không đồng đều. Nó mang tính chọn lọc, và kiểu mẫu đó trái ngược với điều mà hầu hết mọi người sẽ dự đoán.

• MMLU-Redux — bản build sau huấn luyện vẫn giữ phong độ đáng nể, đạt mức 85–89

• GPQA Diamond — khoảng 65.5, so với 85.76 của bản dựng ternary

• AIME26 — trong khoảng 57,5 đến 78,6 tùy thuộc vào bản build, so với 95,83 đối với bản build ternary

• LiveCodeBench — trong khoảng 56.4 đến 70.05, so với 90.07 đối với bản dựng ternary

Các con số IQ2 chính xác thay đổi giữa các bộ kiểm thử của Prism ML và các phép đo từ cộng đồng, và những khoảng ở trên bao trùm cả hai, nhưng hình dạng thì nhất quán trên mọi nguồn: kiến thức bề mặt vẫn tồn tại, còn bất cứ thứ gì đòi hỏi một chuỗi lập luận liên tục đều suy giảm mạnh. Đó chính xác là kiểu thất bại mà một bài kiểm tra qua loa sẽ không phát hiện ra. Yêu cầu một bản build 2-bit tóm tắt một tài liệu hoặc trả lời một câu hỏi kiến thức thực tế, và nó thể hiện như một mô hình lớn hơn nhiều. Yêu cầu nó duy trì một phép suy dẫn nhiều bước hoặc tạo ra mã không tầm thường, và sự sụp đổ diễn ra đột ngột chứ không dần dần. Đây là lý do vì sao “khi tôi thử thì nó có vẻ ổn” không phải bằng chứng về một mô hình lượng tử hóa — đó là bằng chứng về những prompt mà bạn tình cờ thử.

Bản dựng ternary không cho thấy sự sụp đổ đó trên cùng các benchmark. Prism ML báo cáo AIME26 đạt 95,83 so với 94,58 của bản cơ sở full-precision, và LiveCodeBench đạt 90,07 so với 90,05 — thực tế là ngang bằng, và là tuyên bố hữu ích nhất trong bản phát hành vì nó cho thấy ràng buộc thời điểm huấn luyện đã mang lại thứ mà ràng buộc sau huấn luyện đánh mất.

Lập luận phản bác, vốn có thật và là điều mà bảng chất lượng không nắm bắt được.

Mọi thứ ở trên đều nghiêng về bản dựng ternary xét theo chất lượng trên mỗi byte. Có một khía cạnh mà GGUF thông thường thắng hoàn toàn, và đó không phải là một khía cạnh nhỏ: nó chạy trên phần mềm mà bạn đã có.

Bản dựng IQ2_XXS của Qwen3.8-27B là một thành phẩm chuẩn của llama.cpp. Nó nạp được vào llama.cpp, Ollama, LM Studio, Jan và bất kỳ thứ gì khác liên kết với ggml, trên mọi nền tảng được ggml hỗ trợ, mà không cần bản fork và không cần kernel đặc biệt. Ma trận độ quan trọng của nó có thể được dựng lại hoặc thay thế. Nó hoạt động giống như mọi mô hình lượng tử hóa khác mà bạn có trên đĩa.

Ternary Bonsai 2 27B thì không. Các kernel ternary cho attention lai của kiến trúc này nằm trong bản fork llama.cpp riêng của Prism ML. llama.cpp nguyên bản từ chối PTQ1_0 và PQ2_0 vì coi chúng là những kiểu không được nhận diện — và không biết phải làm gì với cơ sở quay mà các gói đó giả định. Bản dựng MLX cho Apple Silicon có các kernel Metal và CPU nhưng không có đường CUDA, nên trên máy NVIDIA, nó quay về một lượt lan truyền xuôi trên CPU có thể mất hàng phút. Prism ML đúng là có liệt kê tích hợp với một số runtime, nhưng điểm cốt lõi vẫn giữ nguyên: tính khả dụng của mô hình này bị giới hạn bởi việc runtime bạn chọn đã được dạy về nó hay chưa.

Đó là sự đánh đổi thẳng thắn. Bạn đang chọn giữa một bản build lớn hơn 1,4 lần, kém hơn một cách đo lường được ở đúng những tác vụ mà bạn rất có thể muốn một mô hình 27B cho, và có thể chạy được ở mọi nơi — với một bản build nhỏ hơn và tốt hơn, trên một hệ sinh thái mà hiện tại chỉ tương đương với bản fork của một phòng thí nghiệm cộng với bất kỳ runtime nào đã tiếp nhận nó.

Cần những gì để vận hành một trong hai

Phép tính bộ nhớ sát hơn so với những gì kích thước tệp gợi ý, bởi vì các tệp không phải là thứ duy nhất trong VRAM.

• Bản dựng IQ2_XXS — từ 8,39 đến 8,75 GiB trọng số, để lại khoảng 7,5 GB trống trên card 16 GB cho ngữ cảnh và các mô hình nháp. Bài kiểm tra độc lập ở trên lưu ý cụ thể rằng một bản dựng 8,39 GiB đã có thể chứa một mô hình nháp 2,1 GB song song với nó.

• Ternary Bonsai 2 27B — 5,93 GB cho mô hình ngôn ngữ PTQ1_0, cộng thêm 0,63 GB cho tháp thị giác nếu bạn có dùng hình ảnh, cộng thêm ngữ cảnh. Cách đóng gói PQ2_0 của Prism ML tốn 7,25 GB và là lựa chọn nhanh hơn trên phần cứng bị giới hạn bởi thông lượng lệnh thay vì băng thông.

Về tốc độ, các con số ternary được báo cáo là 142.5 tok/s khi giải mã trên RTX 5090 và 46.8 tok/s trên Apple M5 Max; báo cáo từ bên thứ ba về bản dựng IQ2 thì ít ỏi hơn, với một phép đo Vulkan trên hai card Radeon đạt khoảng 3.8 tok/s khi sinh token, dù con số đó nói lên nhiều điều về backend cụ thể ấy hơn là về việc lượng tử hóa. Hãy coi các con số thông lượng ở cả hai phía là phụ thuộc rất mạnh vào phần cứng.

OrcaRouter phù hợp ở đâu, và ở đâu thì không

Không tệp nào trong số này là thứ mà một router phục vụ. Chúng là các tạo tác cục bộ, và cách đặt vấn đề trung thực là OrcaRouter không lưu trữ cái nào trong hai — đây là so sánh về những gì chạy trên phần cứng của chính bạn. Thứ thực sự nằm về phía chúng tôi là mô hình mà cả hai đều được dẫn xuất từ đó. Qwen3.8-27B độ chính xác đầy đủ có sẵn thông qua cơ sở hạ tầng riêng của OrcaRouter ở mức $0.33 mỗi triệu token đầu vào và $2.40 mỗi triệu token đầu ra, với ngữ cảnh 262K gốc của mô hình và khả năng kiểm soát nỗ lực suy luận ở mức thấp/trung bình/cao vẫn nguyên vẹn.

Điều đó tạo ra một thiết lập lai đáng để nói cụ thể. Hãy chạy bản dựng nén cục bộ cho những tác vụ mà nó làm tốt, và định tuyến thỉnh thoảng những yêu cầu cần độ chính xác đầy đủ tới mô hình cơ sở được lưu trữ thông qua cùng một khóa — không cần hợp đồng nhà cung cấp thứ hai, không thay đổi mã, vì cả hai bên nói cùng một API. Nếu bản dựng cục bộ hóa ra không phù hợp với một khối lượng công việc, yêu cầu thất bại có thể được tự động chuyển đổi dự phòng thay vì trả về dưới dạng lỗi, đây là một cách rẻ hơn để phát hiện rằng một lượng tử hóa không phù hợp so với việc phát hiện điều đó trong môi trường sản xuất.

Phiên bản ngắn

• Về chất lượng công bố tính trên mỗi byte, bản dựng ternary thắng rõ ràng, và lợi thế này tập trung vào suy luận cùng mã nguồn — những hạng mục mà bản dựng sau huấn luyện suy giảm nhiều nhất.

• Về tính di động, bản dựng IQ2_XXS cũng thắng rõ ràng không kém. Runtime nguyên bản ở mọi nơi, không fork, không kernel đặc biệt, không có kiểu hỏng âm thầm tạo ra rác.

• Sự so sánh không phải là "1,76 bit so với 2,2 bit". Mà là "một biểu diễn được chọn trong quá trình huấn luyện so với một biểu diễn được khớp sau đó", và mức chênh lệch 0,44 bit chỉ là sai số làm tròn so với điều đó.

• Mọi chỉ số chất lượng cho bản dựng ternary trong bài viết này đều là đo lường của chính Prism ML trên một bộ kiểm thử do Prism ML tự chọn. Các kết quả KLD cho các bản dựng IQ2 là độc lập, chạy một lần và chỉ riêng cho một mô hình nền và một bộ kiểm thử; chúng là bằng chứng bên thứ ba mạnh nhất trong so sánh này và không nói gì về Bonsai.

Khoảng cách cũng sẽ được thu hẹp từ chiều ngược lại, và có lẽ sẽ sớm thôi. Nếu các kernel ternary được đưa lên upstream trong llama.cpp, phản đối nghiêm túc duy nhất đối với Bonsai sẽ tan biến và việc lựa chọn trở nên đơn giản. Cho đến lúc đó, bản dựng IQ2_XXS vẫn giữ một lợi thế thực sự không liên quan gì đến việc nó tốt đến mức nào.

Nếu bạn đang cân nhắc trong tuần này, bài kiểm tra giúp đi đến quyết định chỉ mất một buổi chiều: lấy hai mươi lời nhắc từ chính khối lượng công việc của bạn, những lời nhắc đòi hỏi nhiều hơn một bước suy luận, chạy cả hai bản dựng và chấm điểm các câu trả lời một cách mù. Các bảng được công bố cho bạn biết nên nhìn vào đâu. Chúng không thể cho bạn biết liệu công việc của bạn có nằm ở đó hay không.