ZwZ2-4B so với ZwZ2-9B: Cùng độ sâu, gấp đôi trọng số, chênh lệch 1,8 điểm

Giả định hiển nhiên về một mô hình 4B và một mô hình 9B thuộc cùng một dòng là mô hình nhỏ hơn sẽ nông hơn. ZwZ2-4B và ZwZ2-9B thì không phải vậy. Cả hai đều công bố chính xác 32 lớp transformer. Cả hai đều dùng 16 head truy vấn so với 4 head khóa-giá trị với số chiều head là 256. Cả hai đều có cùng bộ từ vựng 248.320 token và cùng giới hạn ngữ cảnh 262.144 vị trí, và cả hai đều vận hành cùng một lịch chú ý xen kẽ tuyến tính và toàn phần theo tỷ lệ 3:1. Mô hình 9B không phải là một ZwZ2-4B sâu hơn; nó là một phiên bản rộng hơn, và một khi bạn nhận ra điều đó, phần còn lại của so sánh này — kể cả khoảng cách điểm số của chính nhà cung cấp — không còn trông như một đường thẳng.

Hai checkpoint này cũng gần nhau về thời gian và nguồn gốc. ZwZ2-4B được tạo vào ngày 15 tháng 10 năm 2026, ZwZ2-9B vào ngày 16 tháng 10, cả hai đều do inclusionAI tạo ra, đều được huấn luyện bằng cùng một pipeline trên cùng một bộ dữ liệu gồm 20.662 câu hỏi trắc nghiệm, và cả hai đều chưa được công bố. Chúng khác nhau ở mô hình nền tảng — lần lượt là Qwen3.5-4B và Qwen3.5-9B — và ở độ rộng của mọi khối kéo theo từ đó.

Sự khác biệt cấu hình và điều nó hàm ý

Đọc so sánh từng lớp hai tệp cấu hình cho thấy một khác biệt cấu trúc thực sự cùng một số khác biệt khác phát sinh một cách tất yếu từ đó.

• Độ sâu — 32 lớp ở cả hai, giống hệt nhau

• Độ rộng ẩn — 2.560 đối với 4B so với 4.096 đối với 9B, hệ số 1,6

• Chiều rộng feed-forward — kích thước trung gian 9,216 so với 12,288

• Hình học attention — 16 head truy vấn, 4 head khóa-giá trị, chiều head 256, ở cả hai

• Lịch trình attention — 24 lớp tuyến tính và 8 lớp attention đầy đủ, ở cả hai

• Ngữ cảnh — 262.144 vị trí ở cả hai, M-RoPE ở 11/11/10, rotary một phần 0.25

• Từ vựng — 248,320 token ở cả hai, embedding được buộc chung ở mô hình 4B và không buộc chung ở mô hình 9B

• Vision tower — 24 lớp với kích thước ẩn 1.024 so với 27 lớp với kích thước ẩn 1.152

• Dự đoán đa token — không có lớp MTP nào ở cả hai, phần đầu suy đoán bị gỡ bỏ khỏi từng mô hình cơ sở

• Tham số — 4,539,265,536 so với 9,409,813,744, hệ số 2,07

Hai trong số các hàng đó đáng được lưu ý. Việc embeddings không chia sẻ trọng số ở mô hình 9B nghĩa là ma trận đầu vào và đầu ra của nó là hai bản sao riêng biệt của một bảng 248,320 x 4,096; chỉ riêng điều đó đã chiếm khoảng hai tỷ tham số, và đó là phần lớn lý do khiến tỷ lệ tham số (2.07) cao hơn tỷ lệ độ rộng (1.6). Và tháp thị giác lớn lên cùng ngăn xếp ngôn ngữ — 27 lớp với 1,152 chiều ẩn so với 24 lớp ở 1,024 — nên mô hình 9B nhìn hình ảnh qua một bộ mã hóa rộng hơn, chứ không chỉ qua một bộ giải mã rộng hơn.

Các con số: mức tăng lớn hơn, mức trần thấp hơn

inclusionAI công bố một chỉ số tổng hợp cho mỗi mô hình: độ chính xác tổng thể trên 25 bài đánh giá trong sáu lĩnh vực, có trọng số bằng nhau. Dựa trên chính các số liệu trên thẻ, họ mô hình này được thể hiện như sau.

• ZwZ2-4B — gốc 49,41, tinh chỉnh 54,79, mức tăng 5,38 điểm

• ZwZ2-9B — cơ sở 51.63, tinh chỉnh 56.59, mức tăng 4.96 điểm

• ZwZ2-27B — bản cơ sở 55.52, bản tinh chỉnh 60.51, mức tăng 4.99 điểm

Vậy nên 4B tăng nhiều nhất và về cuối. 9B tăng ít hơn và về cao hơn 1,80 điểm. Cả hai nhận định đều đúng, và nhận định nào quan trọng hoàn toàn phụ thuộc vào câu hỏi bạn đang đặt ra. Nếu câu hỏi là "công thức huấn luyện này bổ sung thêm bao nhiêu", thì câu trả lời là lớn nhất ở 4B. Nếu câu hỏi là "mô hình nào chính xác hơn", thì câu trả lời là 9B, hơn 1,80 điểm, và không có cách diễn đạt nào thay đổi được điều đó.

Tất cả đều là số liệu do nhà cung cấp báo cáo trên một bộ benchmark do nhà cung cấp tự chọn. Chưa có ai đánh giá độc lập bất kỳ thành viên nào trong dòng sản phẩm này, và chi tiết theo từng benchmark nằm trong hình ảnh chứ không phải văn bản — một SVG và một PNG trên mỗi thẻ. Chênh lệch 1,80 điểm là bản tóm tắt trung thực của những gì được công bố; đó không phải là một phép đo mà bạn hay tôi đã thấy được tái lập.

Tại sao lợi ích lại giảm khi mô hình lớn hơn

Quy luật — 5.38 ở 4B, 4.96 ở 9B, 4.99 ở 27B — đáng được xem xét nghiêm túc thay vì phớt lờ. Một công thức huấn luyện bổ sung năng lực cho mô hình nhỏ đang lấp đầy một khoảng trống: mô hình nền không có đủ dung lượng hoặc tín hiệu huấn luyện để chú ý đến bằng chứng khu vực tinh vi, và 20.000 câu hỏi trắc nghiệm được lọc kỹ càng dạy nó một kỹ năng mà nó còn thiếu. Một mô hình nền lớn hơn đã có nhiều năng lực đó hơn, nên cùng một chương trình huấn luyện có ít thứ để bổ sung hơn. Lợi suất cận biên của dữ liệu giảm khi mô hình nền trở nên tốt hơn.

Đó là cách đọc thiện chí, và là cách đọc mà các con số ủng hộ. Cách đọc không thiện chí là bộ benchmark có mức trần, hoặc hình thức nhiệm vụ bốn lựa chọn ưu đãi các mô hình nhỏ một cách không tương xứng. Cả hai cách đọc đều nhất quán với các con số đã công bố, nên khoảng cách 1,80 điểm nên được coi là một hướng chứ không phải một độ lớn.

Có một khả năng thứ ba quan trọng hơn đối với việc ứng dụng: mức cải thiện có thể bị tập trung. “Cải thiện trên mọi benchmark” là tuyên bố trên thẻ mô hình, nhưng điểm trung bình trên 25 tác vụ có trọng số bằng nhau có thể che khuất hai kết quả vượt trội lớn và hai mươi kết quả vượt trội nhỏ. Nếu không có bảng theo từng benchmark — và nó không có trong văn bản — bạn không thể biết liệu mức 5,38 của 4B là đồng đều hay tập trung đúng vào những tác vụ nhận thức chi tiết mà công thức này hướng tới. Nếu nó tập trung, mô hình nhỏ là mô hình chuyên biệt còn 9B là mô hình tổng quát, và điểm trung bình là thống kê sai để lựa chọn giữa chúng.

27B là thí nghiệm đối chứng.

Kích thước thứ ba khiến lập luận về họ mô hình có thể kiểm chứng được. ZwZ2-27B được xây dựng trên Qwen3.6-27B — một thế hệ nền tảng khác với hai mô hình anh em của nó — và đạt mức tăng 4,99 điểm, về cơ bản ngang với 4,96 của 9B và thấp hơn đáng kể so với 5,38 của 4B. Nếu giá trị của công thức chỉ nằm ở chất lượng dữ liệu, người ta sẽ kỳ vọng mức tăng đồng đều giữa các kích thước. Thay vào đó, 4B là ngoại lệ. Điều này nhất quán với câu chuyện về khoảng cách năng lực và không nhất quán với câu chuyện trong đó dữ liệu huấn luyện đơn thuần là đồng đều xuất sắc.

Mô hình 27B cũng làm rõ một điểm thực tế về việc phát hành của dòng mô hình này. Ba kho lưu trữ xuất hiện cách nhau trong vòng 23 giờ, 4B đầu tiên và 27B cuối cùng, đây là dấu hiệu của một đợt đẩy hàng loạt thay vì triển khai theo từng giai đoạn. Bộ dữ liệu theo sau vào ngày 19 tháng 10. Lượt tải xuống cho bạn biết sự chú ý đã hướng về đâu: 0 cho 4B, 147 cho 9B, 7 cho 27B. Chưa ai chọn được một mô hình yêu thích, và kích thước ở giữa là mô hình duy nhất mà người ta đã tải về.

Đang phục vụ: 9 GB so với 18.8 GB

Phép tính ở đây rất đơn giản và là lập luận mạnh nhất cho mô hình nhỏ hơn. Trọng số của ZwZ2-4B là một tệp BF16 9.08 GB; trọng số của ZwZ2-9B tính ra khoảng 18.8 GB ở cùng độ chính xác. Trên một card 24 GB, 4B để lại chỗ cho KV cache rộng rãi và một batch; 9B để lại rất ít. Trên một card 16 GB, 4B vừa, còn 9B hoàn toàn không vừa nếu không lượng tử hóa.

Không mô hình nào được một nhà cung cấp dịch vụ lưu trữ phục vụ — các trang Hugging Face báo không có nhà cung cấp suy luận cho cả hai — vì vậy cả hai đều là quyết định tự lưu trữ. Nếu bạn đang chọn giữa chúng dựa trên phần cứng, thì 9B thuộc một hạng máy khác, chứ không phải chỉ là một bản tải xuống lớn hơn một chút. Đó là ý nghĩa thực tế của tỷ lệ tham số 2,07×, và nó được quyết định bởi card của bạn, chứ không phải bởi khoảng cách độ chính xác 1,80 điểm.

Đối với các nhóm muốn có hành vi nhận thức mà không phải tự gánh vấn đề phục vụ, giải pháp trung dung được lưu trữ trong danh mục là qwen/qwen3-vl-8b-instruct với giá $0.18 mỗi triệu token đầu vào và $0.70 mỗi triệu token đầu ra với ngữ cảnh 131K. Đây không phải cùng một mô hình và bài viết này sẽ không giả vờ rằng nó là như vậy — nhưng đây là phép so sánh mà hầu hết các nhóm thực sự cần, và nó chạy trên cùng một khóa như mọi thứ khác mà OrcaRouter định tuyến, với chuyển đổi dự phòng tự động nếu một upstream bị suy giảm.

Nếu bạn đang xây dựng một pipeline phân tầng thay vì chọn một checkpoint duy nhất, thì lớp định tuyến chính là nơi để thể hiện điều đó: trước tiên hãy gửi mọi ảnh đến một mô hình rẻ, và chỉ chuyển những ảnh có độ tin cậy thấp lên một mô hình lớn hơn. DSL định tuyến kết hợp các mô hình thành một lời gọi duy nhất, vì vậy việc chuyển cấp là một quy tắc trong tuyến chứ không phải một tích hợp thứ hai. Cả hai checkpoint ZwZ2 đều không thể là tầng rẻ trong hôm nay — chúng không được lưu trữ — nhưng cách làm này chính là điều mà hai mô hình này đang ngầm tranh luận.

Nên chọn cái nào

• Chọn bản 4B nếu card của bạn là 16 hoặc 24 GB, tác vụ của bạn là bằng chứng trực quan dựa trên vùng và bạn muốn mức cải thiện đo được lớn nhất so với một mô hình cơ sở trong dòng này.

• Chọn 9B nếu bạn còn dư địa bộ nhớ và muốn có độ chính xác cao nhất từng được công bố cho một checkpoint ZwZ2 dưới 27B. 1.80 điểm không phải chuyện nhỏ.

• Hiện chưa chọn cái nào nếu bạn cần giấy phép do nhóm pháp lý của bạn ký. Cả hai kho lưu trữ đều không khai báo giấy phép nào, và các thẻ viện dẫn đến một tệp giấy phép không có mặt.

• Không chọn cái nào trong hai nếu bạn cần một bài báo. Phương pháp v2 không có tài liệu công khai; mã định danh arXiv trên cả hai thẻ thuộc về công trình ZwZ thế hệ đầu tiên trên một họ cơ sở khác.

Thí nghiệm thực sự hữu ích không phải là so sánh 4B với 9B trên 25 benchmark của người khác. Mà là chạy cả hai — hoặc chạy 4B so với base của chính nó — trên vài trăm ảnh từ khối lượng công việc thực tế của bạn, và xem liệu 5.38 có chuyển giao được hay không. Cho đến khi có ai đó làm điều đó, những con số đã công bố của dòng mô hình này mô tả hành vi của một công thức trên một tập tác vụ, chứ không phải một quyết định mà bạn có thể đưa ra về pipeline của chính mình. 4B mới là cái đáng quan tâm chính vì mức tăng của nó lớn nhất và bằng chứng của nó mỏng nhất.