ZwZ2-9B so với Gemma 4 12B: Một mô hình, một thẻ mô hình, và cái nào trong số chúng bạn thực sự có thể triển khai

Gemma 4 12B đã công khai từ ngày 23 tháng 5 năm 2026. Nó đi kèm với một thẻ mô hình, một báo cáo kỹ thuật, một bộ đánh giá đã công bố, năm kích cỡ anh em, và số lượt tải xuống trên Hub đã vượt 79.000 chỉ riêng trong tháng vừa qua. ZwZ2-9B đã công khai từ ngày 16 tháng 10 năm 2026 — hôm nay — dưới dạng tám tệp trong một kho lưu trữ không có README, không có trường giấy phép và không có thẻ pipeline. Cả hai có kích thước gần như tương đương. Cả hai đều chấp nhận hình ảnh. Cả hai đều công bố cùng mức trần ngữ cảnh 262.144 vị trí. Và chúng không hề ở cùng một mức độ sẵn sàng, đây là phép so sánh duy nhất thực sự quan trọng nếu bạn đang quyết định nên dùng GPU vào đâu.

Câu trả lời ngắn gọn: Gemma 4 12B là một sản phẩm hoàn chỉnh từ Google DeepMind, với năm tháng để người khác đã dò tới các giới hạn của nó. ZwZ2-9B là một checkpoint từ inclusionAI mà chưa ai bên ngoài phòng thí nghiệm mô tả, kể cả chính phòng thí nghiệm. Nếu bạn cần phát hành một thứ gì đó trong tháng này, lựa chọn không hề sát nút và đó không phải là lời bình về các trọng số. Nếu bạn đang quyết định sẽ làm nguyên mẫu trên mô hình nào vào tháng tới, hãy đọc các con số dưới đây rồi tự chạy đánh giá của bạn, bởi vì chỉ một trong hai mô hình này đã cho bạn thứ gì đó để đọc.

Hai stack, từng khía cạnh một

• Tham số — ZwZ2-9B: 9.409.813.744 ở dạng bfloat16. Gemma 4 12B: 11,95 tỷ.

• Kiến trúc — qwen3_5, sự kết hợp giữa attention tuyến tính và attention đầy đủ. Gemma: gemma4_unified, không có encoder và được hợp nhất xuyên phương thức.

• Số lớp — 32 trong ZwZ2-9B (24 attention tuyến tính, 8 attention đầy đủ). 48 trong Gemma 4 12B (40 cửa sổ trượt ở 1.024 token, 8 attention đầy đủ).

• Giới hạn ngữ cảnh — 262.144 vị trí được cả hai công bố.

• Từ vựng — 248.320 so với 262.144, với phần dành riêng của Gemma cho các ID token hình ảnh, âm thanh và video.

• Các phương thức trong — văn bản, hình ảnh và video cho ZwZ2-9B. Văn bản, hình ảnh, âm thanh và video cho Gemma 4 12B, với cấu hình mang một tháp âm thanh 640 chiều.

• Giấy phép — không có giấy phép nào được khai báo so với Apache-2.0.

• Thành tích — không có lượt tải xuống nào và hai lượt thích so với 79.565 lượt tải xuống và 790 lượt thích trong tháng vừa qua.

Hai trong số những dòng đó đáng để xem xét kỹ hơn vì chúng đảo ngược một trực giác. Thứ nhất là lịch trình attention: ZwZ2-9B là mô hình 32 lớp với 8 lớp full-attention, còn Gemma 4 12B là mô hình 48 lớp với 8 lớp full-attention. Cả hai đều đặt cược rằng phần tốn kém của attention nên xuất hiện thưa thớt; chúng chỉ bất đồng về mức độ thưa thớt, ở tỷ lệ một trên bốn lớp so với một trên sáu lớp. Thứ hai là trần ngữ cảnh, nơi một checkpoint 9.4B không có tài liệu và một mô hình chủ lực 11.95B của DeepMind cùng chạm đúng con số 262,144 — đó là sự trùng hợp về mục tiêu thiết kế chứ không phải bất kỳ mối quan hệ nào giữa hai mô hình.

Nơi Gemma 4 12B không chỉ dẫn trước, mà còn ở một hạng mục hoàn toàn khác

Âm thanh là mục đầu tiên. Mô hình của Google tiếp nhận âm thanh theo cách nguyên bản, với một tháp âm thanh chuyên dụng và các audio token id nằm trong bộ từ vựng của nó. Tokenizer của ZwZ2-9B cũng dành sẵn <|audio_start|>, <|audio_end|> và <|audio_pad|> — nhưng cấu hình của nó không chứa bất kỳ cấu hình âm thanh nào, nên những token đó là phần từ vựng mà nó thừa hưởng chứ không phải một năng lực mà nó sở hữu. Nếu khối lượng công việc của bạn có bao gồm giọng nói, thì đây chính là điểm kết thúc của phép so sánh, và cần nói cho thật chính xác lý do: không phải vì ZwZ2-9B đạt điểm kém hơn, mà vì trong checkpoint không có bất cứ thứ gì có thể xử lý một dạng sóng âm.

Tài liệu là yếu tố thứ hai, và đây là yếu tố tích lũy theo thời gian. Gemma 4 12B đi kèm một báo cáo kỹ thuật (arXiv 2607.02770), một bộ đánh giá đã được công bố bao quát mọi thứ từ suy luận kiểu GPQA đến các benchmark thị giác, một giấy phép được nêu rõ, và một ghi chú rằng mô hình có sẵn ở năm kích cỡ để bạn có thể đánh đổi năng lực lấy dấu chân tài nguyên mà không cần rời khỏi dòng mô hình này. Xung quanh nó, Hub hiển thị 83 bản tinh chỉnh đã công bố, 49 bản lượng tử hóa và 15 Spaces được xây dựng trên nó. Hệ sinh thái đó không phải để trang trí. Đó là một tập hợp bằng chứng về cách mô hình thất bại, được tạo ra bởi những người không thuộc Google, và không có gì thay thế được nó.

Cấp phép là yếu tố thứ ba, đồng thời là yếu tố kém hào nhoáng nhất và mang tính quyết định nhất. Gemma 4 12B dùng giấy phép Apache-2.0. ZwZ2-9B không công bố giấy phép nào cả — không phải mã nguồn mở, không phải giấy phép tùy chỉnh, không có gì trong siêu dữ liệu của kho lưu trữ. Khi không có tuyên bố nào, cách hiểu an toàn là nhà phát hành đã bảo lưu các quyền của mình, và đó không phải là câu hỏi bạn muốn phát hiện mình đã trả lời sai trong quá trình thu mua. Một checkpoint bạn không thể sử dụng hợp pháp không hề rẻ hơn một checkpoint bạn có thể dùng.

Nơi duy nhất mà ZwZ2-9B có một lập luận mang tính cấu trúc

Điểm khác biệt không nằm ở chất lượng, thứ mà chưa ai đo đếm được. Nó nằm ở cách thứ này tiêu tốn compute, và tệp cấu hình nói về điều đó rõ ràng một cách lạ thường.

Ba phần tư số lớp của ZwZ2-9B là attention tuyến tính — 24 trong số 32 — mỗi lớp mang một trạng thái hồi tiếp kích thước cố định thay vì bộ nhớ đệm key-value tăng dần theo cuộc hội thoại. Phần cấu hình chỉ rõ cơ chế: 16 đầu key và 32 đầu value ở chiều 128, một kernel tích chập rộng 4, và một trạng thái được giữ ở float32 để đảm bảo ổn định số học. Chỉ mỗi lớp thứ tư mới thực hiện attention đầy đủ. Gemma 4 12B đặt cược tương tự bằng một cơ chế khác — 40 trong số 48 lớp của nó dùng cửa sổ trượt giới hạn ở 1.024 token — nên cả hai mô hình đều được thiết kế để ngừng phải trả chi phí attention đầy đủ trên hầu hết các lớp. Chúng khác nhau về mức độ và kỹ thuật, và nếu không có benchmark thì không có cách trung thực nào để nói mô hình nào thắng. Ý đồ thiết kế là rõ ràng; kết quả thì chưa được đo lường.

Dấu chân là phần đơn giản. 9,41 tỷ tham số so với 11,95 tỷ nghĩa là phải giữ ít hơn khoảng một phần năm trọng số trước khi bạn lượng tử hóa bất cứ thứ gì, và tháp thị giác thì nhỏ — 27 lớp với kích thước ẩn 1.152, chiếu vào 4.096 — đó là lý do mô hình nằm gọn thoải mái trong cùng lớp phần cứng có thể chạy Gemma 4 12B.

The behavioural difference worth knowing is the reasoning default. ZwZ2-9B's chat template emits an empty <think></think> block unless you explicitly ask for thinking, so it answers directly out of the box. Gemma 4 12B offers thinking modes you configure. For extraction, classification or routing — the jobs where a second pass of reasoning is latency you did not want to pay for — only one of these is cheap by default.

Những gì ZwZ2-9B không thể cho bạn biết, và vì sao điều đó quyết định sự so sánh

Bạn không thể biết liệu nó là một mô hình được tinh chỉnh theo chỉ dẫn hay là một checkpoint cơ sở, vì kho chứa của nó không có README và không có thẻ pipeline, và cả hai thông thường sẽ nói rõ điều đó. Lời nhắc hệ thống được ghi cứng trỏ tới <answer> các thẻ là bằng chứng mạnh mẽ về một mô hình chỉ dẫn đã được huấn luyện, nhưng đó là bằng chứng, không phải là một tuyên bố.

Bạn không thể biết nó được huấn luyện trên dữ liệu nào, liệu công thức cảm nhận chi tiết đã làm nên tên tuổi của dòng ZwZ có được kế thừa hay không, hay nó được cho là giỏi ở điểm gì. Bạn không thể biết giấy phép của nó. Và bạn không thể biết nó hành xử thế nào ở các trường hợp biên, bởi vì chưa có ai ngoài inclusionAI chạy thử nó.

Đặt điều đó bên cạnh Gemma 4 12B, và sự bất đối xứng không còn là chuyện hơn kém về mức độ. Một mô hình ra mắt cùng một báo cáo kỹ thuật và tám tháng được công chúng sử dụng; mô hình kia ra mắt chỉ với một config.json và một mặc định suy luận bị đảo ngược. Đó là lý do để tạo nguyên mẫu, chứ không phải lý do để gạt bỏ — những checkpoint không có tài liệu chính là nơi rất nhiều công trình thú vị xuất hiện đầu tiên — nhưng đó cũng là lý do để thành thật rằng chính bạn sẽ phải tự mình đánh giá.

Một quy tắc quyết định không phụ thuộc vào bằng chứng còn thiếu

Hãy chọn Gemma 4 12B nếu bất kỳ điều nào sau đây đúng: bạn cần đầu vào âm thanh, bạn cần một giấy phép có thể đưa cho luật sư xem, bạn cần phát hành trong vòng một quý, hoặc bạn cần các kích cỡ anh em để cùng một bộ đánh giá có thể chuyển lên và xuống trong một dòng. Cả bốn điều đều đã rõ.

Hãy coi trọng ZwZ2-9B nếu bạn có một câu hỏi cụ thể mà một mô hình thị giác attention lai 9,4 tỷ tham số, mặc định không suy luận, có thể trả lời tốt hơn mô hình bạn đang trả phí, và bạn sẵn sàng tự mình đo lường nó. Điều đầu tiên cần kiểm tra không phải là trí tuệ của nó. Mà là liệu nó có chấp nhận những hình ảnh bạn thực sự gửi cho nó, trả về định dạng bạn thực sự cần, và làm như vậy mà không có vấn đề giấy phép nào treo lơ lửng trên kết quả hay không.

Và đừng so sánh chúng trên một bảng benchmark, vì bảng đó chỉ có một cột. Bạn có thể đặt các con số đã công bố của Gemma 4 12B bên cạnh một khoảng trống rồi gọi đó là so sánh, nhưng khoảng trống mới là phát hiện. Bất kỳ ai tuần này đưa ra phán quyết chất lượng đối đầu trực tiếp về ZwZ2-9B đều là đang bịa ra.

Hiện tại, cả hai checkpoint đều không có trong danh mục của chúng tôi, nên cả hai đều không phải là thứ bạn có thể gọi qua chúng tôi ngay lúc này — Gemma 4 12B là một bản tải xuống từ Hugging Face và chạy trên stack phục vụ của riêng bạn, và ZwZ2-9B cũng vậy. Thứ chúng tôi phục vụ là người anh em cùng dòng giúp có thể chạy so sánh Gemma mà không cần thay đổi cách bạn đánh giá bất cứ điều gì: Gemma 4 26B A4B, thành viên mixture-of-experts của cùng dòng họ, trên một endpoint được host với giá $0.06 mỗi triệu token đầu vào và $0.33 mỗi triệu token đầu ra, cùng ngữ cảnh 262K token. Bởi vì OrcaRouter chuyển giá niêm yết của nhà cung cấp nguyên giá với mức markup 0%, một thay đổi giá từ phía nhà cung cấp sẽ được cập nhật ở đây ngay trong ngày thay vì vào lần làm mới danh mục tiếp theo — điều này rất quan trọng khi việc bạn đang làm là so sánh chi phí giữa một mô hình bạn tự host và một mô hình bạn thuê. Ở phía bên kia của bảng so sánh, lựa chọn thay thế được host gần nhất với những gì ZwZ2-9B đang cố gắng trở thành là qwen/qwen3-vl-8b-instruct, một mô hình ngôn ngữ-thị giác 8B với ngữ cảnh 131K ở mức $0.18 và $0.70, đã có tài liệu, được cấp phép và hiện đã có sẵn.

Điều gì sẽ thay đổi bài viết này

Một thẻ mô hình. Cụ thể là: một giấy phép, một đoạn về dữ liệu huấn luyện, và một bảng đánh giá được tạo ra bởi người không huấn luyện mô hình. Cho đến lúc đó, tóm tắt trung thực về ZwZ2-9B so với Gemma 4 12B không phải là cái này tốt hơn cái kia. Mà là một cái tồn tại như một sản phẩm còn cái kia tồn tại như một danh sách tệp, và khoảng cách giữa hai thứ đó là khoảng cách đắt đỏ nhất trong học máy.

Những so sánh như thế này cũng là nơi các kiểu thất bại lộ diện: các sự cố AI và lỗi agent được ghi nhận đằng sau các mô hình thuộc lớp này được tập hợp trong Kho lưu trữ Sự cố AI OrcaRouter, trong đó mỗi mục đều có nguồn riêng, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp.