ZwZ2-9B Âm thầm ra mắt: 9,4 tỷ trọng số nói với bạn điều gì khi phòng thí nghiệm không nói gì

Vào 03:42 UTC ngày 16 tháng 10 năm 2026, một kho lưu trữ Hugging Face xuất hiện với tên inclusionAI/ZwZ2-9B. Bốn phút sau, nó nhận được commit duy nhất của mình — “Add ZwZ2-9B model weights” — và rồi không gì nữa. Không có README, không có trường giấy phép, không có liên kết bài báo, không có bảng đánh giá chuẩn, và không có mục nào trong mười bộ sưu tập công khai mà tổ chức inclusionAI duy trì. Bản thân các trọng số là 9.409.813.744 tham số ở định dạng bfloat16, và chúng mô tả một mô hình ngôn ngữ-thị giác với cơ chế chú ý lai, mà cấu hình của nó, từng dòng một, chính là cấu hình của Qwen3.5-9B với một đầu dự đoán đã bị loại bỏ. Đó là toàn bộ những gì được xác nhận. Mọi thứ khác trong bài viết này đều được dán nhãn là suy luận, bởi vì một kho lưu trữ không có thẻ mô hình thì không cho phép ai có thêm bất cứ điều gì.

Điều này là bình thường, nhân đây, và đáng để nói trước khi những lưu ý bắt đầu chồng chất. inclusionAI là phòng thí nghiệm open-weights đứng sau các họ Ling, Ring, LLaDA và Ming, và nó có thói quen tung các checkpoint ra trước vài ngày hoặc vài tuần trước khi bất kỳ bài viết giới thiệu nào xuất hiện. Vào ngày 13 tháng 10 — ba ngày trước thời điểm này — nó đã đăng Ling-3.1-flash với một card ngắn và cũng không có thông báo nào. Một kho lưu trữ im ắng không phải là dấu hiệu báo động. Đó là lý do để đọc các tệp thay vì đọc nội dung tiếp thị.

Thực sự có gì trong kho lưu trữ?

Tám tệp, và danh sách chính là câu chuyện. Có một .gitattributes, một chat_template.jinja, một config.json, một generation_config.json, một tệp 18,8 GB duy nhất có tên model.safetensors, một processor_config.json, một tokenizer.json và một tokenizer_config.json. Không có README.md. Không có LICENSE. Kho lưu trữ mang đúng ba thẻ — safetensors, qwen3_5 và region:us — nghĩa là Hub hoàn toàn không có thẻ pipeline cho nó: nó không được phân loại là image-text-to-text, text-generation hay bất cứ thứ gì khác. Vào thời điểm viết bài, nó hiển thị 0 lượt tải xuống và hai lượt thích.

• Tổng số tham số — 9,409,813,744 trên 760 tensor, bfloat16.

• Kiến trúc — Qwen3_5ForConditionalGeneration, loại mô hình qwen3_5.

• Ngăn xếp văn bản — 32 lớp, kích thước ẩn 4.096, 16 đầu truy vấn so với 4 đầu KV, số chiều mỗi đầu 256, kích thước trung gian 12.288, từ vựng 248.320.

• Mô hình chú ý — ba lớp chú ý tuyến tính rồi một lớp chú ý đầy đủ, lặp lại: 24 lớp tuyến tính và 8 lớp chú ý đầy đủ.

• Ngữ cảnh — 262.144 vị trí, cơ số rotary 10.000.000, M-RoPE xen kẽ với phân đoạn [11, 11, 10].

• Tháp thị giác — độ sâu 27, kích thước ẩn 1.152, kích thước patch 16, hợp nhất không gian 2, patch thời gian 2, chiếu tới 4.096.

• Giấy phép — không được khai báo. Không phải apache-2.0, không phải giấy phép tùy chỉnh, không có gì cả.

Đây là cấu hình Qwen3.5-9B

So sánh hai config.json tệp và gần như mọi giá trị kiến trúc đều khớp. Kích thước ẩn, số lớp, số lượng đầu, kích thước đầu, kích thước trung gian, từ vựng, lịch trình attention tuyến tính-toàn phần theo tỷ lệ 3:1, phần M-RoPE, cơ sở quay, giới hạn 262.144 vị trí, và toàn bộ tháp thị giác cho đến tận 2.304 embedding vị trí đều giống hệt Qwen3.5-9B. Khác biệt thực chất là một dòng: mtp_num_hidden_layers là 1 ở Qwen3.5-9B và 0 ở đây, nên ZwZ2-9B không mang đầu dự đoán đa token nào. Phần còn lại của diff là tuần tự hóa — một phiên bản transformers mới hơn ghi ra các trường mà tệp cũ để ngầm định, và kiểu mô hình của cấu hình thị giác được đổi tên từ qwen3_5 thành qwen3_5_vision.

Điều đó cho bạn biết thì hẹp nhưng có thật: đây không phải là một kiến trúc mới. Nó là một checkpoint trên ngăn xếp Qwen3.5-9B, được ai đó hậu huấn luyện, với phần đầu giải mã suy đoán đã bị gỡ bỏ. Điều nó không cho bạn biết là quá trình hậu huấn luyện đó là gì. Các tham số đã thay đổi; hình dạng thì không.

Nơi duy nhất mà mô hình thực sự nói điều gì đó về chính nó

Mẫu trò chuyện là tệp duy nhất ở đây mang quan điểm riêng, và nó khác với Qwen3.5-9B ở ba điểm mà người đọc có thể kiểm chứng trong khoảng một phút.

Đầu tiên là một prompt hệ thống mặc định. Khi một yêu cầu đến mà không có thông điệp hệ thống, mẫu của ZwZ2-9B sẽ chèn một prompt như vậy: “Một cuộc trò chuyện giữa Người dùng và Trợ lý. Người dùng đặt câu hỏi, và Trợ lý giải quyết câu hỏi đó… Câu trả lời được đặt trong các thẻ <answer> </answer>.” Mẫu của Qwen3.5-9B không có nhánh như vậy — nó chỉ đơn giản là không phát ra gì cả. Một prompt hệ thống được tích hợp sẵn nêu rõ một định dạng đầu ra là dấu hiệu đặc trưng của một lần chạy huấn luyện cụ thể, chứ không phải của một mô hình cơ sở.

The second is the thinking default, and it is inverted. In Qwen3.5-9B the template emits an empty <think></think> block only when the caller explicitly passes enable_thinking: false, which means reasoning is on unless you turn it off. In ZwZ2-9B the condition is not defined or false — the empty block appears by default and the open <think> tag only when a caller explicitly asks for thinking. Same tags, opposite default. Qwen3.8-27B, for the record, kept the Qwen3.5 behaviour, so this is not simply inherited from a newer generation.

Điểm thứ ba là việc ghi nhớ nội bộ cho suy luận đa lượt: template hiểu một cờ preserve_thinking, và nó biết cách loại bỏ một khối <think> ra khỏi một lượt trợ lý vốn đã chứa một khối như vậy. Cả hai đều không tồn tại trong template Qwen3.5-9B. Nhân đây, tokenizer vẫn giữ chỗ cho các token đặc biệt dành cho âm thanh — <|audio_start|>, <|audio_end|>, <|audio_pad|> — nhưng không có mô-đun âm thanh nào ở bất kỳ đâu trong cấu hình, nên hãy coi đó là từ vựng tokenizer dùng chung chứ không phải một năng lực.

Những gì cái tên ngụ ý, và những gì nó không ngụ ý.

"ZwZ2" nghe như là thế hệ thứ hai của một thứ gì đó, và có một thế hệ thứ nhất để nhắc đến. ZwZ-2B, được đăng ngày 4 tháng 3 năm 2026, là một bản tinh chỉnh của Qwen3-VL-2B-Instruct được huấn luyện bằng Region-to-Image Distillation cùng với học tăng cường, được công bố cùng với bài báo Zooming without Zooming (arXiv 2602.11858) và bộ đánh giá ZoomBench. Nó là Apache-2.0, nó có một thẻ mô hình đầy đủ, và nó có 159 lượt tải xuống trong bảy tháng.

Tuy nhiên, gợi ý về dòng dõi lại mỏng hơn so với cái tên gợi ý. ZwZ-2B được xây dựng trên qwen3_vl — kiến trúc này. ZwZ2-9B được xây dựng trên qwen3_5. Thẻ duy nhất mà inclusionAI áp dụng là qwen3_5, và mô hình này không nằm trong bộ sưu tập ZwZ hay bất kỳ bộ sưu tập nào khác. Việc công thức từ vùng sang hình ảnh có được giữ nguyên hay không chính là kiểu câu hỏi mà một thẻ mô hình sẽ trả lời, còn kho lưu trữ này thì không.

Một cái bẫy đáng để cảnh báo, vì các công cụ tìm kiếm sẽ dẫn người ta vào đó: có một ZwZ_32B — một dòng chuyển đổi GGUF cũ hơn, không liên quan, có từ tháng 3 năm 2025, do một bên thứ ba thực hiện. Nó chỉ chia sẻ ba chữ cái và không gì khác. Đừng hiểu nó như một bản ZwZ2-9B trước đó.

Cách xử lý một checkpoint không có tài liệu

Lập trường thực tế cũng chính là lập trường bạn sẽ áp dụng với bất kỳ trọng số nào đến mà không có card. Trước tiên, hãy lấy config và header safetensors — việc đó rẻ và có thể kiểm tra được. Xác nhận số lượng tham số và tên các tensor khớp với những gì config cam kết. Sau đó, hãy phục vụ nó trên một framework hỗ trợ kiến trúc đó, và chạy các đánh giá mà bạn vốn đã chạy trên lưu lượng của chính mình thay vì mượn những con số không tồn tại.

Giấy phép là phần quan trọng đối với bất cứ thứ gì không chỉ là một dự án cuối tuần. Một checkpoint không có trường giấy phép thì không giống với một checkpoint mở; khi thiếu một tuyên bố rõ ràng, mặc định là bên phát hành đã bảo lưu mọi quyền, và đó là cuộc trao đổi cần thực hiện trước khi thứ này đến gần môi trường production, chứ không phải sau đó. Cũng lưu ý rằng bạn sẽ tự mình chạy nó — Hub báo cáo rằng mô hình không được nhà cung cấp nào phục vụ, và nhà phát triển đã không công bố endpoint nào.

Đó chính xác là tình huống mà cơ chế failover tự động sinh ra để xử lý. Nếu bạn muốn đo một checkpoint chưa được kiểm chứng với mô hình hiện hành mà không đặt cược một tuyến production vào nó, hãy đặt ứng viên phía sau cùng interface với những mô hình bạn đã tin cậy và để lưu lượng quay trở lại khi mô hình mới hoạt động sai — một API key và một endpoint tương thích OpenAI, thay vì một tích hợp thứ hai mà bạn phải tháo gỡ. OrcaRouter định tuyến hơn 200 mô hình theo cách đó, chuyển tiếp nguyên giá niêm yết của nhà cung cấp với mức markup 0%, và không lưu trữ ZwZ2-9B — chúng tôi sẽ không giả vờ rằng có một mục trong danh mục dành cho nó. Điều chúng tôi có thể cung cấp hôm nay là dòng mô hình mà nó được xây dựng dựa trên và dòng mô hình mà nó thay thế: dòng Qwen3.5 có thể định tuyến tại đây, bao gồm qwen/qwen3.5-35b-a3b và qwen/qwen3.5-flash, và qwen/qwen3-vl-8b-instruct đảm nhiệm vị trí thị giác 8B với một mô hình được lưu trữ, có tài liệu ở mức $0.18 mỗi triệu token đầu vào và $0.70 mỗi triệu token đầu ra.

Điều gì sẽ biến cái này thành một bản phát hành?

Ba thứ, và bất kỳ thứ nào trong số đó cũng đủ để biện minh cho việc viết lại bài này. Một trường giấy phép xuất hiện trong kho lưu trữ, thứ biến nó từ một điều gây tò mò thành thứ mà một công ty có thể dùng được. Một thẻ mô hình với các số liệu đánh giá, thứ biến nó từ một kiến trúc thành một tuyên bố. Hoặc một bài báo — dạng khả dĩ nhất là công trình region-to-image đã khiến ZwZ đầu tiên trở nên thú vị, được áp dụng cho một vision tower lớn gấp ba lần.

Cho đến khi một trong những điều đó xuất hiện, hãy coi ZwZ2-9B đúng như những gì danh sách tệp nói về nó: một dẫn xuất Qwen3.5-9B 9,4 tỷ tham số với mẫu trò chuyện tùy chỉnh, được công bố bởi một phòng thí nghiệm vẫn chưa nói cho ai biết lý do. Các trọng số là thật. Câu chuyện vẫn chưa được viết ra, và lập trường trung thực là không ai ngoài inclusionAI có thể viết nó.

Không có gì trong số đó là giả thuyết: các lỗi AI và sự cố tác nhân được ghi nhận đằng sau những bản phát hành như bản này đều được tập hợp trong OrcaRouter AI Incident Archive, nơi mỗi mục đều có nguồn, mức độ nghiêm trọng, xếp hạng độ tin cậy và cờ tranh chấp riêng.