Qwen 4: PR 'qwen4 fuse op' của vLLM đã đặt tên cho Kiến trúc — Apsara 2026 đã đặt tên cho Họ

Một pull request có tiêu đề "Add qwen4 fuse op" đã nằm mở trong kho lưu trữ vLLM kể từ ngày 26 tháng 8, và trong phần lớn tháng đó, nó là thứ gần nhất với một bản mô tả về thế hệ mô hình tiếp theo của Alibaba tồn tại bên ngoài công ty. Điều đó thay đổi vào ngày 22 tháng 9 năm 2026, khi trưởng nhóm Qwen của Alibaba, Liu Da Yiheng, nhân lễ khai mạc hội nghị Apsara tại Hàng Châu, đã đặt tên cho dòng họ này: Qwen 4 Max, Qwen 4 Flash, Qwen 4 Plus và Qwen 4 27B — phân khúc trọng số mở, và là thứ mà giới suy luận cục bộ đang chờ đợi. Hai ngày sau, khi hội nghị đã kết thúc, công ty lần đầu đưa dòng họ đó lên lộ trình: Qwen 4 đang được huấn luyện, cùng một dòng kế nhiệm — Qwen 4.5 và Qwen 5 — dự kiến ở mức 5 đến 10 nghìn tỷ tham số, một con số mà Eddie Wu, CEO Tập đoàn Alibaba, đưa ra trên sân khấu và sau đó công ty lặp lại trong thông cáo tiếng Anh của chính mình. Sau hai tuần, điều mà lộ trình này không phải là một lịch trình. Thời điểm hiện đang được lan truyền là một khoảng thời gian — tháng 10, hoặc đầu tháng 11 — và không có thông tin nào bắt nguồn từ bất cứ điều gì Alibaba đã công bố. Tài liệu do chính công ty viết không có tháng, không có quý và không có ngày; mô hình không có mã định danh, không có cửa sổ ngữ cảnh và không có giá; và không tồn tại kho lưu trữ Qwen 4 nào trong tổ chức Qwen trên Hugging Face. Hãy coi khoảng thời gian đó là một điều ước hơn là một kế hoạch. Pull request — vllm-project/vllm#53909, vẫn mở, vẫn chưa được hợp nhất và vẫn đang chờ xem xét — cũng không có ngày phát hành và không có số lượng tham số. Nó bổ sung các kernel Triton độc lập cho ba họ toán tử: HyperConnection, Qwen Sparse Attention (QSA) và các thao tác trạng thái PLE. Tiêu đề của nó ghi "qwen4", và danh sách toán tử của nó gần như khớp chính xác với kiến trúc mà Alibaba đã phát hành trong trọng số mở của Qwen3.8-Flash-Next — một mô hình hỗn hợp chuyên gia đa phương thức, phát hành ngày 26 tháng 8 năm 2026, có thẻ Hugging Face ghi "Bản xem trước kiến trúc Qwen4". Bản thân Qwen 4 vẫn chưa được phát hành. Dòng họ này đã có tên, có một vị trí trên lộ trình và một khoảng thời gian được đồn đoán; các kernel vẫn là thứ duy nhất mô tả nó.

Đây là bài viết về những gì chúng ta biết cho đến nay, không phải là một câu chuyện ra mắt. Alibaba hiện đã đặt tên cho dòng sản phẩm này trên một sân khấu công khai và đưa nó vào lộ trình của công ty, nhưng việc đặt tên không đồng nghĩa với việc phát hành: không có model card, không có trọng số và không có API cho bất kỳ phiên bản Qwen 4 nào, và mọi tuyên bố về kiến trúc dưới đây vẫn đến từ bản xem trước Qwen3.8-Flash-Next và các tài liệu kỹ thuật xung quanh nó chứ không phải từ bất kỳ tài liệu Qwen 4 nào. Bằng chứng xác thực là pull request vLLM vẫn đang được xem xét, mô hình xem trước đã phát hành, một PR sglang được nộp vào ngày 27 tháng 8 bổ sung hỗ trợ gốc cho cấu hình kiến trúc Qwen4-Exp tương tự, và mục qwen4_exp đã xuất hiện trong sổ đăng ký mô hình của chính vLLM trên nhánh main — Qwen4ExpForCausalLM, Qwen4ExpForConditionalGeneration và Qwen4ExpMTP — cùng với công việc đa phương thức frontend Rust, được hợp nhất vào ngày 1 tháng 9. Kết luận mà chúng tôi rút ra từ chúng — rằng các toán tử trong các PR chính là kiến trúc mà Alibaba đã xem trước — là một cách diễn giải dựa trên bằng chứng đó, và mọi chi tiết cụ thể dưới đây đều được dán nhãn tương ứng. Một tuyên bố ở đây hoàn toàn không phải của Alibaba: khoảng thời gian từ tháng 10 đến đầu tháng 11 đến từ một bài đăng trong danh sách theo dõi trên X và các trang theo dõi đã lặp lại nó trong hai tuần qua, nó chưa được tái tạo, và nó được ghi là nguồn từ cộng đồng ở bất cứ đâu xuất hiện.

Alibaba thực sự đã nói gì vào ngày 22 tháng 9

Alibaba đã giới thiệu trước dòng Qwen 4 tại lễ khai mạc hội nghị Apsara (Yunqi) của mình, diễn ra tại Hàng Châu từ ngày 22 tháng 9 đến ngày 24 tháng 9 năm 2026, với trưởng nhóm Qwen Liu Da Yiheng trên sân khấu. Bốn phiên bản đã được nêu tên tại lễ khai mạc, dựa trên cấu trúc mà thế hệ 3.8 đã thiết lập:

• Qwe​n 4 Max — hạng cao cấp nhất, và là mẫu được định vị để cạnh tranh với mô hình hàng đầu của mọi phòng thí nghiệm tiên phong khác.

• Qwe​n 4 Flash — phân khúc thông lượng cao, hướng đến công việc nhạy cảm với độ trễ, khối lượng lớn thay vì khả năng suy luận đỉnh cao.

• Qwe​n 4 Plus — phân khúc tầm trung cân bằng.

• Qwe​n 4 27B — phân khúc trọng số mở: nhóm kích thước mà Qwe​n từng phát hành trọng số mở trước đây, và là nhóm được viết đến như lựa chọn chạy cục bộ.

Mục 27B là phần cụ thể của thông báo, và đó là thứ mà tín hiệu nguồn tin đằng sau bài viết này đang phản ứng lại. Ở thế hệ 3.8, hạng 27B là bản phát hành trọng số mở đã được chuyển sang MLX, lượng tử hóa thành NVFP4 và tinh chỉnh trong vòng vài ngày sau khi ra mắt, nên một Qwe​n 4 27B có tên cụ thể lại mang đến cho hệ sinh thái hạ nguồn đó một mục tiêu. Đó là một mục tiêu chứ không phải một bản phát hành, và sự phân biệt này đáng để giữ vững: Aliba​ba chưa công bố phân tách tham số, giấy phép, cửa sổ ngữ cảnh hay ngày phát hành cho nó, và bản thân tên hạng thậm chí không cho biết liệu nó là dense hay mixture-of-experts. Mọi thứ từng khiến hạng 27B trước đây có thể chạy được — lớp kích thước, trọng tâm một máy — đều được kế thừa từ lịch sử của dòng sản phẩm, chứ không được quy định cho mô hình này.

Điều mà hội nghị không đưa ra lại chính là thứ mà người đọc có thể dựa vào để lập kế hoạch. Lập trường được Alibaba nêu rõ — vốn là cách định khung của chính nhà cung cấp, được trình bày trên sân khấu và được nhiều hãng truyền thông độc lập đưa tin thay vì được kiểm chứng độc lập — là Qwen 4 được xây dựng trên một kiến trúc thế hệ mới, rằng nó đang trong quá trình huấn luyện, và rằng nó sẽ ra mắt "sớm". Không phiên bản nào có cửa sổ ngữ cảnh, mức giá, danh sách phương thức hay điểm số được công bố. Hạng mục duy nhất có mốc thời gian tại hội nghị là một mô hình video thế hệ tiếp theo dự kiến ra mắt vào tháng 11. Một con số từ chính sân khấu đó cần được giữ đúng chỗ của nó: tham vọng 5 đến 10 nghìn tỷ tham số thuộc về khung thời gian Qwen 4.5 và Qwen 5, chứ không phải Qwen 4 — không có số lượng tham số nào được gắn với bất kỳ phiên bản Qwen 4 nào. Con số đó giờ đây không còn là một thông tin rò rỉ hay một tuyên bố đang lan truyền: nó nằm trong chính bản phát hành tiếng Anh của Alibaba, được gán cho bài phát biểu quan trọng của CEO Eddie Wu, và được nêu như một dự báo không có mốc thời gian và không có kiến trúc nào phía sau — do công ty tự nêu, và vẫn chưa được tái lập.

Vậy nên việc đặt tên đã thay đổi vị thế của dòng, chứ không phải tình trạng của bằng chứng. Mọi thứ dưới đây vẫn là bản mô tả của lớp phục vụ về việc kiến trúc này là gì — và vì thông báo không bổ sung thông số kỹ thuật nào của riêng mình, bản mô tả đó vẫn chi tiết hơn bất cứ thứ gì Aliba​ba đã công bố.

PR "qwen4 fuse op" thực chất là gì?

Pull request #53909 trong vllm-project/vllm đang mở, đến từ một fork của contributor, và vẫn đang chờ code-owner review — tính năng review tự động đã bị tắt chính xác vì nó đến từ một fork. Đây là một công việc nhỏ, liên quan đến kernel:

• Ba kernel HyperConnection — một RMSNorm Ge​ma được nhóm, một phép rút gọn cổng và một phép kết hợp tiêm.

• Ba kernel QSA cùng ba trình bao bọc cơ sở của nhà cung cấp để so sánh.

• Các kernel thu thập trạng thái PLE và phân tán có mặt nạ.

• Mười ba bài kiểm tra vượt qua bao gồm các ràng buộc về dtype và hình dạng, siêu dữ liệu phân trang, các vị trí bộ nhớ đệm, bố cục MRoPE, trạng thái strided, các chỉ mục rỗng và trùng lặp, và thực thi xác định.

Có hai chi tiết quan trọng ngoài danh sách op. Thứ nhất, cách triển khai theo hướng fail-closed: các cơ chế bảo vệ host phát sinh lỗi thay vì quay lại đường tính toán Torch thông thường, vì một giá trị sai trong attention kernel còn tệ hơn một sự cố dừng cứng. Thứ hai, sự tách rời trong cách đặt tên — tiêu đề ghi "qwen4" trong khi phần mô tả nêu tên Qwen3.8-Flash-Next — tự thân nó là một tín hiệu. Phía vLLM đang coi mô hình xem trước là thể hiện đầu tiên của dòng qwen4 và xây dựng các kernel dưới tên dòng này để bao phủ bất kỳ phiên bản nào xuất hiện sau đó.

Để hiểu rõ "fuse op" (phép toán hợp nhất) là gì: một engine suy luận thông thường thực thi đồ thị của mô hình bằng cách khởi chạy một kernel cho mỗi phép toán, và mỗi lần khởi chạy đều mang theo chi phí — các vòng truyền nhận bộ nhớ giữa các kernel, chi phí điều phối. Hợp nhất nhiều phép toán element-wise và phép toán trạng thái vào một kernel duy nhất giúp cắt giảm chi phí đó, và đây chính là nơi chi phí và độ trễ của một kiến trúc mới được quyết định thắng bại. Một mô hình được xây dựng trên các toán tử không có bất kỳ triển khai hợp nhất nào sẽ chậm và tốn bộ nhớ dù việc huấn luyện có khéo léo đến đâu; engine đầu tiên hợp nhất chúng tốt sẽ định đoạt cái giá thực tế của mô hình.

Đọc các tên kernel như một bản thiết kế.

Không có toán tử nào trong số này tồn tại trong opset transformer tiêu chuẩn, đó là lý do tại sao chúng lại cần các kernel mới — và mỗi toán tử ánh xạ tới một phần cụ thể của kiến trúc mà Alibaba đã xem trước trong Qwen3.8-Flash-Next:

HyperConnection → các kết nối phần dư có cổng (gated residual connections). Luồng phần dư duy nhất được mở rộng thành bốn nhánh song song với cơ chế gating động theo từng phần tử, cho phép mô hình quyết định mức độ đọc từ và ghi vào mỗi nhánh; trạng thái phần dư có thể được lưu trữ ở định dạng FP8 để cắt giảm lưu lượng truy cập bộ nhớ.

• QSA → Qwen Sparse Attention. Một bộ lập chỉ mục nhẹ nén các key thành các micro-block với tỷ lệ nén 4, chấm điểm chúng và giữ lại 512 block tốt nhất — tương đương khoảng 2.051 vị trí token logic — trong khi softmax cuối cùng và phép tổng hợp value vẫn chạy trên K/V gốc, không nén. 12 trong số 48 lớp là QSA; 36 lớp còn lại là các lớp attention tuyến tính GDN với trạng thái hồi quy có kích thước cố định và không có bộ đệm KV tăng dần.

• Các thao tác trạng thái PLE → bộ nhớ n-gram. Bảng tra cứu 51 tỷ tham số — "Per-Layer Embeddings" trong bài viết SGLang — được định địa chỉ bằng hàm băm từ token hiện tại cộng với hai hoặc ba token trước đó, lấy 16 hàng cho mỗi token. Vị trí của nó có thể được tính toán trước, do đó nó có thể nằm trong bộ nhớ máy chủ và được nạp trước không đồng bộ thay vì chiếm dụng VRAM GPU.

Phần thân MoE chứa các kernel: tổng cộng 125B tham số, với khoảng 6B tham số hoạt động cho mỗi token — dưới 5% mức kích hoạt — được định tuyến qua 512 chuyên gia với cơ chế định tuyến top-10.

Hai lưu ý giữ cho điều này trung thực. Thứ nhất, kiến trúc ở trên được đọc từ model card của Qwen3.8-Flash-Next và các bài mổ xẻ của cộng đồng, không phải từ bất kỳ tài liệu Qwe​n 4 nào — đó là bằng chứng về dòng mô hình này, chứ không phải đặc tả của dòng mô hình này. Thứ hai, không điều nào trong số đó thay đổi sự thật cốt lõi: Qwe​n 4 không tồn tại trong bất kỳ danh mục nào.

Một luồng bằng chứng riêng là đường dẫn thị giác, đáng được tách riêng khỏi phần đọc kernel ở trên. Độc lập với mọi ánh xạ toán tử, sổ đăng ký mô hình của chính vLLM trên nhánh main liệt kê một mục qwen4_exp — Qwen4ExpForConditionalGeneration — được đăng ký như một mô hình đa phương thức với một tháp thị giác Qwen3-VL và một Qwen3VLMultiModalProcessor. PR giao diện Rust (#54813), thứ nối cấu hình đó vào crate đa phương thức của engine, đường dẫn mã biến đầu vào hình ảnh thành token, đã được hợp nhất vào ngày 1 tháng 9 năm 2026 — một tuyên bố mạnh hơn việc PR tương tự chỉ đang mở, bởi vì đường dẫn đa phương thức cho dòng qwen4 giờ đã nằm trong engine thay vì trong bản fork của ai đó. Nó vẫn chưa phải là một bản phát hành: mô hình mà mục đăng ký đó mô tả không có trọng số và không có API. Nhưng đây là xác nhận đầu tiên ở cấp độ kỹ thuật rằng thế hệ Qwen tiếp theo nhận đầu vào hình ảnh, và nhãn "đa phương thức" trên kiến trúc không còn chỉ là một dòng trên thẻ mô hình của bản xem trước.

Tại sao kiến trúc thay đổi bức tranh chi phí

Nếu Qwe​n 4 ra mắt trên kiến trúc này, thì các yếu tố kinh tế sẽ khác so với một transformer dense tiêu chuẩn — hoặc thậm chí là MoE thông thường — và chính sự khác biệt đó là lý do công việc kernel đáng để theo dõi.

• Tách biệt bộ nhớ và tính toán. Chi phí bộ nhớ tính theo tổng số tham số — toàn bộ 125B tham số phải được nạp thường trú để phục vụ mô hình. Chi phí tính toán tính theo các tham số hoạt động — chỉ khoảng 6B tham số chạy trong mỗi lượt truyền xuôi. Chính sự tách biệt này cho phép một mô hình "125B" được phục vụ với chi phí của một mô hình nhỏ hơn nhiều.

• Bộ đệm KV ngừng tăng trưởng trên hầu hết các tầng. Với 36 trên 48 tầng sử dụng attention trạng thái hồi quy kích thước cố định, bộ đệm key/value tăng dần chỉ bị giới hạn trong 12 tầng. Ở ngữ cảnh gốc 262K token — 1M qua YaRN — đó là một phần lớn lý do khiến việc phục vụ ngữ cảnh dài trở nên hợp lý về chi phí.

• Bảng lớn có thể được offload. Bảng n-gram là đối tượng tiêu tốn bộ nhớ lớn nhất với 51 tỷ tham số, và nó không cần phải nằm trên GPU. Công việc day-0 của SGLang đã đo được rằng việc offload bảng BF16 sang bộ nhớ host được ghim (pinned) giải phóng khoảng 23 GiB mỗi GPU trên H200 và tăng dung lượng KV được cấp phát thêm khoảng 78% — với đầu ra giống hệt từng bit. Về phía vLLM, cùng thao tác offload đó được đưa vào theo từng giai đoạn thay vì trong một PR duy nhất: PR hỗ trợ ban đầu (#53899) đã bị đóng mà không merge vào ngày 21 tháng 9, trong khi năng lực này tự nó đến qua các lần merge riêng biệt — #54371, offload PLE dựa trên UVA với song song hóa tensor Engram, vào ngày 9 tháng 9, và một đường ROCm (#57497) vào ngày 25 tháng 9.

Chưa có con số nào trong các số liệu này được kiểm toán độc lập — các tuyên bố tăng tốc 7.6×/4.9× cho ngữ cảnh dài, con số giải mã 540 tok/s trong bài đăng SGLang, tuyên bố chi phí đào tạo bằng "1/9 của Qwen3.7-Plus" — và chúng nên được hiểu là do nhà cung cấp hoặc cộng đồng báo cáo cho đến khi một chỉ số trung lập tái tạo được chúng.

Cuộc đua phục vụ nó

Cả hai engine lớn đều đang có công việc triển khai qwen4 — chỉ vài ngày sau bản xem trước ngày 26 tháng 8, SGLang đã công bố hỗ trợ day-0, và công việc ở mỗi phía từ đó cứ chất chồng thêm, từ đăng ký cấu hình cho đến kỹ thuật kernel và bộ nhớ.

• SGLang đã công bố một bài đăng day-0 vào ngày 26 tháng 8 trong sự hợp tác giữa SGLang, Alibaba, NVIDIA và AMD, phát hành checkpoint NVFP4 và tuyên bố giải mã 540 token/s ở TP4 trên B200 với giải mã suy đoán.

• Vào ngày 27 tháng 8, một PR của sglang (#36585) đã bổ sung hỗ trợ Qwen4-Exp gốc cho chính engine — đăng ký cấu hình Qwen4ExpForConditionalGeneration và một mô hình văn bản được dựng từ chính những thành phần GatedResidual, Gated DeltaNet, attention thưa của Qwen, PLE và MoE. PR này chưa được hợp nhất: nó đến từ một người đóng góp không thuộc nhóm maintainer, phần việc được ghi công cho một tác nhân tự chủ tên là Argus, và hiện vẫn đang mở, chờ được xem xét. Tuy vậy, điểm neo của nó có thể được kiểm chứng một cách độc lập — cấu hình của chính Qwen3.8-Flash-Next khai báo model_type=qwen4_exp, và phần triển khai tham chiếu giờ đây nằm trong huggingface/transformers dưới mục models/qwen4_exp.

• Ngày 8 tháng 9, một PR sglang dạng bản nháp (#38492) được mở nhắm vào qwen4-main-squashed, một nhánh sglang dành riêng cho dòng Qwen4/Flash-Next, và lần này không phải là chuyện đăng ký cấu hình. Nó port RecoverSSM — một đường khôi phục trạng thái đã được chấp nhận, vốn được xây dựng đầu tiên cho Qwen3.8-Flash-Next trên SM120 — để phục vụ việc xác minh dự đoán đa token (MTP) của kiến trúc này. Các bản nháp MTP lăn qua trạng thái hồi quy kích thước cố định của các lớp Gated DeltaNet, và thay vì giữ mọi trạng thái suy đoán trung gian trong bộ nhớ trong lúc một bản nháp được xác minh, engine tái dựng trạng thái được chấp nhận từ trạng thái đã commit cùng tiền tố token được chấp nhận. Chế độ này là tùy chọn bật (cờ --gdn-mtp-cache-mode none; hành vi full-cache hiện tại vẫn là mặc định), và nó còn ở giai đoạn rất sớm, ngay cả theo chuẩn mực của câu chuyện này: một bản nháp được đụng tới lần cuối vào ngày 14 tháng 9, với head hiện tại vẫn trượt chín trong số các kiểm tra của nó, cùng danh sách kiểm tra của chính tác giả vẫn còn bỏ ngỏ trước khi nó có thể được đánh dấu là sẵn sàng để review. Điều đáng nói nằm ở hướng đi — sglang đang kỹ thuật hóa đường phục vụ cho Qwen4, chứ không chỉ đăng ký cấu hình của nó.

• Dòng qwen4 của vLLM đã chuyển từ ba PR đang mở sang một bảng tổng hợp hỗn hợp trong những tuần kể từ khi bài này lần đầu đăng. PR đa phương thức frontend Rust (#54813) đã được hợp nhất vào ngày 1 tháng 9. Công việc PLE-offload được hợp nhất thành hai phần — #54371 vào ngày 9 tháng 9 và #57497 vào ngày 25 tháng 9 — trong khi PR PLE-offload gốc (#53899) đã bị đóng mà không được hợp nhất vào ngày 21 tháng 9. Kể từ đó, cấu hình đã được đưa lên upstream: #57387, PR chuyển cấu hình qwen4_exp và bộ xử lý sang các triển khai Transformers upstream, đã được hợp nhất vào ngày 2 tháng 10. Thứ vẫn còn mở là PR fuse-op, chủ đề của bài này (#53909) — cùng với một bản sửa lỗi QSA ring-buffer được nộp ngày 1 tháng 10 (#59528) và một lượt xử lý SM86 (Ampere) trên bảng n-gram 51 tỷ tham số đã mở từ ngày 26 tháng 9 (#58856), đây là kiểu công việc người ta làm khi một mô hình là thứ mọi người đang cố gắng phục vụ trên phần cứng cũ hơn chứ không phải thứ chưa từng ai chạy. Bản thân cấu hình qwen4_exp được đăng ký trong vLLM là đa phương thức: một vision tower Qwen3-VL ghép với mô hình văn bản Qwen4-Exp.

Đây là một cuộc đua có phần thưởng thật sự. Công cụ hợp nhất các toán tử mới tốt nhất sẽ định giá phục vụ cho thế hệ Qwen4, bởi vì hiệu quả kernel — chứ không phải số lượng tham số thô — mới là thứ tạo nên chi phí token của một mô hình hybrid-attention.

Những gì thực sự ra mắt hôm nay: Qwen3.8-Flash-Next so với Qwen 4

Cần phải nói một cách chính xác về hai điều trong câu chuyện này, bởi vì cách đặt tên đang đóng vai trò rất quan trọng.

• Qwen3.8-Flash-Next đã ra mắt. Trọng số mở được công bố trên Hugging Face và ModelScope dưới giấy phép qwen-community-1.0, với các biến thể tiêu chuẩn và FP8; thẻ mô hình xác nhận bảng thông số — MoE 125B, ~6B tham số hoạt động, bảng n-gram 51B, ngữ cảnh 262K, đa phương thức. Đây là bản xem trước kiến trúc, không phải phiên bản chủ lực.

• Qwen3.8-Flash là biến thể sản xuất được phục vụ mà Aliba​ba công bố cùng với nó, được niêm yết trên Qwe​n Cloud ở mức ¥1 mỗi triệu token đầu vào và ¥3 mỗi triệu token đầu ra (khoảng $0,16 / $0,47), với ngữ cảnh mặc định 1 triệu token và các công cụ tích hợp sẵn. Giá do nhà cung cấp báo cáo, chưa có trong bất kỳ chỉ mục độc lập nào.

• Qwen 4 vẫn chưa ra mắt. Alibaba đã công bố tên của cả bốn hạng vào ngày 22 tháng 9 năm 2026 và cho biết dòng mô hình này đang trong quá trình huấn luyện và sẽ sớm ra mắt — thông tin chính thức đầu tiên về thời điểm, và vẫn chưa phải là một lịch trình. Không có ngày, không có thẻ mô hình và không có trọng số cho bất kỳ hạng nào. Cửa sổ đang lan truyền hiện nay là từ tháng 10 đến đầu tháng 11, và nó đến từ các luồng watchlist cùng các trang theo dõi chứ không phải từ Alibaba: trạng thái huấn luyện do công ty công bố, còn thời điểm là do cộng đồng cung cấp. Cửa sổ tháng 9 từng lan truyền trong một bản rò rỉ lộ trình hồi tháng 7 đã hết, và điều đó tự nó đã là câu trả lời.

• Hạng Qwe​n 4 27B là thứ đáng theo dõi vì một lý do không phải benchmark: đây là hạng duy nhất trong dòng sản phẩm có thành tích phát hành trọng số mở, và một mẫu 27B đã được công bố chính là thứ mà các stack suy luận cục bộ lập kế hoạch xoay quanh — đó là lý do việc thiếu thông tin chi tiết về kích thước, giấy phép và ngày phát hành lại quan trọng ở đây hơn so với sản phẩm flagship.

Bảng benchmark của bản xem trước — DeepSWE 1.1 đạt 58.7, SWE-bench Pro đạt 62.5, LiveCodeBench v6 đạt 91.9 — là số liệu do nhà cung cấp báo cáo trên thẻ và chưa được tái lập một cách độc lập. Hãy lập kế hoạch dựa trên kiến trúc; hãy coi các điểm số này như một lời hứa, không phải một phép đo.

Một lập trình viên nên làm gì bây giờ?

Hôm nay không có gì trong stack hiện tại của bạn thay đổi: Qwe​n 4 không thể gọi được ở bất cứ đâu — Apsara đã đặt tên các bậc và đưa dòng họ này lên lộ trình, nhưng chưa phát hành bất kỳ thứ nào trong số đó — và tính đến thời điểm viết bài, trọng số mở của Qwen3.8-Flash-Next vẫn chưa có trong danh sách model của chính chúng tôi — những thứ gần nhất mà chúng tôi cung cấp hôm nay là biến thể Qwen3.8 Flash được phục vụ ở mức $0.15/$0.47 mỗi triệu token và tuyến trọng số mở Qwen3.8 27B ở mức $0.33/$2.40, đây là thứ gần nhất với một Qwe​n có thể chạy cục bộ trong danh mục trong khi thế hệ kế nhiệm vẫn chỉ là tin đồn. Dòng lộ trình là thứ duy nhất đáng đọc lại hai lần, vì đây là lần đầu tiên Aliba​ba cam kết một thế hệ kế nhiệm trên giấy: nếu Qwe​n 4.5 và Qwe​n 5 thực sự rơi vào dải 5 đến 10 nghìn tỷ tham số, thì bậc mà bạn có thể tự host trong thế hệ đó càng trở nên quan trọng hơn, chứ không phải ít hơn. Nếu bạn muốn cảm nhận kiến trúc trước khi dòng họ này ra mắt, những con đường trung thực là tự tải trọng số về hoặc chờ bản xem trước xuất hiện phía sau một API. Với bất kỳ ai đang lập kế hoạch quanh bậc 27B, điều tương tự cũng áp dụng, với một bổ sung: nó đáng được theo dõi chính vì đây là bậc có khả năng chạy được mà không cần API cao nhất, và hiện tại nó là bậc ít được đặc tả nhất trong bốn bậc.

Khi Qwen3.8-Flash-Next hoặc một mô hình Qwe​n 4 xuất hiện trong danh mục của nhà cung cấp, chi phí chuyển đổi trên OrcaRouter gần như bằng không: một API cho 200+ mô hình, giá niêm yết của nhà cung cấp được chuyển nguyên với mức cộng thêm 0%, và việc nhà cung cấp giảm giá có hiệu lực ngay bên phía chúng tôi trong cùng ngày. Cùng endpoint và khóa bạn đã dùng cho Qwen3.8 Max — có thể gọi ngay hôm nay dưới dạng qwen/qwen3.8-max với giá $2.00/$6.00 mỗi triệu token, giá niêm yết được chuyển nguyên — chính là cùng endpoint mà một lệnh gọi Qwe​n 4 sẽ sử dụng.

Đối với một kiến trúc chưa được chứng minh, tự động chuyển đổi dự phòng là bước đầu tiên đúng đắn: định tuyến một phần lưu lượng đến mô hình mới với cơ chế chuyển đổi dự phòng sang Qwen3.8 Max (hoặc bất kỳ mô hình nào mà khối lượng công việc thực sự cần), và để lưu lượng của chính bạn quyết định xem bản xem trước có đáp ứng được thông số kỹ thuật hay không — một bản chỉnh sửa routing-DSL, không phải viết lại.

Những gì chúng tôi đang xem

• Liệu các kernel fuse-op có được hợp nhất hay không (#53909), giờ là PR cuối cùng trong số ba PR qwen4 ban đầu của vLLM vẫn còn mở — front-end đa phương thức và phần việc PLE-offload đã được hợp nhất, còn cấu hình đã được đưa lên upstream. Về phía sglang, PR hỗ trợ native và bản nháp RecoverSSM đều vẫn đang mở. Một bộ kernel được hợp nhất là tín hiệu mạnh nhất cho đến nay rằng dòng qwen4 đang nằm trong lộ trình ngắn hạn của cả hai runtime.

Việc qwen4-main-squashed có “cứng hóa” thành mainline Qwen4 của sglang hay không — một nhánh tích hợp mà các công việc kernel và bộ nhớ vẫn liên tục được đưa về — là một cam kết mạnh mẽ hơn nhiều so với một PR đơn lẻ từ một contributor, và cũng rất đáng để theo dõi xem nó sẽ đi về đâu khi flagship được ấn định ngày ra mắt.

• Liệu đường thị giác có trụ được đến bản phát hành hay không — mục đăng ký đa phương thức qwen4_exp và tích hợp frontend Rust là tín hiệu cứng đầu tiên cho thấy flagship sẽ có đầu vào hình ảnh, và cả hai hiện đều nằm trong mã nhánh chính của vLLM chứ không phải trong một fork. Câu hỏi còn bỏ ngỏ là liệu mô hình được phát hành có giữ lại vision tower đó hay không.

• {{1}}Các con số độc lập đầu tiên trên {{2}}Qwen3.8-Flash-Next{{/2}}{{/1}}, {{3}}đây sẽ là bài kiểm tra đầu tiên xem liệu các tuyên bố về chi phí của kiến trúc có đứng vững bên ngoài nhà cung cấp hay không.{{/3}}

• Một ngày cụ thể hoặc một model card cho chính Qwe​n 4. Dòng họ này giờ đã có tên gọi, một bảng xếp hạng tier, một trạng thái huấn luyện và một vị trí trên một lộ trình đã công bố, và không thứ nào trong số đó là một lịch trình. Khung thời gian mà cộng đồng đang đồn đoán là từ tháng 10 đến đầu tháng 11; lộ trình mà Aliba​ba công bố tại Apsara hoàn toàn không có ngày tháng nào, và chưa có repository Qwe​n 4 nào xuất hiện trên Hugging Face. Tín hiệu thực sự tiếp theo sẽ là tín hiệu đầu tiên gắn kèm một ngày cụ thể — một model card, một định danh API hoặc các trọng số.

• Đặc biệt là phân khúc Qwe​n 4 27B — liệu nó có phát hành trọng số mở theo mô hình Qwen3.8-27B hay không, dưới giấy phép nào, và hệ sinh thái chuyển đổi-và-tinh chỉnh sẽ theo sau nhanh đến mức nào.

• Giấy phép cho dòng mô hình này — liệu Qwe​n 4 có lặp lại kiểu của Qwen3.8 Max là trọng số mở theo giấy phép hạn chế sử dụng, hay sẽ mở rộng hơn nữa.

• Cuộc đua giá phục vụ trên bản xem trước, điều này sẽ cho chúng ta biết token của kiến trúc lai thực sự có mức giá bao nhiêu trong môi trường sản xuất.

FAQ

Khi nào Qwen 4 ra mắt? Vẫn chưa có ngày cụ thể, và hiện đã có hai tuyên bố chính thức về thời điểm thay vì chỉ một. Tổng giám đốc Tập đoàn Alibaba Eddie Wu đã xác nhận tại Apsara vào ngày 22 tháng 9 năm 2026 rằng Qwen 4 đang trong quá trình huấn luyện và một dòng kế nhiệm — Qwen 4.5 và Qwen 5 — được dự kiến ở quy mô từ 5 đến 10 nghìn tỷ tham số; bản phát hành tiếng Anh của Alibaba cũng nhắc lại cả hai. Không tuyên bố nào kèm theo lịch trình. Ba tuyên bố về thời điểm đã được lan truyền và không có tuyên bố nào trong số đó là của Alibaba: bản rò rỉ lộ trình tháng 7 đưa ra khung tháng 9 năm 2026, vốn đã trôi qua mà không có bản ra mắt nào; và khung từ tháng 10 đến đầu tháng 11 hiện đang được nhắc đến trong các bài đăng danh sách theo dõi và các trang theo dõi, đây là cách diễn giải nhịp độ phát hành của phòng thí nghiệm chứ không phải tuyên bố từ phòng thí nghiệm. Bản phát hành Qwen3.8-Flash-Next ngày 26 tháng 8 rõ ràng là bản xem trước của kiến trúc, không phải sản phẩm chủ lực.

Qwe​n 4 có phải là cùng một mô hình với Qwen3.8-Flash-Next không? Không. Qwen3.8-Flash-Next là một mô hình trọng số mở đã phát hành mà thẻ mô hình gọi là "Bản xem trước của Kiến trúc Qwen4." Qwe​n 4 là dòng mô hình chưa phát hành mà Aliba​ba đặt tên vào ngày 22 tháng 9 — bốn cấp độ, không có thông số kỹ thuật nào được công bố — và kiến trúc thì dùng chung còn sản phẩm thì không.

Hôm nay tôi có thể dùng Qwen 4 không?Không — không có gì định tuyến đến một mô hình không có trọng số và không có API, và thông báo ngày 22 tháng 9 không thay đổi điều đó. Những thứ gần nhất mà bạn thực sự có thể chạm tới là trọng số mở Qwen3.8-Flash-Next được phát hành ngày 26 tháng 8, hoặc API Qwen3.8 Max, đang hoạt động trên OrcaRouter với giá $2.00/$6.00 mỗi triệu token.

Kernel chính là thông điệp — và thông báo ngày 22 tháng 9, dù được dành bao nhiêu thời gian trên sân khấu, đã không ghi đè lên nó. vLLM không dùng các chu kỳ review để xây dựng kernel Triton cho những họ toán tử mà nó dự kiến sẽ từ bỏ, và Alibaba cũng không công bố bản xem trước kiến trúc mà nó dự kiến sẽ từ bỏ. Giữa PR "qwen4 fuse op" vẫn còn mở, bản xem trước Qwen3.8-Flash-Next phát hành ngày 26 tháng 8, mục qwen4_exp hiện nằm trong registry mainline của vLLM với cấu hình đã được upstream và tích hợp đa phương thức đã được merge, công việc PLE-offload đã được đưa vào cả CUDA và ROCm trong tháng 9, và một PR nháp của sglang mở ngày 8 tháng 9 vẫn đang tinh chỉnh bộ nhớ SM120 cho đường dự đoán đa token của dòng này, thì diện mạo của thế hệ Qwen tiếp theo không còn là tin đồn nữa — nó được viết trong các kernel và đường bộ nhớ mà hai runtime đang xây dựng cho nó. Điều Apsara bổ sung là tên cho từng hạng, trạng thái huấn luyện, và dải tham số cho thế hệ sau nó. Điều cộng đồng bổ sung kể từ đó là một khung thời gian chứ không phải một dữ kiện: từ tháng 10 đến đầu tháng 11, từ chính những luồng watchlist đó. Alibaba không công bố cả hai. Hãy lập kế hoạch cho kiến trúc; đừng đặt cược vào các mốc thời gian.