Qwen 3.8 MoE: Những thành viên nào là Mixture-of-Experts, và điều đó thay đổi gì cho bạn

Đúng — thế hệ 3.8 bao gồm các mô hình hỗn hợp chuyên gia, và những mô hình đáp lại câu hỏi trần trụi là Qwen3.8-2.4T-A95B, lõi Max 2,4 nghìn tỷ tham số mà A​libaba đã công bố dưới dạng trọng số mở vào tháng 8 năm 2026, và Qwen3.8-Flash-Next, bản xem trước thưa 125 tỷ tham số của kiến trúc Qwen4. Hai thành viên mà người đọc thực sự có thể gọi — Qwen3.8-Max và Qwen3.8-Flash — là các bản dựng do chính nhà cung cấp đưa vào phục vụ, bắt nguồn từ hai kiến trúc đó, nên chúng thưa do kế thừa dù cấu hình nội bộ của chúng không được công bố. Ngoại lệ duy nhất là thành viên mà hầu hết mọi người đến đây đã có sẵn trong tay: Qwen3.8-27B là dày đặc, và không có gì trong tên của nó nói lên điều đó. Đó là toàn bộ câu trả lời, và phần còn lại của trang này là những số liệu đằng sau nó, mỗi số liệu được lấy từ thẻ mô hình của chính A​libaba chứ không phải từ một luồng thảo luận.

Các mốc ngày trong bài viết này được dùng để định niên đại cho các mô hình, chứ không phải để công bố chúng. Điều trang này trả lời chính là câu hỏi mà độc giả đang gõ ngay lúc này: từ 2026-09-15 đến 2026-10-12, property Search Console của chính chúng tôi ghi nhận 432 lượt hiển thị và 35 lượt nhấp cho truy vấn duy nhất qwen 3.8 moe — tỷ lệ nhấp 8,1%, cao nhất trong số mọi truy vấn thuộc lô đó — cộng thêm ba dòng long-tail đưa cả nhóm lên 440 lượt hiển thị và 36 lượt nhấp. Một độc giả gõ cụm từ đó không phải đang tìm tin tức. Họ đang cố xác định xem mô hình mà họ sắp tải về hoặc gọi tới có phải loại thưa (sparse) hay không, bởi câu trả lời quyết định xem họ có thể chạy được gì. Không có gì trên trang này trả lời được điều đó, và đó là lý do trang này tồn tại. Khi một câu hỏi liên quan đến một thành viên cụ thể thay vì kiến trúc, trang sở hữu câu hỏi đó sẽ được nêu tên ngay khi chúng ta đi dọc bài.

Cái tên cho bạn biết điều đó, nếu bạn biết ký hiệu.

Alibaba không đặt "MoE" trong bất kỳ tên mô hình Qwen 3.8 nào. Hãng viết số lượng tham số dưới dạng tổng-Akích hoạt, nên 2.4T-A95B được đọc là 2,4 nghìn tỷ tham số được lưu trữ và 95 tỷ được kích hoạt trên mỗi token. Phần -A chính là dấu hiệu: một cái tên có con số kích hoạt trong đó là mô hình thưa, còn một cái tên chỉ có một con số tròn hàng tỷ là mô hình dày. Qwen3.8-27B không mang con số kích hoạt nào vì mọi tham số của nó đều hoạt động trên mỗi token, và thẻ mô tả của nó gọi nó là "một mô hình dày nhỏ gọn, thân thiện với triển khai" trong câu đầu tiên mô tả nó.

Cách hiểu đó vẫn đúng xuyên suốt thế hệ:

• Qwen3.8-2.4T-A95B — mixture-of-experts, 512 chuyên gia, lưu trữ 2.4T / 95B hoạt động, trọng số mở, giấy phép tùy chỉnh.

• Qwen3.8-Flash-Next — hỗn hợp chuyên gia, 512 chuyên gia, 125B tham số được lưu trữ cùng một bảng n-gram 51B / 6B hoạt động, trọng số mở, giấy phép cộng đồng.

• Qwen3.8-Max — bản dựng được phục vụ; thẻ chính thức của A​libaba cho các trọng số nói rằng Max là "phiên bản chính thức dựa trên Qwen3.8-2.4T-A95B", và trang mô hình trên đám mây của nó mô tả nó là "mô hình flagship MoE 2,4 nghìn tỷ tham số". Thưa thớt.

• Qwen3.8-Flash — bản build được phục vụ, có nguồn gốc từ Flash-Next, mặc định mang ngữ cảnh 1 triệu token. Thưa thớt từ gốc.

• Qwen3.8-27B — dense, 27B được lưu trữ và 27B hoạt động, Apache 2.0. Không có expert nào ở bất kỳ đâu trong cấu hình của nó.

Kiến trúc, từ chính các thẻ.

Cả hai thành viên sparse đều được ghi lại theo cùng một dạng trên Hugging Face, và những con số bên dưới được trích dẫn từ Qwen/Qwen3.8-2.4T-A95B và Qwen/Qwen3.8-Flash-Next tương ứng. Ở những chỗ một con số không có trên thẻ, trang này nói rõ điều đó thay vì mượn từ một diễn đàn.

Qwen3.8-2.4T-A95B — lõi Max

Đây là một mô hình ngôn ngữ nhân quả 92 lớp có cấu trúc khối được ghi trên card là 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). Nói một cách đơn giản: ba khối attention tuyến tính xen giữa mỗi khối full-attention, và một lớp feed-forward mixture-of-experts sau cả hai. Lớp expert được chỉ định là 512 expert, 10 được định tuyến cộng 1 chia sẻ được kích hoạt trên mỗi token, với chiều trung gian expert là 2048. Tham số lưu trữ là 2,4T và tham số được kích hoạt là 95B. Cơ chế attention là lai: Gated DeltaNet với 128 head tuyến tính cho V và 16 cho QK tại chiều head 128, kết hợp với Gated Attention tại 64 head truy vấn và 4 head KV tại chiều head 256, với chiều rotary là 64. Ngữ cảnh là 262.144 token gốc, có thể mở rộng đến 1.010.000. Card cũng ghi chú dự đoán nhiều token được huấn luyện với nhiều bước, và tệp cấu hình xác nhận trực tiếp các trường thưa: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Hai điều mà thẻ mô hình nói rõ và người đọc không nên bỏ qua. Nó chỉ xử lý văn bản — không có vision tower — và phần ghi chú của chính thẻ cho biết bản Max được lưu trữ bổ sung đầu vào hình ảnh, hỗ trợ non-thinking, ngữ cảnh 1M theo mặc định và các công cụ tích hợp lên trên các trọng số này, nên sản phẩm tải về được hẹp hơn so với API mà nó chia sẻ lõi. Và nó được phát hành theo một thỏa thuận tùy chỉnh, qwen3.8-max, không phải Apache 2.0 và không phải giấy phép cộng đồng; trang này không tranh luận lại các điều khoản đó, và chúng được đề cập trên trang dành cho chính các trọng số.

Qwen3.8-Flash-Next — kiến trúc thưa nhỏ hơn

Đây là thành viên có tỷ lệ thưa cực đoan nhất và cũng dễ bị hiểu sai nhất. Thẻ của nó ghi 48 lớp được sắp xếp thành 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), vẫn là 512 chuyên gia với 10 chuyên gia được định tuyến cộng 1 chuyên gia chia sẻ, cùng chiều trung gian của chuyên gia là 640 — bằng một phần ba so với lõi Max. Các tham số được nêu một cách bất thường: "125B với 6B được kích hoạt, cộng thêm 51B embedding n-gram và 4B MTP". Chính ba thành phần đó là lý do kho lưu trữ của nó liệt kê 180B ở thanh bên trong khi phần thân MoE là 125B, và cũng là lý do một độc giả so sánh "125B với 2.4T" lại đang so sánh sai những con số. Cơ chế attention là Gated DeltaNet kết hợp với Qwen Sparse Attention, mà theo thẻ thì hoạt động ở cấp vi khối thay vì chọn từng token riêng lẻ. Ngữ cảnh gốc là 262,144, có thể mở rộng lên 1,000,000. Giấy phép: Qwen Community License 1.0. Tệp cấu hình của nó cũng ghi lại num_experts: 512, num_experts_per_tok: 10 và 48 lớp.

Những gì Alibaba chưa công bố

Đối với Qwen3.8-Max được phục vụ, không có số lượng chuyên gia, không có số lượng lớp, không có con số tham số được kích hoạt và không có đặc tả định tuyến theo token trong bất kỳ tài liệu nhà cung cấp nào mà trang này có thể tìm thấy. Nhà cung cấp mô tả nó là mô hình MoE hàng đầu với 2,4 nghìn tỷ tham số và tuyên bố rằng nó được xây dựng trên Qwen3.8-2.4T-A95B; đó là giới hạn của thông tin chi tiết đã công bố, và rằng kiến trúc khớp nhau là một suy luận hợp lý từ hai tuyên bố đó, chứ không phải một sự thật được ghi nhận. Khoảng trống tương tự cũng áp dụng về bản chất cho Qwen3.8-Flash được phục vụ, mà nguồn gốc từ Flash-Next đã được nêu nhưng cấu hình nội bộ của nó hoàn toàn không được công bố. Bất kỳ trang nào đưa cho bạn số lượng chuyên gia cho Max được lưu trữ đều đang lấp đầy một khoảng trống mà nhà cung cấp đã để ngỏ.

Con số tham số hoạt động thay đổi điều gì về cách chạy nó

Đây là lý do vì sao câu hỏi lại được đặt ra, và câu trả lời chạy theo hai hướng cùng một lúc.

Kích thước tải xuống tính theo tổng số, không phải theo số lượng đang hoạt động. Qwen3.8-2.4T-A95B vào khoảng 4,9 TB trải trên 213 shard trong kho BF16 của nó và khoảng 2,5 TB ở phiên bản FP8 anh em — dù theo cách nào thì cũng là một tạo tác quy mô cả rack, chứ không phải dành cho máy trạm. Qwen3.8-Flash-Next khoảng 360 GB ở BF16 trải trên 131 shard, và khoảng 180 GB theo con số trên thanh bên của chính nó sau khi cộng hết các thành phần lại. Trên đĩa, không có gì trong thiết kế thưa khiến cho bất kỳ mô hình nào trở nên nhỏ gọn; toàn bộ trọng số expert đều tồn tại và đều phải được lưu trữ.

Băng thông tính toán và bộ nhớ tỉ lệ thuận với số tham số hoạt động.Vì chỉ 95B trong 2.4T tham số của Max core, và chỉ 6B trong số tham số được lưu trữ của Flash-Next, tham gia vào bất kỳ token nào, nên chi phí trên mỗi token của những mô hình này gần với chi phí của một mô hình dense nhỏ hơn nhiều so với những gì kích thước tệp của chúng gợi ý. Khoảng cách đó chính là lý do duy nhất khiến một mô hình 2.4 nghìn tỷ tham số có thể phục vụ được, và đó là lý do tại sao cùng tỷ lệ tổng-trên-hoạt-động trông như một chú thích nhỏ trên bảng thông số lại là con số có liên quan nhất về mặt vận hành trên đó. Trang này sẽ không đặt một con số token mỗi giây bên cạnh nó, bởi vì không có tốc độ nào chúng tôi có thể nêu ra sẽ đúng với hai cách lượng tử hóa khác nhau và một ngăn xếp phục vụ không xác định — tỷ lệ là dữ kiện có thể chuyển giao, còn thông lượng thì không.

Flash-Next bổ sung một điểm phức tạp thứ hai thuộc về đây thay vì nằm trong một chú thích cuối trang. Bảng embedding n-gram 51B của nó là một cấu trúc tra cứu, và cách trình bày của chính thẻ mô hình là các embedding "dễ được offload hơn so với Mixture-of-Experts". Đó là điều khiến một checkpoint ở kích thước này có thể chạy được với bảng embedding thường trú trong bộ nhớ máy chủ thay vì bị ghim trong bộ nhớ của bộ tăng tốc — một lựa chọn thiết kế, không phải một khẳng định về máy của bạn. Hệ quả thực tế là Flash-Next dễ dàng vừa bộ nhớ hơn khi thêm RAM hệ thống so với khi thêm VRAM, điều ngược lại với cách một mô hình dense có kích thước lưu trữ tương đương hoạt động.

Nơi phần tử anh em dense nằm

Qwen3.8-27B là ví dụ đối chứng mà phần còn lại của thế hệ được đo lường dựa vào: 64 lớp, chiều trung gian feed-forward rộng 17.408 thay vì một ngân hàng chuyên gia, 27B được lưu trữ và 27B hoạt động, Apache 2.0, và khoảng 55,6 GB trọng số BF16 vừa vặn trên phần cứng mà một người sở hữu. Trong khi các thành viên thưa thớt đánh đổi dung lượng lấy dấu chân tính toán nhỏ trên mỗi token, thì bản dày đặc đánh đổi chi phí trên mỗi token lấy khả năng dự đoán — mọi tham số đều hoạt động, nên bộ nhớ và tốc độ rất dễ ước lượng. Toàn bộ phần trình bày đầy đủ về mô hình đó, các định dạng và sự phù hợp của nó thuộc về Qwen3.8-27B trang, trang này sở hữu nó; trang này chỉ cần sự tương phản.

Điều gì chưa được giải quyết

Việc Qwen3.8-Max và Qwen3.8-Flash được phục vụ có thực sự khởi tạo cùng số lượng chuyên gia và định tuyến như các lõi có thể tải xuống hay không vẫn chưa được xác minh: nhà cung cấp chỉ nêu cách dẫn xuất rồi dừng ở đó, nên hãy coi mọi con số chuyên gia cụ thể cho các mô hình API là chưa được xác nhận. Và hệ sinh thái lượng tử hóa mở xung quanh Flash-Next đã tạo ra các bản dựng từ khoảng 1-bit đến độ chính xác đầy đủ, mà không có so sánh bit thấp có kiểm soát nào được công bố trên phần cứng tương ứng — nếu bạn đang chọn độ rộng bit, việc đo lường đó là do bạn tự quyết định.

Khả dụng

Hai thành viên có số lượng chuyên gia được ghi lại — Qwen3.8-2.4T-A95B và Qwen3.8-Flash-Next — là các sản phẩm tải xuống và tự lưu trữ. Cả hai đều không có trong danh sách mô hình của chúng tôi hiện nay, và không có id nào giống chúng, nên trang này không đưa ra tuyên bố về tính khả dụng đối với chúng hoặc đối với bất kỳ mô hình nào có tên "Qwen3.8-MoE": cái tên mô tả một kiến trúc, và không có gì trong danh mục của chúng tôi được bán dưới tên đó. Điều chúng tôi thực sự cung cấp là ba thành viên khác của cùng thế hệ, và một độc giả có câu hỏi mang tính kiến trúc có thể gọi bất kỳ thành viên nào trong số đó:

• qwen/qwen3.8-27b — bản dense, Apache-2.0, có thể tự triển khai (self-host); nhận văn bản, hình ảnh và video, ngữ cảnh 262.144 token, 0,33 USD cho mỗi triệu token đầu vào và 2,40 USD cho mỗi triệu token đầu ra theo bảng giá công bố của nhà cung cấp.

• qwen/qwen3.8-flash — nhánh sản xuất sparse bắt nguồn từ Flash-Next; ngữ cảnh 1M token, 0,15 USD mỗi triệu token đầu vào và 0,47 USD mỗi triệu token đầu ra, với đầu vào được lưu đệm khoảng 0,018 USD.

• qwen/qwen3.8-max — lõi Max đằng sau một endpoint; ngữ cảnh 1M token, 2,00 đô-la cho mỗi triệu token đầu vào và 6,00 đô-la cho mỗi triệu token đầu ra.

Cả ba đều nằm phía sau một endpoint tương thích OpenAI, vì vậy việc chạy dạng dense so với bản sparse được phục vụ trên lưu lượng của riêng bạn chỉ tốn một thay đổi model-id chứ không phải một tích hợp. Những mức giá đó là bảng giá niêm yết đã công bố của nhà cung cấp được chuyển tiếp nguyên vẹn mà không cộng thêm markup, đó là lý do vì sao thay đổi giá từ nhà cung cấp đến endpoint của bạn ngay trong cùng ngày.

Nửa dày đặc của phép so sánh đó cũng chính là lối thoát trên phần cứng, và đó là lựa chọn mà hầu hết độc giả của trang này cuối cùng đều chọn. Qwen3.8-27B có khoảng 55,6 GB trọng số BF16, 27B được lưu trữ và 27B hoạt động, Apache 2.0 — vì vậy đây là thành viên duy nhất của thế hệ này mà bạn có thể tính được độ vừa vặn chỉ với một chiếc máy tính. Các thành viên thưa (sparse) rẻ hơn trên mỗi token phục vụ nhưng nặng hơn khi sở hữu: khoảng 4,9 TB trọng số cho lõi Max, khoảng 360 GB cho Flash-Next, cả hai đều cần hạ tầng mà bạn phải tự dựng chứ không phải đi thuê. Trang Qwen3.8-27B nắm phần độ vừa vặn, các định dạng và các câu hỏi về giấy phép; trang này chỉ dừng ở phần kiến trúc.

Vậy câu trả lời về kiến trúc có thay đổi thứ bạn nên chạy không? Ít hơn so với điều mà tìm kiếm đã dẫn bạn đến đây hàm ý. Nếu bạn đang gọi một mô hình, khoản tiết kiệm từ các thành viên sparse đã được tính vào mức chúng tôi thu, và lựa chọn là giữa chi phí và chất lượng, không phải về kiến trúc. Nếu bạn đang tải một mô hình về, câu trả lời là không có mô hình Qwen 3.8 nào với 512 expert vừa với một máy trạm — mô hình vừa được là bản dense 27B, và đó chính là quyết định mà ký hiệu -A đã âm thầm đưa ra thay cho bạn suốt thời gian qua.

Nửa dense của phép so sánh đó cũng là lối thoát về phần cứng, và đó là lựa chọn mà hầu hết độc giả của trang này cuối cùng sẽ chọn. Qwen3.8-27B có khoảng 55,6 GB trọng số BF16, 27B lưu trữ và 27B hoạt động, Apache 2.0 — nên đây là thành viên duy nhất của thế hệ này mà bạn có thể tính được độ vừa vặn chỉ bằng một chiếc máy tính.