Qwen 3.8 MoE: Anggota mana yang merupakan Mixture-of-Experts, dan apa perubahannya bagi Anda

Ya — generasi 3.8 memuat model mixture-of-experts, dan yang menjawab pertanyaan polos itu adalah Qwen3.8-2.4T-A95B, inti Max berparameter 2,4 triliun yang diterbitkan Alibaba sebagai bobot terbuka pada Agustus 2026, dan Qwen3.8-Flash-Next, pratinjau sparse berparameter 125 miliar dari arsitektur Qwen4. Dua anggota yang benar-benar bisa dihubungi pembaca — Qwen3.8-Max dan Qwen3.8-Flash — adalah build yang dilayani vendor sendiri yang diturunkan dari kedua arsitektur tersebut, sehingga keduanya sparse secara keturunan meskipun konfigurasi internalnya tidak dipublikasikan. Satu-satunya pengecualian adalah anggota yang sudah dipegang sebagian besar orang saat tiba di sini: Qwen3.8-27B bersifat dense, dan tidak ada apa pun dalam namanya yang menyatakannya. Itulah jawaban lengkapnya, dan sisa halaman ini adalah angka-angka di baliknya, masing-masing diambil dari kartu model Alibaba sendiri alih-alih dari utas diskusi.

Tanggal-tanggal dalam artikel ini digunakan untuk memberi tanggal pada model, bukan untuk mengumumkannya. Yang dijawab halaman ini adalah pertanyaan yang sedang diketik pembaca saat ini: pada 2026-09-15 hingga 2026-10-12 properti Search Console kami sendiri mencatat 432 tayangan dan 35 klik pada satu kueri qwen 3.8 moe — tingkat klik 8,1%, tertinggi pada kueri mana pun dalam batch-nya — ditambah tiga baris long-tail yang membawa keluarga ini ke 440 tayangan dan 36 klik. Pembaca yang mengetik itu tidak sedang mencari berita. Mereka berusaha mencari tahu apakah model yang akan mereka unduh atau panggil itu sparse, karena jawabannya menentukan apa yang bisa mereka jalankan. Tidak ada apa pun di situs ini yang menjawabnya, itulah sebabnya halaman ini ada. Jika pertanyaan menyangkut anggota tertentu alih-alih arsitekturnya, halaman yang memilikinya akan disebutkan seiring pembahasan.

Namanya memberi tahu Anda, jika Anda tahu notasinya.

A​libaba tidak mencantumkan "MoE" dalam nama model Qwen 3.8 mana pun. Alibaba menuliskan jumlah parameternya sebagai total-Aaktif, sehingga 2.4T-A95B dibaca sebagai 2,4 triliun parameter yang disimpan dan 95 miliar yang diaktifkan per token. Bagian -A itulah petunjuknya: nama yang memuat angka aktivasi berarti model sparse, sedangkan nama dengan satu angka bulat dalam satuan miliar berarti model dense. Qwen3.8-27B tidak memuat angka aktivasi karena setiap parameternya aktif pada setiap token, dan kartunya menyebutnya "model dense yang ringkas dan ramah penerapan" pada kalimat pertama yang mendeskripsikannya.

Pembacaan itu tetap berlaku sepanjang generasi:

• Qwen3.8-2.4T-A95B — campuran pakar, 512 pakar, 2.4T tersimpan / 95B aktif, bobot terbuka, lisensi khusus.

• Qwen3.8-Flash-Next — campuran pakar, 512 pakar, 125B tersimpan ditambah tabel n-gram 51B / 6B aktif, bobot terbuka, lisensi komunitas.

• Qwen3.8-Max — build yang disajikan; kartu milik Alibaba sendiri untuk bobotnya menyatakan bahwa Max adalah "versi resmi yang didasarkan pada Qwen3.8-2.4T-A95B", dan halaman model cloud-nya menggambarkannya sebagai "flagship MoE dengan 2,4 triliun parameter". Sparse.

• Qwen3.8-Flash — build yang dilayani yang diturunkan dari Flash-Next, dengan konteks 1M token secara default. Sparse secara keturunan.

• Qwen3.8-27B — dense, 27B tersimpan dan 27B aktif, Apache 2.0. Tidak ada expert di mana pun dalam konfigurasinya.

Arsitektur, dari kartu-kartunya sendiri

Kedua anggota sparse didokumentasikan dalam bentuk yang sama di Hugging Face, dan angka-angka di bawah ini dikutip dari Qwen/Qwen3.8-2.4T-A95B dan Qwen/Qwen3.8-Flash-Next secara berturut-turut. Jika suatu angka tidak ada di kartu, halaman ini menyatakannya alih-alih meminjamnya dari forum.

Qwen3.8-2.4T-A95B — inti Max

Ini adalah model bahasa kausal dengan 92 lapisan yang struktur bloknya tertulis pada kartu sebagai 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). Secara sederhana: tiga blok attention linear di antara setiap blok attention penuh, dan lapisan feed-forward mixture-of-experts setelah keduanya. Lapisan expert ditetapkan sebagai 512 expert, 10 yang dirutekan plus 1 shared yang diaktifkan per token, dengan dimensi intermediate expert sebesar 2048. Parameter tersimpan adalah 2,4T dan parameter yang diaktifkan adalah 95B. Skema attention bersifat hibrida: Gated DeltaNet dengan 128 kepala linear untuk V dan 16 untuk QK pada dimensi kepala 128, dipasangkan dengan Gated Attention pada 64 kepala query dan 4 kepala KV pada dimensi kepala 256, dengan dimensi rotary 64. Konteks secara native adalah 262.144 token, dapat diperluas hingga 1.010.000. Kartu tersebut juga mencatat prediksi multi-token yang dilatih dengan beberapa langkah, dan file konfigurasi mengonfirmasi field sparse secara langsung: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Ada dua hal yang dinyatakan secara eksplisit dalam kartu ini dan tidak boleh diabaikan oleh pembaca. Ini hanya teks — tanpa vision tower — dan tip dari kartu itu sendiri menyatakan bahwa Max yang dihosting menambahkan input visi, dukungan non-thinking, konteks 1M secara default, dan alat bawaan di atas bobot ini, sehingga artefak yang dapat diunduh lebih sempit daripada API yang berbagi inti dengannya. Dan ini dirilis di bawah perjanjian khusus, qwen3.8-max, bukan Apache 2.0 dan bukan lisensi komunitas; halaman ini tidak memperdebatkan ulang ketentuan tersebut, dan ketentuan itu dibahas di halaman untuk bobot itu sendiri.

Qwen3.8-Flash-Next — arsitektur sparse yang lebih kecil

Ini adalah anggota dengan rasio sparse paling ekstrem dan paling mudah salah dibaca. Kartunya mencantumkan 48 lapisan yang disusun sebagai 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), 512 pakar yang sama dengan 10 dirutekan plus 1 dibagikan, dan dimensi intermediate pakar sebesar 640 — sepertiga dari inti Max. Parameter dinyatakan secara tidak biasa: "125B dengan 6B diaktifkan, plus embedding n-gram 51B dan MTP 4B". Ketiga komponen itulah alasan repositorinya mencantumkan 180B di sidebar sementara badan MoE-nya 125B, dan mengapa pembaca yang membandingkan "125B vs 2.4T" membandingkan angka yang salah. Attention-nya adalah Gated DeltaNet yang dipasangkan dengan Qwen Sparse Attention, yang menurut kartunya beroperasi pada level blok mikro, bukan memilih token individual. Konteksnya 262.144 secara native, dapat diperluas hingga 1.000.000. Lisensi: Qwen Community License 1.0. File konfigurasinya juga mencatat num_experts: 512, num_experts_per_tok: 10 dan 48 lapisan.

Apa yang belum dipublikasikan oleh Alibaba

Untuk model yang disajikan, Qwen3.8-Max tidak ada jumlah expert, tidak ada jumlah layer, tidak ada angka parameter yang diaktifkan, dan tidak ada spesifikasi routing per token dalam materi vendor mana pun yang dapat ditemukan halaman ini. Vendor mendeskripsikannya sebagai MoE unggulan berparameter 2,4 triliun dan menyatakan bahwa model ini dibangun di atas Qwen3.8-2.4T-A95B; itulah batas rincian yang dipublikasikan, dan merupakan inferensi yang wajar dari kedua pernyataan tersebut bahwa arsitekturnya cocok, bukan fakta yang terdokumentasi. Celah yang sama secara jenis juga berlaku bagi Qwen3.8-Flash yang disajikan, yang penurunannya dari Flash-Next disebutkan tetapi konfigurasi internalnya sama sekali tidak dipublikasikan. Halaman mana pun yang memberi Anda jumlah expert untuk Max yang dihosting sedang mengisi celah yang dibiarkan terbuka oleh vendor.

Apa yang diubah oleh angka parameter aktif dalam hal menjalankannya

Inilah sebabnya pertanyaan itu diajukan, dan jawabannya bergerak ke dua arah sekaligus.

Ukuran unduhan mengikuti totalnya, bukan jumlah aktifnya. Qwen3.8-2.4T-A95B berukuran sekitar 4,9 TB di 213 shard dalam repositori BF16-nya dan sekitar 2,5 TB pada versi FP8 — apa pun itu, ini artefak berskala rak, bukan workstation. Qwen3.8-Flash-Next sekitar 360 GB dalam BF16 di 131 shard, dan sekitar 180 GB menurut hitungan sidebar-nya sendiri setelah komponen-komponennya dijumlahkan. Di disk, tidak ada apa pun pada desain sparse yang membuat salah satunya menjadi kecil; semua bobot expert ada dan semuanya harus disimpan.

Bandwidth komputasi dan memori mengikuti jumlah aktif. Karena hanya 95B dari 2,4T parameter pada inti Max, dan hanya 6B dari parameter tersimpan Flash-Next, yang berpartisipasi dalam satu token mana pun, biaya per token model-model ini lebih mendekati biaya model dense yang jauh lebih kecil daripada yang disiratkan oleh ukuran filenya. Kesenjangan itulah alasan utama mengapa model dengan 2,4 triliun parameter dapat dilayani sama sekali, dan itulah sebabnya rasio total-terhadap-aktif yang sama, yang tampak seperti catatan kaki pada kartu model, justru merupakan angka yang paling relevan secara operasional di sana. Halaman ini tidak akan mencantumkan angka token per detik di sampingnya, karena tidak ada laju yang dapat kami nyatakan akan berlaku di dua kuantisasi yang berbeda dan stack penyajian yang tidak diketahui — rasionya adalah fakta yang dapat ditransfer, sedangkan throughput-nya bukan.

Flash-Next menambahkan kerumitan kedua yang lebih tepat dibahas di sini daripada di catatan kaki. Tabel embedding n-gram 51B-nya adalah struktur lookup, dan kerangka pemaparan kartu itu sendiri adalah bahwa embedding "lebih mudah di-offload daripada Mixture-of-Experts". Itulah yang membuat checkpoint sebesar ini dapat dijalankan dengan tabel embedding berada di memori host alih-alih dipin di memori akselerator — sebuah pilihan desain, bukan klaim tentang mesin Anda. Konsekuensi praktisnya adalah Flash-Next lebih mudah dipaskan dengan menambah RAM sistem daripada dengan menambah VRAM, yang merupakan kebalikan dari perilaku model dense dengan ukuran tersimpan yang setara.

Di mana saudara kandung yang padat duduk

Qwen3.8-27B adalah contoh tandingan yang menjadi tolok ukur bagi anggota generasi lainnya: 64 lapisan, dimensi perantara feed-forward selebar 17.408 alih-alih kumpulan pakar, 27B tersimpan dan 27B aktif, Apache 2.0, serta sekitar 55,6 GB bobot BF16 yang muat pada perangkat keras milik pribadi. Jika anggota sparse menukar ruang penyimpanan dengan jejak komputasi per token yang kecil, versi dense menukar biaya per token dengan prediktabilitas — semua parameter aktif, sehingga memori dan kecepatan sangat mudah diukur. Pembahasan lengkap model tersebut, formatnya, dan kecocokannya ada di halaman Qwen3.8-27B, yang memilikinya; halaman ini hanya perlu kontrasnya.

Apa yang belum terselesaikan

Apakah Qwen3.8-Max dan Qwen3.8-Flash yang dilayani benar-benar menginstansiasi jumlah pakar dan perutean yang sama seperti inti yang dapat diunduh masih belum terverifikasi: vendor menyatakan derivasinya dan berhenti di situ, jadi anggap setiap jumlah pakar spesifik untuk model API sebagai belum dikonfirmasi. Dan ekosistem kuantisasi terbuka di sekitar Flash-Next telah menghasilkan build dari sekitar 1-bit hingga presisi penuh, tanpa perbandingan bit-rendah terkontrol yang dipublikasikan pada perangkat keras yang setara — jika Anda memilih lebar bit, keputusan itu ada di tangan Anda untuk diukur.

Ketersediaan

Dua anggota yang jumlah pakarnya terdokumentasi — Qwen3.8-2.4T-A95B dan Qwen3.8-Flash-Next — adalah artefak yang diunduh dan dihosting. Tidak satu pun dari keduanya ada dalam daftar model kami saat ini, dan tidak ada id yang mirip dengan keduanya, sehingga halaman ini tidak membuat klaim ketersediaan tentang keduanya atau tentang model apa pun yang bernama "Qwen3.8-MoE": nama itu menggambarkan sebuah arsitektur, dan tidak ada apa pun dalam katalog kami yang dijual dengan nama itu. Yang kami layani adalah tiga anggota lain dari generasi yang sama, dan pembaca yang pertanyaannya bersifat arsitektural dapat memanggil salah satu dari mereka:

• qwen/qwen3.8-27b — yang padat, Apache-2.0, dapat dihosting sendiri; masukan berupa teks, gambar, dan video, konteks 262.144 token, $0.33 per juta token masukan dan $2.40 per juta token keluaran pada daftar terbitan penyedianya.

• qwen/qwen3.8-flash — jalur produksi sparse yang diturunkan dari Flash-Next; konteks 1 juta token, $0,15 per juta token input dan $0,47 per juta token output, dengan input yang di-cache sekitar $0,018.

• qwen/qwen3.8-max — inti Max di balik sebuah endpoint; konteks 1 juta token, $2,00 per juta token input dan $6,00 per juta token output.

Ketiganya berada di balik satu endpoint yang kompatibel dengan OpenAI, sehingga menjalankan varian dense terhadap varian sparse yang disajikan pada traffic Anda sendiri hanya memerlukan penggantian model-id, bukan sebuah integrasi. Harga-harga tersebut adalah daftar harga terbitan penyedia yang diteruskan tanpa markup, itulah sebabnya perubahan harga dari vendor sampai ke endpoint Anda pada hari yang sama.

Separuh padat dari perbandingan itu juga merupakan jalan keluar pada perangkat keras, dan itulah yang akhirnya diambil oleh sebagian besar pembaca halaman ini. Qwen3.8-27B sekitar 55,6 GB bobot BF16, 27B tersimpan dan 27B aktif, Apache 2.0 — jadi ini satu-satunya anggota generasi ini yang kecocokannya dapat Anda ukur dengan satu kalkulator. Anggota sparse lebih murah per token yang dilayani dan lebih berat untuk dimiliki: sekitar 4,9 TB bobot untuk Max core, sekitar 360 GB untuk Flash-Next, keduanya membutuhkan infrastruktur yang Anda sediakan sendiri, bukan menyewa. Halaman Qwen3.8-27B ini membahas kecocokan, format, dan pertanyaan lisensi; halaman ini berhenti pada arsitektur.

Jadi, apakah jawaban arsitektur mengubah apa yang harus Anda jalankan? Tidak sebanyak yang disiratkan oleh pencarian yang membawa Anda ke sini. Jika Anda memanggil sebuah model, penghematan dari anggota sparse sudah diperhitungkan ke dalam biaya yang kami kenakan, dan pilihannya adalah soal biaya dan kualitas, bukan soal arsitektur. Jika Anda mengunduh model, jawabannya adalah tidak ada model Qwen 3.8 dengan 512 expert yang muat di workstation — yang muat adalah 27B dense, dan itulah keputusan yang selama ini diam-diam dibuatkan oleh notasi -A untuk Anda.

Sisi dense dari perbandingan itu juga menjadi jalan keluar soal perangkat keras, dan itulah yang akhirnya diambil oleh sebagian besar pembaca halaman ini. Qwen3.8-27B berukuran sekitar 55,6 GB bobot BF16, 27B tersimpan dan 27B aktif, Apache 2.0 — jadi ini satu-satunya anggota generasi ini yang kecocokannya bisa Anda hitung dengan satu kalkulator.