Qwen 3.8 MoE : quels sont les modules Mixture-of-Experts, et ce que cela change pour vous

Oui — la génération 3.8 contient des modèles à mélange d'experts, et ceux qui répondent à la question sans détour sont Qwen3.8-2.4T-A95B, le cœur Max de 2,4 billions de paramètres publié par A​libaba en poids ouverts en août 2026, et Qwen3.8-Flash-Next, l'aperçu sparse de 125 milliards de paramètres de l'architecture Qwen4. Les deux membres qu'un lecteur peut réellement appeler — Qwen3.8-Max et Qwen3.8-Flash — sont les versions servies par le fournisseur lui-même, dérivées de ces deux architectures, donc elles sont sparse par ascendance même si leurs configurations internes ne sont pas publiées. La seule exception est le membre que la plupart des gens ont déjà en main en arrivant ici : Qwen3.8-27B est dense, et rien dans son nom ne l'indique. Voilà toute la réponse, et le reste de cette page présente les chiffres qui la sous-tendent, chacun provenant de la fiche modèle d'A​libaba elle-même plutôt que d'un fil de discussion.

Les dates de cet article servent à dater les modèles, non à les annoncer. Ce à quoi cette page répond, c'est à la question que les lecteurs tapent en ce moment : du 2026-09-15 au 2026-10-12, notre propre propriété Search Console a enregistré 432 impressions et 35 clics sur la requête unique qwen 3.8 moe — soit un taux de clics de 8,1 %, le plus élevé de toutes les requêtes de son lot — plus trois lignes de longue traîne qui portent la famille à 440 impressions et 36 clics. Un lecteur qui tape cela ne cherche pas d'actualités. Il cherche à savoir si le modèle qu'il s'apprête à télécharger ou à appeler est de type sparse, car la réponse détermine ce qu'il peut exécuter. Rien sur ce site ne répondait à cette question, et c'est pourquoi cette page existe. Lorsqu'une question porte sur un membre précis plutôt que sur l'architecture, la page qui en a la charge est nommée au fil du texte.

Le nom vous le dit, si vous connaissez la notation

A​libaba ne met « MoE » dans le nom d'aucun modèle Qwen 3.8. Il indique le nombre de paramètres sous la forme total-Aactifs, soit 2.4T-A95B, qui se lit comme 2,4 billions de paramètres stockés et 95 milliards activés par token. La partie -A est l'indice qui trahit : un nom contenant un chiffre d'activation désigne un modèle à activation éparse, tandis qu'un nom avec un seul nombre rond de milliards désigne un modèle dense. Qwen3.8-27B ne comporte aucun chiffre d'activation, car chacun de ses paramètres est actif sur chaque token, et sa fiche le qualifie de « modèle dense compact, adapté au déploiement » dès la première phrase qui le décrit.

Cette lecture vaut pour toute la génération :

• Qwen3.8-2.4T-A95B — mélange d'experts, 512 experts, 2,4 T stockés / 95 B actifs, poids ouverts, licence personnalisée.

• Qwen3.8-Flash-Next — mélange d'experts, 512 experts, 125B stockés plus une table n-gram de 51B / 6B actifs, poids ouverts, licence communautaire.

• Qwen3.8-Max — la version servie ; la fiche d'Alibaba elle-même pour les poids indique que Max est « la version officielle basée sur Qwen3.8-2.4T-A95B », et sa page de modèle cloud le décrit comme un « modèle phare MoE à 2,4 billions de paramètres ». Clairsemé.

• Qwen3.8-Flash — le build servi dérivé de Flash-Next, avec un contexte de 1M de tokens par défaut. Sparse par lignée.

• Qwen3.8-27B — dense, 27B stockés et 27B actifs, Apache 2.0. Aucun expert nulle part dans sa configuration.

L'architecture, à partir des cartes elles-mêmes

Les deux membres sparse sont documentés sous la même forme sur Hugging Face, et les chiffres ci-dessous proviennent de Qwen/Qwen3.8-2.4T-A95B et Qwen/Qwen3.8-Flash-Next respectivement. Lorsqu'un chiffre ne figure pas sur une fiche, cette page le dit plutôt que d'en emprunter un à un forum.

Qwen3.8-2.4T-A95B — le cœur Max

Il s'agit d'un modèle de langage causal de 92 couches dont la structure en blocs est indiquée sur la fiche comme suit :23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). En termes simples : trois blocs d'attention linéaire entre chaque bloc d'attention complète, et une couche feed-forward de mélange d'experts après les deux. La couche d'experts est spécifiée comme suit : 512 experts, 10 routés plus 1 partagé activé par token, avec une dimension intermédiaire d'expert de 2048. Les paramètres stockés sont de 2,4 T et les paramètres activés sont de 95 B. Le schéma d'attention est hybride : Gated DeltaNet avec 128 têtes linéaires pour V et 16 pour QK à une dimension de tête de 128, associé à Gated Attention avec 64 têtes de requête et 4 têtes KV à une dimension de tête de 256, avec une dimension rotative de 64. Le contexte natif est de 262 144 tokens, extensible à 1 010 000. La fiche indique également une prédiction multi-token entraînée avec plusieurs étapes, et le fichier de configuration confirme directement les champs creux : num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Deux points sur lesquels la fiche est explicite et que le lecteur ne doit pas négliger. Elle est texte uniquement — pas de tour de vision — et l'astuce de la fiche elle-même indique que le Max hébergé ajoute une entrée visuelle, la prise en charge du mode non-thinking, un contexte de 1M par défaut et des outils intégrés par-dessus ces poids, de sorte que l'artefact téléchargeable est plus restreint que l'API avec laquelle il partage un cœur. Et il est distribué sous un accord personnalisé, qwen3.8-max, et non sous Apache 2.0 ni sous la licence communautaire ; cette page ne rediscute pas ces conditions, et elles sont traitées sur la page des poids eux-mêmes.

Qwen3.8-Flash-Next — l'architecture sparse plus petite

C'est le membre où le ratio de parcimonie est le plus extrême et le plus facilement mal interprété. Sa fiche indique 48 couches organisées ainsi : 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), les mêmes 512 experts avec 10 routés plus 1 partagé, et une dimension intermédiaire d'expert de 640 — un tiers de celle du cœur Max. Les paramètres sont énoncés de manière inhabituelle : « 125B avec 6B activés, plus 51B d'embedding n-gram et 4B de MTP ». Ces trois composantes expliquent pourquoi son dépôt affiche 180B dans la barre latérale alors que le corps MoE fait 125B, et pourquoi un lecteur qui compare « 125B vs 2,4T » compare les mauvais chiffres. L'attention est Gated DeltaNet associée à Qwen Sparse Attention, qui, d'après la fiche, opère au niveau des micro-blocs plutôt qu'en sélectionnant des tokens individuels. Le contexte est de 262 144 en natif, extensible à 1 000 000. Licence : Qwen Community License 1.0. Son fichier de configuration enregistre également num_experts: 512, num_experts_per_tok: 10 et 48 couches.

Ce qu’Alibaba n’a pas publié

Pour le Qwen3.8-Max servi, il n'existe aucun nombre d'experts, aucun nombre de couches, aucun chiffre de paramètres activés ni aucune spécification de routage par token dans les documents du fournisseur que cette page a pu trouver. Le fournisseur le présente comme un modèle phare MoE de 2,4 billions de paramètres et indique qu'il est construit sur Qwen3.8-2.4T-A95B ; c'est là la limite du détail publié, et il est raisonnable d'inférer de ces deux affirmations que l'architecture correspond, mais ce n'est pas un fait documenté. Le même manque s'applique par nature au Qwen3.8-Flash servi, dont la dérivation à partir de Flash-Next est énoncée mais dont la configuration interne n'est pas publiée du tout. Toute page qui vous donne un nombre d'experts pour le Max hébergé comble une lacune que le fournisseur a laissée ouverte.

Ce que le chiffre des paramètres actifs change à son exécution

C'est pourquoi la question est même posée, et la réponse va dans deux directions à la fois.

La taille du téléchargement suit le total, pas le nombre de paramètres actifs. Qwen3.8-2.4T-A95B représente environ 4,9 To répartis sur 213 shards dans son dépôt BF16, et environ 2,5 To dans son homologue FP8 — dans un cas comme dans l'autre, un artefact à l'échelle d'une baie, pas d'une station de travail. Qwen3.8-Flash-Next fait environ 360 Go en BF16 répartis sur 131 shards, et environ 180 Go d'après le décompte de sa propre barre latérale une fois les composants additionnés. Sur le disque, rien dans la conception sparse ne rend l'un ou l'autre petit ; tous les poids d'experts existent et doivent tous être stockés.

Le calcul et la bande passante mémoire suivent le nombre de paramètres actifs. Comme seuls 95 Md des 2,4 T de paramètres du Max core, et seulement 6 Md des paramètres stockés de Flash-Next, participent à un token donné, le coût par token de ces modèles est plus proche de celui d'un modèle dense bien plus petit que ne le laissent penser leurs tailles de fichier. Cet écart est la raison même pour laquelle un modèle de 2,4 billions de paramètres peut être servi tout court, et c'est pourquoi le même ratio total/actif, qui ressemble à une note de bas de page sur la fiche, est le nombre le plus pertinent sur le plan opérationnel qu'elle contient. Cette page ne placera pas de chiffre de tokens par seconde à côté, car aucun débit que nous pourrions annoncer ne tiendrait à travers deux quantifications différentes et une pile de service inconnue — le ratio est le fait transférable, le débit ne l'est pas.

Flash-Next ajoute une deuxième subtilité qui a sa place ici plutôt que dans une note de bas de page. Sa table d'embeddings n-grammes de 51B est une structure de consultation, et la formulation de la fiche elle-même indique que les embeddings sont « plus propices à l'offloading que les Mixture-of-Experts ». C'est ce qui rend un checkpoint de cette taille exécutable avec la table d'embeddings résidente dans la mémoire hôte plutôt qu'épinglée dans la mémoire de l'accélérateur — un choix de conception, et non une affirmation sur votre machine. La conséquence pratique est que Flash-Next est plus facile à loger en ajoutant de la RAM système qu'en ajoutant de la VRAM, ce qui est l'inverse du comportement d'un modèle dense de taille stockée équivalente.

Là où se trouve le frère dense

Qwen3.8-27B est le contre-exemple par rapport auquel le reste de la génération est mesuré : 64 couches, une dimension intermédiaire feed-forward de 17 408 de large au lieu d'une banque d'experts, 27B stockés et 27B actifs, Apache 2.0, et environ 55,6 Go de poids BF16 qui tiennent sur du matériel qu'une personne possède. Là où les membres sparse échangent du stockage contre une faible empreinte de calcul par token, le dense échange un coût par token contre de la prévisibilité — chaque paramètre est actif, donc la mémoire et la vitesse sont triviales à dimensionner. Le traitement complet de ce modèle, de ses formats et de son adéquation appartient à la Qwen3.8-27B page, qui en est propriétaire ; cette page n'a besoin que du contraste.

Qu'est-ce qui n'est pas réglé ?

Que les Qwen3.8-Max et Qwen3.8-Flash servis instancient réellement les mêmes nombres d’experts et le même routage que les cœurs téléchargeables n’est pas vérifié : le fournisseur énonce la dérivation et s’arrête là, donc considérez tout nombre d’experts spécifique pour les modèles d’API comme non confirmé. Et l’écosystème ouvert de quantification autour de Flash-Next a produit des builds allant d’environ 1 bit à la précision complète, sans aucune comparaison contrôlée à faible nombre de bits publiée sur du matériel identique — si vous choisissez une largeur de bits, c’est à vous de faire cette mesure.

Disponibilité

Les deux membres dont le nombre d'experts est documenté — Qwen3.8-2.4T-A95B et Qwen3.8-Flash-Next — sont des artefacts à télécharger et à héberger. Ni l'un ni l'autre ne figure dans notre liste de modèles aujourd'hui, et aucun identifiant ne leur ressemble, de sorte que cette page n'affirme aucune disponibilité à leur sujet, ni au sujet d'un modèle nommé « Qwen3.8-MoE » : ce nom décrit une architecture, et rien dans notre catalogue n'est vendu sous ce nom. Ce que nous servons, ce sont trois autres membres de la même génération, et un lecteur dont la question portait sur l'architecture peut s'adresser à n'importe lequel d'entre eux :

• qwen/qwen3.8-27b — le modèle dense, sous Apache-2.0, auto-hébergeable ; en entrée : texte, image et vidéo, contexte de 262 144 jetons, 0,33 $ par million de jetons d'entrée et 2,40 $ par million de jetons de sortie selon la liste publiée du fournisseur.

• qwen/qwen3.8-flash — la voie de production sparse dérivée de Flash-Next ; contexte de 1 M de tokens, 0,15 $ par million en entrée et 0,47 $ par million en sortie, avec une entrée mise en cache à environ 0,018 $.

• qwen/qwen3.8-max — le cœur Max derrière un point de terminaison ; contexte de 1 M de tokens, 2,00 $ par million de tokens en entrée et 6,00 $ par million de tokens en sortie.

Tous les trois se trouvent derrière un point de terminaison compatible OpenAI, donc exécuter la configuration dense face à celle clairsemée servie sur votre propre trafic coûte un changement d’identifiant de modèle plutôt qu’une intégration. Ces prix correspondent à la liste publiée du fournisseur, répercutée sans marge, c’est pourquoi une modification de prix du fournisseur atteint votre point de terminaison le jour même.

La moitié dense de cette comparaison est aussi la solution de repli côté matériel, et c'est celle que finissent par choisir la plupart des lecteurs de cette page. Qwen3.8-27B représente environ 55,6 Go de poids BF16, 27B stockés et 27B actifs, Apache 2.0 — c'est donc le seul membre de cette génération dont on peut évaluer la compatibilité avec une simple calculatrice. Les membres creux sont moins chers par token servi et plus lourds à posséder : environ 4,9 To de poids pour le cœur Max, environ 360 Go pour Flash-Next, les deux nécessitant une infrastructure que l'on provisionne plutôt que l'on loue. La page Qwen3.8-27B traite de la compatibilité, des formats et des questions de licence ; cette page s'arrête à l'architecture.

Alors, la réponse liée à l’architecture change-t-elle ce que vous devriez exécuter ? Moins que ne le laisse entendre la recherche qui vous a conduit ici. Si vous appelez un modèle, l’économie des membres sparse est déjà intégrée dans ce que nous facturons, et le choix est un arbitrage coût-qualité, pas un choix d’architecture. Si vous en téléchargez un, la réponse est qu’aucun modèle Qwen 3.8 avec 512 experts ne tient sur une station de travail — celui qui y parvient est le 27B dense, et c’est la décision que la notation -A prenait discrètement pour vous depuis le début.

La moitié dense de cette comparaison est aussi la porte de sortie côté matériel, et c'est celle que la plupart des lecteurs de cette page finissent par emprunter. Qwen3.8-27Brepräsente environ 55,6 Go de poids BF16, 27B stockés et 27B actifs, Apache 2.0 — c'est donc le seul membre de cette génération dont on peut évaluer l'adéquation avec une seule calculatrice.