Qwen 3.8 MoE: Welche Mitglieder sind Mixture-of-Experts, und was es für Sie ändert

Ja – die 3.8-Generation enthält Mixture-of-Experts-Modelle, und diejenigen, die auf die bloße Frage antworten, sind Qwen3.8-2.4T-A95B, der Max-Kern mit 2,4 Billionen Parametern, den A​libaba im August 2026 als Open Weights veröffentlichte, und Qwen3.8-Flash-Next, die Sparse-Vorschau der Qwen4-Architektur mit 125 Milliarden Parametern. Die beiden Mitglieder, die ein Leser tatsächlich aufrufen kann – Qwen3.8-Max und Qwen3.8-Flash – sind die vom Anbieter selbst bereitgestellten Builds, die von diesen beiden Architekturen abgeleitet sind, sodass sie ihrer Abstammung nach sparse sind, obwohl ihre internen Konfigurationen nicht veröffentlicht sind. Die einzige Ausnahme ist das Mitglied, das die meisten Leute bereits in Händen halten, wenn sie hier ankommen: Qwen3.8-27B ist dense, und nichts in seinem Namen verrät das. Das ist die ganze Antwort, und der Rest dieser Seite sind die Zahlen dahinter, jede einzelne stammt aus A​libabas eigener Modellkarte und nicht aus einem Diskussionsthread.

Die Datumsangaben in diesem Artikel dienen der Datierung der Modelle, nicht ihrer Ankündigung. Was diese Seite beantwortet, ist die Frage, die Leser jetzt eintippen: vom 2026-09-15 bis zum 2026-10-12 verzeichnete unsere eigene Search-Console-Property 432 Impressionen und 35 Klicks auf die einzelne Query qwen 3.8 moe — eine Klickrate von 8,1 %, der höchste Wert aller Queries in ihrem Batch — plus drei Long-Tail-Zeilen, die die Familie auf 440 Impressionen und 36 Klicks bringen. Wer das eintippt, sucht keine Nachrichten. Sie versuchen herauszufinden, ob das Modell, das sie gleich herunterladen oder aufrufen wollen, sparse ist, denn die Antwort entscheidet darüber, was sie ausführen können. Nichts auf dieser Website beantwortete das, weshalb diese Seite existiert. Wo eine Frage ein bestimmtes Mitglied statt der Architektur betrifft, wird die Seite, die dafür zuständig ist, im weiteren Verlauf genannt.

Der Name verrät es, wenn man die Notation kennt.

A​libaba schreibt „MoE“ in keinen Modellnamen von Qwen 3.8. Es schreibt die Parameteranzahl als Gesamt-Aaktiv, also liest sich 2.4T-A95B als 2,4 Billionen gespeicherte Parameter und 95 Milliarden pro Token aktiviert. Die -A-Hälfte verrät es: Ein Name mit einer Aktivierungszahl darin ist ein Sparse-Modell, und ein Name mit einer einzelnen runden Zahl in Milliarden ist ein dichtes. Qwen3.8-27B trägt keine Aktivierungszahl, weil jeder seiner Parameter bei jedem Token aktiv ist, und die Modellkarte nennt es „ein kompaktes, bereitstellungsfreundliches dichtes Modell“ im ersten Satz, der es beschreibt.

Diese Lesart gilt über die Generation hinweg:

• Qwen3.8-2.4T-A95B — Mixture-of-Experts, 512 Experten, 2,4 Bio. gespeichert / 95 Mrd. aktiv, offene Gewichte, eigene Lizenz.

• Qwen3.8-Flash-Next — Mixture-of-Experts, 512 Experten, 125B gespeichert plus eine 51B-N-Gramm-Tabelle / 6B aktiv, offene Gewichte, Community-Lizenz.

• Qwen3.8-Max — der bereitgestellte Build; Alibabas eigene Karte für die Gewichte besagt, Max sei „die offizielle Version basierend auf Qwen3.8-2.4T-A95B", und die Cloud-Modellseite beschreibt es als „2,4-Billionen-Parameter-MoE-Flaggschiff". Sparse.

• Qwen3.8-Flash — der ausgelieferte Build, abgeleitet von Flash-Next, der standardmäßig einen 1M-Token-Kontext mitbringt. Sparse von Geblüt.

• Qwen3.8-27B — dicht, 27B gespeichert und 27B aktiv, Apache 2.0. Keine Experten irgendwo in seiner Konfiguration.

Die Architektur, von den Karten selbst

Beide Sparse-Mitglieder sind auf Hugging Face in derselben Form dokumentiert, und die untenstehenden Zahlen sind zitiert aus Qwen/Qwen3.8-2.4T-A95B bzw. Qwen/Qwen3.8-Flash-Next Wo eine Zahl nicht auf einer Karte steht, sagt diese Seite das, anstatt eine aus einem Forum zu übernehmen.

Qwen3.8-2.4T-A95B — der Max-Kern

Es ist ein kausales Sprachmodell mit 92 Schichten, dessen Blockstruktur auf der Modellkarte wie folgt angegeben ist: 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). In einfachen Worten: drei Linear-Attention-Blöcke zwischen jedem Full-Attention-Block und nach beiden eine Mixture-of-Experts-Feed-Forward-Schicht. Die Experten-Schicht ist angegeben als 512 Experten, 10 geroutete plus 1 gemeinsam genutzter pro Token aktiviert, mit einer intermediären Expertendimension von 2048. Die gespeicherten Parameter betragen 2,4T und die aktivierten Parameter 95B. Das Attention-Schema ist hybrid: Gated DeltaNet mit 128 linearen Heads für V und 16 für QK bei Head-Dimension 128, gepaart mit Gated Attention mit 64 Query-Heads und 4 KV-Heads bei Head-Dimension 256, mit einer Rotary-Dimension von 64. Der Kontext umfasst nativ 262.144 Token, erweiterbar auf 1.010.000. Die Modellkarte erwähnt außerdem Multi-Token-Vorhersage, trainiert mit mehreren Schritten, und die Konfigurationsdatei bestätigt die Sparse-Felder direkt: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Zwei Dinge, zu denen sich die Karte ausdrücklich äußert und die ein Leser nicht übergehen sollte. Es ist nur Text – kein Vision-Tower – und der eigene Hinweis der Karte besagt, dass das gehostete Max zusätzlich zu diesen Gewichten Bildeingabe, Unterstützung für den Nicht-Denkmodus, standardmäßig 1M Kontext und integrierte Tools bietet, sodass das herunterladbare Artefakt enger gefasst ist als die API, mit der es einen Kern teilt. Und es wird unter einer eigenen Vereinbarung, qwen3.8-max, veröffentlicht, nicht unter Apache 2.0 und nicht unter der Community-Lizenz; diese Seite erörtert diese Bedingungen nicht erneut, und sie werden auf der Seite für die Gewichte selbst behandelt.

Qwen3.8-Flash-Next — die kleinere Sparse-Architektur

Dies ist das Mitglied, bei dem das Sparse-Verhältnis am extremsten und am leichtesten falsch zu lesen ist. Seine Karte gibt 48 Schichten an, angeordnet als 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), dieselben 512 Experten mit 10 gerouteten plus 1 geteilten und einer intermediären Experten-Dimension von 640 — ein Drittel der des Max-Kerns. Die Parameter werden ungewöhnlich angegeben: „125B mit 6B aktiviert, plus 51B N-Gramm-Embedding und 4B MTP“. Diese drei Komponenten sind der Grund, warum sein Repository in der Seitenleiste 180B auflistet, während der MoE-Körper 125B umfasst, und warum ein Leser, der „125B vs. 2,4T“ vergleicht, die falschen Zahlen vergleicht. Die Attention ist Gated DeltaNet, gepaart mit Qwen Sparse Attention, von der die Karte sagt, dass sie auf Mikroblock-Ebene arbeitet, statt einzelne Token auszuwählen. Der Kontext beträgt nativ 262.144 und ist auf 1.000.000 erweiterbar. Lizenz: Qwen Community License 1.0. Seine Konfigurationsdatei verzeichnet außerdem num_experts: 512, num_experts_per_tok: 10 und 48 Schichten.

Was Alibaba nicht veröffentlicht hat

Für das bereitgestellte Qwen3.8-Max gibt es in jeglichem Anbietermaterial, das diese Seite finden konnte, keine Expertenanzahl, keine Layer-Anzahl, keine Angabe zu aktivierten Parametern und keine Routing-Spezifikation pro Token. Der Anbieter beschreibt es als ein MoE-Flaggschiff mit 2,4 Billionen Parametern und gibt an, dass es auf Qwen3.8-2.4T-A95B aufbaut; das ist die Grenze der veröffentlichten Details, und es ist eine vernünftige Schlussfolgerung aus diesen beiden Aussagen, dass die Architektur übereinstimmt, und keine dokumentierte Tatsache. Dieselbe Lücke gilt in gleicher Weise für das bereitgestellte Qwen3.8-Flash, dessen Ableitung von Flash-Next angegeben wird, dessen interne Konfiguration jedoch überhaupt nicht veröffentlicht ist. Jede Seite, die Ihnen eine Expertenanzahl für das gehostete Max nennt, füllt eine Lücke, die der Anbieter offen gelassen hat.

Was die Zahl der aktiven Parameter in Bezug auf die Ausführung ändert

Das ist der Grund, warum die Frage überhaupt gestellt wird, und die Antwort verläuft zugleich in zwei Richtungen.

Die Downloadgröße richtet sich nach der Gesamtzahl, nicht nach der aktiven Anzahl. Qwen3.8-2.4T-A95B umfasst in seinem BF16-Repository etwa 4,9 TB verteilt auf 213 Shards und im FP8-Pendant etwa 2,5 TB – so oder so ein Artefakt im Rack-Maßstab, nicht im Workstation-Maßstab. Qwen3.8-Flash-Next sind in BF16 etwa 360 GB verteilt auf 131 Shards und laut der eigenen Angabe in der Seitenleiste etwa 180 GB, wenn man die Komponenten zusammenzählt. Auf der Festplatte macht das Sparse-Design keines der beiden Modelle klein; die Expertengewichte existieren alle und müssen alle gespeichert werden.

Rechen- und Speicherbandbreite richten sich nach der Anzahl der aktiven Parameter.Da nur 95 Mrd. der 2,4 Billionen Parameter des Max-Kerns und nur 6 Mrd. der gespeicherten Parameter von Flash-Next an einem einzelnen Token beteiligt sind, liegen die Kosten pro Token dieser Modelle näher an denen eines deutlich kleineren dichten Modells, als ihre Dateigrößen vermuten lassen. Diese Lücke ist der eigentliche Grund, warum ein Modell mit 2,4 Billionen Parametern überhaupt bereitgestellt werden kann, und sie ist der Grund, warum dasselbe Verhältnis von Gesamt- zu aktiven Parametern, das auf dem Datenblatt wie eine Fußnote wirkt, die betrieblich relevanteste Zahl darauf ist. Diese Seite wird daneben keine Angabe zu Tokens pro Sekunde setzen, denn keine Rate, die wir nennen könnten, würde über zwei unterschiedliche Quantisierungen und einen unbekannten Serving-Stack hinweg Bestand haben – das Verhältnis ist die übertragbare Tatsache, der Durchsatz nicht.

Flash-Next fügt eine zweite Besonderheit hinzu, die hierher gehört und nicht in eine Fußnote. Seine 51B-n-Gramm-Embedding-Tabelle ist eine Nachschlagestruktur, und die eigene Darstellung der Karte besagt, dass Embeddings „besser für Offloading geeignet sind als Mixture-of-Experts“. Das ist es, was einen Checkpoint dieser Größe lauffähig macht, wenn die Embedding-Tabelle im Host-Speicher resident ist statt im Beschleuniger-Speicher angepinnt zu sein – eine Designentscheidung, keine Aussage über Ihre Maschine. Die praktische Konsequenz ist, dass Flash-Next leichter durch zusätzlichen System-RAM als durch zusätzlichen VRAM passend gemacht werden kann, was dem Gegenteil davon entspricht, wie sich ein dichtes Modell mit äquivalenter gespeicherter Größe verhält.

Wo das dichte Geschwister sitzt

Qwen3.8-27B ist das Gegenbeispiel, an dem der Rest der Generation gemessen wird: 64 Schichten, eine 17.408 breite Zwischendimension im Feed-Forward statt einer Experten-Bank, 27B gespeichert und 27B aktiv, Apache 2.0 und etwa 55,6 GB BF16-Gewichte, die auf Hardware passen, die jemand selbst besitzt. Während die sparsen Mitglieder Speicher gegen einen kleinen Rechen-Fußabdruck pro Token eintauschen, tauscht das dichte die Kosten pro Token gegen Vorhersagbarkeit ein — jeder Parameter ist aktiv, sodass Speicher und Geschwindigkeit mühelos zu dimensionieren sind. Die vollständige Behandlung dieses Modells, seiner Formate und seiner Eignung gehört zur Qwen3.8-27B-Seite, die dafür zuständig ist; diese Seite braucht nur den Kontrast.

Was ist nicht geklärt

Ob die bereitgestellten Qwen3.8-Max und Qwen3.8-Flash tatsächlich dieselben Expertenzahlen und dasselbe Routing instanziieren wie die herunterladbaren Cores, ist nicht verifiziert: Der Anbieter gibt die Herleitung an und belässt es dabei, daher sollten Sie jede konkrete Expertenzahl für die API-Modelle als unbestätigt betrachten. Und das offene Quantisierungs-Ökosystem rund um Flash-Next hat Builds von etwa 1 Bit bis zur vollen Präzision hervorgebracht, ohne dass ein kontrollierter Low-Bit-Vergleich auf identischer Hardware veröffentlicht wurde — wenn Sie eine Bitbreite wählen, müssen Sie diese Entscheidung selbst durch Messungen treffen.

Verfügbarkeit

Die beiden Mitglieder, deren Expertenanzahl dokumentiert ist — Qwen3.8-2.4T-A95B und Qwen3.8-Flash-Next — sind Download-and-Host-Artefakte. Keines von beiden steht heute in unserer Modellliste, und es gibt keine ID, die ihnen ähnelt, daher erhebt diese Seite keinen Verfügbarkeitsanspruch für sie oder für irgendein Modell namens „Qwen3.8-MoE“: Der Name beschreibt eine Architektur, und nichts in unserem Katalog wird unter diesem Namen verkauft. Was wir hingegen anbieten, sind drei andere Mitglieder derselben Generation, und ein Leser, dessen Frage architektonischer Natur war, kann jedes davon aufrufen:

• qwen/qwen3.8-27b — das dichte, Apache-2.0-lizenzierte, selbst hostbare Modell; Text, Bild und Video als Eingabe, 262.144-Token-Kontext, 0,33 $ pro Million Eingabe-Token und 2,40 $ pro Million Ausgabe-Token auf der veröffentlichten Preisliste des Anbieters.

• qwen/qwen3.8-flash — die von Flash-Next abgeleitete Sparse-Produktionsstrecke; 1-Mio.-Token-Kontext, 0,15 $ pro Million Eingabe-Token und 0,47 $ pro Million Ausgabe-Token, bei zwischengespeichertem Input etwa 0,018 $.

• qwen/qwen3.8-max — der Max-Kern hinter einem Endpoint; 1M-Token-Kontext, 2,00 $ pro Million Input und 6,00 $ pro Million Output.

Alle drei befinden sich hinter einem OpenAI-kompatiblen Endpoint, sodass das Ausführen der dichten Variante gegen die bereitgestellte sparse Variante mit Ihrem eigenen Traffic eine Änderung der Modell-ID statt einer Integration kostet. Diese Preise sind die veröffentlichte Preisliste des Anbieters, die ohne Aufschlag durchgereicht wird, weshalb eine Preisänderung des Anbieters Ihren Endpoint noch am selben Tag erreicht.

Die dichte Hälfte dieses Vergleichs ist zugleich die Notluke bei der Hardware, und sie ist diejenige, für die sich die meisten Leser dieser Seite letztlich entscheiden. Qwen3.8-27B umfasst etwa 55,6 GB an BF16-Gewichten, 27B gespeichert und 27B aktiv, Apache 2.0 — es ist also das einzige Mitglied dieser Generation, dessen Passung man mit einem einzigen Taschenrechner bemessen kann. Die dünnbesetzten Mitglieder sind pro ausgeliefertem Token günstiger und aufwendiger im Besitz: rund 4,9 TB an Gewichten für den Max core, rund 360 GB für Flash-Next, wobei beide Infrastruktur benötigen, die man bereitstellt, statt sie zu mieten. Die Qwen3.8-27B-Seite behandelt die Passung, die Formate und die Lizenzfragen; diese Seite endet bei der Architektur.

Ändert die Antwort auf die Architekturfrage also, was Sie ausführen sollten? Weniger, als die Suche, die Sie hierher gebracht hat, vermuten lässt. Wenn Sie ein Modell aufrufen, ist die Ersparnis der Sparse-Members bereits in unseren Preis eingerechnet, und die Wahl ist eine Frage von Kosten und Qualität, nicht der Architektur. Wenn Sie eines herunterladen, lautet die Antwort, dass kein Qwen-3.8-Modell mit 512 Experten auf eine Workstation passt — dasjenige, das passt, ist das dichte 27B, und das ist die Entscheidung, die die -A-Notation die ganze Zeit still für Sie getroffen hat.

Die dichte Hälfte dieses Vergleichs ist zugleich der Notausgang bei der Hardware, und er ist derjenige, den die meisten Leser dieser Seite letztlich wählen. Qwen3.8-27Bumfasst rund 55,6 GB an BF16-Gewichten, 27B gespeichert und 27B aktiv, Apache 2.0 — es ist damit das einzige Mitglied dieser Generation, dessen Speicherbedarf man mit einem einzigen Taschenrechner überschlagen kann.