Qwen 3.8 MoE: Vilka medlemmar är Mixture-of-Experts, och vad det förändrar för dig

Ja — 3.8-generationen innehåller mixture-of-experts-modeller, och de som svarar på den nakna frågan är Qwen3.8-2.4T-A95B, Max-kärnan med 2,4 biljoner parametrar som A​libaba publicerade som öppna vikter i augusti 2026, och Qwen3.8-Flash-Next, den glesa förhandsvisningen med 125 miljarder parametrar av Qwen4-arkitekturen. De två medlemmarna som en läsare faktiskt kan anropa — Qwen3.8-Max och Qwen3.8-Flash — är leverantörens egna serverade byggen som härrör från dessa två arkitekturer, så de är glesa genom sin härstamning även om deras interna konfigurationer inte är publicerade. Det enda undantaget är den medlem som de flesta redan har när de kommer hit: Qwen3.8-27B är tät, och inget i dess namn säger det. Det är hela svaret, och resten av den här sidan är siffrorna bakom det, var och en tagen från A​libabas eget modellkort snarare än från en diskussionstråd.

Datumen i den här artikeln används för att datera modellerna, inte för att tillkännage dem. Det den här sidan svarar på är den fråga läsare skriver just nu: mellan 2026-09-15 och 2026-10-12 loggade vår egen Search Console-egendom432 visningar och 35 klick på den enda frågan qwen 3.8 moe — en klickfrekvens på 8,1 %, den högsta för någon fråga i dess batch — plus tre long-tail-rader som tar familjen till 440 visningar och 36 klick. En läsare som skriver det söker inte efter nyheter. De försöker ta reda på huruvida modellen de är på väg att ladda ner eller anropa är sparse, eftersom svaret avgör vad de kan köra. Inget på den här webbplatsen svarade på det, vilket är anledningen till att den här sidan finns. När en fråga handlar om en specifik medlem snarare än arkitekturen, nämns den sida som äger den allt eftersom.

Namnet säger dig det, om du känner till notationen.

Alibaba sätter inte "MoE" i något Qwen 3.8-modellnamn. De skriver parametrantalet som totalt-Aaktiva, så 2.4T-A95B läses som 2,4 biljoner parametrar lagrade och 95 miljarder aktiverade per token. -A-delen är avslöjandet: ett namn med en aktiveringssiffra i sig är en gles modell, och ett namn med ett enda jämnt miljardantal är en tät modell. Qwen3.8-27B har ingen aktiveringssiffra eftersom alla dess parametrar är aktiva för varje token, och dess modellkort kallar den "en kompakt, driftsättningsvänlig tät modell" i den första meningen som beskriver den.

Den tolkningen gäller för hela generationen:

• Qwen3.8-2.4T-A95B — mixture-of-experts, 512 experter, 2,4T lagrade / 95B aktiva, öppna vikter, anpassad licens.

• Qwen3.8-Flash-Next — mixture-of-experts, 512 experter, 125B lagrade plus en 51B n-gram-tabell / 6B aktiva, öppna vikter, gemenskapslicens.

• Qwen3.8-Max — den serverade byggversionen; Alibabas eget modellkort för vikterna säger att Max är "den officiella versionen baserad på Qwen3.8-2.4T-A95B", och dess molnmodellsida beskriver den som en "MoE-flaggskeppsmodell med 2,4 biljoner parametrar". Gles.

• Qwen3.8-Flash — den serverade byggversionen härledd från Flash-Next, med en kontext på 1M tokens som standard. Gles av börd.

• Qwen3.8-27B — dense, 27B lagrade och 27B aktiva, Apache 2.0. Inga experter någonstans i dess konfiguration.

Arkitekturen, från korten själva

Båda sparse-medlemmarna dokumenteras i samma form på Hugging Face, och siffrorna nedan är citerade från Qwen/Qwen3.8-2.4T-A95B och Qwen/Qwen3.8-Flash-Next respektive. Där en siffra inte finns på ett kort säger den här sidan det i stället för att låna en från ett forum.

Qwen3.8-2.4T-A95B — Max-kärnan

Det är en kausal språkmodell med 92 lager vars blockstruktur står på kortet som 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). I klartext: tre linjära uppmärksamhetsblock mellan varje fullt uppmärksamhetsblock, och ett feed-forward-lager med mixture-of-experts efter båda. Expertlagret anges som 512 experter, 10 routade plus 1 delad aktiverad per token, med en mellanliggande expertdimension på 2048. Lagrade parametrar är 2,4T och aktiverade parametrar är 95B. Uppmärksamhetsschemat är hybrid: Gated DeltaNet med 128 linjära huvuden för V och 16 för QK vid huvuddimension 128, i par med Gated Attention med 64 query-huvuden och 4 KV-huvuden vid huvuddimension 256, med en rotationsdimension på 64. Kontexten är 262 144 token som standard och kan utökas till 1 010 000. Kortet nämner också multi-token-prediktion tränad med flera steg, och konfigurationsfilen bekräftar de glesa fälten direkt: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Två saker som kortet är tydligt med och som en läsare inte bör förbise. Det är endast text — inget visionstorn — och kortets egen tips säger att den hostade Max lägger till visuell indata, stöd för icke-tänkande, 1M kontext som standard och inbyggda verktyg ovanpå dessa vikter, så den nedladdningsbara artefakten är snävare än det API som den delar en kärna med. Och den levereras under ett anpassat avtal, qwen3.8-max, inte Apache 2.0 och inte community-licensen; den här sidan argumenterar inte om dessa villkor igen, och de täcks på sidan för själva vikterna.

Qwen3.8-Flash-Next — den mindre glesa arkitekturen

Detta är medlemmen där sparsitetsförhållandet är mest extremt och lättast att missförstå. Dess kort anger 48 lager ordnade som 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), samma 512 experter med 10 routade plus 1 delad, och en mellanliggande expertdimension på 640 – en tredjedel av Max-kärnans. Parametrarna anges på ett ovanligt sätt: "125B med 6B aktiverade, plus 51B n-gram-inbäddning och 4B MTP". Dessa tre komponenter är anledningen till att dess repo listar 180B i sidofältet medan MoE-kroppen är 125B, och till att en läsare som jämför "125B vs 2.4T" jämför fel siffror. Attention är Gated DeltaNet parad med Qwen Sparse Attention, som kortet säger arbetar på mikroblocksnivå i stället för att välja enskilda tokens. Kontexten är 262 144 inbyggt, utökningsbar till 1 000 000. Licens: Qwen Community License 1.0. Dess konfigurationsfil registrerar också num_experts: 512, num_experts_per_tok: 10 och 48 lager.

Vad A​libaba inte har publicerat

tillhandahållna Qwen3.8-Max finns det inget expertantal, inget lagerantal, ingen siffra för aktiverade parametrar och ingen specifikation av routing per token i något leverantörsmaterial som den här sidan kunde hitta. Leverantören beskriver den som en MoE-flaggskeppsmodell med 2,4 biljoner parametrar och uppger att den är byggd på Qwen3.8-2.4T-A95B; det är gränsen för den publicerade detaljnivån, och det är en rimlig slutsats utifrån dessa två påståenden att arkitekturen överensstämmer, inte ett dokumenterat faktum. Samma typ av lucka gäller för den tillhandahållna Qwen3.8-Flash, vars härledning från Flash-Next anges men vars interna konfiguration inte publiceras alls. Varje sida som ger dig ett expertantal för den hostade Max fyller en lucka som leverantören lämnade öppen.

Vad siffran för aktiva parametrar förändrar när det gäller att köra den

Det är därför frågan alls ställs, och svaret går i två riktningar samtidigt.

Nedladdningsstorleken följer totalen, inte antalet aktiva. Qwen3.8-2.4T-A95B är ungefär 4,9 TB fördelat över 213 shards i sitt BF16-repositorium och ungefär 2,5 TB i FP8-syskonet — hur som helst en artefakt i rack-skala, inte för en arbetsstation. Qwen3.8-Flash-Next är cirka 360 GB i BF16 fördelat över 131 shards, och cirka 180 GB enligt dess egen sidopanelräkning när komponenterna läggs ihop. På disk gör inget i den glesa designen någon av dem liten; expertvikterna finns alla och måste alla lagras.

Beräknings- och minnesbandbredd följer antalet aktiva. Eftersom endast 95B av Max-kärnans 2,4T parametrar, och endast 6B av Flash-Nexts lagrade parametrar, deltar i varje enskild token, ligger kostnaden per token för dessa modeller närmare den för en mycket mindre tät modell än deras filstorlekar antyder. Gapet är hela anledningen till att en modell med 2,4 biljoner parametrar överhuvudtaget kan serveras, och det är därför samma förhållande mellan totalt och aktivt antal som ser ut som en fotnot på kortet är den mest driftmässigt relevanta siffran på det. Den här sidan kommer inte att sätta en siffra för tokens per sekund bredvid det, eftersom ingen hastighet vi skulle kunna ange skulle hålla för två olika kvantiseringar och en okänd serveringsstack – förhållandet är det överförbara faktumet, genomströmningen är det inte.

Flash-Next tillför en andra komplikation som hör hemma här snarare än i en fotnot. Dess 51B n-gram-inbäddningstabell är en uppslagsstruktur, och kortets egen formulering är att inbäddningar är "mer lämpade för offloading än Mixture-of-Experts". Det är vad som gör en checkpoint av denna storlek körbar med inbäddningstabellen resident i värdminnet i stället för pinnad i acceleratorminnet – ett designval, inte ett påstående om din maskin. Den praktiska konsekvensen är att Flash-Next är lättare att få plats med genom att lägga till system-RAM än genom att lägga till VRAM, vilket är motsatsen till hur en dense modell av motsvarande lagrade storlek beter sig.

Där det täta syskonet sitter

Qwen3.8-27B är motexemplet som resten av generationen mäts mot: 64 lager, en 17 408-bred feed-forward-mellandimension i stället för en expertbank, 27B lagrade och 27B aktiva, Apache 2.0, och cirka 55,6 GB BF16-vikter som får plats på hårdvara som en person äger. Där de glesa medlemmarna byter lagringsutrymme mot ett litet beräkningsavtryck per token, byter den täta kostnad per token mot förutsägbarhet — varje parameter är aktiv, så minne och hastighet är triviala att dimensionera. Den fullständiga behandlingen av den modellen, dess format och dess inpassning hör hemma på Qwen3.8-27Bsidan, som äger den; den här sidan behöver bara kontrasten.

Vad är inte avgjort

Huruvida de serverade Qwen3.8-Max och Qwen3.8-Flash faktiskt instansierar samma expertantal och routning som de nedladdningsbara kärnorna är overifierat: leverantören anger härledningen och stannar där, så betrakta alla specifika expertantal för API-modellerna som obekräftade. Och det öppna kvantiseringsekosystemet kring Flash-Next har producerat byggen från ungefär 1-bit till full precision, utan någon publicerad kontrollerad lågbitarsjämförelse på matchad hårdvara — om du väljer en bitbredd är det upp till dig att mäta.

Tillgänglighet

De två medlemmarna vars expertantal är dokumenterat — Qwen3.8-2.4T-A95B och Qwen3.8-Flash-Next — är nedladdnings- och hostingartefakter. Ingen av dem finns i vår modellista idag, och det finns inget id som liknar dem, så den här sidan gör inga tillgänglighetsanspråk gällande dem eller någon modell som heter "Qwen3.8-MoE": namnet beskriver en arkitektur, och inget i vår katalog säljs under det. Det vi faktiskt tillhandahåller är tre andra medlemmar av samma generation, och en läsare vars fråga var arkitektonisk kan anropa vilken som helst av dem:

• qwen/qwen3.8-27b — den täta, Apache-2.0-licensierade och självhostbara varianten; text, bild och video in, kontext på 262 144 token, 0,33 USD per miljon indatatokener och 2,40 USD per miljon utdatatokener enligt leverantörens publicerade prislista.

• qwen/qwen3.8-flash — den sparsamma produktionslinjen härledd från Flash-Next; 1M-tokens kontext, $0,15 per miljon indata och $0,47 per miljon utdata, med cachad indata runt $0,018.

• qwen/qwen3.8-max — Max-kärnan bakom en slutpunkt; kontext på 1 M tokens, $2.00 per miljon indata och $6.00 per miljon utdata.

Alla tre ligger bakom en OpenAI-kompatibel slutpunkt, så att köra den täta varianten mot den glesa som serveras på din egen trafik kostar ett byte av modell-id snarare än en integration. Dessa priser är leverantörens publicerade prislista som förmedlas utan påslag, vilket är anledningen till att en ändring av leverantörens pris når din slutpunkt samma dag.

Den täta halvan av den jämförelsen är också nödutgången när det gäller hårdvara, och det är den som de flesta av den här sidans läsare till slut väljer. Qwen3.8-27B är omkring 55,6 GB BF16-vikter, 27B lagrade och 27B aktiva, Apache 2.0 — så det är den enda medlemmen av den här generationen vars resursbehov du kan räkna ut med en enda miniräknare. De glesa medlemmarna är billigare per betjänad token och tyngre att äga: ungefär 4,9 TB vikter för Max-kärnan, ungefär 360 GB för Flash-Next, och båda kräver infrastruktur som du tillhandahåller snarare än hyr.Qwen3.8-27B-sidan täcker passformen, formaten och licensfrågorna; den här sidan stannar vid arkitekturen.

Så förändrar arkitektursvaret vad du bör köra? Mindre än sökningen som ledde dig hit antyder. Om du anropar en modell är de sparse medlemmarnas besparing redan inprisad i det vi tar betalt, och valet handlar om kostnad och kvalitet, inte om arkitektur. Om du laddar ner en är svaret att ingen Qwen 3.8-modell med 512 experter får plats på en arbetsstation — den som gör det är den dense 27B, och det är det beslut som -A-notationen i tysthet fattade åt dig hela tiden.

Den täta halvan av den jämförelsen är också nödutgången på hårdvarusidan, och det är den som de flesta av den här sidans läsare till slut tar. Qwen3.8-27B är omkring 55,6 GB BF16-vikter, 27B lagrade och 27B aktiva, Apache 2.0 — så det är den enda medlemmen i den här generationen vars passning du kan beräkna med en enda miniräknare.