Qwen 3.8 MoE: Welke leden zijn Mixture-of-Experts, en wat het voor jou verandert

Ja — de 3.8-generatie bevat mixture-of-experts-modellen, en degenen die het antwoord op de kale vraag vormen, zijn Qwen3.8-2.4T-A95B, de Max-kern met 2,4 biljoen parameters die A​libaba in augustus 2026 als open gewichten publiceerde, en Qwen3.8-Flash-Next, de sparse preview met 125 miljard parameters van de Qwen4-architectuur. De twee leden die een lezer daadwerkelijk kan aanroepen — Qwen3.8-Max en Qwen3.8-Flash — zijn de door de leverancier zelf geserveerde builds, afgeleid van die twee architecturen, dus ze zijn sparse vanwege hun afstamming, ook al zijn hun interne configuraties niet gepubliceerd. De enige uitzondering is het lid dat de meeste mensen hier al in handen hebben: Qwen3.8-27B is dense, en niets in de naam zegt dat. Dat is het hele antwoord, en de rest van deze pagina zijn de cijfers erachter, elk overgenomen uit de eigen model card van A​libaba in plaats van uit een discussiedraad.

De datums in dit artikel worden gebruikt om de modellen te dateren, niet om ze aan te kondigen. Wat deze pagina beantwoordt, is de vraag die lezers nu intypen: in de periode van 2026-09-15 tot 2026-10-12 registreerde onze eigen Search Console-property 432 vertoningen en 35 klikken op de enkele query qwen 3.8 moe — een click-through van 8,1%, de hoogste van alle query's in de betreffende batch — plus drie long-tail-rijen die de familie naar 440 vertoningen en 36 klikken brengen. Een lezer die dat intypt, is niet op zoek naar nieuws. Die probeert erachter te komen of het model dat ze op het punt staan te downloaden of aan te roepen sparse is, want het antwoord bepaalt wat ze kunnen draaien. Niets op deze site gaf daar antwoord op, en daarom bestaat deze pagina. Waar een vraag over een specifiek lid gaat in plaats van over de architectuur, wordt de pagina die daarover gaat genoemd terwijl we verdergaan.

De naam zegt het je, als je de notatie kent.

Alibaba zet "MoE" in geen enkele Qwen 3.8-modelnaam. Het schrijft het aantal parameters als totaal-Aactief, dus 2.4T-A95B lees je als 2,4 biljoen opgeslagen parameters en 95 miljard die per token geactiveerd worden. De -A helft is de aanwijzing: een naam met een activeringsgetal erin is een sparse model, en een naam met één rond getal in miljarden is een dense model. Qwen3.8-27B bevat geen activeringsgetal omdat al zijn parameters bij elke token actief zijn, en de kaart ervan noemt het "een compact, deploymentvriendelijk dense model" in de eerste zin die het beschrijft.

Die lezing geldt voor de hele generatie:

• Qwen3.8-2.4T-A95B — mixture-of-experts, 512 experts, 2,4T opgeslagen / 95B actief, open gewichten, aangepaste licentie.

• Qwen3.8-Flash-Next — mixture-of-experts, 512 experts, 125B opgeslagen plus een n-gramtabel van 51B / 6B actief, open gewichten, communitylicentie.

• Qwen3.8-Max — de geserveerde build; Alibaba's eigen kaart voor de gewichten zegt dat Max "de officiële versie op basis van Qwen3.8-2.4T-A95B" is, en de cloudmodelpagina beschrijft het als een "MoE-flagship met 2,4 biljoen parameters". Sparse.

• Qwen3.8-Flash — de geserveerde build die van Flash-Next is afgeleid en standaard een context van 1M tokens heeft. Sparse van afkomst.

• Qwen3.8-27B — dense, 27B opgeslagen en 27B actief, Apache 2.0. In zijn configuratie komen nergens experts voor.

De architectuur, vanuit de kaarten zelf

Beide sparse leden zijn op dezelfde wijze gedocumenteerd op Hugging Face, en de onderstaande cijfers zijn geciteerd uit Qwen/Qwen3.8-2.4T-A95B en Qwen/Qwen3.8-Flash-Next respectievelijk. Waar een cijfer niet op een kaart staat, vermeldt deze pagina dat in plaats van er een van een forum te lenen.

Qwen3.8-2.4T-A95B — de Max-core

Het is een causaal taalmodel met 92 lagen waarvan de blokstructuur op de modelkaart staat als 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). In gewone bewoordingen: drie lineaire-attentieblokken tussen elk volledig-attentieblok, en een feed-forwardlaag met mixture-of-experts na beide. De expertlaag is gespecificeerd als 512 experts, 10 gerouteerde plus 1 gedeelde worden per token geactiveerd, met een tussenliggende expertdimensie van 2048. Opgeslagen parameters zijn 2,4T en geactiveerde parameters zijn 95B. Het attentieschema is hybride: Gated DeltaNet met 128 lineaire heads voor V en 16 voor QK bij headdimensie 128, gecombineerd met Gated Attention met 64 query-heads en 4 KV-heads bij headdimensie 256, met een rotatiedimensie van 64. De native context bedraagt 262.144 tokens, uitbreidbaar tot 1.010.000. De modelkaart vermeldt ook multi-tokenvoorspelling die met meerdere stappen is getraind, en het configuratiebestand bevestigt de sparse velden rechtstreeks: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Twee dingen waarover de kaart expliciet is en die een lezer niet mag weglachen. Hij is alleen tekst — geen vision-toren — en de eigen tip op de kaart stelt dat de gehoste Max bovenop deze gewichten vision-invoer, niet-denkende ondersteuning, standaard 1M context en ingebouwde tools toevoegt, dus het downloadbare artefact is beperkter dan de API waarmee het een kern deelt. En hij wordt uitgebracht onder een aangepaste overeenkomst, qwen3.8-max, niet Apache 2.0 en niet de communitylicentie; deze pagina beargumenteert die voorwaarden niet opnieuw, en ze worden behandeld op de pagina voor de gewichten zelf.

Qwen3.8-Flash-Next — de kleinere sparse architectuur

Dit is het lid waar de sparse ratio het extreemst is en het gemakkelijkst verkeerd wordt gelezen. De kaart geeft 48 lagen weer als 12 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE), dezelfde 512 experts met 10 gerouteerde plus 1 gedeelde, en een expert-tussendimensie van 640 — een derde van die van de Max-core. De parameters worden ongewoon weergegeven: "125B met 6B geactiveerd, plus 51B n-gram-embedding en 4B MTP". Die drie componenten zijn de reden waarom de repository in de zijbalk 180B vermeldt terwijl het MoE-gedeelte 125B is, en waarom een lezer die "125B vs 2,4T" vergelijkt de verkeerde getallen vergelijkt. Attention is Gated DeltaNet in combinatie met Qwen Sparse Attention, dat volgens de kaart op microniveau-blokniveau werkt in plaats van individuele tokens te selecteren. Context is 262.144 native, uitbreidbaar tot 1.000.000. Licentie: Qwen Community License 1.0. Het configuratiebestand vermeldt ook num_experts: 512, num_experts_per_tok: 10 en 48 lagen.

Wat Alibaba niet heeft gepubliceerd

Voor de geserveerde Qwen3.8-Max is er geen aantal experts, geen aantal lagen, geen cijfer voor geactiveerde parameters en geen per-token-routingspecificatie te vinden in enig leveranciersmateriaal dat deze pagina kon vinden. De leverancier beschrijft het als een MoE-vlaggenschip met 2,4 biljoen parameters en stelt dat het is gebouwd op Qwen3.8-2.4T-A95B; dat is de grens van de gepubliceerde details, en het is een redelijke gevolgtrekking uit die twee uitspraken dat de architectuur overeenkomt, niet een gedocumenteerd feit. Dezelfde leemte geldt in soortgelijke zin voor de geserveerde Qwen3.8-Flash, waarvan de afleiding van Flash-Next wel wordt vermeld, maar waarvan de interne configuratie helemaal niet is gepubliceerd. Elke pagina die je een aantal experts voor de gehoste Max geeft, vult een gat dat de leverancier heeft opengelaten.

Wat het aantal actieve parameters verandert aan het draaien ervan

Dit is waarom de vraag überhaupt gesteld wordt, en het antwoord beweegt zich in twee richtingen tegelijk.

De downloadgrootte hangt af van het totaal, niet van het aantal actieve. Qwen3.8-2.4T-A95B is ongeveer 4,9 TB verdeeld over 213 shards in zijn BF16-repository en ongeveer 2,5 TB in de FP8-tegenhanger — in beide gevallen een artefact op rackformaat, niet op werkstationformaat. Qwen3.8-Flash-Next is ongeveer 360 GB in BF16 verdeeld over 131 shards, en ongeveer 180 GB volgens de telling in zijn eigen zijbalk, zodra de componenten bij elkaar worden opgeteld. Op schijf maakt niets aan het sparse ontwerp een van beide klein; de expert-gewichten bestaan allemaal en moeten allemaal worden opgeslagen.

Reken- en geheugenbandbreedte volgen het actieve aantal. Omdat slechts 95B van de 2,4T parameters van de Max-core, en slechts 6B van de opgeslagen parameters van Flash-Next, aan één enkel token deelnemen, liggen de kosten per token van deze modellen dichter bij die van een veel kleiner dense model dan hun bestandsgroottes doen vermoeden. Die kloof is de hele reden waarom een model met 2,4 biljoen parameters überhaupt geserveerd kan worden, en het is de reden waarom dezelfde verhouding tussen totaal en actief — die op de kaart als een voetnoot oogt — het operationeel meest relevante getal erop is. Deze pagina zet er geen tokens-per-seconde-cijfer naast, omdat geen enkel tempo dat wij zouden kunnen noemen stand zou houden over twee verschillende kwantisaties en een onbekende serving-stack — de verhouding is het overdraagbare feit, de doorvoer niet.

Flash-Next voegt een tweede complicatie toe die hier thuishoort en niet in een voetnoot. De 51B n-gram-embeddingtabel is een opzoekstructuur, en de eigen bewoording van de kaart is dat embeddings "zich beter lenen voor offloading dan Mixture-of-Experts". Dat is wat een checkpoint van deze grootte draaibaar maakt terwijl de embeddingtabel in het hostgeheugen verblijft in plaats van vastgepind in het accelerorgeheugen — een ontwerpkeuze, geen bewering over jouw machine. De praktische consequentie is dat Flash-Next gemakkelijker passend te maken is door systeem-RAM toe te voegen dan door VRAM toe te voegen, wat het tegenovergestelde is van hoe een dense model met een gelijkwaardige opslaggrootte zich gedraagt.

Waar de dichte broer of zus zit

Qwen3.8-27B is het tegenvoorbeeld waaraan de rest van de generatie wordt afgemeten: 64 lagen, een tussenliggende feed-forwarddimensie van 17.408 breed in plaats van een expertbank, 27B opgeslagen en 27B actief, Apache 2.0, en ongeveer 55,6 GB aan BF16-gewichten die passen op hardware die iemand zelf in huis heeft. Waar de sparse modellen opslag inruilen voor een kleine rekenvoetafdruk per token, ruilt het dense model de kosten per token in voor voorspelbaarheid — elke parameter is actief, dus geheugen en snelheid zijn eenvoudig te dimensioneren. De volledige behandeling van dat model, de bijbehorende formaten en de vraag of het past, hoort thuis op de Qwen3.8-27B-pagina, die dat onderwerp beheert; deze pagina heeft alleen de tegenstelling nodig.

Wat is niet geregeld

Of de geserveerde Qwen3.8-Max en Qwen3.8-Flash daadwerkelijk dezelfde expert-aantallen en routing instantiëren als de downloadbare cores, is niet geverifieerd: de leverancier vermeldt de afleiding en houdt het daarbij, dus beschouw elk specifiek expert-aantal voor de API-modellen als onbevestigd. En het open kwantisatie-ecosysteem rond Flash-Next heeft builds voortgebracht van ongeveer 1-bit tot volledige precisie, zonder dat er een gecontroleerde low-bitvergelijking op identieke hardware is gepubliceerd — als je een bitbreedte kiest, is die keuze aan jou om te meten.

Beschikbaarheid

De twee leden van wie de expertaantallen gedocumenteerd zijn — Qwen3.8-2.4T-A95B en Qwen3.8-Flash-Next — zijn download-en-host-artefacten. Geen van beide staat vandaag in onze modellenlijst, en er is geen id die op hen lijkt, dus deze pagina doet geen uitspraak over de beschikbaarheid van hen of van enig model met de naam "Qwen3.8-MoE": de naam beschrijft een architectuur, en niets in onze catalogus wordt eronder verkocht. Wat we wel serveren zijn drie andere leden van dezelfde generatie, en een lezer wiens vraag architectonisch was, kan elk van hen aanroepen:

• qwen/qwen3.8-27b — de dense variant met Apache-2.0-licentie die je zelf kunt hosten; tekst, afbeelding en video als invoer, een context van 262.144 tokens, $0,33 per miljoen invoertokens en $2,40 per miljoen uitvoertokens volgens de gepubliceerde lijst van de provider.

• qwen/qwen3.8-flash — de sparse productielane afgeleid van Flash-Next; context van 1M tokens, $0,15 per miljoen input en $0,47 per miljoen output, met gecachte input rond $0,018.

• qwen/qwen3.8-max — de Max-core achter een endpoint; 1M-tokencontext, $2,00 per miljoen input en $6,00 per miljoen output.

Alle drie zitten achter één OpenAI-compatibel endpoint, dus het draaien van de dense vorm tegen de aangeboden sparse vorm op je eigen verkeer kost een wijziging van model-id in plaats van een integratie. Die prijzen zijn de gepubliceerde lijst van de provider, doorgegeven zonder opslag, waardoor een prijswijziging van een leverancier dezelfde dag je endpoint bereikt.

De dichte helft van die vergelijking is ook de ontsnappingsroute op hardware, en het is degene die de meeste lezers van deze pagina uiteindelijk nemen. Qwen3.8-27B is ongeveer 55,6 GB aan BF16-gewichten, 27B opgeslagen en 27B actief, Apache 2.0 — dus het is het enige lid van deze generatie waarvan je de fit met één rekenmachine kunt berekenen. De sparse leden zijn goedkoper per geserveerd token en zwaarder om te bezitten: ruwweg 4,9 TB aan gewichten voor de Max-core, ruwweg 360 GB voor Flash-Next, beide met infrastructuur die je zelf inricht in plaats van huurt. De Qwen3.8-27B pagina behandelt de fit, de formaten en de licentievragen; deze pagina stopt bij de architectuur.

Dus verandert het architectuurantwoord wat je zou moeten draaien? Minder dan de zoekopdracht die je hier bracht, suggereert. Als je een model aanroept, is de besparing van de sparse leden al verrekend in wat we aanrekenen, en is de keuze er een van kosten en kwaliteit, niet van architectuur. Als je er een downloadt, is het antwoord dat geen enkel Qwen 3.8-model met 512 experts op een workstation past — het model dat dat wel doet, is het dense 27B-model, en dat is de beslissing die de -A-notatie al die tijd stilletjes voor je nam.

De dense helft van die vergelijking is ook het ontsnappingsluik op hardwaregebied, en het is degene die de meeste lezers van deze pagina uiteindelijk nemen. Qwen3.8-27B is ongeveer 55,6 GB aan BF16-gewichten, 27B opgeslagen en 27B actief, Apache 2.0 — dus het is het enige lid van deze generatie waarvan je de fit met één rekenmachine kunt berekenen.