Qwen 3.8 MoE: Które modele to mieszanina ekspertów i co to zmienia dla Ciebie

Tak — generacja 3.8 zawiera modele typu mixture-of-experts, a tymi, które odpowiadają na samo pytanie, są Qwen3.8-2.4T-A95B, rdzeń Max o 2,4 biliona parametrów, który A​libaba opublikowała jako otwarte wagi w sierpniu 2026 r., oraz Qwen3.8-Flash-Next, 125-miliardowy rzadki podgląd architektury Qwen4. Dwa warianty, które czytelnik może faktycznie wywołać — Qwen3.8-Max i Qwen3.8-Flash — to własne, serwowane buildy dostawcy pochodzące z tych dwóch architektur, więc są rzadkie z pochodzenia, mimo że ich wewnętrzne konfiguracje nie są publikowane. Jedynym wyjątkiem jest wariant, który większość ludzi ma już ze sobą, gdy tu trafia: Qwen3.8-27B jest gęsty, a nic w jego nazwie na to nie wskazuje. To cała odpowiedź, a reszta tej strony to liczby, które za nią stoją, każda wzięta z własnej karty modelu A​libaba, a nie z wątku dyskusyjnego.

Daty w tym artykule służą do datowania modeli, a nie do ich ogłaszania. Ta strona odpowiada na pytanie, które czytelnicy wpisują teraz: w okresie od 2026-09-15 do 2026-10-12 nasza własna usługa Search Console odnotowała 432 wyświetlenia i 35 kliknięć dla pojedynczego zapytania qwen 3.8 moe — współczynnik klikalności 8,1%, najwyższy wśród wszystkich zapytań w swojej partii — plus trzy wiersze long-tail, które zwiększają wynik rodziny do 440 wyświetleń i 36 kliknięć. Czytelnik wpisujący to nie szuka wiadomości. Próbuje ustalić, czy model, który zamierza pobrać lub wywołać, jest rzadki, ponieważ odpowiedź decyduje o tym, co może uruchomić. Nic na tej stronie na to nie odpowiadało i dlatego ta strona istnieje. Gdy pytanie dotyczy konkretnego członka rodziny, a nie architektury, strona, która się nim zajmuje, jest wskazywana na bieżąco.

Nazwa mówi sama za siebie, jeśli znasz notację

Alibaba nie umieszcza „MoE” w nazwie żadnego modelu Qwen 3.8. Liczbę parametrów zapisuje jako całkowite-Aaktywne, więc 2.4T-A95B oznacza 2,4 biliona przechowywanych parametrów i 95 miliardów aktywowanych na token. Połowa -A jest wskazówką: nazwa z liczbą aktywacji w środku oznacza model rzadki, a nazwa z jedną okrągłą liczbą miliardów oznacza model gęsty. Qwen3.8-27B nie zawiera liczby aktywacji, ponieważ każdy jego parametr jest aktywny przy każdym tokenie, a jego karta nazywa go „kompaktowym, przyjaznym wdrożeniom modelem gęstym” w pierwszym zdaniu, które go opisuje.

To odczytanie utrzymuje się w całym pokoleniu:

• Qwen3.8-2.4T-A95B — mieszanka ekspertów, 512 ekspertów, 2.4T zapisanych / 95B aktywnych parametrów, otwarte wagi, niestandardowa licencja.

• Qwen3.8-Flash-Next — mieszanka ekspertów, 512 ekspertów, 125B zapisanych plus tabela n-gramów 51B / 6B aktywnych, otwarte wagi, licencja społecznościowa.

• Qwen3.8-Max — serwowana wersja; własna karta wag AliBaby mówi, że Max to „oficjalna wersja oparta na Qwen3.8-2.4T-A95B”, a jej strona modelu w chmurze opisuje go jako „flagowy MoE o 2,4 biliona parametrów”. Rzadki.

• Qwen3.8-Flash — serwowana kompilacja wywodząca się z Flash-Next, domyślnie obsługująca kontekst 1 mln tokenów. Z pochodzenia rzadka.

• Qwen3.8-27B — gęsty, 27B przechowywane i 27B aktywne, Apache 2.0. Nigdzie w jego konfiguracji nie ma ekspertów.

Architektura, z samych kart

Oba rzadkie warianty są udokumentowane w tym samym układzie na Hugging Face, a poniższe liczby zacytowano odpowiednio z Qwen/Qwen3.8-2.4T-A95B i Qwen/Qwen3.8-Flash-Next. Jeśli jakiejś liczby nie ma na karcie, ta strona mówi o tym wprost, zamiast zapożyczać ją z forum.

Qwen3.8-2.4T-A95B — rdzeń Max

Jest to 92-warstwowy przyczynowy model językowy, którego struktura bloków jest zapisana na karcie jako 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). Mówiąc wprost: trzy bloki uwagi liniowej między każdym blokiem pełnej uwagi oraz warstwa feed-forward z mieszaniną ekspertów po obu typach bloków. Warstwa ekspertów jest określona jako 512 ekspertów, 10 routowanych oraz 1 współdzielony aktywowany na token, z pośrednim wymiarem eksperta wynoszącym 2048. Parametry przechowywane to 2,4T, a parametry aktywowane to 95B. Schemat uwagi jest hybrydowy: Gated DeltaNet ze 128 głowami liniowymi dla V i 16 dla QK przy wymiarze głowy 128, w parze z Gated Attention z 64 głowami zapytań i 4 głowami KV przy wymiarze głowy 256, z wymiarem rotacyjnym 64. Kontekst wynosi natywnie 262 144 tokeny, z możliwością rozszerzenia do 1 010 000. Karta odnotowuje również predykcję wielu tokenów trenowaną z wieloma krokami, a plik konfiguracyjny potwierdza bezpośrednio pola rzadkie: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Karta wyraźnie mówi o dwóch rzeczach, których czytelnik nie powinien pomijać. Jest tylko tekstowa — bez wieży wizji — a sama wskazówka karty stwierdza, że hostowany Max dodaje wejście wizyjne, obsługę trybu nie-myślącego, domyślnie kontekst 1M i wbudowane narzędzia na bazie tych wag, więc pobierany artefakt jest węższy niż API, z którym dzieli rdzeń. Jest też udostępniany na podstawie niestandardowej umowy, qwen3.8-max, a nie Apache 2.0 i nie licencji społecznościowej; ta strona nie roztrząsa ponownie tych warunków, które są omówione na stronie samych wag.

Qwen3.8-Flash-Next — mniejsza rzadka architektura

To jest wariant, w którym współczynnik rzadkości jest najbardziej skrajny i najłatwiejszy do błędnego odczytania. Jego karta podaje 48 warstw ułożonych jako 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), te same 512 ekspertów z 10 routowanymi plus 1 wspólnym oraz wymiar pośredni eksperta wynoszący 640 — jedną trzecią wymiaru rdzenia Max. Parametry podano nietypowo: „125B z 6B aktywowanymi, plus 51B osadzeń n-gramowych i 4B MTP”. Te trzy komponenty wyjaśniają, dlaczego jego repozytorium podaje 180B w panelu bocznym, podczas gdy część MoE ma 125B, i dlaczego czytelnik porównujący „125B vs 2.4T” porównuje niewłaściwe liczby. Mechanizm attention to Gated DeltaNet w parze z Qwen Sparse Attention, który według karty działa na poziomie mikro-bloków, a nie wybiera pojedynczych tokenów. Kontekst wynosi natywnie 262 144 i można go rozszerzyć do 1 000 000. Licencja: Qwen Community License 1.0. Jego plik konfiguracyjny odnotowuje również num_experts: 512, num_experts_per_tok: 10 i 48 warstw.

Czego Alibaba nie opublikowała

W przypadku udostępnianego Qwen3.8-Maxnie ma liczby ekspertów, liczby warstw, wartości aktywowanych parametrów ani specyfikacji routingu na token w żadnych materiałach dostawcy, jakie ta strona mogła znaleźć. Dostawca opisuje go jako flagowy model MoE z 2,4 biliona parametrów i stwierdza, że bazuje na Qwen3.8-2.4T-A95B; to jest granica opublikowanych szczegółów, a zgodność architektury jest rozsądnym wnioskiem z tych dwóch stwierdzeń, a nie udokumentowanym faktem. Taka sama luka występuje – co do rodzaju – również w przypadku udostępnianego Qwen3.8-Flash, którego pochodzenie od Flash-Next jest podane, ale którego konfiguracja wewnętrzna nie jest w ogóle publikowana. Każda strona, która podaje ci liczbę ekspertów dla hostowanego Max, wypełnia lukę, którą dostawca pozostawił otwartą.

Co zmienia liczba aktywnych parametrów w kontekście jego uruchamiania

Właśnie dlatego to pytanie w ogóle się pojawia, a odpowiedź biegnie w dwóch kierunkach jednocześnie.

Rozmiar pobierania zależy od sumy, a nie od liczby aktywnych. Qwen3.8-2.4T-A95B to około 4,9 TB w 213 shardach w swoim repozytorium BF16 i około 2,5 TB w bliźniaczym FP8 — tak czy inaczej artefakt w skali szafy, a nie stacji roboczej. Qwen3.8-Flash-Next to około 360 GB w BF16 w 131 shardach i około 180 GB według własnego licznika na pasku bocznym, gdy zsumuje się komponenty. Na dysku nic w rzadkim projekcie nie sprawia, że którykolwiek z nich jest mały; wagi ekspertów istnieją i wszystkie muszą być przechowywane.

Przepustowość obliczeniowa i pamięciowa zależy od liczby aktywnych parametrów.Ponieważ w przetwarzaniu każdego pojedynczego tokena bierze udział zaledwie 95 mld z 2,4 bln parametrów rdzenia Max oraz zaledwie 6 mld zapisanych parametrów Flash-Next, koszt przypadający na token w tych modelach jest bliższy kosztowi znacznie mniejszego modelu gęstego, niż sugerowałyby rozmiary ich plików. Ta różnica to cały powód, dla którego model o 2,4 bln parametrów może być w ogóle obsługiwany, i dlatego ten sam stosunek liczby parametrów całkowitych do aktywnych, który na karcie wygląda jak przypis, jest na niej liczbą najbardziej istotną operacyjnie. Ta strona nie poda obok niego liczby tokenów na sekundę, ponieważ żadna wartość, którą moglibyśmy przytoczyć, nie utrzymałaby się przy dwóch różnych kwantyzacjach i nieznanym stosie serwującym — stosunek jest faktem przenośnym, a przepustowość nie.

Flash-Next dodaje drugą komplikację, która powinna znaleźć się tutaj, a nie w przypisie. Jego 51B tabela embeddingów n-gramów to struktura wyszukiwania, a sama karta ujmuje to tak, że embeddingi są „bardziej podatne na odciążanie niż Mixture-of-Experts”. To właśnie sprawia, że checkpoint tej wielkości da się uruchomić, gdy tabela embeddingów rezyduje w pamięci hosta, a nie jest przypięta w pamięci akceleratora — to wybór projektowy, a nie twierdzenie o twojej maszynie. Praktyczną konsekwencją jest to, że Flash-Next łatwiej zmieścić, dodając pamięć RAM systemu niż dodając VRAM, co jest odwrotnością zachowania gęstego modelu o równoważnym rozmiarze przechowywania.

Gdzie siedzi tępy brat

Qwen3.8-27B jest kontrprzykładem, względem którego mierzy się resztę generacji: 64 warstwy, wymiar pośredni feed-forward o szerokości 17 408 zamiast banku ekspertów, 27B przechowywanych i 27B aktywnych, Apache 2.0 oraz około 55,6 GB wag BF16, które mieszczą się na sprzęcie, jaki można mieć u siebie. Tam, gdzie rzadkie warianty wymieniają pamięć masową na niewielki ślad obliczeniowy na token, gęsty wariant wymienia koszt na token na przewidywalność — każdy parametr jest aktywny, więc oszacowanie pamięci i szybkości jest trywialne. Pełne omówienie tego modelu, jego formatów i jego dopasowania należy do strony Qwen3.8-27B, która jest temu poświęcona; ta strona potrzebuje jedynie kontrastu.

Co nie zostało ustalone

To, czy serwowane Qwen3.8-Max i Qwen3.8-Flash rzeczywiście instancjonują te same liczby ekspertów i ten sam routing co rdzenie do pobrania, nie zostało zweryfikowane: producent podaje sposób wyprowadzenia i na tym poprzestaje, więc każdą konkretną liczbę ekspertów dla modeli API należy traktować jako niepotwierdzoną. A otwarty ekosystem kwantyzacji wokół Flash-Next wygenerował kompilacje od mniej więcej 1 bitu do pełnej precyzji, bez opublikowanego kontrolowanego porównania niskobitowego na dopasowanym sprzęcie — jeśli wybierasz szerokość bitową, musisz to zmierzyć samodzielnie.

Dostępność

Dwa modele, których liczba ekspertów jest udokumentowana — Qwen3.8-2.4T-A95B i Qwen3.8-Flash-Next — to artefakty do pobrania i hostowania. Żaden z nich nie znajduje się dziś na naszej liście modeli i nie ma identyfikatora, który byłby do nich podobny, dlatego ta strona nie twierdzi, że są one dostępne ani że dostępny jest jakikolwiek model o nazwie „Qwen3.8-MoE”: nazwa opisuje architekturę, a nic w naszym katalogu nie jest sprzedawane pod tą nazwą. Udostępniamy natomiast trzy inne modele z tej samej generacji, a czytelnik, którego pytanie miało charakter architektoniczny, może wywołać dowolny z nich:

• qwen/qwen3.8-27b — gęsty, licencjonowany na Apache-2.0, możliwy do samodzielnego hostowania; przyjmuje tekst, obrazy i wideo, kontekst 262 144 tokenów, 0,33 USD za milion tokenów wejściowych i 2,40 USD za milion tokenów wyjściowych według opublikowanego cennika dostawcy.

• qwen/qwen3.8-flash — rzadka ścieżka produkcyjna wywodząca się z Flash-Next; kontekst 1 mln tokenów, 0,15 USD za milion tokenów wejściowych i 0,47 USD za milion tokenów wyjściowych, a buforowane dane wejściowe około 0,018 USD.

• qwen/qwen3.8-max — rdzeń Max stojący za endpointem; kontekst 1 mln tokenów, 2,00 USD za milion tokenów wejściowych i 6,00 USD za milion tokenów wyjściowych.

Wszystkie trzy znajdują się za jednym endpointem kompatybilnym z OpenAI, więc uruchomienie wariantu gęstego względem obsługiwanego wariantu rzadkiego na własnym ruchu oznacza zmianę identyfikatora modelu, a nie integrację. Te ceny to opublikowany cennik dostawcy przekazywany bez marży, dlatego zmiana ceny u dostawcy dociera do Twojego endpointu tego samego dnia.

Gęsta połowa tego porównania jest także furtką ucieczki w zakresie sprzętu i jest tą, którą ostatecznie wybiera większość czytelników tej strony. Qwen3.8-27B to około 55,6 GB wag BF16, 27B przechowywanych i 27B aktywnych, Apache 2.0 — więc jest to jedyny członek tej generacji, którego dopasowanie można oszacować na jednym kalkulatorze. Warianty rzadkie są tańsze na obsłużony token i cięższe w utrzymaniu: około 4,9 TB wag dla rdzenia Max, około 360 GB dla Flash-Next, oba wymagają infrastruktury, którą się aprowizuje, a nie wynajmuje. Strona Qwen3.8-27B zajmuje się dopasowaniem, formatami i kwestiami licencyjnymi; ta strona kończy się na architekturze.

Więc czy odpowiedź dotycząca architektury zmienia to, co powinieneś uruchomić? Mniej, niż sugeruje wyszukiwanie, które cię tu sprowadziło. Jeśli wywołujesz model, oszczędność związana z rzadkimi składnikami jest już uwzględniona w tym, co pobieramy, a wybór jest kwestią kosztu i jakości, a nie architektury. Jeśli pobierasz model, odpowiedź brzmi: żaden model Qwen 3.8 z 512 ekspertami nie mieści się na stacji roboczej — ten, który się mieści, to gęsty 27B, i to jest decyzja, którą notacja -A po cichu podejmowała za ciebie przez cały czas.

Gęsta połowa tego porównania to także furtka awaryjna w kwestii sprzętu i to właśnie po nią sięga większość czytelników tej strony. Qwen3.8-27Bto około 55,6 GB wag BF16, 27B zapisanych i 27B aktywnych, Apache 2.0 — więc jest to jedyny przedstawiciel tego pokolenia, którego dopasowanie można policzyć na jednym kalkulatorze.