Qwen 3.8 MoE: какие компоненты являются смесью экспертов и что это меняет для вас

Да — поколение 3.8 содержит модели со смесью экспертов, и те, что отвечают на сам вопрос, — это Qwen3.8-2.4T-A95B, 2,4-триллионное по числу параметров ядро Max, которое A​libaba опубликовала как открытые веса в августе 2026 года, и Qwen3.8-Flash-Next, 125-миллиардная по числу параметров разреженная предварительная версия архитектуры Qwen4. Два представителя, которые читатель действительно может вызвать, — Qwen3.8-Max и Qwen3.8-Flash — это собственные обслуживаемые сборки вендора, производные от этих двух архитектур, поэтому они разреженны по происхождению, хотя их внутренние конфигурации не опубликованы. Единственное исключение — представитель, которого большинство людей уже держат в руках, когда приходят сюда: Qwen3.8-27B — плотная, и ничто в её названии об этом не говорит. Это и есть весь ответ, а остальная часть этой страницы — цифры, стоящие за ним, каждая взята из собственной карточки модели A​libaba, а не из ветки обсуждения.

Даты в этой статье служат для датировки моделей, а не для их анонса. Эта страница отвечает на вопрос, который читатели набирают прямо сейчас: с 2026-09-15 по 2026-10-12 наш собственный ресурс Search Console зафиксировал 432 показа и 35 кликов по единственному запросу qwen 3.8 moe — это 8,1% кликабельности, самый высокий показатель среди всех запросов в его наборе — плюс три строки длинного хвоста, которые доводят семейство до 440 показов и 36 кликов. Читатель, набирающий это, не ищет новости. Он пытается выяснить, является ли модель, которую он вот-вот скачает или вызовет, разрежённой (sparse), потому что ответ определяет, что он сможет запустить. Ничто на этом сайте на это не отвечало — вот почему эта страница существует. Там, где вопрос касается конкретного представителя семейства, а не архитектуры, страница, которая за него отвечает, называется по ходу текста.

Название говорит само за себя, если вы знаете нотацию.

Alibaba не включает «MoE» ни в одно название модели Qwen 3.8. Компания записывает количество параметров как общее число-Aактивных, поэтому 2.4T-A95B читается как: 2,4 триллиона параметров хранится, а 95 миллиардов активируются на токен. Именно -A — это и есть подсказка: название, в котором есть показатель активации, — это разреженная модель, а название с одним круглым числом миллиардов — плотная. Qwen3.8-27B не содержит показателя активации, потому что каждый её параметр активен на каждом токене, и в её карточке она названа «компактной, удобной для развёртывания плотной моделью» в первом предложении, которое её описывает.

Такое прочтение справедливо для всего поколения:

• Qwen3.8-2.4T-A95B — смесь экспертов, 512 экспертов, 2,4 трлн хранимых / 95 млрд активных параметров, открытые веса, собственная лицензия.

• Qwen3.8-Flash-Next — смесь экспертов, 512 экспертов, 125B хранимых параметров плюс таблица n-грамм на 51B / 6B активных, открытые веса, лицензия сообщества.

• Qwen3.8-Max — обслуживаемая сборка; собственная карточка Alibaba для весов утверждает, что Max — это «официальная версия на основе Qwen3.8-2.4T-A95B», а её страница облачной модели описывает его как «флагманскую MoE-модель с 2,4 трлн параметров». Разреженная.

• Qwen3.8-Flash — поставляемая сборка, производная от Flash-Next, по умолчанию имеющая контекст в 1M токенов. Разреженная по происхождению.

• Qwen3.8-27B — плотная модель: 27B хранимых и 27B активных параметров, Apache 2.0. Никаких экспертов в её конфигурации нет.

Архитектура, из самих карточек

Оба разреженных члена документированы в одинаковой форме на Hugging Face, и приведённые ниже числа взяты из Qwen/Qwen3.8-2.4T-A95B и Qwen/Qwen3.8-Flash-Next соответственно. Там, где какая-либо цифра отсутствует на карточке, эта страница сообщает об этом, а не заимствует её с форума.

Qwen3.8-2.4T-A95B — ядро Max

Это 92-слойная причинная языковая модель, блочная структура которой указана на карточке как 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). Простыми словами: три блока линейного внимания между каждым блоком полного внимания и слой прямой связи смеси экспертов после обоих. Экспертный слой задан как 512 экспертов, 10 маршрутизируемых плюс 1 общий, активируемых на токен, с промежуточной размерностью эксперта 2048. Хранимые параметры — 2,4 трлн, активируемые — 95 млрд. Схема внимания гибридная: Gated DeltaNet с 128 линейными головами для V и 16 для QK при размерности головы 128, в паре с Gated Attention с 64 головами запросов и 4 головами KV при размерности головы 256, с размерностью rotary 64. Контекст — 262 144 токена нативно, с расширением до 1 010 000. В карточке также отмечено многоточенное предсказание, обучаемое с несколькими шагами, и файл конфигурации напрямую подтверждает разреженные поля: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

Две вещи, о которых карточка говорит прямо и которые читателю не стоит обходить вниманием. Она работает только с текстом — без визуального энкодера — а в собственной подсказке карточки указано, что размещённый на хостинге Max добавляет к этим весам визуальный ввод, поддержку режима без размышлений, контекст в 1M по умолчанию и встроенные инструменты, так что скачиваемый артефакт уже, чем API, с которым он делит ядро. И поставляется он по особому соглашению, qwen3.8-max, а не Apache 2.0 и не по лицензии сообщества; эта страница не пересматривает эти условия, и они освещены на странице самих весов.

Qwen3.8-Flash-Next — меньшая разреженная архитектура

Это та версия, где разреженность выражена наиболее резко и чаще всего читается неверно. На её карточке указано 48 слоёв, организованных как 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), те же 512 экспертов с 10 маршрутизируемыми плюс 1 общий, и промежуточная размерность эксперта 640 — треть от таковой у ядра Max. Параметры указаны необычно: «125B с 6B активируемых, плюс 51B n-gram embedding и 4B MTP». Из-за этих трёх компонентов в её репозитории в боковой панели значится 180B, тогда как само тело MoE — 125B, и поэтому читатель, сравнивающий «125B против 2.4T», сравнивает не те числа. Внимание — это Gated DeltaNet в паре с Qwen Sparse Attention, которая, как сказано на карточке, работает на уровне микроблоков, а не выбирает отдельные токены. Контекст — 262 144 нативно, расширяется до 1 000 000. Лицензия: Qwen Community License 1.0. В её файле конфигурации также записаны num_experts: 512, num_experts_per_tok: 10 и 48 слоёв.

Что Alibaba не опубликовала

Для обслуживаемой Qwen3.8-Max ни в каких материалах поставщика, которые удалось найти этой странице, нет ни числа экспертов, ни числа слоёв, ни показателя активированных параметров, ни спецификации маршрутизации по токенам. Поставщик описывает её как флагманскую MoE-модель с 2,4 триллиона параметров и заявляет, что она построена на Qwen3.8-2.4T-A95B; это предел опубликованных подробностей, и из этих двух утверждений о совпадении архитектуры можно сделать разумный вывод, но это не документированный факт. Такой же по сути пробел касается и обслуживаемой Qwen3.8-Flash, происхождение которой от Flash-Next заявлено, однако её внутренняя конфигурация не публикуется вообще. Любая страница, которая выдаёт вам число экспертов для размещённой Max, заполняет пробел, оставленный поставщиком открытым.

Что число активных параметров меняет в его запуске

Вот почему этот вопрос вообще возникает, и ответ идёт сразу в двух направлениях.

Размер загрузки определяется общим объёмом, а не количеством активных параметров. Qwen3.8-2.4T-A95B занимает примерно 4,9 ТБ на 213 шардов в своём репозитории BF16 и примерно 2,5 ТБ в FP8-версии — в любом случае это артефакт масштаба стойки, а не рабочей станции. Qwen3.8-Flash-Next занимает около 360 ГБ в BF16 на 131 шард, а по собственному подсчёту в боковой панели — около 180 ГБ, если сложить все компоненты. На диске разреженная архитектура ничуть не делает их меньше; все веса экспертов существуют и все должны храниться.

Вычислительная производительность и пропускная способность памяти зависят от числа активных параметров. Поскольку в обработке каждого отдельного токена участвует лишь 95B из 2,4T параметров ядра Max и лишь 6B из хранимых параметров Flash-Next, стоимость одного токена для этих моделей ближе к стоимости куда более компактной плотной модели, чем можно предположить по размерам их файлов. Именно этот разрыв — единственная причина, по которой модель с 2,4 триллиона параметров вообще можно обслуживать, и именно поэтому то самое соотношение общего числа параметров к активным, которое на карточке выглядит как сноска, оказывается самым значимым с операционной точки зрения числом. Эта страница не станет ставить рядом с ним показатель токенов в секунду, потому что ни одна названная нами скорость не будет справедлива одновременно для двух разных схем квантизации и неизвестного стека обслуживания — переносимым фактом является соотношение, а не пропускная способность.

Flash-Next добавляет второй нюанс, который стоит упомянуть здесь, а не в сноске. Его таблица n-gram-эмбеддингов на 51B — это структура поиска, а в самой карточке формулировка такова, что эмбеддинги «лучше поддаются выгрузке, чем Mixture-of-Experts». Именно это делает чекпоинт такого размера запускаемым, когда таблица эмбеддингов размещена в памяти хоста, а не закреплена в памяти ускорителя, — это выбор при проектировании, а не утверждение о вашей машине. Практическое следствие: Flash-Next легче уместить, добавив системную оперативную память, чем добавив VRAM, — это противоположно тому, как ведёт себя плотная модель эквивалентного объёма хранения.

Где сидит плотный братский элемент

Qwen3.8-27B — это контрпример, на фоне которого измеряют остальных представителей поколения: 64 слоя, промежуточная размерность feed-forward шириной 17 408 вместо банка экспертов, 27B хранимых и 27B активных, Apache 2.0 и около 55,6 ГБ весов BF16, которые умещаются на оборудовании, которым владеет человек. Там, где разреженные представители жертвуют объёмом хранимых данных ради малых вычислительных затрат на токен, плотный вариант жертвует затратами на токен ради предсказуемости — каждый параметр задействован, поэтому объём памяти и скорость элементарно рассчитываются. Полное рассмотрение этой модели, её форматов и её размещения — за страницей Qwen3.8-27B, которая владеет ею; на этой странице нужен только контраст.

Что не решено

Не проверено, действительно ли обслуживаемые Qwen3.8-Max и Qwen3.8-Flash инстанцируют столько же экспертов и такую же маршрутизацию, как скачиваемые ядра: поставщик указывает, как они получены, и на этом останавливается, поэтому любое конкретное число экспертов для моделей API следует считать неподтверждённым. А открытая экосистема квантования вокруг Flash-Next породила сборки от примерно 1-битных до полной точности, при этом контролируемое сравнение низкобитных вариантов на одинаковом оборудовании не опубликовано — если вы выбираете разрядность, это решение за вами, и его нужно измерять.

Доступность

Два представителя, для которых задокументировано количество экспертов, — Qwen3.8-2.4T-A95B и Qwen3.8-Flash-Next — это артефакты для скачивания и самостоятельного хостинга. Ни один из них сегодня не входит в наш список моделей, и нет идентификатора, похожего на них, поэтому эта страница не содержит утверждений о доступности ни их, ни какой-либо модели под названием «Qwen3.8-MoE»: это название описывает архитектуру, и ничего в нашем каталоге под ним не продаётся. Что мы действительно предлагаем — это три других представителя того же поколения, и читатель, чей вопрос касался архитектуры, может обратиться к любому из них:

• qwen/qwen3.8-27b — плотная модель с лицензией Apache-2.0 и возможностью самостоятельного развёртывания; на входе текст, изображения и видео, контекст 262 144 токена, $0,33 за миллион входных токенов и $2,40 за миллион выходных по опубликованному прайс-листу провайдера.

• qwen/qwen3.8-flash — разреженный производственный вариант, производный от Flash-Next; контекст в 1 млн токенов, $0.15 за миллион входных и $0.47 за миллион выходных, при кэшированном вводе — около $0.018.

• qwen/qwen3.8-max — ядро Max, стоящее за эндпоинтом; контекст в 1 млн токенов, $2.00 за миллион входных и $6.00 за миллион выходных токенов.

Все три находятся за одним OpenAI-совместимым эндпоинтом, поэтому запуск плотного варианта против обслуживаемого разрежённого на вашем собственном трафике стоит смены идентификатора модели, а не интеграции. Эти цены — опубликованный прайс-лист провайдера, передаваемый без наценки, поэтому изменение цены поставщика достигает вашего эндпоинта в тот же день.

Плотная половина этого сравнения — ещё и лазейка с точки зрения аппаратного обеспечения, и именно её в итоге выбирает большинство читателей этой страницы. Qwen3.8-27B — это около 55,6 ГБ весов BF16, 27B хранимых и 27B активных, Apache 2.0 — так что это единственный представитель этого поколения, чей объём размещения можно рассчитать на одном калькуляторе. Разреженные представители дешевле в расчёте на обслуживаемый токен, но дороже в содержании: примерно 4,9 ТБ весов для ядра Max core, примерно 360 ГБ для Flash-Next, и обоим нужна инфраструктура, которую вы разворачиваете сами, а не арендуете. СтраницаQwen3.8-27B рассматривает вопросы размещения, форматов и лицензирования; эта страница останавливается на архитектуре.

Итак, меняет ли ответ про архитектуру то, что вам стоит запускать? Меньше, чем подразумевает поиск, который привёл вас сюда. Если вы вызываете модель, экономия за счёт разреженных компонентов уже заложена в нашу цену, и выбор — это вопрос стоимости и качества, а не архитектуры. Если вы скачиваете модель, ответ таков: ни одна модель Qwen 3.8 с 512 экспертами не умещается на рабочей станции — та, что умещается, — это плотная 27B, и именно это решение нотация -A незаметно принимала за вас всё это время.

Плотная половина этого сравнения — это ещё и запасной выход на аппаратном обеспечении, и именно его в итоге выбирает большинство читателей этой страницы. Qwen3.8-27B — это около 55,6 ГБ весов BF16, 27B хранимых и 27B активных, Apache 2.0 — так что это единственный представитель этого поколения, чьё размещение можно рассчитать на одном калькуляторе.