Qwen 3.8 MoE: 어떤 멤버가 전문가 혼합(Mixture-of-Experts)이며, 그것이 당신에게 무엇을 바꾸는가

네 — 3.8 세대에는 전문가 혼합(mixture-of-experts) 모델이 포함되어 있으며, 아무 수식 없이 이 질문에 답하는 모델은 Qwen3.8-2.4T-A95B, 2026년 8월에 A​libaba가 오픈 가중치로 공개한 2.4조 매개변수 Max 코어, 그리고 Qwen3.8-Flash-Next, Qwen4 아키텍처의 1,250억 매개변수 희소 프리뷰입니다. 독자가 실제로 호출할 수 있는 두 멤버 — Qwen3.8-Max 및 Qwen3.8-Flash — 는 벤더가 자체 제공하는 빌드로, 그 두 아키텍처에서 파생되었기에 내부 구성이 공개되지 않았더라도 계보상 희소합니다. 유일한 예외는 대부분의 사람들이 이곳에 올 때 이미 손에 들고 있는 멤버입니다: Qwen3.8-27B는 덴스(dense)이며, 그 이름 어디에도 그 사실이 드러나지 않습니다. 이것이 답의 전부이며, 이 페이지의 나머지는 그 뒤에 있는 수치들로, 각각은 토론 스레드가 아니라 A​libaba 자체 모델 카드에서 가져온 것입니다.

이 글의 날짜는 모델을 출시하기 위한 것이 아니라 모델의 시점을 표기하기 위해 사용됩니다. 이 페이지가 답하는 것은 독자들이 지금 입력하고 있는 질문입니다: 2026-09-15부터 2026-10-12까지 자체 Search Console 속성에서 단일 쿼리 qwen 3.8 moe에 대해 432회 노출과 35회 클릭을 기록했습니다 — 클릭률 8.1%로 해당 배치의 어떤 쿼리보다도 높았으며, 여기에 롱테일 행 세 개를 더하면 이 제품군은 440회 노출과 36회 클릭이 됩니다. 그렇게 입력하는 독자는 뉴스를 찾는 것이 아닙니다. 곧 다운로드하거나 호출하려는 모델이 sparse인지 알아내려는 것입니다. 왜냐하면 그 답이 무엇을 실행할 수 있는지를 결정하기 때문입니다. 이 사이트의 어떤 것도 그 답을 하지 못했고, 그래서 이 페이지가 존재합니다. 질문이 아키텍처가 아니라 특정 구성원에 관한 것일 때는, 그것을 담당하는 페이지를 진행하면서 이름을 밝힙니다.

표기법을 안다면, 이름이 알려준다.

A​libaba는 어떤 Qwen 3.8 모델 이름에도 "MoE"를 넣지 않습니다. 파라미터 수를 다음과 같이 표기합니다: 총-A활성, 즉 2.4T-A95B는 2.4조 개의 파라미터가 저장되고 토큰당 950억 개가 활성화된다는 뜻입니다. -A 부분이 바로 단서입니다: 이름에 활성화 수치가 들어 있으면 희소 모델이고, 수십억 단위의 어림수 하나만 있으면 밀집 모델입니다. Qwen3.8-27B에는 활성화 수치가 없는데, 이는 모든 파라미터가 모든 토큰에서 활성화되기 때문이며, 모델 카드는 이를 설명하는 첫 문장에서 "콤팩트하고 배포 친화적인 밀집 모델"이라고 부릅니다.

그러한 해석은 세대 전반에 걸쳐 성립한다:

• Qwen3.8-2.4T-A95B — 전문가 혼합(MoE), 전문가 512개, 저장 2.4T / 활성 95B, 오픈 가중치, 맞춤형 라이선스.

• Qwen3.8-Flash-Next — 전문가 혼합(MoE) 구조, 전문가 512개, 저장 파라미터 125B에 51B n-gram 테이블 추가 / 활성 파라미터 6B, 오픈 웨이트, 커뮤니티 라이선스.

• Qwen3.8-Max — 서빙되는 빌드. 알리바바가 직접 공개한 가중치 카드에 따르면 Max는 "Qwen3.8-2.4T-A95B를 기반으로 한 공식 버전"이며, 클라우드 모델 페이지에서는 이를 "2.4조 파라미터 MoE 플래그십"이라고 설명한다. 희소 구조.

• Qwen3.8-Flash — Flash-Next에서 파생된 서빙 빌드로, 기본적으로 1M 토큰 컨텍스트를 갖춥니다. 태생적으로 희소합니다.

• Qwen3.8-27B — 덴스, 27B 저장 및 27B 활성, Apache 2.0. 구성 어디에도 전문가가 없습니다.

아키텍처, 카드 자체로부터

두 희소 멤버는 모두 Hugging Face에서 동일한 형태로 문서화되어 있으며, 아래 수치는 각각 Qwen/Qwen3.8-2.4T-A95B와 Qwen/Qwen3.8-Flash-Next카드에 없는 수치가 있으면, 이 페이지는 포럼에서 가져오는 대신 그 사실을 그대로 밝힙니다.

Qwen3.8-2.4T-A95B — Max 코어

이것은 92층 인과 언어 모델로, 블록 구조는 카드에 다음과 같이 적혀 있습니다: 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). 쉽게 말하면: 모든 전체 어텐션 블록 사이에 세 개의 선형 어텐션 블록이 있고, 두 블록 뒤에 전문가 혼합 피드포워드 층이 있습니다. 전문가 층은 다음과 같이 지정됩니다: 512개의 전문가, 토큰당 10개의 라우팅된 전문가와 1개의 공유 활성화된 전문가, 전문가 중간 차원은 2048입니다. 저장된 매개변수는 2.4T이고 활성화된 매개변수는 95B입니다. 어텐션 방식은 하이브리드입니다: Gated DeltaNet은 V에 대한 128개의 선형 헤드, QK에 대한 16개의 선형 헤드를 가지며 헤드 차원은 128이고, Gated Attention은 64개의 쿼리 헤드와 4개의 KV 헤드를 가지며 헤드 차원은 256이며, 이 둘이 쌍을 이룹니다. 로터리 차원은 64입니다. 컨텍스트는 기본적으로 262,144 토큰이며 1,010,000까지 확장 가능합니다. 카드에는 여러 단계로 훈련된 다중 토큰 예측도 언급되어 있으며, 구성 파일은 희소 필드를 다음과 같이 직접 확인합니다: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

카드가 분명히 밝히고 있으며 독자가 그냥 넘겨서는 안 되는 두 가지가 있다. 이 모델은 텍스트 전용이다 — 비전 타워가 없다 — 그리고 카드 자체의 안내에 따르면 호스팅되는 Max는 이 가중치 위에 비전 입력, 비사고 모드 지원, 기본 1M 컨텍스트, 내장 도구를 추가하므로, 다운로드 가능한 아티팩트는 핵심을 공유하는 API보다 범위가 좁다. 또한 이는 맞춤형 계약인 qwen3.8-max에 따라 배포되며, Apache 2.0도 커뮤니티 라이선스도 아니다. 이 페이지에서는 그 약관을 다시 논하지 않으며, 해당 약관은 가중치 자체를 다루는 페이지에서 설명한다.

Qwen3.8-Flash-Next — 더 작은 희소 아키텍처

이 멤버는 희소 비율이 가장 극단적이고 가장 쉽게 오독되는 모델입니다. 카드에는 48개 레이어가 12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE))로 배치되어 있고, 동일한 512개 전문가에 라우팅 10개 + 공유 1개, 전문가 중간 차원 640 — Max core의 3분의 1입니다. 파라미터는 이례적인 방식으로 표기되어 있습니다: "6B가 활성화된 125B, 여기에 51B n-gram 임베딩과 4B MTP 추가". 이 세 가지 구성 요소 때문에 리포지토리 사이드바에는 180B로 표시되는 반면 MoE 본체는 125B이며, 독자가 "125B vs 2.4T"를 비교하는 것은 잘못된 숫자를 비교하는 것입니다. 어텐션은 Gated DeltaNet과 Qwen Sparse Attention을 짝지은 것으로, 카드에 따르면 개별 토큰을 선택하는 대신 마이크로 블록 수준에서 작동합니다. 컨텍스트는 기본 262,144이고 1,000,000까지 확장 가능합니다. 라이선스: Qwen Community License 1.0. 구성 파일에는 또한 num_experts: 512, num_experts_per_tok: 10 및 48개 레이어가 기록되어 있습니다.

Alibaba가 공개하지 않은 것

서빙되는 Qwen3.8-Max에 대해서는 이 페이지가 찾을 수 있었던 어떤 공급업체 자료에도 전문가 수, 레이어 수, 활성화 파라미터 수치, 토큰별 라우팅 명세가 없습니다. 공급업체는 이를 2.4조 파라미터 MoE 플래그십이라고 설명하며 Qwen3.8-2.4T-A95B를 기반으로 구축되었다고 밝히는데, 이것이 공개된 세부 정보의 한계이며, 이 두 진술로부터 아키텍처가 일치한다고 추론하는 것은 합리적이지만 문서화된 사실은 아닙니다. 동일한 격차는 서빙되는 Qwen3.8-Flash에도 종류상 적용됩니다. 이 모델이 Flash-Next에서 파생되었다고는 명시되어 있지만 내부 구성은 전혀 공개되지 않았습니다. 호스팅되는 Max에 대한 전문가 수를 알려주는 어떤 페이지든 공급업체가 열어 둔 격차를 메우는 것입니다.

활성 매개변수 수치가 실행에서 바꾸는 것

이것이 바로 이 질문이 제기되는 이유이며, 그 답은 동시에 두 방향으로 나아간다.

다운로드 크기는 활성 개수가 아니라 전체 개수를 따릅니다. Qwen3.8-2.4T-A95B는 BF16 리포지토리에서 213개 샤드에 걸쳐 약 4.9TB이고, FP8 형제 버전에서는 약 2.5TB입니다. 어느 쪽이든 워크스테이션용이 아니라 랙 규모의 산출물입니다. Qwen3.8-Flash-Next는 131개 샤드에 걸쳐 BF16으로 약 360GB이며, 구성 요소를 모두 합치면 자체 사이드바 기준으로 약 180GB입니다. 디스크 상에서, 희소 설계라고 해서 둘 중 어느 것도 작아지지 않습니다. 전문가 가중치는 모두 존재하며 전부 저장해야 합니다.

연산 및 메모리 대역폭은 활성 파라미터 수를 따릅니다. Max 코어의 2.4T 파라미터 중 95B만, 그리고 Flash-Next의 저장된 파라미터 중 6B만이 어느 한 토큰에 참여하기 때문에, 이 모델들의 토큰당 비용은 파일 크기가 시사하는 것보다 훨씬 작은 dense 모델의 비용에 더 가깝습니다. 이러한 격차야말로 2.4조 파라미터 모델을 서빙할 수 있는 근본 이유이며, 스펙 카드에서 각주처럼 보이는 동일한 전체 대비 활성 비율이 사실 그 카드에서 운영상 가장 중요한 숫자인 이유이기도 합니다. 이 페이지에서는 그 옆에 초당 토큰 수치를 제시하지 않습니다. 우리가 제시할 수 있는 어떤 속도도 두 가지 서로 다른 양자화와 알려지지 않은 서빙 스택 전반에 걸쳐 유효하지 않을 것이기 때문입니다. 이 비율은 이식 가능한 사실이고, 처리량은 그렇지 않습니다.

Flash-Next는 각주보다는 여기에서 다뤄야 할 두 번째 복잡한 요소를 추가한다. 이 모델의 51B n-gram 임베딩 테이블은 조회 구조이며, 카드 자체의 설명에 따르면 임베딩은 "Mixture-of-Experts보다 오프로딩에 더 적합하다". 그렇기 때문에 이 정도 크기의 체크포인트를 임베딩 테이블을 가속기 메모리에 고정하는 대신 호스트 메모리에 상주시킨 채 실행할 수 있다 — 이는 설계 선택이지, 당신의 머신에 대한 주장이 아니다. 실질적인 결과는 Flash-Next가 VRAM을 늘리는 것보다 시스템 RAM을 늘려 적재하기가 더 쉽다는 것이며, 이는 동등한 저장 크기의 dense 모델이 동작하는 방식과 정반대다.

빽빽한 형제가 앉아 있는 곳

Qwen3.8-27B는 나머지 세대가 비교 기준으로 삼는 반례다: 64개 층, 전문가 뱅크 대신 17,408 폭의 피드포워드 중간 차원, 27B 저장 및 27B 활성, Apache 2.0, 그리고 개인이 소유한 하드웨어에 들어가는 약 55.6GB의 BF16 가중치. 희소 멤버들이 저장 공간을 희생해 토큰당 작은 연산 풋프린트를 얻는 반면, 덴스 모델은 토큰당 비용을 희생해 예측 가능성을 얻는다 — 모든 파라미터가 활성 상태이므로 메모리와 속도를 산정하기가 간단하다. 그 모델의 전체 설명, 포맷, 적합성은 이를 다루는 Qwen3.8-27B 페이지에 속하며, 이 페이지는 대비만 다루면 된다.

무엇이 아직 해결되지 않았나요?

서빙되는 Qwen3.8-Max와 Qwen3.8-Flash가 다운로드 가능한 코어와 실제로 동일한 전문가 수와 라우팅을 인스턴스화하는지는 검증되지 않았습니다. 벤더는 그 파생 관계를 명시할 뿐 거기서 멈추므로, API 모델에 대한 특정 전문가 수는 미확인으로 취급하십시오. 그리고 Flash-Next를 둘러싼 오픈 양자화 생태계는 대략 1비트부터 완전 정밀도까지의 빌드를 만들어냈지만, 동일 하드웨어에서의 통제된 저비트 비교는 발표된 바 없습니다. 비트 폭을 선택하는 상황이라면, 그 판단은 직접 측정하셔야 할 몫입니다.

가용성

전문가 수가 문서화된 두 멤버 — Qwen3.8-2.4T-A95B 및 Qwen3.8-Flash-Next — 는 다운로드 후 직접 호스팅하는 아티팩트입니다. 둘 다 현재 우리 모델 목록에 없으며, 이들과 유사한 ID도 없습니다. 따라서 이 페이지는 이들 또는 "Qwen3.8-MoE"라는 이름의 어떤 모델에 대해서도 이용 가능하다고 주장하지 않습니다: 그 이름은 아키텍처를 설명하는 것이며, 우리 카탈로그에서 그 이름으로 판매되는 것은 없습니다. 우리가 실제로 제공하는 것은 같은 세대의 다른 세 멤버이며, 질문이 아키텍처에 관한 독자라면 그중 어느 것이든 호출할 수 있습니다:

• qwen/qwen3.8-27b — 밀집형 모델이며 Apache-2.0 라이선스로 자체 호스팅이 가능하고, 텍스트·이미지·비디오 입력을 지원하며 262,144토큰 컨텍스트를 갖추고 있습니다. 제공업체 공개 가격표 기준 입력 100만 토큰당 $0.33, 출력 100만 토큰당 $2.40입니다.

• qwen/qwen3.8-flash — Flash-Next에서 파생된 희소 프로덕션 라인; 100만 토큰 컨텍스트, 입력 100만 토큰당 $0.15, 출력 100만 토큰당 $0.47, 캐시된 입력은 약 $0.018.

• qwen/qwen3.8-max — 엔드포인트 뒤에 있는 Max 코어; 1M 토큰 컨텍스트, 입력 백만 토큰당 $2.00, 출력 백만 토큰당 $6.00.

세 가지 모두 하나의 OpenAI 호환 엔드포인트 뒤에 있으므로, 자체 트래픽에서 서빙되는 스파스 모델에 대해 덴스 형태를 실행하는 데 드는 비용은 통합 작업이 아니라 모델 ID 변경뿐입니다. 해당 가격은 마크업 없이 그대로 전달되는 제공업체의 공개 목록 가격이며, 그래서 공급업체의 가격 변경이 같은 날 귀하의 엔드포인트에 반영됩니다.

그 비교의 밀집형 쪽은 하드웨어에서의 탈출구이기도 하며, 이 페이지의 독자 대부분이 결국 선택하는 쪽이기도 합니다. Qwen3.8-27B는 약 55.6 GB의 BF16 가중치이고, 27B가 저장되고 27B가 활성화되며, Apache 2.0입니다 — 따라서 이 세대에서 하나의 계산기로 적합성을 가늠할 수 있는 유일한 구성원입니다. 희소형 구성원들은 제공되는 토큰당 더 저렴하지만 보유하기에는 더 무겁습니다: Max core의 경우 약 4.9 TB의 가중치, Flash-Next의 경우 약 360 GB이며, 둘 다 임대하는 대신 직접 프로비저닝해야 하는 인프라가 필요합니다. 해당 Qwen3.8-27B 페이지는 적합성, 포맷, 라이선스 문제를 다룹니다; 이 페이지는 아키텍처까지만 다룹니다.

그렇다면 아키텍처에 대한 답이 여러분이 실행해야 할 것을 바꾸나요? 여러분을 여기로 이끈 검색이 시사하는 것보다 적습니다. 모델을 호출하는 경우, sparse members의 절감분은 이미 우리가 청구하는 가격에 반영되어 있고, 선택은 아키텍처의 문제가 아니라 비용과 품질의 문제입니다. 모델을 다운로드하는 경우, 답은 512 experts를 가진 Qwen 3.8 모델 중 워크스테이션에 맞는 것은 없다는 것입니다 — 맞는 것은 dense 27B이며, 그것이 바로 -A 표기가 줄곧 여러분을 위해 조용히 내려주던 결정입니다.

그 비교에서 밀집(dense) 쪽은 하드웨어상의 탈출구이기도 하며, 이 페이지 독자 대부분이 결국 선택하게 되는 쪽이기도 합니다. Qwen3.8-27B는 BF16 가중치 기준 약 55.6GB로, 27B를 저장하고 27B가 활성화되며 Apache 2.0이므로, 이 세대에서 계산기 하나로 적재 규모를 가늠할 수 있는 유일한 모델입니다.