Qwen 3.8 MoE: אילו חברים הם Mixture-of-Experts, ומה זה משנה עבורך

כן — דור 3.8 מכיל מודלים מסוג mixture-of-experts, ואלה שעונים לשאלה החשופה הם Qwen3.8-2.4T-A95B, ליבת Max בת 2.4 טריליון פרמטרים שאותה A​libaba פרסמה כמשקולות פתוחות באוגוסט 2026, וQwen3.8-Flash-Next, תצוגה מקדימה דלילה בת 125 מיליארד פרמטרים של ארכיטקטורת Qwen4. שני החברים שקורא יכול למעשה לקרוא להם — Qwen3.8-Max וQwen3.8-Flash — הם גרסאות שירות של הספק עצמו הנגזרות משתי הארכיטקטורות האלה, ולכן הן דלילות מלידה למרות שהתצורות הפנימיות שלהן אינן מפורסמות. היוצא מן הכלל היחיד הוא החבר שרוב האנשים מגיעים לכאן כשהם כבר מחזיקים בו: Qwen3.8-27B הוא צפוף, ושום דבר בשמו לא אומר זאת. זו כל התשובה, ושאר העמוד הזה הוא הנתונים שמאחוריה, כשכל אחד מהם נלקח מכרטיס המודל של A​libaba עצמה ולא משרשור דיון.

התאריכים במאמר זה משמשים לתיארוך המודלים, לא להכריז עליהם. מה שהעמוד הזה עונה עליו הוא השאלה שקוראים מקלידים כעת: בין 2026-09-15 ל-2026-10-12 הנכס שלנו ב-Search Console רשם 432 חשיפות ו-35 קליקים על השאילתה הבודדת qwen 3.8 moe — שיעור הקלקה של 8.1%, הגבוה מכל שאילתה בקבוצה שלה — ובנוסף שלוש שורות של זנב ארוך שמביאות את המשפחה ל-440 חשיפות ו-36 קליקים. קורא שמקליד זאת אינו מחפש חדשות. הוא מנסה לגלות אם המודל שהוא עומד להוריד או לקרוא לו הוא דליל, משום שהתשובה קובעת מה הוא יכול להריץ. שום דבר באתר הזה לא ענה על כך, ולכן העמוד הזה קיים. כאשר שאלה עוסקת בחבר ספציפי במשפחה ולא בארכיטקטורה, העמוד שאחראי עליה יוזכר תוך כדי.

השם אומר לך, אם אתה מכיר את הסימון

Alibaba לא מכניסה "MoE" לאף שם של דגם Qwen 3.8. היא כותבת את מספר הפרמטרים כ-סך הכל-Aפעילים, כך ש-2.4T-A95B נקרא כ-2.4 טריליון פרמטרים מאוחסנים ו-95 מיליארד פעילים לכל טוקן. ה-A הוא החלק המסגיר: שם עם נתון הפעלה בתוכו הוא דגם דליל, ושם עם מספר עגול יחיד של מיליארדים הוא דגם צפוף. Qwen3.8-27B לא נושא נתון הפעלה משום שכל אחד מהפרמטרים שלו פעיל בכל טוקן, והכרטיס שלו מכנה אותו "דגם צפוף קומפקטי וידידותי לפריסה" במשפט הראשון שמתאר אותו.

הקריאה הזו תקפה לאורך הדור:

• Qwen3.8-2.4T-A95B — תערובת מומחים, 512 מומחים, 2.4T מאוחסנים / 95B פעילים, משקלים פתוחים, רישיון מותאם אישית.

• Qwen3.8-Flash-Next — תערובת מומחים, 512 מומחים, 125B מאוחסנים בתוספת טבלת n-gram של 51B / 6B פעילים, משקולות פתוחות, רישיון קהילתי.

• Qwen3.8-Max — הגרסה המוגשת; הכרטיס של אליבאבא עצמה עבור המשקלים אומר ש-Max הוא "הגרסה הרשמית המבוססת על Qwen3.8-2.4T-A95B", ודף המודל בענן שלה מתאר אותו כ"דגל MoE בעל 2.4 טריליון פרמטרים". דליל.

• Qwen3.8-Flash — הבנייה המוגשת הנגזרת מ-Flash-Next, עם הקשר של מיליון טוקנים כברירת מחדל. דלילה מלידה.

• Qwen3.8-27B — צפוף, 27B מאוחסן ו-27B פעיל, Apache 2.0. אין מומחים בשום מקום בתצורתו.

הארכיטקטורה, מהכרטיסים עצמם

שני החברים הדלילים מתועדים באותה צורה ב-Hugging Face, והמספרים שלהלן מצוטטים מ-Qwen/Qwen3.8-2.4T-A95B ומ-Qwen/Qwen3.8-Flash-Next בהתאמה. במקום שבו נתון אינו מופיע בכרטיס, עמוד זה אומר זאת במפורש ולא שואל נתון מפורום.

Qwen3.8-2.4T-A95B — ליבת Max

זהו מודל שפה סיבתי בעל 92 שכבות, שמבנה הבלוקים שלו כתוב בכרטיס בתור 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE)). במילים פשוטות: שלושה בלוקי קשב ליניארי בין כל בלוק קשב מלא, ושכבת הזנה קדימה מסוג תערובת מומחים אחרי שניהם. שכבת המומחים מוגדרת כ-512 מומחים, 10 מנותבים ועוד 1 משותף שמופעל לכל טוקן, עם ממד ביניים של מומחה בגודל 2048. הפרמטרים המאוחסנים הם 2.4T והפרמטרים המופעלים הם 95B. סכמת הקשב היא היברידית: Gated DeltaNet עם 128 ראשים ליניאריים עבור V ו-16 עבור QK בממד ראש של 128, יחד עם Gated Attention עם 64 ראשי שאילתה ו-4 ראשי KV בממד ראש של 256, עם ממד רוטרי של 64. ההקשר הוא 262,144 טוקנים באופן מקורי, וניתן להרחבה ל-1,010,000. הכרטיס גם מציין חיזוי ריבוי טוקנים שאומן עם מספר צעדים, וקובץ התצורה מאשר ישירות את השדות הדלילים: num_experts: 512, num_experts_per_tok: 10, num_hidden_layers: 92.

שני דברים שהכרטיס מפורש לגביהם, וקורא לא צריך להתעלם מהם. הוא טקסט בלבד — בלי מגדל ראייה — והטיפ של הכרטיס עצמו מציין שה-Max המתארח מוסיף קלט חזותי, תמיכה במצב ללא חשיבה, הקשר של 1M כברירת מחדל וכלים מובנים בנוסף למשקלים האלה, כך שהארטיפקט להורדה צר יותר מה-API שאיתו הוא חולק ליבה. והוא מופץ תחת הסכם מותאם אישית, qwen3.8-max, לא Apache 2.0 ולא הרישיון הקהילתי; העמוד הזה לא דן מחדש בתנאים האלה, והם מכוסים בעמוד של המשקלים עצמם.

Qwen3.8-Flash-Next — הארכיטקטורה הדלילה הקטנה יותר

זהו החבר שבו יחס הדלילות הוא הקיצוני ביותר והקל ביותר לטעות בקריאתו. הכרטיס שלו מפרט 48 שכבות המסודרות כ-12 × (3 × (Gated DeltaNet → MoE) → 1 × (Qwen Sparse Attention → MoE)), אותם 512 מומחים עם 10 מנותבים ועוד 1 משותף, וממד ביניים של מומחה של 640 — שליש מזה של ליבת Max. הפרמטרים מצוינים באופן יוצא דופן: "125B עם 6B מופעלים, ובנוסף 51B הטמעת n-gram ו-4B MTP". שלושת הרכיבים האלה הם הסיבה לכך שהמאגר שלו מפרט 180B בסרגל הצד בעוד שגוף ה-MoE הוא 125B, ולכך שקורא המשווה "125B מול 2.4T" משווה מספרים לא נכונים. הקשב הוא Gated DeltaNet בשילוב עם Qwen Sparse Attention, שלפי הכרטיס פועל ברמת המיקרו-בלוק ולא בוחר טוקנים בודדים. ההקשר הוא 262,144 באופן מקורי, וניתן להרחבה ל-1,000,000. רישיון: Qwen Community License 1.0. קובץ התצורה שלו גם מתעד num_experts: 512, num_experts_per_tok: 10 ו-48 שכבות.

מה שלא פרסמה Alibaba

עבור הגרסה המוגשת של Qwen3.8-Max אין ספירת מומחים, אין ספירת שכבות, אין נתון פרמטרים מופעלים ואין מפרט ניתוב לפי טוקן בכל חומר ספק שהדף הזה הצליח למצוא. הספק מתאר אותו כספינת דגל מסוג MoE בעלת 2.4 טריליון פרמטרים ומציין שהוא בנוי על Qwen3.8-2.4T-A95B; זהו גבול הפרטים שפורסמו, וזו הסקה סבירה משתי ההצהרות האלה שהארכיטקטורה תואמת, ולא עובדה מתועדת. אותו פער חל באופן דומה גם על Qwen3.8-Flash המוגש, שמצוין שהוא נגזר מ-Flash-Next אך התצורה הפנימית שלו אינה מפורסמת כלל. כל דף שנותן לך מספר מומחים עבור ה-Max המתארח ממלא פער שהספק השאיר פתוח.

מה נתון הפרמטרים הפעילים משנה לגבי הרצתו

זו הסיבה שהשאלה נשאלת בכלל, והתשובה נעה בשני כיוונים בו-זמנית.

גודל ההורדה נגזר מהסכום הכולל, לא מהמספר הפעיל. Qwen3.8-2.4T-A95B הוא בקירוב 4.9 TB על פני 213 שארדים במאגר ה-BF16 שלו ובקירוב 2.5 TB בגרסה האחות ב-FP8 — כך או כך, תוצר בקנה מידה של מתלה, לא של תחנת עבודה. Qwen3.8-Flash-Next הוא כ-360 GB ב-BF16 על פני 131 שארדים, וכ-180 GB לפי ספירת סרגל הצד שלו עצמו כשמחברים את הרכיבים. על הדיסק, שום דבר בתכנון הדליל לא הופך אף אחד מהם לקטן; משקולות המומחים כולן קיימות וכולן חייבות להישמר.

רוחב הפס של החישוב והזיכרון נקבע לפי מספר הפרמטרים הפעילים.מכיוון שרק 95B מתוך 2.4T הפרמטרים של ליבת Max, ורק 6B מהפרמטרים המאוחסנים של Flash-Next, משתתפים בכל טוקן בודד, העלות לכל טוקן של מודלים אלה קרובה לזו של מודל צפוף קטן בהרבה ממה שגדלי הקבצים שלהם מרמזים. הפער הזה הוא הסיבה היחידה לכך שמודל עם 2.4 טריליון פרמטרים יכול להיות מוגש בכלל, והוא הסיבה לכך שאותו יחס בין סך הפרמטרים לפרמטרים הפעילים, שנראה כמו הערת שוליים על הכרטיס, הוא המספר הרלוונטי ביותר מבחינה תפעולית שמופיע בו. העמוד הזה לא יציג לצידו נתון של טוקנים לשנייה, מכיוון ששום קצב שנוכל לנקוב בו לא יהיה תקף על פני שתי קוונטיזציות שונות וסטאק הגשה לא ידוע — היחס הוא העובדה הניתנת להעברה, ואילו התפוקה אינה.

Flash-Next מוסיף טוויסט שני שמקומו כאן ולא בהערת שוליים. טבלת הטמעות n-gram בת 51B שלו היא מבנה חיפוש, והמסגור של הכרטיס עצמו הוא שהטמעות "נוחות יותר לפריקה מאשר Mixture-of-Experts". זה מה שמאפשר להריץ צ'קפוינט בגודל כזה כשטבלת ההטמעות יושבת בזיכרון המארח ולא מוצמדת בזיכרון המאיץ — בחירה תכנונית, לא טענה על המכונה שלך. המשמעות המעשית היא שקל יותר להתאים את Flash-Next על ידי הוספת system RAM מאשר על ידי הוספת VRAM, וזה ההפך מהאופן שבו מתנהג מודל צפוף בגודל מאוחסן שקול.

היכן שהאח הצפוף יושב

Qwen3.8-27B הוא הדוגמה הנגדית ששאר הדור נמדד לפיה: 64 שכבות, מימד ביניים של הזנה קדימה ברוחב 17,408 במקום מאגר מומחים, 27B מאוחסנים ו-27B פעילים, Apache 2.0, וכ-55.6 GB של משקולות BF16 שנכנסות לחומרה שאדם מחזיק. כאשר החברים הדלילים מחליפים אחסון בטביעת רגל חישובית קטנה לכל טוקן, הצפוף מחליף עלות לכל טוקן ביכולת חיזוי — כל פרמטר פעיל, כך שזיכרון ומהירות קלים להערכה. הטיפול המלא במודל הזה, הפורמטים שלו וההתאמה שלו שייכים לQwen3.8-27B עמוד, אשר מחזיק בו; העמוד הזה צריך רק את הניגוד.

מה לא הוסדר

האם Qwen3.8-Max ו-Qwen3.8-Flash המוגשים אכן מממשים את אותם מספרי המומחים ואותו ניתוב כמו הליבות הניתנות להורדה אינו מאומת: הספק מציין את הגזירה ועוצר שם, לכן התייחסו לכל מספר מומחים ספציפי עבור מודלי ה-API כלא מאומת. והמערכת האקולוגית הפתוחה לכימות סביב Flash-Next יצרה בניות מטווח של בערך 1 ביט ועד דיוק מלא, ללא השוואת סיביות נמוכות מבוקרת שפורסמה על חומרה מותאמת — אם אתם בוחרים רוחב סיביות, ההכרעה הזו היא שלכם למדוד.

זמינות

שני החברים שמספרי המומחים שלהם מתועדים — Qwen3.8-2.4T-A95B וQwen3.8-Flash-Next — הם ארטיפקטים להורדה ולאירוח. אף אחד מהם אינו ברשימת המודלים שלנו היום, ואין מזהה הדומה להם, לכן העמוד הזה אינו מצהיר על זמינות לגביהם או לגבי כל מודל בשם "Qwen3.8-MoE": השם מתאר ארכיטקטורה, ושום דבר בקטלוג שלנו אינו נמכר תחתיו. מה שאנחנו כן מספקים הוא שלושה חברים אחרים מאותו דור, וקורא ששאלתו הייתה ארכיטקטונית יכול לפנות לכל אחד מהם:

• qwen/qwen3.8-27b — הגרסה ה"צפופה" (dense), ברישיון Apache-2.0, הניתנת לאירוח עצמי; קלט של טקסט, תמונה וווידאו, חלון הקשר של 262,144 טוקנים, $0.33 למיליון טוקני קלט ו-$2.40 למיליון טוקני פלט לפי המחירון המפורסם של הספק.

• qwen/qwen3.8-flash — המסלול הייצורי הדליל הנגזר מ-Flash-Next; הקשר של 1M טוקנים, $0.15 למיליון קלט ו-$0.47 למיליון פלט, כשקלט נשמר במטמון עולה כ-$0.018.

• qwen/qwen3.8-max — ליבת ה-Max שמאחורי נקודת קצה; הקשר של 1M טוקנים, $2.00 למיליון טוקני קלט ו-$6.00 למיליון טוקני פלט.

כל השלושה יושבים מאחורי נקודת קצה אחת תואמת OpenAI, כך שהרצת הצורה הצפופה מול זו הדלילה המוגשת על התעבורה שלך כרוכה בשינוי של מזהה מודל ולא באינטגרציה. המחירים האלה הם המחירון המפורסם של הספק, המועבר הלאה כפי שהוא וללא תוספת רווח, ולכן שינוי מחיר של ספק מגיע לנקודת הקצה שלך באותו היום.

החצי הצפוף של ההשוואה ההיא הוא גם פתח המילוט בחומרה, והוא זה שרוב הקוראים של העמוד הזה בסופו של דבר בוחרים. Qwen3.8-27B הוא בסביבות 55.6 GB של משקולות BF16, 27B מאוחסנים ו-27B פעילים, Apache 2.0 — כך שהוא החבר היחיד בדור הזה שאת ההתאמה שלו אפשר לחשב במחשבון אחד. החברים הדלילים זולים יותר לכל אסימון שמשרתים וכבדים יותר להחזיק: בערך 4.9 TB של משקולות ל-Max core, בערך 360 GB ל-Flash-Next, שניהם זקוקים לתשתית שאתם מספקים ולא שוכרים. העמוד של Qwen3.8-27B מחזיק בהתאמה, בפורמטים ובשאלות הרישיון; העמוד הזה עוצר בארכיטקטורה.

אז האם התשובה הארכיטקטונית משנה את מה שכדאי לך להריץ? פחות ממה שהחיפוש שהביא אותך לכאן מרמז. אם אתה קורא למודל, החיסכון של האיברים הדלילים כבר מגולם במה שאנחנו גובים, והבחירה היא של עלות ואיכות, לא בחירה ארכיטקטונית. אם אתה מוריד מודל, התשובה היא שאף מודל Qwen 3.8 עם 512 מומחים לא נכנס בתחנת עבודה — זה שכן נכנס הוא ה-27B הצפוף, וזו ההחלטה שסימון ה-A עשה בשקט בשבילך כל הזמן.

החצי הצפוף של ההשוואה הזו הוא גם פתח המילוט בכל הנוגע לחומרה, והוא זה שרוב קוראי העמוד הזה בסופו של דבר בוחרים בו. Qwen3.8-27B הוא בסביבות 55.6 GB של משקולות BF16, 27B מאוחסנים ו-27B פעילים, Apache 2.0 — כך שהוא החבר היחיד בדור הזה שאת ההתאמה שלו אפשר לחשב במחשבון אחד.