Granite Switch 4.1 8B מול Qwen3-8B: מה קורה כשאין לצד השני יורש

נתחיל מבעיית שמות, כי היא משנה מה המאמר הזה יכול להיות בכנות. כשתחפשו את מודל 8B בדור Qwen החדש ביותר של עליבאבא, לא תמצאו אותו: קו Qwen3.8 — Qwen3.8-27B, Qwen3.8-Max, גרסאות ה-Flash, תערובת המומחים העצומה 2.4T-A95B — פשוט אינו כולל חבר צפוף בנפח 8B. המקום של 8B במשפחת Qwen עדיין תפוס בידי Qwen3-8B, שיצא לאור ב-27 באפריל 2025: 8.2 מיליארד פרמטרים, חשיבה ואי-חשיבה היברידיות במודל אחד, יותר מ-100 שפות וניבים, 32,768 טוקנים של הקשר מקורי המתרחב ל-131,072 עם YaRN. המודל הזה בן שישה-עשר חודשים ועדיין אחד מנקודות הביקורת (checkpoints) בקוד פתוח עם המשקולות הפתוחות הנטענות ביותר שקיימות. הוא המחזיק הנוכחי — ומה שהופך את העימות הזה לראוי לכתיבה הוא ש-Granite Switch 4.1 8B, נקודת הביקורת המורכבת של IBM מ-14 באוקטובר 2026, כלל אינו מציע להחליף אותו בממשיך דרכו. הוא מציע צורה אחרת של מודל באותה מחלקת פרמטרים: מודל טקסט קפוא בנפח 8B עם שני מתאמים (adapters) ניתנים להחלפה ומקודד דיבור התלוי עליו, שמבצע שלוש משימות באמצעות החלפה במקום משימה אחת באמצעות חשיבה. איש לא החליף את Qwen3-8B, והשאלה הטובה יותר היא אם מישהו צריך לעשות זאת.

מול זה ניצב Granite Switch 4.1 8B, הצ'קפוינט המורכב של IBM מ-14 באוקטובר 2026 — Granite 4.1 8B קפוא עם 8,380,551,168 פרמטרים, הנושא שני מתאמי LoRA מופעלים הניתנים להחלפה ומקודד דיבור של 470M, בסך מורכב של 8,776,400,896, עלייה של 4.72%. אותה מחלקת פרמטרים, אך תפיסה שונה לחלוטין של מהו מודל. Qwen3-8B הוא סטאק צפוף אחד שעושה הכול באמצעות חשיבה על כך. Granite Switch 4.1 8B הוא סטאק שלא עושה דבר באמצעות הסקה, ושלושה דברים באמצעות מיתוג.

משבצת ה-8B ריקה, וזהו הסיפור האמיתי

כדאי לעצור על ההיעדרות ולא להתייחס אליה כאל פער בהשוואה הזו. Alibaba השיקה את הדור Qwen3.8 עם מודל צפוף בנפח 27B, גרסאות Max ו-Flash, ותערובת מומחים בעלת 2.4 טריליון פרמטרים, ודילגה על קטגוריית הגודל שהפכה את הדור הקודם לברירת מחדל לפריסה על GPU בודד. כל צוות שבחר ב-Qwen3-8B משום שהוא נכנס על כרטיס אחד וניתן היה לכוונן אותו בזול, מוצא כעת לנגד עיניו מערך יורשים שמכפיל את דרישת הזיכרון או משנה לחלוטין את בעיית ההגשה.

זו ההחלטה האמיתית שהמאמר הזה עוסק בה. אף אחד לא בוחר בין Qwen3-8B ל-Granite Switch 4.1 8B על בסיס איכות — מכהן בן שישה עשר חודשים מול מאתגר בן יומיים בלי הערכה עצמאית אינו השוואת איכות אלא השוואת ידע. השאלה היא מה עושים כשסוס העבודה שלך אין לו יורש באותו גודל, ושתי התשובות המועמדות הן "להשאיר את סוס העבודה" ו"להחליף את הצורה".

Qwen3-8B: מה משיגים בשישה־עשר חודשי פרודקשן

Qwen3-8B הוא טרנספורמר סיבתי צפוף עם 36 שכבות, גודל חבוי 4,096, קשב עם שאילתות מקובצות של 32 ראשי שאילתה מול 8 ראשי KV, גודל ביניים 12,288, RoPE theta 1e6, אמבדינגים לא קשורים ואוצר מילים של 151,936 טוקנים. כ-8.2 מיליארד פרמטרים, שמתוכם כ-6.95 מיליארד אינם אמבדינג. מתג החשיבה הוא פרמטר — enable_thinking — והגדרות היצירה שונות לפי מצב, כאשר הכרטיס מזהיר במפורש מפני פענוח חמדני במצב חשיבה משום שהוא גורם ללולאות.

מה שיש לו שאף checkpoint חדש לא יכול לטעון: שישה עשר חודשים של תעבורת פרודקשן של אנשים אחרים. מצבי כשל שמישהו אחר כבר נתקל בהם ותיעד אותם. קוונטיזציות, fine-tunes, מתכוני LoRA ומדריכי פריסה לכל פריימוורק הגשה שרלוונטי. כמעט עשרה מיליון הורדות מ-Hub ולמעלה מאלפיים לייקים, עם שושלת instruct מאחוריו. כשמודל כל כך הרבה זמן נמצא בציבור, האקוסיסטם שסביבו הוא חלק אמיתי מהיכולות שלו, וכל תאריך שחרור לא יכול להיות מוקצה בדיעבד לתוך זה.

Granite Switch 4.1 8B: מה מרוויחים מצורה חדשה

ה-checkpoint של IBM הוא קומפוזיציה ולא מודל, והחלקים מתועדים במניפסט בנייה שמצורף לצד המשקולות. בסיס: Granite 4.1 8B, 40 שכבות, גודל מוסתר 4,096, 32 ראשי שאילתה מול 8 ראשי KV, חלון של 131,072 טוקנים, אוצר מילים של 100,352 טוקנים. אדפטרים: guardian-core, דרגה 16, אלפא 64, על הטלות הקשב (k_proj, o_proj, q_proj, v_proj), מזהה נזק, פריצת הגנות, ניבול פה, אלימות, תוכן מיני, הטיה חברתית והתנהגות בלתי אתית; וdecision, דרגה 64, אלפא 128, על כל שבע ההטלות כולל ה-MLP, ומחזיר softmax מכויל על טוקנים של אפשרויות מתויגות במעבר קדימה בודד. מקודד: Granite Speech 5.0 TurboCTC, 470 מיליון פרמטרים, CTC קונפורמר לא אוטורגרסיבי, אנגלית. רישיון: Apache-2.0, זהה לזה של Qwen3-8B.

היכולת שאין לה מקבילה ב-Qwen3-8B היא מתאם ההחלטה. אתה מוסר לו מצב ושאלה עם אפשרויות מתויגות והוא מחזיר התפלגות, לא תשובה — הקריאה המתועדת מבקשת מ-vLLM את ה-logprobs של מזהי טוקני התווית בדיוק דרך logprob_token_ids ומעלה בחזקה, ומייצרת פלט שצורתו כמו A: 0.982, B: 0.0035, C: 0.014. אפשר להנחות את Qwen3-8B לבחור תווית והוא יעשה זאת, בכשירות, ותקבל אות. לא ניתן להחיל על אות סף כעל ציון מכויל, למצע אותו על פני תורות, או לתעד אותו כערך ביטחון. זה ההבדל, וזה לא הבדל שקנה מידה מתקן.

הדבר השני שההרכבה משיגה הוא אריתמטיקה. כל מתאם חולק את מטמון המפתח/ערך של מודל הבסיס במקום לתחזק מטמון משל עצמו, כך שממעבר ללא מתאמים לשניים ועוד מקודד דיבור עולה 4.72% בפרמטרים במקום מצב קשב חדש לכל יכולת. בפוסט ההשקה של IBM נטען שהמודל המורכב תופס בערך אותה כמות VRAM כמו הבסיס לבדו; הטענה הספציפית הזו לא שוחזרה, אבל דלתא הפרמטרים שהיא נשענת עליה נמצאת ממש שם במניפסט. זו גם הסיבה לכך שפוסט ההשקה יכול לתאר מירוץ בין Granite Switch מורכב בגודל 30B לבין מודל החלטה בגודל 27B כיתרון במהירות ולא כקנס זיכרון.

• פרמטרים — 8.78B מורכבים (8.38B בסיס) לעומת 8.2B.

• שכבות — 40 לעומת 36.

• הקשר — 131,072 מקורי לעומת 32,768 מקורי, 131,072 עם YaRN.

• אוצר מילים — 100,355 לעומת 151,936.

• שפות — שתים עשרה בעלות שם (אנגלית, גרמנית, ספרדית, צרפתית, יפנית, פורטוגזית, ערבית, צ׳כית, איטלקית, קוריאנית, הולנדית, סינית) לעומת יותר מ-100.

• הסקה — ללא מול חשיבה היברידית ואי-חשיבה בצ'קפוינט אחד.

• פלט מובנה — סופטמקס מכוייל על פני טוקנים של תוויות לעומת בחירה באמצעות פרומפט.

• קלט אודיו — מקודד ASR משובץ של 470M לעומת ללא.

• אקוסיסטם — בן יומיים, אין קוונטיזציות או כיוונונים עדינים להזכיר לעומת שישה עשר חודשים של עבודת קהילה.

היכן Qwen3-8B עדיין מנצח

שפות, באופן מכריע. שתים עשרה שפות בעלות שם לעומת מאה ומעלה אינן טעות עיגול עבור כל מי שמשחרר לקהל עולמי, וזה הדבר הראשון שבדיקת הגירה תתפוס. אוצר המילים מספר את אותו סיפור: 151,936 טוקנים לעומת 100,355, כאשר שלושת מזהי האדפטר השמורים של Granite מעגלים אותו ל-100,355. מודל שאומן על פני מאה שפות אומן על פני מאה שפות.

ההקשר הנייטיבי הוא השני. 131,072 טוקנים כברירת מחדל לעומת 32,768 עם נתיב הרחבת YaRN. Granite Switch 4.1 8B מגיע במקרה לאותם 131K, אבל הוא מגיע לשם באופן נייטיבי, ולהרחבת YaRN יש מחיר בהתנהגות הקשר הארוך שלא קיים בחלון נייטיבי.

השלישי הוא זה שמכריע את מרבית המיגרציות האמיתיות: שום דבר לא שבור. אין אינטגרציה שצריך לכתוב מחדש, אין סטאק הגשה שצריך לשנות, אין התנהגות שצריך ללמוד מחדש. כל מצב כשל כבר מופה על ידי מישהו אחר, והכוונונים העדינים שכבר יש לך הם שלך. מתחרה צריך להיות טוב באופן משמעותי כדי שכדאי לוותר על זה, ובהיותו בן יומיים בלבד וללא הערכה בלתי תלויה, Granite Switch 4.1 8B לא הוכיח שהוא כזה.

היכן Granite Switch 4.1 8B מנצח

ניקוד החלטות, והצורה התפעולית הנלווית לכך. אם האפליקציה שלך זקוקה לערך ביטחון על אפשרויות מתויגות — ניתוב פנייה, ניקוד סף הסלמה, בחירת כלי עם מספר מצורף — זהו פרימיטיב ש-Qwen3-8B אינו מספק, ופרומפטינג לא מייצר כזה. הנתון המפורסם עבור האדפטר הזה הוא מדד ההחלטה (Decision Index), מהדורת v0.3, תת-קבוצה ציבורית מהירה של 1,068 שורות: 42.9 בסך הכול, עם Knowledge 29.1, Language 48.9, Retrieval 49.8, Tools 59.8 ו-Arts 18.0. IBM הריצה אותו, IBM פרסמה אותו, איש לא שחזר אותו, והכרטיס עצמו אומר שההסתברויות הן פריור ולא סיווג מוסמך בתחומים שהאדפטר לא אומן עבורם.

איחוד נקודות קצה הוא השני. צ'אט, החלטות ותמלול בנקודת קצה אחת, כאשר תמלול מופעל על ידי חלק תוכן input_audio רגיל ולא שירות שני. ההסתייגויות מהכרטיס של IBM חלות וראוי לחזור עליהן ברוחן, כמעט כלשונן: אנגלית בלבד, פלט באותיות קטנות וללא סימני פיסוק, וקודד הדיבור וה-LLM אינם מאומנים במשותף, כך שתמלול שגוי יכול לשנות בשקט את מה שהמודל מגיב לו.

ויכולת ההרכבה היא השלישית — הקומפוזר ציבורי, קטלוג המתאמים פתוח, ואתה יכול לבנות וריאנט משלך במקום להסתפק בבחירה של IBM בשני מתאמים.

מה לעשות בזמן שמשבצת ה-8B ריקה

המהלך הפרודוקטיבי אינו לבצע מיגרציה. הוא להתייחס אל Granite Switch 4.1 8B כאל מועמד עבור הבקשות הספציפיות ש-Qwen3-8B מטפל בהן היטב — אלה שמסתיימות בערך ביטחון, או שמגיעות כאודיו — ולהשאיר את כל השאר במקום שבו הוא נמצא. זו בעיית ניתוב, לא שכתוב: לשלוח את הקריאות שצורתן החלטתית לכיוון אחד ואת תעבורת השיחה לכיוון השני, ולשמור על נתיב הגיבוי שלם בזמן שאתם מגלים אם הצורה החדשה אכן מחזיקה מעמד בתעבורה שלכם.

זוהי השכבה שבה פועל OrcaRouter, וכדאי להיות מדויקים לגבי מה זה אומר כאן: Qwen3-8B אינו בקטלוג שלנו היום וכך גם Granite Switch 4.1 8B, כך שאנחנו לא דרך להשיג את מי מהם — Qwen3-8B הוא הורדה מ-Hugging Face ו-Granite Switch 4.1 8B הוא הורדה מ-Hugging Face בתוספת קונטיינר vLLM. מה שהפלטפורמה עושה הוא העבודה שמסביב: מפתח API אחד על פני יותר מ-200 מודלים מתארחים, מעבר אוטומטי בין שרתים כך שמועמד יכול לשבת בנתיב חי בלי להיות נקודת כשל יחידה, ה-DSL לניתוב להרכבת כמה מודלים לקריאה אחת, ומחיר המחירון של הספק מועבר הלאה בתוספת של 0% כך שהורדת מחיר של ספק נכנסת לתוקף באותו יום ולא ברענון הבא. אם ברצונך לראות איך נראה Qwen מהדור הנוכחי בנקודת קצה מתארחת בזמן שאתה שוקל זאת, Qwen3.8-27B נמצא בקטלוג והוא מאותה משפחה כמו המודל המכהן בהשוואה הזו.

שורה תחתונה

השאר את Qwen3-8B כברירת מחדל. שישה עשר חודשי ייצור, יותר ממאה שפות ואוצר מילים של 151,936 טוקנים אינם יתרונות שצ׳קפוינט בן יומיים מתגבר עליהם בזכות ארכיטקטורה בלבד, והעובדה ש-Alibaba לא שחררה יורש 8B לא הופכת את Granite Switch 4.1 8B ליורש הזה — היא הופכת אותו לכלי אחר שבמקרה מגיע לאותה מחלקת זיכרון. אמץ אותו באופן מצומצם וממוקד: עבור בקשות שזקוקות להתפלגות מכוילת על פני אפשרויות מתויגות, עבור סינון בטיחות מוטמע, ועבור אודיו באותה נקודת קצה כמו צ׳אט. בדוק אותו על סט התוויות שלך לפני שאתה סומך על 42.9, כי המספר הזה הוא של IBM ורק של IBM. הדבר המעניין בהתמודדות הזו הוא לא שמודל אחד מנצח את האחר — אלא שמשבצת ה-8B נשארה ריקה, והמודל הבא שימלא אותה אולי בכלל לא יהיה 8B צפוף.