Granite Switch 4.1 8B: צ'קפוינט 8B אחד שמשוחח, מחליט ומתמלל

שמונה מיליארד שלוש מאות ושמונים מיליון פרמטרים נכנסים. שמונה מיליארד שבע מאות שבעים ושישה מיליון יוצאים. ה־4.72% האלה הם כל ההבדל בין מודל הבסיס של IBM לבין Granite Switch 4.1 8B, וזה המספר המעניין ביותר בגרסה, כי דחוסים בתוך השבר הזה מסווג בטיחות, מנוע החלטות ומזהה דיבור — כולם עונים מנקודת קצה אחת, כולם קוראים וכותבים לאותו מטמון KV שמודל הבסיס היה בונה ממילא.

המשקלים נחתו ב-Hugging Face ב-14 באוקטובר 2026. בלוג ההשקה של IBM עצמה, Granite Switch 4.1: צ'אט, החלטות ודיבור מנקודת קצה אחת, פורסם ב-15 באוקטובר, וכדאי לומר זאת בפשטות כבר מההתחלה: זו אינה השקה שקטה שמישהו מצא בשרת מראה. מדובר במהדורה מוכרזת שבת כשני ימים בלבד בזמן כתיבת הדברים, והגרסה של הסיפור שחשובה היא לא "מה IBM טענה" אלא "מה ניתן למעשה לאמת מהצ'קפוינט שנמצא על ה-Hub ברגע זה". שני הדברים האלה אינם זהים, והמאמר הזה מפריד ביניהם.

מה שהצ'קפוינט מכיל בפועל

Granite Switch אינו ארכיטקטורה חדשה. זהו הרכב: מודל בסיס קפוא, קבוצה של אדפטרים low-rank שניתן להפעיל ולכבות לכל טוקן, ו—בבנייה המסוימת הזו—מקודד שמחובר עבור אודיו. ה-composer נמצא בgranite-switch (המאגר), ומניפסט הבנייה של הצ'קפוינט הזה נשמר לצד המשקולות, מה שאומר שכל טענה מבנית להלן ניתנת לקריאה ישירות מה-Hub ולא מתוך הודעה לעיתונות.

הבסיס הוא Granite 4.1 8B — מפענח צפוף בלבד, קשב מקובץ לשאילתות עם 32 ראשי שאילתה מול 8 ראשי מפתח/ערך, SwiGLU, RMSNorm, חלון של 131,072 טוקנים ואוצר מילים של 100,352 טוקנים. הצ'קפוינט המורכב יורש את כל זה ומוסיף שני מתאמי LoRA מופעלים:

• guardian-core — דירוג 16, אלפא 64, מחובר רק להקרנות הקשב (k_proj, o_proj, q_proj, v_proj), שנלקח ממהדורת Guardian Library ומתואר כמזהה נזק, פריצת סייגים, ניבול פה, אלימות, תוכן מיני, הטיה חברתית והתנהגות לא אתית.

• החלטה — דרגה 64, אלפא 128, מחוברת לכל שבע ההטלות, כולל את ה-MLP (down_proj, gate_proj, up_proj), ומאומנת לעשות משהו צר יותר ומוזר יותר: בהינתן מצב ושאלה עם אפשרויות מתויגות, להחזיר התפלגות הסתברות מכוילת על פני תוויות האפשרויות האלה במעבר קדימה אחד.

שניהם מופעלים על ידי אסימוני בקרה — <|guardian-core|> ו<|decision|> — שאותם תבנית הצ'אט מכניסה עבורך כאשר אתה מעביר ארגומנט adapter_name. אתה לא כותב את האסימונים בעצמך, והפרט הזה חשוב יותר ממה שהוא נראה: המשמעות היא שבחירת המתאם היא פרמטר בבקשה, ולא מודל נוסף שיש לפרוס.

למה דלתא הפרמטר כל כך קטנה?

החשבון הוא הסיפור. מודל הבסיס הוא 8,380,551,168 פרמטרים. המודל המורכב הוא 8,776,400,896. כלומר +395.8 מיליון, או +4.72%, עבור שני אדפטרים. הסיבה שהמספר נשאר כל כך נמוך היא החלטת תכנון שנקראת נרמול מטמון KV: כל אדפטר רואה את מטמון המפתח/ערך של מודל הבסיס במקום לנהל מטמון משל עצמו. בתצורה קונבנציונלית של ריבוי אדפטרים, כל אדפטר נוסף הוא סט נוסף של מצב קשב, וחשבון הזיכרון גדל עם מספר האדפטרים שביניהם אתה מחליף. כאן זה לא קורה. הטענה של IBM בפוסט ההשקה היא שהמודל המורכב תופס "בערך אותה כמות VRAM על GPU כמו שמודל הבסיס היה תופס בעצמו", ולמרות שאיש מחוץ ל-IBM עוד לא מדד זאת, דלתת המשקל של 4.72% עקבית עם זה — ובשונה מטענת ה-VRAM, דלתת המשקל היא רק מספר במניפסט שאפשר לקרוא.

מתאם ההחלטה הוא החצי המעניין

לקרוא התפלגות הסתברות מתוך מודל שפה זה לא חדש; לעשות זאת במעבר קדימה אחד עם אוצר מילים קבוע של תוויות אפשרויות, ולקבל מספרים מכוילים מספיק כדי לפעול לפיהם, הוא החלק ששווה להבין. מתכון ההפעלה מתועד בכרטיס: הנחיית מערכת קבועה של מנוע החלטות, מצב: תור המוערך על הבסיס הקפוא, ואז ### החלטה תור המציג את השאלה ואת האפשרויות המסומנות בתווית של טוקן בודד. לאחר מכן תבקש מהשרת את ה-logprobs של מזהי הטוקנים של התוויות האלה בדיוק — vLLM חושף זאת דרך logprob_token_ids — ואז להעלות בחזקה. הדוגמה המתועדת מחזירה משהו כמו A: 0.982, B: 0.0035, C: 0.014.

יש כאן קמט הנדסי אמיתי שגרסת השיווק של השחרור הזה מדלגת עליו. vLLM מגביל את logprob_token_ids ל-128 מזהים לבקשה. אם לשאלת ההחלטה שלך יש יותר מ-128 אפשרויות, אתה מקבל HTTP 400, והתיקון הוא לפצל את מזהי התוויות למקטעים של 128, לשלוח בקשה אחת לכל מקטע עם פרומפט זהה, ולשרשר — מכיוון שה-logprobs המוחזרים הם על כל אוצר המילים, הערך של כל תווית אינו תלוי באיזה מקטע ביקש אותה, כך שסופטמקס יחיד על קבוצת התוויות המלאה זהה מתמטית לקריאה ללא הגבלה. זו בקשה נוספת אחת לכל 128 אפשרויות. זה פרט שימושי באמת, וזה בדיוק מסוג הדברים שקיימים רק בריפו.

המספר המפורסם היחיד שמצורף למתאם הזה הוא Decision Index (JEV), מהדורה v0.3, תת-קבוצה ציבורית מהירה (fast) של 1,068 שורות: כללי 42.9, ידע 29.1, שפה 48.9, אחזור 49.8, כלים 59.8, אמנויות 18.0. יש להתייחס לכך כנתונים שמדווחים על ידי הספק, כי זה אכן המצב: IBM הריצה אותם, פרסמה אותם, ואף צד שלישי לא שחזר אותם. כדאי גם לקרוא את הצורה ולא רק את הכותרת — 59.8 בכלים לצד 18.0 באמנויות הוא פרופיל מאוד לא אחיד, וכרטיס המודל עצמו מזהיר שההסתברויות של האפשרויות הן "פריור שישמש בסיס להחלטה, ולא סיווג מוסמך" בתחומים שהמתאם לא אומן עבורם.

דיבור לטקסט הוא אמיתי, וצר יותר מהכותרת

נתיב האודיו מטמיע את Granite Speech 5.0 TurboCTC, מקודד CTC קונפורמר לא-אוטורגרסיבי בעל 470 מיליון פרמטרים, ומתמלל אודיו נכנס לפני שהוא משחיל את התמלול לתוך הקשר הצ'אט במקום חלק תוכן האודיו. קריאה לו אינה משנה את צורת הבקשה: הוא חלק תוכן מסוג input_audio בהשלמת צ'אט רגילה, והתמלול פועל באותה נקודת קצה כמו הצ'אט וההחלטות, כך שאין צורך להקים שרת דיבור שני.

ההסתייגויות, כולן מהכרטיס של IBM עצמה ולא ממבקר: המקודד הוא באנגלית בלבד, הפלט שלו באותיות קטנות וללא סימני פיסוק, אין הכוונה בזמן פענוח, וזו שצריכה לעצור אותך — מקודד הדיבור וה-LLM הם לא מאומנים במשותף. אין הטלה מאומנת שמחברת ביניהם. לכן תעתיק שגוי יכול לשנות בשקט את מה שהמודל, או מתאם, מגיב לו. אם אתה בונה משהו שבו לשגיאת תעתיק יש השלכות, המשפט הזה הוא כל סקירת האבטחה.

מה מאומת, מה מדווח על ידי הספק, ומה שאיש לא בדק

• מאומת מהמאגר — זהות מודל הבסיס וספירת השכבות, שתי דרגות המתאמים ומודולי היעד שלהם, מזהי אסימוני הבקרה, מספר הפרמטרים המורכב, חלון של 131,072 אסימונים, רישוי Apache-2.0, והגרסאות המתועדות של vLLM ו-Transformers שהכרטיס מבקש.

• מדווח על ידי הספק, לא משוחזר — ציוני Decision Index, הטענה ש-Granite Speech 5.0 TurboCTC הוא מודל ASR המהיר ביותר בלוח המובילים OpenASR, הטענה בדבר "אותו VRAM כמו מודל הבסיס", והערת השוליים של פוסט ההשקה שמודל Granite Switch מותאם אישית בגודל 3B משחק ב-Doom בקצב של 60–100 החלטות בשנייה לעומת 10 בשנייה המדווחים עבור מודל החלטות סגור. IBM אומרת שתפרסם נתונים נוספים "בשבועות הקרובים", וזו הודאה שהראיות הנוכחיות דלות.

• אף אחד לא בדק — כל השאר. אין הערכה בלתי תלויה, אין רשומה בלוח מובילים של צד שלישי, אין API מתארח מ-IBM, ואין מדידת השהיה או תפוקה שפורסמה ממי שאינו IBM. מאגר ה-Hub מציג כמה עשרות הורדות וקומץ לייקים: המודל הזה בן יומיים וברובו לא נקרא.

מה העלות להפעלה, ואיפה OrcaRouter משתלב

Granite Switch 4.1 8B הוא סיפור אירוח עצמי כרגע. הכרטיס מפרט את HuggingFace Transformers ו-vLLM כבקאנדים, מצמיד חלון תמיכה צר למדי (Transformers 5.16–5.17, vLLM 0.26–0.28), וה-checkpoint עובד עם שניהם ללא שינויים בקוד. אין נקודת קצה מנוהלת להצביע עליה, אשר עבור רוב הצוותים משמעה GPU אחד וקונטיינר לפני הבקשה הראשונה.

להיות ישרים לגבי כל השאר: Granite Switch אינו בקטלוג של OrcaRouter היום, וכך גם אף מודל Granite אחר — אז אם אתם רוצים את הצ'קפוינט הזה, הדרך היא ההפצה של הספק עצמו והחומרה שלכם, לא אנחנו. מה שכן OrcaRouter נותן לכם הוא ההחלטה שסביב זה. הפלטפורמה מנתבת יותר מ-200 מודלים מאחורי מפתח אחד עם מעבר אוטומטי לגיבוי, ומעבירה הלאה את מחיר המחירון של הספק בתוספת של 0%, כך שכאשר מודל שאתם מריצים עליו בנצ'מרק כן מקבל endpoint מתארח, ההשוואה שלו מול המודל הקיים על התעבורה שלכם היא שינוי קונפיגורציה ולא חוזה נוסף. זה חשוב ביותר בדיוק במצב הזה: צ'קפוינט בן יומיים בלי הערכה עצמאית הוא מועמד, לא מודל קיים, והדבר הזול לעשות עם מועמד הוא להשאיר אותו בהשוואה זה-לצד-זה ולא לנתב מחדש מסלול פרודקשן סביבו.

השאלה הפתוחה

Granite Switch 4.1 8B הוא הימור על כך שהרכבה עדיפה על קנה מידה עבור סוג מסוים של עבודה: יישומים שצריכים להשיב, להחליט ולתמלל, שבהם הרצת שלושה מודלים משמעה שלושה פריסות, שלושה זמני השהיה ושלושה חיובים. ההנדסה שהופכת את ההימור הזה לזול — מטמון KV משותף, החלפת מתאמים לפי טוקן, אסימוני בקרה שמפוענחים בתבנית הצ'אט — היא באמת יוצאת דופן, וזה החלק במהדורה הזו שעוד יהיה רלוונטי בעוד שנה.

מה שטרם הוכרע הוא אם התשובה המורכבת היא טובה. הפרופיל שפורסם של מתאם ההחלטה אינו אחיד, מסלול הדיבור הוא באנגלית בלבד ואינו מאומן במשותף, וכל העניין בן יומיים בלבד בלי הרצה עצמאית מאחוריו. קרא את מניפסט הבנייה, הרץ בעצמך את פקודת ההרכבה, ומדוד את מתאם ההחלטה על סט התוויות שלך לפני שאתה מאמין ל-42.9 של מישהו.