המשקלים בחוץ, והם נכנסים על שמונה Blackwells: מבט פנימי על השקת ה-NVFP4 ביום-האפס של Mistral Large 4

כל מדריך אחסון עצמי שפורסם בשבוע האחרון אומר לך את אותם שלושה דברים על Mistral Large 4: קובץ הרישיון מחזיר 404, לא קיים צ'קפוינט מכומת, וכל תצורה שאתה כותב היא השלכה שאולה מהמודל הקודם. נכון לבוקר 29 באוקטובר 2026, שלושתם שגויים. הרישיון נמצא במאגר — 2,632 בייטים שלו — ומשפחת הצ'קפוינטים אמיתית: mistralai/Mistral-Large-4-1T-A52B עם 54 שרדים של FP8 ו-1,060.6 GB, ובנוסף אח NVFP4 עם 32 שרדים ו-610.1 GB. הפתק של NVIDIA ליום האפס, זה שמברך את צוות Mistral AI ומזכיר תמיכת NVFP4 ב-Hugging Face בנשימה אחת, הוא הגרסה הקצרה ביותר האפשרית של הסיפור הזה. הגרסה השימושית היא הארוכה יותר: מה המתכון שפורסם באמת מניח, מה קרה למחיר בזמן שאיש לא הסתכל, ואילו מעצות האחסון העצמי של יום שלישי מטעות כעת באופן פעיל. אם ברצונך להשוות את מה שניתן לנתב היום ולא את מה שניתן להוריד, קטלוג המודלים של OrcaRouter מפרט כל מודל שאנו מגישים, את חלון ההקשר שלו ואת מחירו לכל טוקן, עם failover מוגדר לכל נתיב.

נתחיל מהתאריכים, כי זה החלק שרוב הסיקור טועה בו בשני הכיוונים. Mistral Large 4 הוכרז ב-6 באוקטובר 2026 כתצוגה מקדימה של API — מודל mixture-of-experts בעל 1.05 טריליון פרמטרים, עם 49 מיליארד פרמטרים פעילים לכל טוקן, או 52 מיליארד כאשר סופרים את ההטמעות ואת שכבות הפלט, מקודד חזותי בעל 1.6 מיליארד פרמטרים וחלון הקשר של 1M טוקנים, במחיר של $1.36 למיליון טוקני קלט לעומת $4.18 למיליון טוקני פלט. המשקולות הפתוחות הובטחו לפני סוף אוקטובר. הן הגיעו ב-14:51 UTC ב-29 באוקטובר, כבערך יומיים לאחר ה-27 באוקטובר, התאריך שעליו התקבעו דיווחי העיתונות. הפער הזה משנה, משום שחלק ניכר מהכתיבה על המודל הזה נכתבה בתוכו.

מה בעצם יש ב-Hub הבוקר

המטא-נתונים של המאגר מוסרים יותר מידע מאשר נוסח ההודעה, אז הנה הם ישירות:

• נקודת שמירה ראשית — mistralai/Mistral-Large-4-1T-A52B, 54 שברי safetensors, 1,060.6 GB בדיסק, מתויג fp8, המאגר נוצר ב-30 בספטמבר 2026, המשקולות נכתבו לאחרונה ב-29 באוקטובר בשעה 14:51 UTC, ללא הגבלת גישה.

• אח מקוונט — mistralai/Mistral-Large-4-1T-A52B-NVFP4, 32 רסיסים, 610.1 GB, המאגר נוצר ב-15 באוקטובר 2026 ועודכן היום בשעה 14:11 UTC — ארבעים דקות לפני שמאגר האב סיים.

• רישיון — ה-Mistral Ecosystem Open-Weight License, שאותו Mistral מתארת כרישיון MIT מותאם, ללא סף הכנסות.

• ארכיטקטורה, לפי params.json — 128 מומחים, עם ארבעה מנותבים לכל טוקן ועוד מומחה משותף אחד, 72 שכבות, גודל מוסתר 6,144, מגדל חזון בן 30 שכבות שמקבל תמונות עד 1,540 פיקסלים, ושיתוף KV ברוב השכבות.

• המספרים שאינם תואמים — כרטיס המודל של NVFP4 מפרט 39 שפות; ההכרזה טוענת ל-160+. הכרטיס מונה 49 מיליארד פרמטרים פעילים לכל טוקן; תיעוד ה-API והטבלה של הספק עצמו אומרים 52 מיליארד, שזה אותו נתון בתוספת שכבות ה-embedding ושכבות הפלט. הפוסט של Mistral מייחס לאימון 3,800 יחידות GPU מדגם Grace Blackwell; כמה כלי תקשורת עיגלו זאת ל-4,000. שום דבר מזה אינו קטלני, וכל אי-התאמה מספרת לך איזה מסמך נכתב על ידי איזה צוות.

המספר 610 GB הוא הגרסה

מודל בעל 1.05 טריליון פרמטרים לא מורידים בדרך שמישהו מתאר אותה בקלילות. צ'קפוינט ה-FP8 הוא 1,060.6 GB — יותר מטרה-בייט של משקלים בנוחות לפני שקיים אפילו טוקן אחד של מטמון KV, אקטיבציה או פרגמנטציה. על צומת Blackwell עם שמונה GPUs זה נכנס עם מרווח של כ-400 GB. על שמונה H200 זה נכנס כמעט בלי שום מרווח. צ'קפוינט ה-NVFP4 מקטין זאת ל-610.1 GB, והחיסכון אינו קוסמטי: זה ההבדל בין צומת שכולו משקלים לבין צומת שנשאר לו מקום להקשר של מיליון טוקנים שהמודל מפרסם.

סכמת הקוונטיזציה גם ספציפית יותר מ-"4-bit". לפי הכרטיס, משקולות ה-mixture-of-experts הן NVFP4 בעוד השכבות הלינאריות נשארות FP8, ומתכון ה-vLLM דורש מטמון KV מסוג FP8 בשכבות ה-MLA. מדובר בערימת הגשה בדיוק מעורב, ולא בהורדת דיוק גורפת, והיא מכוונת ספציפית ל-Blackwell — B200, B300, GB200 ו-GB300 הם הרכיבים הנקובים.

יש תוצאה אחת שראויה להדגשה לכל מי שמתכנן רכישה: המתכון הרשמי עדיין דורש שמונה GPUs. vLLM מפורסם עם מקביליות טנזורית 8; SGLang עם tp-size 4. הכימות כאן אינו בעיקר דרך לצמצם את מספר הצמתים. הוא דרך להשאיר לצומת מספיק זיכרון כדי שיוכל בפועל לשרת הקשר ארוך, ופרמטרי השרה שפורסמו הם ההוכחה.

המתכון, דגל אחר דגל

מה שמייחד את הגרסה הזו מרוב ההפצות בקוד פתוח עם משקולות הוא שהספק סיפק הוראות הפעלה במקום להשאיר זאת לקהילה. נתיב ה-vLLM, כפי שפורסם:

• תמונה — vllm/vllm-openai:mistral-large-4

• מקביליות — --tensor-parallel-size 8

• מטמון — --kv-cache-dtype fp8_ds_mla, עם --gpu-memory-utilization 0.85

• מנתחים — --tool-call-parser mistral, --reasoning-parser mistral, --enable-auto-tool-choice

• ספקולציה אופציונלית — --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'

הנתיב של SGLang שונה בדרכים שכדאי לקרוא פעמיים:

• תמונה — lmsysorg/sglang:mistral-large-4, עם --tp-size 4 ו--mem-fraction-static 0.85

• ספקולציה — --speculative-algorithm DSPARK, מופעל כברירת מחדל בפקודה שפורסמה

• מגבלות הגשה — --max-running-requests 64, כאשר מפענחי ההיסק והכלים מוגדרים שניהם ל-auto

שלושה דברים שהדגלים אומרים לך שההכרזה לא אומרת

הנקודה הראשונה היא ש-DSpark אינו מודל נפרד. קובץ התצורה מתאר שלוש שכבות חיזוי רב-אסימונים עם ראש טיוטה רקורסיבי קטן — דרגת מרקוב של 512 — המוטמעות בתוך ה-checkpoint עצמו. פענוח ספקולטיבי בדרך כלל משמעו הרצת מודל שני וקטן יותר לצד המודל הגדול ותשלום על הזיכרון שלו. כאן ראש הטיוטה כבר נמצא בתוך ה-610 GB, וזו הסיבה שדגל הספקולציה הוא מחרוזת תצורה קצרה ולא פריסה שנייה.

הנקודה השנייה היא שסטאק הקשב הוא סיפור של דחיסה. הקונפיג כולל אינדקסר דליל עם top-k של 2,048 על פני 32 ראשים, דרגת KV LoRA של 512, ושיתוף KV לאורך רוב 72 השכבות — פריסה מן הסוג שהפך לסטנדרטי במודלים ממשפחת DeepSeek. הקשר של 1M ניתן להשגה משום שזיכרון הקשב משותף באגרסיביות ומטמון ה-KV הוא FP8, ולא משום שלמודל יש טרה-בייט של מטמון לבזבז.

השלישי הוא אריתמטיקה. בלוק ה-YaRN שפורסם מרחיב חלון RoPE מקורי של 512 טוקנים פי 2,048, מה שמכפיל בדיוק ל-1,048,576 — אורך ההקשר המוצהר. לא משנה איך נראה לוח האימון, התצורה שאתה מוריד מגיעה ל-1M טוקנים באמצעות אקסטרפולציה, וכדאי לדעת זאת לפני שאתה מפנה אליה מסמך בן 900,000 טוקנים ומניח שהמודל כבר ראה צורה כזו בעבר.

המחירון השתנה בזמן שהמדריכים נכתבו

התיעוד של Mistral מפרט את התעריף הנוכחי: 0.70 דולר למיליון טוקני קלט, 0.07 דולר למיליון קלט שמור במטמון ו-2.10 דולר למיליון פלט. ההודעה מ-6 באוקטובר ציינה תעריף מחירון של 1.36 דולר ו-4.18 דולר, עם הנחת תצוגה מקדימה שעמדה על כמחצית מכך. קריאה של שני המסמכים יחד מגלה שהשחרור עם משקלים פתוחים לא רק סיפק קבצים — הוא הוריד את מחיר המחירון הקבוע לבערך הרמה שבה הוצעה התצוגה המקדימה. עבור כל מי שבנה תקציב לפי ההודעה מאוקטובר, הכרטיס החדש הוא כמחצית מהמספר שהם רשמו.

התמונה הבלתי־תלויה פחות מחמיאה מהקיצוץ במחיר. Artificial Analysis, לפי מדד ה-Intelligence Index הנוכחי שלה — סדרת v5 שנבנתה מחדש ב-27 באוקטובר — מעניק ל-Mistral Large 4 ציון 26, מציין עלות של 2.06 דולר להשלמת משימת Index אחת, ומודד 161.3 אסימוני פלט לשנייה עם 1.42 שניות עד לאסימון הראשון. המהירות אכן טובה: 161 אסימונים לשנייה הם יותר מפי שניים מהחציון של קבוצת ההשוואה. העלות למשימה אינה כזו: ב-2.06 דולר היא ברבע התחתון של הקטגוריה שלה, מפני שמודל שמנמק באריכות מוציא את הכסף על אסימונים ולא על המחירון.

המספרים של מיסטרל עצמה, וזה שהיא לא פרסמה

כל מבחן בהודעת ההשקה של Mistral הוא של Mistral, וכדאי לומר זאת לפני שמצטטים מי מהם.‏ Terminal-Bench 4.0 מדווח ב־41%, שלוש־עשרה נקודות מעל התצוגה המקדימה, ולפי ההודעה — יתרון במודלים בעלי משקולות פתוחות;‏ FrontierCode 2.0 ב־19.7%;‏ AA Coding Agent Index ב־48%, מתואר כִּכְמֶעֱין תיקו עם GLM-5.3;‏ BrowseComp ב־84.5% לעומת 75% עבור הצ'ק פוינט המפוקח של התצוגה המקדימה;‏ FinWorkBench ב־73.3%, אחרי 77.3% של Kimi K3; ושיעור סירוב ממוצע של 96.6% לבקשות סייבר זדוניות — זה המספר שסביבו ההודעה למעשה מאורגנת. חלק מהנתונים מגיעים מרתמות בדיקה של צד שלישי — FrontierCode של Cognition,‏ Coding Agent Index של Artificial Analysis, והעדפת אדם של Surge Code — אבל Mistral הריצה אותם ו-Mistral דיווחה עליהם. אף אחד מהם לא שוחזר בפומבי במועד כתיבת שורות אלה.

המספר החסר הוא זה שמי שמארח שרת באופן עצמאי זקוק לו ביותר: איכות NVFP4 לעומת נקודת השמירה FP8 באותה הערכה. הכרטיס מציג את הקוונטיזציה כמציעה חיסכון בזיכרון "עם ביצועים דומים", וזו טענה, לא מדידה. עד שמישהו יפרסם ריצה בתנאים זהים, העמדה הכנה היא שנקודת השמירה של 610 GB היא זו שאפשר להכניס לזיכרון, וזו של 1,060.6 GB היא זו שיש לה תיעוד.

הציבו את טבלת הספקים מול אותם מבחני הבנצ'מרק שמריצה Artificial Analysis והתמונה מקבלת צורה אחרת. השורה הנוכחית של AA עבור Mistral Large 4 — API מתארח, מאמץ הסקה גבוה — מציבה את Terminal-Bench 4.0 על 25%, שש עשרה נקודות מתחת ל-41% שבפוסט ההשקה, ואת FrontierCode 2.0 על 15% לעומת 19.7% ש-Mistral מצטטת. שניהם רתמות בדיקה ש-Mistral עצמה מצטטת. ההסבר הסביר הוא תצורה: ייתכן שנתוני ההשקה מגיעים מהגדרת הסקה מסוימת או מפרוסת הערכה מסוימת, ו-AA מודדת את מה שה-API הציבורי מחזיר. ההסבר הבלתי קביל הוא זה שרוב הסיקור בחר בו — הצגת שני המספרים כאילו הם מודדים את אותו הדבר.

סעיף הרישיון שקובע מי יכול להגיש אותו

הרישיון קצר מספיק כדי לקרוא אותו בפעם אחת, והסעיף החשוב הוא זה שעוסק במודל כשירות. הרצת שירות מתארח על בסיס המשקלים מחייבת רישיון מסחרי נפרד מ-Mistral. אך ההגדרה של מודל כשירות אינה כוללת מוצרים מוטמעים למשתמשי קצה, ולחוד, "העברה גרידא של בקשות למודלים המתארחים אצל אחרים". ההחרגה הזו צרה מכפי שהיא נראית במבט ראשון: היא אינה מאפשרת להקים תשתית הסקה משלך ולמכור אותה מחדש, והיא כן מאפשרת לשער להעביר בקשות לתשתית הסקה המתארחת אצל Mistral בלי להפוך לבעל רישיון. האם פרשנות זו תעמוד במחלוקת היא שאלה לעורכי הדין של Mistral, ולא של הבלוג הזה.

מה שמעלה את החלק המביך. OrcaRouter לא מציגה את Mistral Large 4 — קטלוג 214 המודלים שלנו אינו כולל שום נקודת קצה של Mistral — כך ששום דבר במהדורה הזו לא ניתן לניתוב כאן היום, וכל מי שטוען אחרת מוכר לכם סיפור. מה שכן יש בקטלוג הוא החצי השני של השקה כזו: DSL לניתוב שיכול להחזיק עומס עבודה על מודל אחד ולהעביר אותו בלי שינוי קוד, מעבר אוטומטי לגיבוי כאשר נקודת קצה נפגעת, ותמחור ישיר ללא תוספת רווח של 0%, כך ששינוי תעריף של הספק מגיע לצד שלנו באותו יום שבו הוא מגיע לצד שלו. צוותים שמושכים 610 GB ומקימים בעצמם מכונת vLLM כמעט תמיד מחזיקים מאחוריה מסלול מתארח בשבועות הראשונים, וזה החלק שאנחנו באמת יכולים להפעיל.

מי צריך להתחיל את ההורדה הלילה

אם אתה כבר מפעיל שמונה GPUs של Blackwell, או שיש לך כלל מיקום נתונים שאף נקודת קצה מתארחת לא עומדת בו, החישוב השתנה הבוקר — והוא השתנה לטובתך: המשקולות קיימות, הרישיון קיים, והספק הגיש לך פקודת serving שנבדקה ולא הצעה. משוך תחילה את צ'קפוינט NVFP4 — הורדה של 610.1 GB היא ערב נסבל, ותמונת vLLM מוצמדת. הרץ הערכה משלך מול ה-API המתארח לפני שאתה מתחייב אליו כנתיב ייצור, מכיוון שטענת הקוונטיזציה לא נמדדה והבנצ'מרקים של הספק הם של הספק.

אם אינכם מריצים חומרה מהסוג הזה, אין עדיין דבר במהדורה הזו בשבילכם. מודל 1T עם 49 מיליארד פרמטרים פעילים לכל טוקן אינו הורדה למחשב נייד או ניסוי בכרטיס בודד, ונקודת השמירה (checkpoint) ב-FP8 היא טרה-בייט. החדשה שצריכה להגיע אליכם היא שורת המחיר, לא רשימת הקבצים: ה-API המאוחסן מתחיל כעת ב-$0.70 וב-$2.10, שזה בערך מחצית ממה שהכרזת אוקטובר הובילה אתכם לצפות, וזהו שינוי שתוכלו להשתמש בו בלי להחזיק אפילו GPU אחד.

השאלה הפתוחה היא זו המעניינת. מודל עם טריליון פרמטרים שנכנס ל-610 GB הוא הוכחה ש-NVFP4 יכול לדחוס תערובת מומחים בקנה מידה חזיתי בלי לשנות את צורתה. האם הוא דוחס אותה בלי לשנות את תשובותיה — זה מה שהשבועיים הקרובים של הרצות עצמאיות יכריעו, ואיש עדיין לא פרסם זאת — כולל האנשים שהפיצו אותו.