SkyRL העלתה את ציון AIME של Mistral Large 4 באחד-עשר נקודות על שמונה צמתים: מה מוכיח RL ב-Day-0 על MoE של 1T

Mistral Large 4 הוכרז כתצוגה מקדימה של API ב-6 באוקטובר 2026, והמשקלים שלו ניתנו להורדה רק ב-14:51 UTC ב-29 באוקטובר — מה שהופך את דוח למידת החיזוק שפורסם באותו יום לבולט מסיבה שהמחברים שלו אינם מתעכבים עליה: לפני אותו אחר הצהריים, לאיש מחוץ ל-Mistral לא הייתה תוצאת כיוונון עדין לפרסם. ההערה מגיעה מצוות SkyRL ב-NovaSky. שמונה צמתי NVIDIA GB200, למידת חיזוק LoRA על צ'ק-פוינט NVFP4, vLLM משרת את הרולאאוטים, ו-AIME 2024 average@8 עולה מכ-64% לכ-75% לאורך 75 צעדי אימון. אחת עשרה נקודות במדד שבדרך כלל מוכרע בעשיריות הן או התוצאה השימושית ביותר מיום-אפס של הרבעון או הפחות ניתנת לשחזור שבו, וההערה כפי שנכתבה אינה אומרת לך איזו מהן.

מה שזה כן מספר לך הוא אמיתי, וכדאי להפריד אותו ממה שזה אינו מספר. החומרה נקראת בשמה. הצ'קפוינט נקרא בשמו. מנוע ה-rollout נקרא בשמו. מסגרת האימון נקראת כאחת משתיים. מה שחסר הוא פונקציית התגמול, דרגת האדפטר, מערך ההערכה וכל עקומת למידה — ארבעת הדברים שצוות אחר היה זקוק להם כדי לנסות לבצע את אותה הרצה. אז זהו הכרזת מתכון עם מספר כותרתי מצורף, לא חבילת שחזור. קראו אותו כסוג הראשון והוא אינפורמטיבי באמת לגבי מה שעולה לאחר-אימון של תערובת מומחים עם טריליון פרמטרים בסוף 2026. קראו אותו כסוג השני ותעריכו יתר על המידה מבחן מידה אחד במשימה אחת.

מה שההערה של SkyRL בעצם אומרת

הטענה כולה נכנסת בחמישה שורות, אז הנה היא בלי המסגור:

• חומרה — 8 צמתים מסוג NVIDIA GB200, בשכירות ולא בבעלות, אשר ארבעה GPUs לכל צומת מגלמים 32 יחידות Blackwell וכ-6.1 TB של HBM מצטבר, בקצב של 192 GB לכל GPU.

• צ'קפוינט — הגרסה המכומתת ב-NVFP4, האחות של הגרסה הפתוחה, 610.1 GB על פני 32 רסיסים, ולא האב FP8 בנפח 1,060.6 GB. הבחירה הזו היא המכרעת: היא מה שמאפשר למודל 1T להתאים לשמונה צמתים עם מקום שנותר לאקטיבציות, למטמון KV ולשני עותקים של משקולות מנוע ה-rollout.

• שיטה — LoRA ולא RL עם כל הפרמטרים. רק המתאמים מקבלים גרדיאנטים, כך שמצב האופטימיזטור נשאר קטן והבסיס הקפוא יכול להישאר בצורתו המקווננת.

• לוֹפּ — vLLM מייצר את הרוֹלוֹאוּטים; FSDP2 או Megatron מטפלים בחצי של האימון. ההערה מציעה את האחד או את השני, מה שמעיד שהחליפו ועדיין מחליפים את ה-backend של האימון כשהתוצאה נכתבה.

• תוצאה — AIME 2024 average@8 מכ-64% לכ-75% ב-75 צעדי אימון.

שום דבר ברשימה הזו אינו מפרט של הריצה. אין גודל אצווה, אין אורך רצף, אין קצב למידה, אין גודל קבוצה עבור גרדיאנט המדיניות, ואין שום אמירה מה היה התגמול מעבר ל"תשובות AIME ניתנות לבדיקה" המשתמע. הנתון של 75 הצעדים הוא מדויק; כמעט כל מה שנדרש כדי לפרש אותו אינו כזה.

מדוע מספר הצמתים הוא הכותרת, ולא ציון AIME

טריליון פרמטרים הוא מספר שמתפקד בעיקר כגורם מרתיע. צ'קפוינט ה-FP8 הוא 1.06 TB, וזה בסדר אם יש לך מרכז נתונים ובעיה אם יש לך ראק. צ'קפוינט ה-NVFP4 מחצית אותו ל-610 GB, ו-610 GB הוא כמות שאפשר לפזר על פני שמונה צמתים בלי טריקי שירדינג שעולים לך יותר בתקשורת ממה שהם חוסכים בזיכרון.

לכן המשפט המעניין בהערה הוא לא זה שמופיע בו האחוז. Hugging Face כבר פרסמה מתכון לכוונון עדין בפיקוח עבור המודל הזה — LoRA דרך מאמן ה-SFT של TRL, על צומת יחיד של שמונה מעבדי B300, על גבי משקולות ה-FP8. לפיכך, SFT על צומת אחד היה מתועד לפני שהמשקולות היו בנות יום. מה שלא היה מתועד היה למידת חיזוק, והסיבה היא מבנית: RL זקוק למנוע הסקה שפועל לצד המאמן, ומייצר רולאאוטים מהר מספיק כדי שזמן ה-GPU שמושקע באימון לא יהפוך לזניח לעומת זמן ה-GPU שמושקע בדגימה. SFT קורא מערך נתונים קבוע. RL צריך לייצר אחד משל עצמו.

אז הפער בין שני המתכונים שפורסמו אינו שמונה צמתים לעומת אחד. הוא שמונה צמתים בתוספת מערך הגשה לעומת צומת אחד בלי מערך הגשה, עבור משימה שבה המודל צריך לנסות שלושים בעיות שמונה פעמים כל אחת לפני שהוא לומד משהו. מנוע ה-rollout הוא מרכז העלות החדש, וציון vLLM כמחולל הוא החלק בהערה שצוותים אחרים יכולים לפעול לפיו כבר היום.

ההשוואה שכולם יעשו, ומדוע היא לא הוגנת בשני הכיוונים

Mistral הריצה RL משלה על המודל הזה לפני ששיחררה את המשקולות, והחברה הייתה מפורשת לגבי הצורה שלו: כשלושה שבועות נוספים לאחר התצוגה המקדימה של 6 באוקטובר, בהרצה על מחשוב צרפתי שהחברה מתארת במגה-וואט ולא בכרטיסי GPU — כ-10 מגה-וואט — כשדיווחים במקומות אחרים מציבים את תשתית ה-RL הרחבה בהיקף של 3,000 כרטיסי GPU. התוצאות שפרסמה מאותה הרצה:

• Terminal-Bench 4.0 — 28.3% לפני ה-RL הנוסף, 41% אחרי.

BrowseComp — 75% לפני, 84.5% אחרי.

• B3 agent-security suite — 93.3% לפני, 97.1% אחרי.

• אורך הפלט — כ-30% פחות טוקנים לכל משימה לאחר ה-RL, וזה חשוב יותר לקונה מכל שורות הדיוק.

הציבו את זה לצד 64 עד 75 ב-AIME, והפיתוי הוא לחשב יחס של שעות-GPU לנקודה. התנגדו לכך, מפני שלשתי הריצות כמעט אין משתנים משותפים. הרווח של Mistral הוא בעבודת טרמינל סוכנית ובגלישה, כפי שנמדד על ידי ספק שעיצב את התגמול בבית ושהיה לו שלושה שבועות של זמן קיר. הרווח של SkyRL הוא במתמטיקה תחרותית, כפי שנמדד על ידי שותף עם אשכול שכור ותגמול שסקריפט יכול לאמת. תנועה של 13 נקודות ב-Terminal-Bench ותנועה של 11 נקודות ב-AIME אינן אותו הישג מבוטא ביחידות שונות; הן הישגים שונים שבמקרה דומים בגודלם.

הקריאה ההוגנת היא צרה יותר ושימושית יותר: שלושה שבועות של RL בקנה מידה של מרכז נתונים הזיזו את ציון הטרמינל של Mistral בשלוש עשרה נקודות, וכמה שעות של LoRA RL בקנה מידה של שמונה צמתים הזיזו את ציון המתמטיקה של שותף באחת עשרה. שני המספרים אומרים את אותו הדבר — הצ'קפוינט הזה מגיב ללמידת חיזוק בקלות — ואף אחד מהם לא אומר דבר על השני.

מה 64 עד 75 ב-AIME 2024 מוכיח ומה אינו מוכיח

נתחיל מהאריתמטיקה, כי זה החלק היחיד בזה שאפשר לבדוק בלי GPU. AIME 2024 הוא שלושים בעיות. Average@8 משמעו שמונה ניסיונות מדגמיים לכל בעיה, כך שהנתון המדווח נשען על 240 השלמות. טעות הדגימה בשיעור קרוב ל־70% בגודל מדגם כזה היא כמה נקודות אחוז, מה שמציב שינוי של אחת־עשרה נקודות בנוחות מחוץ לרעש. אם שני הנתונים הגיעו מאותה מערכת בדיקה, השיפור אמיתי במשימה ההיא.

זה הדבר החזק ביותר שאפשר לומר, וראוי לומר אותו בבירור, משום שרוב טענות ה"יום אפס" אפילו לא מגיעות לרמה הזו. עכשיו הגבולות:

• אין ציון AIME שפורסם על ידי Mistral עבור המודל הזה. בסיס ה-64% הוא המדידה של SkyRL עצמה של נקודת השמירה הבסיסית על ההארנס שלה, כך שהדלתא עקבית פנימית אך אינה מעוגנת חיצונית — אי אפשר לבדוק אותה מול נתון של ספק, מפני שנתון ספק כזה אינו קיים.

• Average@8 אינו pass@1. שמונה ניסיונות לכל בעיה מחמיאים לכל מודל בעל התפלגות דגימה רחבה, והפער בין שני המדדים עומד בדרך כלל על חמש עד חמש־עשרה נקודות במתמטיקה תחרותית. המספר שמכריע אם היית פורס את המודל הוא הניסיון האחד שאתה מעניק לו בייצור.

• AIME 2024 הוא בן שנתיים וחצי, והוא נמנה עם מערכי המתמטיקה המיוצגים ביותר בנתוני post-training. מודל מ-2026 שמשיג בו תוצאה טובה הוא ראיה לצ'קפוינט שאפשר לאמן, ולא פסק דין על יכולת ההיסק. אין בהערה שום דיווח על הערכה מסוג held-out או על הערכה חדשה יותר.

• משימה אחת, ריצה אחת, תגמול אחד. RL על מתמטיקה הניתנת לאימות הוא המקרה הקל ביותר שיש: התגמול אינו דורש שופט, אינו דורש רובריקה ואינו דורש אדם. התוצאה היא הצהרה על עד כמה המודל הזה מתקדם תחת אות ה-RL הזול ביותר האפשרי, שהוא אכן הניסוי הראשון הנכון וגם הפחות ניתן להעברה.

מה שהיית צריך כדי לשחזר אותו, ומה שהרישיון מתיר

רשימת הקניות המעשית, אשר שוחזרה מתוך הפתק ולא פורסמה על ידו:

• צ'קפוינט NVFP4 — 610 GB, 32 פלחים, ללא הגבלת גישה, ניתן להורדה היום ללא צורך בחשבון Hugging Face.

• כ-32 כרטיסי GPU ברמת Blackwell על פני שמונה צמתים, ובנוסף האינטרקונקט כדי שסנכרון המתאמים לא יאכל את זמן הצעד.

• בנייה של vLLM עם נתיב NVFP4 פועל לארכיטקטורה הזו. כרטיס המודל ממליץ על vLLM עם קונטיינר רשמי וגודל tensor-parallel של שמונה, ומציין ראש speculative-decoding מוטמע שהיצרן טוען ששווה עד פי 1.9 מתפוקה — הראש הזה אינו מה שללופ RL דרוש, אבל הקונטיינר כן.

• דרגת מתאם ופרס תצטרכו לבחור בעצמכם, כי בהערה לא מצוין.

שאלת הרישיון נפתרת בצורה נקייה יותר מהשאלה הטכנית. Mistral פרסמה זאת תחת רישיון Mistral Ecosystem Open-Weight License, נוסח MIT מתוקן המתיר שימוש מסחרי, כיוונון עדין ונגזרות, ומחייב רישיון מסחרי נפרד רק לשם הפעלת עסק של מודל כשירות (model-as-a-service) מעליו. כיוונון עדין פנימי, אדפטר פרטי, ריצת הערכה על צמתים שכורים — כל אלה נמצאים בגבולות ההיתר. הקמת API לפי טוקן ומכירת גישה לכיוונון העדין שלך — לא. אם התוכנית שלך היא הראשונה, הרישיון אינו הבעיה שלך. אם היא השנייה, הוא כל הבעיה, ושום שיפור ב-AIME לא משנה זאת.

החצי של הלולאה שמתייקר בהמשך

AIME הוא המקרה הזול מסיבה שכדאי להסביר במפורש. התגמול הוא מחרוזת תשובה שסקריפט משווה. אין שופט, אין רובריקה, ואין מודל שני בלולאה, כך שהעלות השולית של הרצה היא הסקה ולא דבר אחר. העבר את אותו מתכון למשימות סוכניות, לכתיבה פתוחה, או לכל דבר שמדורג לפי העדפה, והתגמול הופך לקריאה למודל — שנשלחת בקנה מידה של הרצות, אלפי פעמים בכל צעד, לאורך כל הריצה. זו בעיית רכש שונה מחישוב אימון, והיא זו שרוב הצוותים מגלים אחרי שכבר הזמינו את ה-GPUs.

Mistral Large 4 עצמו אינו מודל שאנחנו מספקים, כך שהקטע הזה אינו מסלול אליו — אירוח עצמי שלו משמעו מאגר Hugging Face וה-API של הספק עצמו. מה שכן ניתן לניתוב הוא החצי השני של הלולאה. אם המאמת שלך הוא מודל שופט ולא סקריפט, הוא צריך לעמוד בפני קריאות בהיקף של רולאאוט: נקודת קצה אחת המכסה יותר מ-200 מודלים, מחיר המחירון של הספק מועבר כמו שהוא ללא תוספת רווח, ומעבר אוטומטי כאשר נקודת קצה אחת של שופט מגיעה למגבלת קצב באמצע צעד אימון. המודלים שבהם באמת תשתמש בתור שופטים מפורטים, עם הקשר ומחיר, בקטלוג המודלים של OrcaRouter. הנקודה אינה שניתוב הופך את RL לזול. הנקודה היא שאות התגמול הוא החלק של ריצת RL שאי אפשר לתכנן סביבו, ולכן זה החלק ששווה להעמיד מאחורי ממשק יציב.

מה לצפות בהמשך

שלושה דברים יהפכו את זה מפתק מבטיח לתוצאה. פרסום של צוות SkyRL את דירוג האדפטר, את הגדרת התגמול ועקומת למידה, מה שיאפשר לקבוצה אחרת לנסות את אותה ריצה במקום רק להעריץ אותה. משימה שנייה, באופן אידיאלי כזו שהתגמול שלה אינו השוואת מחרוזות, מה שיראה אם האפקט שורד מפגש עם שופט. והערכה עצמאית של AIME או של מתמטיקה קשה יותר של ה-checkpoint ששוחרר, משום שרצפת ה-64% היא כיום המדידה של השותף עצמו, והדרך היחידה להסיר את ההסתייגות הזו היא שמישהו אחר ימדוד אותה.

עד אז, הסיכום הישר הוא קצר. המשקולות בנות יום אחד, שותף הזיז מדד מתמטי באחת־עשרה נקודות על שמונה צמתים שכורים עם מתאם LoRA, ואף אחד עוד לא שחזר את זה. זה יותר ממה שרוב שחרורי המשקולות הפתוחות מציעים בשבוע הראשון שלהם, ופחות ממה שהכותרת מרמזת.