MAI-Base-2 השלים אימון מקדים: טענת היעילות של Microsoft פי 4–12, ללא המודל

המספר שהסתובב ב-15 באוקטובר היה "3T". MAI-Base-2, המודל הבסיסי החדש והפנימי של Microsoft AI, הוא המודל שמאחוריו — והפוסט הטכני של החברה עצמה מעמיד אותו על 2.8 טריליון פרמטרים בסך הכול, עם 80 מיליארד פעילים. העיגול שולי; הדבר המועיל יותר הוא מה שאותו פוסט כן מכיל ומה שהוא לא מכיל. MAI-Base-2 סיים את האימון המקדים, נמצא כעת בתהליך אימון שלאחר האימון המקדים, ואין לו צ'קפוינט, מחיר, רישיון או תאריך. הטענה בכותרת היא יתרון של פי 4–12 ביעילות FLOPs באימון מקדים לעומת DeepSeek-V4-Pro-Base, הצ'קפוינט היחיד ששוחרר של אימון מקדים בסיסי עם יותר מטריליון פרמטרים. הכול בטענה הזו הוא הערכת ספק, והפוסט מפורש באופן יוצא דופן לגבי האופן שבו היא הופקה. זה מה שהתיעוד הציבורי תומך בו נכון ל-16 באוקטובר 2026 — ושני המספרים שבו שמיקרוסופט לא שמה בכותרת.

מה שמיקרוסופט למעשה פרסמה, ומה שהיא לא

המקור הראשוני הוא פוסט ב-Lab Notes באתר של Microsoft AI עצמו, מתאריך 15 באוקטובר 2026, שכותרתו "אימון מקדים מתקדם ב-Microsoft AI". מוסטפא סולימאן הודיע על כך באותו אחר הצהריים עם השורה שלפיה ל-MAI יש כעת "מודלי בסיס מאומנים מראש מהשורה הראשונה בקטגוריית המשקל של 3T פרמטרים, שנבנו כולם באופן פנימי ב-MAI", וסיים עם "תוצאות פוסט-אימון בקרוב". זה כל הבסיס של הסיפור, וזו חברה שמתארת את עבודתה שלה — הטענות הטכניות שלהלן לא שוחזרו על ידי אף גורם מחוץ ל-MAI, ואין הערכה בלתי תלויה של המודל הזה ברשומה הציבורית.

מה שעדיין לא קיים הוא החלק שרוב הקוראים רוצים:

• משקולות — אין. אין מאגר, אין נקודת ביקורת, אין כימות, ואין הורדה מכל סוג.

• מוצר או API — כלום. אין נקודת קצה, אין דף תמחור, אין כרטיס מודל.

• רישיון — לא צוין. הפוסט אומר שהבעלות על ה-pipeline "תאפשר לנו להעניק רישיון למשקולות המודל שלנו לשותפים מהימנים דרך Foundry", וזו כוונה מוצהרת, לא הכרזה.

• תאריך — אין עבור תוצאות לאחר האימון, אין עבור זמינות Foundry, אין עבור MAI-Base-3.

• בנצ'מרקים שכל אחד יכול להריץ מחדש — אין. משטח ההערכה מתואר, והציונים הגולמיים אינם מפורסמים בצורה שצד שלישי יכול לשחזר.

אז התיאור המדויק של MAI-Base-2 היום הוא מילה אחת: לא גמור. אימון מקדים — השלב היקר והנמשך חודשים שהופך טקסט ותמונות גולמיים למודל בסיס — הושלם. אימון לאחר הוא המקום שבו מודל בסיס הופך למשהו שאדם יכול לשוחח איתו, והשלב הזה מתבצע כעת. ההבחנה חשובה מפני שבדיוק שם נמצאים מצבי הכשל המעניינים, ומפני שצ'ק-פוינט בסיס ומודל צ'אט אינם עצמים ברי השוואה.

מה בעצם מודד "יעיל יותר ב-FLOPs פי 4–12"

זו הטענה שתיחזר בכל מקום, ולכן כדאי לדייק לגבי צורתה, מפני שזה אינו מהווה הרצת בנצ'מרק ראש־בראש.

ההגדרה, מתוך הפוסט: מיקרוסופט משווה מודלים מאומנים מראש על טקסט שאינו נכלל באימון באמצעות bits-per-byte, מדד שאינו תלוי בטוקנייזר — ככל שהוא נמוך יותר, כך טוב יותר. הקוד שאינו נכלל באימון נלקח מבסיס הקוד של MAI עצמה; מערכי STEM, מתמטיקה ושאלות־ותשובות הוזמנו מספקים חיצוניים "כדי להפחית את הסיכון לזיהום של מערך האימון", וכל מערכי ההערכה עברו הסרת זיהום ביחס לנתוני האימון. זהו תיאור הערכה מדוקדק יותר ממה שרוב פוסטי ההשקה כוללים, ובכל זאת זו עדיין החברה שמעניקה ציון לעבודתה שלה על מערכי ההערכה שלה שאינם נכללים באימון.

נתון היעילות נגזר אפוא, ולא נמדד ישירות. עבור כל אחת מארבע הערכות חוץ, MAI התאימה חוק סקיילינג של ביטים לכל בית מול FLOPs אימון לאורך סולם המודלים הפנימי שלה, כללה את הביצועים הסופיים של MAI-Base-2 עצמו בהתאמות כך שנקודת ההתאמה נופלת בתוך הטווח המותאם ולא מעבר לו, והעריכה כמה מחשוב יזדקק מודל בסולם שלה כדי להשתוות ל-DeepSeek-V4-Pro-Base. בהשוואה למחשוב האימון בפועל של אותו מודל, התשובה היא יעילות גבוהה יותר ב-FLOPs פי 4.2–12.3; לעומת MAI-Base-1, שיצא ביוני, השיפור הוא פי 6.3–12.7. ה"4–12x" שבכותרת הוא הטווח הראשון הזה, מעוגל.

יש שלושה דברים בעניין הזה ששווה להחזיק בהם:

• זהו אומדן מתוך עקומה מותאמת, ולא שני מודלים שאומנו בתנאים מבוקרים. הפוסט גלוי לב בעניין זה, כולל את הפרט שמודל הייחוס "עדיין מאומן על משמעותית פחות FLOPs מאשר MAI-Base-2".

• קבוצת ההשוואה מצומצמת על פי הכלל. רק מודלים עם לפחות טריליון פרמטרים בסך הכול, ורק צ׳קפוינטים בחזית המחקר שהיו זמינים לפני אוקטובר 2026, היו כשירים. DeepSeek-V4-Pro-Base הוא צ׳קפוינט האימון המקדים הבסיסי היחיד ששוחרר ואשר עמד בתנאי הסף.

• שלושה מהשמות שאליהם הוא מושווה קיימים רק כנקודות ביקורת לאחר אימון. Kimi K3, Qwen3.8-2.4T-A95B ו-MiMo-V2.6-Pro-RL מדווחים עם הסתייגות מפורשת של הספק לפיה ייתכן שהאימון הנוסף השפיע על ההערכות. השוואה בין נקודת ביקורת בסיסית חדשה לבין מודלים שעברו אימון נוסף במדד חיזוי הטוקן הבא אינה תחרות הוגנת, ו-Microsoft אומרת זאת במקום לתת לגרף לרמוז אחרת.

שום דבר מזה לא הופך את הטענה לשגויה. זה הופך אותה לטענה — מהסוג שקורא צריך להתייחס אליו כהנחיה עד שמישהו ישחזר אותה.

מספר המחשוב שהשמיטה Microsoft

הפוסט מספק את כל הנדרש כדי לחשב את ריצת האימון של MAI-Base-2, ואז אינו מחשב אותה. הריצה כללה 16,000 כרטיסי GB200 במשך 38 ימים באוגוסט ובספטמבר 2026, בניצולת FLOPs ממוצעת של המודל של 21%, כאשר הניצולת מנורמלת מול 2.5 PFLOPS התאורטיים של GB200 ב-BF16.

תכפילו את אלה — 16,000 מאיצים ב-2.5 × 10¹⁵ FLOPs לשנייה, כפול 38 ימים, כפול 0.21 — והריצה מרמזת על בערך 2.8 × 10²⁵ FLOPs של כוח מחשוב לאימון. הנתון הזה הוא החישוב שלנו מהקלטים של הפוסט עצמו, לא מספר שמיקרוסופט פרסמה. זהו חסם תחתון, משום שההגדרה של הפוסט עצמו ל-MFU אינה כוללת את ה-FLOPs שהוצאו על רמיטריאליזציה ועל האופטימיזר. והוא נמצא הרבה מעל סף 10²⁵ ה-FLOPs שחוק ה-AI של האיחוד האירופי משתמש בו כחזקת סיכון מערכתי למודל AI לשימוש כללי: בערך פי שניים עד שלושה מהקו הזה, מריצת אימון מוקדם בודדת.

ליתר בהירות לגבי מה זה כן אומר ומה זה לא אומר: אין חובה שחלה על מודל שאיש אינו יכול לגשת אליו. הרלוונטיות היא שסך החישוב הוא הנתון היחיד בפוסט שהוא עניין של אריתמטיקה מתשומות מפורסמות ולא אומדן מותאם, וכאשר המודל שיורש את הבסיס הזה ישוחרר בסופו של דבר — דרך המוצרים של מיקרוסופט עצמה או אל שותפי Foundry — זה המספר שהרגולטורים יתחילו ממנו.

מה בעצם נמצא בתוך המודל

אם מסירים את טיעון היעילות, הפוסט הוא תיאור מפורט למדי של שלוש בעיות הנדסיות, וזה החלק בעל הערך המתמשך בלי קשר למי שמנצח בבנצ'מרק.

• Scale — מודל יסוד מסוג MoE עם 80 מיליארד פרמטרים פעילים ו-2.8 טריליון פרמטרים בסך הכול, גדול יותר ודליל יותר מ-MAI-Base-1.

• תערובת מומחים בכל שכבה — MAI-Base-1 החליף בין בלוקים צפופים של feed-forward לבלוקים של MoE, מכיוון שיישום ה-MoE שלו לא היה מהיר מספיק כדי להצדיק יותר. תיקון פיצול הזיכרון בניתוב דינמי והתקורה לכל מומחה, וכן קיבוץ חישוב ותקשורת לפי קבוצת מומחים, העלו את ה-MFU של שכבת MoE מ-24% ל-35%, וזה מה שהפך את MoE בכל שכבה לבחירה האופטימלית מבחינת זמן.

• Dropless MoE עם זיכרון קבוע — במקום להשליך טוקנים עודפים או להקצות יתר עבור המקרה הגרוע ביותר, MAI מקבץ מומחים ומריץ סבבי dispatch-compute-collect נוספים עבור העודף, תוך שאילה של קיבולת שאינה בשימוש ממומחים אחרים באותה קבוצה. השימוש בזיכרון הוא סטטי תחת חוסר איזון שרירותי בניתוב; הטיעון של הפוסט נגד השלכת טוקנים הוא שהיא פוגעת באיכות באופן מדיד.

• Muon בקנה מידה — האופטימיזר מחולק מחדש, מומר ל-BF16, עובר החלפה all-to-all, עובר אורתוגונליזציה מקומית ומוחזר. לאחר האופטימיזציה הוא היווה 2.1% מהאיטרציה הממוצעת של האימון, או 165 מ״ש, לעומת שיא תיאורטי של 55 מ״ש, שלפי הפוסט התקשורת מהווה עבורו צוואר בקבוק. Muon אומץ על פני AdamW לשם דינמיקה יציבה יותר.

• חיתוך גרדיאנט באקטיבציות — חיתוך באקטיבציות נבחרות במקום על ה-batch norm הגלובלי, מה ששמר נורמות גרדיאנט בטווח הרבה יותר צר מזה של MAI-Base-1, והתועלת גדלה עם הסקאלה. התברר שזה גם כלי אבחון לאיכות נתונים: דוגמת אימון פגומה עם כותרת רישיון שנחתכה באמצע משפט, שאותרה דרך בקשת pull request של נתוני קוד, חשפה באג בעיבוד מקדים שתוקן מאז.

• נתונים — קורפוס גדול בכ-36% מאשר זה של MAI-Base-1 באסימוני אימון ייחודיים, המזין תערובת של 50 טריליון אסימונים, עם חתך ידע של מרץ 2026. החברה אומרת שהצינור הוא נתונים אורגניים ללא זיקוק ממודלים אחרים, מעובדים פנימית, ושהסורק הקנייני שלה מכבד את robots.txt ומחריג מקורות ברשימת השווקים הידועים לשמצה של USTR.

• חזון מההתחלה — בשונה מ-MAI-Base-1, מודל זה מאומן מראש באופן נייטיבי עם ראייה דרך ארכיטקטורה נטולת מקודד. קורפוס הראייה-שפה מכיל 4.5 טריליון טוקנים ייחודיים והיווה 18% מהתערובת בת 50 טריליון הטוקנים, ומשתרע על תיאור תמונות, הבנת תרשימים, עיגון חזותי, חשיבה מרחבית, הבנה רפואית, שימוש במחשב וקריאת תווים.

ישנם גם חוקי סקיילינג של היפר-פרמטרים, שפורסמו בצורה סגורה: קצב הלמידה האופטימלי כפול דעיכת המשקל הוא 17.04 חלקי מספר צעדי האימון, קצב הלמידה האופטימלי מתנהג לפי פונקציה לוג-ליניארית של טוקנים לכל פרמטר פעיל וצעדים, ו-dropout הוא סיגמואיד של הלוגריתם של הפרמטרים הפעילים. פרסום אלה הוא הדבר היחיד הכי שמיש מחדש בפוסט — סולם סקיילינג ששלביו נקראים בשם לפי מספר השכבות בלבד, שבו הגודל המוסתר קבוע כ-256/3 כפול מספר השכבות וראשי השאילתה שווים למספר השכבות מעוגל לכפולה הקרובה ביותר של 16, הוא מתכון שמעבדות אחרות יכולות לבדוק.

מדוע צ'קפוינט בסיסי אינו מוצר, ומה קורה הלאה

MAI-Thinking-1, מודל החשיבה ש-Microsoft הציגה מוקדם יותר השנה, עבר אימון-המשך על גבי MAI-Base-1. הפוסט אומר ש-MAI-Base-2 הוא כעת "הבסיס לדור המודלים הבא שלנו", מה שאומר שהמודל שאנשים יוכלו להשתמש בו בפועל הוא לא MAI-Base-2 — אלא מה ש-Microsoft תבצע על גביו אימון-המשך, והשם הזה טרם הוכרז.

ערוץ ההפצה כבר הוחלט גם כן, והוא אינו משקולות פתוחות. התוכנית המוצהרת היא להעניק רישיון למשקולות "לשותפים מהימנים דרך Foundry", מה שמתאר מסלול רכש ארגוני ולא הורדה. שום דבר בפוסט לא מבטיח משקולות ציבוריות, וההדגש על מקור הנתונים והיעדר זיקוק מתפרשים כהכנה בדיוק להצעה מורשית מסוג זה.

ואז יש את MAI-Base-3. המשפט היחיד בפוסט עליו הוא ש"ההכנות ל-MAI-Base-3 כבר בעיצומן". אין פרמטרים, אין כוח מחשוב, אין נתונים, אין תאריכים — זה אות מפת דרכים ולא מידע. מה שכן הוא קובע הוא קצב: MAI-Base-1 שוחרר ביוני, האימון המקדים של ממשיכו דווח כהושלם באמצע אוקטובר, והמחזור הבא כבר בהכנה. דור של מודל בסיס בערך כל ארבעה חודשים, בקנה מידה כזה, הוא הטענה המשמעותית יותר בפוסט מאשר כל שורת בנצ'מרק בודדת.

מה שאתה יכול להתקשר אליו היום

אין שום דבר בסיפור של MAI-Base-2 שניתן לקרוא לו, וכדאי לומר בפשטות שאף אחד מהמודלים של MAI של Microsoft אינו נמצא בקטלוג של OrcaRouter היום — איננו מארחים אותם, וצ'ק-פוינט בסיס אינו מודל מוגש בכל מקרה. מה שהפוסט כן נותן לך הוא סט השוואה, ורוב הסט הזה נגיש ממש עכשיו. מודל הייחוס בטענת היעילות של Microsoft, המודל שעבר אימון-המשך DeepSeek V4 Pro, נמצא בקטלוג שלנו, וכך גם Kimi K3 ו-Qwen3.8-Max, שניים מהמודלים עם משקולות פתוחות ש-MAI-Base-2 נמדד מולם.

זה נותן לטענה בדיקה זולה. API אחד על פני יותר מ-200 מודלים פירושו שהשוואה בין מה שאפשר למעשה לקרוא לו אינה דורשת חוזה שני או SDK שני, ומכיוון ש-OrcaRouter מעביר את מחירי המחירון של הספקים עם תוספת של 0% במקום להוסיף עליהם, שינוי מחיר של כל אחד מהספקים האלה מעודכן אצלנו באותו היום. אם ברצונך להריץ עומס עבודה על פני הגרסאות שעברו אימון-המשך של המודלים האלה לפני שתחליט אם להמתין למה ש-Microsoft תשיק מעל MAI-Base-2, זו ההשוואה שבנצ'מרק של מודל בסיס לא יכול לתת לך — וה-DSL של הניתוב מאפשר לך להעביר תעבורה ביניהם באמצעות תצורה ולא קוד כשהתשובה משתנה.

מה היה משנה את הקטע הזה

ארבעה דברים, לפי מידת החשיבות שלהם.

הראשון הוא תוצאות פוסט־אימון. כל מה שכתוב בפוסט מ־15 באוקטובר מתאר ארטיפקט מאומן מראש; האם המודל שמאחוריו טוב בביצוע הוראות, בקריאה לכלים או בקיום שיחה ארוכה היא שאלה נפרדת שלא נשאלה בפומבי.

השני הוא כל צורה של גישה — רישום ב-Foundry עם מחיר, הכרזה של שותף, או משקלים עם רישיון מצורף. בנקודה זו זה מפסיק להיות דוח מחקר והופך להחלטת רכש.

השלישית היא מדידה בלתי תלויה. ביטים לכל בייט על בסיס הקוד של הספק עצמו, עם ערכות STEM ומתמטיקה שהוזמנו על ידי הספק, אינו משהו שמעבדה חיצונית יכולה לבדוק היום. צד שלישי שישחזר את השוואת חוקי הסקיילינג מול DeepSeek-V4-Pro-Base יכריע את טענת היעילות; עד אז זהו אומדן מהימן, מתועד היטב, המדווח על ידי הספק עצמו.

הרביעי הוא פרט של MAI-Base-3. "ההכנות בעיצומן" הוא משפט, לא מפרט, והדור שלאחר הבא הוא הנקודה שבה קצב ארבעת החודשים מחזיק מעמד או לא.

התמצית הצרה והמדויקת: מיקרוסופט סיימה את האימון המקדים של המודל הפנימי הגדול ביותר שלה, פרסמה תיאור טכני באופן יוצא דופן של האופן שבו עשתה זאת, טענה ליתרון ביעילות על נקודת הביקורת הבסיסית הפתוחה הטובה ביותר, חשפה ריצת אימון של בערך 2.8 × 10²⁵ FLOPs לפי חשבון שהיא לא ביצעה בעצמה בפוסט, ולא סיפקה דבר שאפשר להשתמש בו.

בנצ'מרקים מתיישנים ומחירים משתנים; תיעוד הכשלים לא: תקריות ה-AI וכשלי סוכנים מתועדים מאחורי המודלים במחלקה הזו נאספים בארכיון תקריות ה-AI של OrcaRouter, שבו כל ערך נושא מקורות, חומרה, דירוג מהימנות וסימון מחלוקת משלו.