Engineering & Research

Ling-3.0-flash-base: שחרור הצ'קפוינט השקט של Ant Group, כעת רשמי

מחבר

Elias Hawthorne

תאריך פרסום

Aug 19, 2026

מודלים אחרונים · 20צפו בכל המודלים →

בנצ'מרקים: Artificial Analysis · מתעדכן יומית

חזרה לכל הפוסטים

המעבדה inclusionAI של Ant Group העלתה Ling-3.0-flash-base וחמישה checkpoints אחים ל-Hugging Face ב-11 באוגוסט 2026 ללא כל הודעה מצורפת, ובמשך שבוע שלם כל ששת המאגרים ישבו על אפס הורדות — נראה שאף אחד מחוץ למעבדה לא הבחין בכך. לאחר מכן, ב-19 באוגוסט, החשבון הרשמי של המעבדה הציג בפומבי את האוסף, וכל כרטיס מודל בו עודכן תוך דקות. זהו מאמר מסוג "מה ידוע לנו עד כה" על הפרסום הזה. הגרסה הקצרה, לפני הכול: Ling-3.0-flash-base אינו מודל צ'אט, ואינו מיועד להיות כזה. זוהי נקודת הבסיס הגולמית, טרום-יישור, של Ling-3.0-flash — מודל Mixture-of-Experts עם 124B פרמטרים ו-5.1B פרמטרים פעילים, ששוחרר תחת רישיון MIT עבור אנשים שרוצים להמשיך לאמן אותו במקום לקרוא לו.

ציר הזמן: שבוע של שקט, ואז הודעה

הסדר חשוב, כי הוא אומר לך איך לקרוא את כל שאר הדברים במאמר הזה. ששת המאגרים נוצרו כולם ב-11 באוגוסט, והמשקלים עבור Ling-3.0-flash-base — הצ'קפוינט הממוזג, זה שהמאמר הזה נקרא על שמו — הגיע עם קומיט של "שחרור מודל ראשוני" ב-12 באוגוסט. אף פוסט בבלוג, אף שרשור במדיה החברתית, אף הכרזה לא ליוו את כל זה. במועד ביצוע המחקר, שבוע לאחר מכן, כל אחד מששת המאגרים עדיין הציג אפס הורדות.

השתיקה הזאת הסתיימה ב־19 באוגוסט. החשבון הרשמי של Ant Ling הכריז בפומבי על אוסף הצ'קפוינטים, וכרטיסי Hugging Face של כל ששת המאגרים עודכנו בהפרש של דקות בודדות זה מזה — חותמות הזמן מתואמות כמעט בדיוק. אז הניסוח הכנה הוא: המשקלים הופצו בשקט, ההכרזה הגיעה באיחור של שבוע, וכל מה שניתן לדעת כרגע על הפרסום מגיע מכרטיסי המודלים עצמם וממאגר קצר של ספר מתכונים לאימון. שום דבר אחר לא אומת באופן עצמאי עדיין.

מה ששוחרר בפועל: שש נקודות ביקורת, שלושה שלבי אימון.

InclusionAI מתארת את השחרור כ"אוסף של נקודות ביקורת במהלך תהליך האימון" עבור סדרת Ling-3.0, משפחת מודלי השפה הבסיסיים היעילים ביותר שלה עד כה. עבור שתי הגדלים הקטנים ביותר — Ling-3.0-tiny ו-Ling-3.0-flash — המעבדה פרסמה שלוש נקודות ביקורת, אחת לכל שלב אימון:

• אומן מראש — Ling-3.0-flash-base-30T ו Ling-3.0-tiny-base-30T: הושלם אימון מקדים בקנה מידה גדול; ללא אימון ביניים, ללא מיזוג, ללא אימון לאחר מכן.

• באימון ביניים — Ling-3.0-flash-base-midtrain ו-Ling-3.0-tiny-base-midtrain: השלימו את שלב האימון הביניים; אין מיזוג נקודות ביקורת ואין אימון נוסף.

• ממוזג — Ling-3.0-flash-base ו-Ling-3.0-tiny-base: נקודות הביקורת הבסיסיות הממוזגות ב-WSM, שהופקו מהמשקולות שאומנו בשלב הביניים ומייצגות את המצב הבסיסי הסופי לפני שלב האימון המאוחר.

כל שש הן נקודות בסיס (base checkpoints). אף אחת לא עברה את שלב ההתאמה — כוונון עדין מפוקח, אופטימיזציית העדפות, RL — שהופך מודל בסיס למשהו שאפשר להציג בפני משתמשים. כרטיס המודל אומר זאת במילים פשוטות: לא מומלץ לפריסת צ'אט ישירה מול משתמשי קצה, ליישומים קריטיים לבטיחות ללא התאמה והערכה נוספת, או לשימוש בייצור ללא אימון נוסף ואימות ספציפי למשימה.

מהו base checkpoint — ולמה הטוויסט של WSM חשוב

אם אי פעם צרכת מודלים רק דרך API, "צ'קפוינט בסיסי" (base checkpoint) יכול להישמע כמו גרסה קטנה או ישנה יותר של מודל שאתה כבר מכיר. הוא לא כזה. צ'קפוינט בסיסי הוא קובץ משקלי הרשת העצבית הלא-מיושרים שיוצא מתוך האימון המקדים (pre-training); ההתנהגות של מעקב אחר הוראות וקריאה לכלים, שבה אתה בפועל משתמש, מונחת על גבי זה לאחר מכן. שחרור צ'קפוינטים בסיסיים הוא הדרך שבה מעבדה מוסרת לקהילת המחקר את חומר הגלם כדי שתבצע בעצמה אימון מקדים המשכי, כיוונון עדין, זיקוק (distillation) ולמידת חיזוק (RL).

מה שהופך את המהדורה הזו למעניינת יותר מאשר פריקת משקלי בסיס טיפוסית הוא המתכון לאימון שמאחוריה. InclusionAI משתמשת בטכניקה שהיא מכנה Warmup-Stable and Merge (WSM), והיא מחליפה את דעיכת קצב הלמידה הקונבנציונלית בסוף האימון במיזוג משוקלל של נקודות ביקורת. במילים פשוטות: במקום לתת לקצב הלמידה לרדת בהדרגה כדי לסיים את הריצה, המעבדה מאמנת בקצב יציב, שומרת נקודות ביקורת לאורך הקטע האחרון, וממזגת אותן עם משקלים שנלמדו. המניעים המוצהרים של הספק, מתוך כרטיס המודל:

• מכיוון שאין שלב דעיכה כדי "לאפות" את תערובת הנתונים הסופית, מודל הבסיס המתקבל מתאים יותר להמשך אימון מקדים והרחבת נתונים דינמית.

• מכיוון שניתן לחקור את מתכון המיזוג במצב אופליין, צוות יכול להשוות פרופילי דעיכה שונים מבלי להריץ מחדש את ריצת האימון היקרה עבור כל אחד.

הנקודה השנייה היא זו שהופכת את השחרור לאובייקט מחקרי ולא לקוריוז: כל הרעיון של נקודות הבידוק הללו הוא שהן מיועדות לאימון נוסף, והמתכון מתוכנן לעמוד בכך.

מה יש בפנים Ling-3.0-flash-base

הארכיטקטורה זהה לזו של Ling-3.0-flash שעבר אימון נוסף, שאמורה להיות כבר מוכרת מהסיקור הנרחב של אותו מודל. מכרטיס המודל ומconfig.json:

• גודל — 124B פרמטרים בסך הכל לפי היצרן (הצ׳קפוינט המלא על הדיסק, כולל embeddings, מסתכם בכ-127B ב-Hugging Face), עם 5.1B מופעלים לכל טוקן.

• דלילות — MoE דליל של 1/64: 512 מומחים מנותבים, כאשר 8 מומחים מנותבים ומומחה משותף אחד מופעלים עבור כל טוקן.

• Attention — עיצוב היברידי-ליניארי מובנה: 35 שכבות Kimi Delta Attention (KDA) ו-7 שכבות Gated MLA בתבנית חוזרת של 5:1 לאורך 42 שכבות טרנספורמר.

• הקשר — התצורה כוללת הטמעת מיקום של 256K אסימונים (262,144), אותו הקשר המקורי כמו זה של התאום שעבר אימון המשך.

• משקלים — BF16, מופץ ב-28 shards של safetensors (~255 GB על הדיסק), עם קוד המודל המותאם אישית bailing_hybrid המצורף במאגר.

• רישיון — MIT, ללא סעיף שימוש מקובל.

Single-model scoreboard for Ling-3.0-flash-base listing six figures: total params 124B (5.1B active), stage base pre-alignment WSM-merged, context 256K native, architecture hybrid-linear MoE 1/64 sparse, experts 512 routed with 8 plus 1 active, and independent scores none yet, with the footer noting all figures are from the vendor model card

אזהרה כנה אחת לגבי נתון הגודל: כרטיס המודל של הספק אומר "Total 124B", וזה המספר שמסתובב בכל מקום — אבל ספירת הפרמטרים הכוללת של safetensors במאגר היא כ-127.5B כשכוללים את שכבת ה-embedding. הנתון 124B הוא הסכום ללא שכבת ה-embedding, ושני המספרים אינם בסתירה; כדאי לדעת באיזה מהם אתה מסתכל כשאתה רואה "127B" בסרגל צד או במוריד.

למה זה מיועד, ולמה לא

מקרי השימוש המומלצים בכרטיס המודל הם חד-משמעיים:

• המשך פרה-אימון

• אמצע אימון

• כוונון עדין מפוקח להתאמת תחום

• אופטימיזציית העדפות ופוסט-אימון RL

• מחקר זיקוק

• מחקר מערכות של Long-context ו-MoE

ורשימת ה"לא מומלץ כפי שהוא" שלה מפורשת לא פחות: פריסת צ'אט ישירה למשתמש קצה, יישומים קריטיים לבטיחות ללא יישור, שימוש בייצור ללא אימון משלים. במילים אחרות, זהו חומר גלם עבור מי שמאמן מודלים, לא מודל שנועד לפריסה. אם אינך מתכנן לכוונן או לאמן מראש שום דבר, אין לך מה להוריד כאן — ואין בכך כל פסול.

החצי השני של הסיפור הוא המתרחב בצורה חלקה העיצוב. InclusionAI מצהיר ש Ling-3.0-tiny-base ו Ling-3.0-flash-base חולקים את אותו מתכון אימון, כך שהקהילה יכולה לאמת אסטרטגיית המשך-אימון או כוונון-עדין על נקודת הבדיקה הקטנה תחילה — שמתאימה להרבה פחות זיכרון GPU — ולאחר מכן להגדיל את אותו מתכון מאומת לנקודת הבדיקה flash הגדולה יותר. זוהי בחירה מכוונת של תהליך עבודה, לא תאונה של לוגיסטיקת שחרור, וזהו המאפיין השימושי ביותר של האוסף עבור כל מי שבאמת רוצה להתנסות.

מציאות החומרה, והמסלול שרוב האנשים באמת רוצים

אין דרך לעקוף את גודל משקלי הבסיס של flash. BF16 בכ-255 GB משמעותו צומת multi-GPU רציני (או הגדרת אימון מותאמת לזיכרון) עוד לפני שמתחילים; אין קוונטיזציה רשמית של נקודת הביקורת הבסיסית ל-FP8 או FP4 — הגרסאות המקוונטזות הקיימות בקטלוג של הארגון מיועדות למודל המאומן. דוגמאות הכוונון העדין נמצאות במאגר inclusionAI/ling-cookbook ב-GitHub, שהוא במפורש עבודה בתהליך. אם המשך אימון מקדים אינו מוקד הצוות שלכם, נקודות הביקורת הבסיסיות אינן נקודת הכניסה שלכם.

רוב האנשים הקוראים על משפחת Ling-3.0 לא רוצים בכלל checkpoint בסיסי — הם רוצים את המודל שמדבר. זהו ה-post-trained Ling-3.0-flash, הזמין דרך ה-API של הספק עצמו וכמה פלטפורמות של צד שלישי. כאשר מודל מהיר, ששוחרר לאחרונה, עם משקלים פתוחים כמו זה מופיע, הדרך הזולה ביותר לשפוט אותו מול הערימה הנוכחית שלך היא להריץ אותו זה לצד זה עם מה שכבר בשימושך — וזה בדיוק מה שראוטר מיועד לעשות: API אחד, מפתח אחד, ו-failover אוטומטי כך שתקלה של ספק לא תקטע את הניסוי. OrcaRouter מתחבר ל-200+ מודלים בדרך זו ומעביר את מחירי הרשימה של הספקים ישירות ב-0% markup, כך שהמחיר שאתה רואה הוא המחיר של הספק עצמו, ועמלת הספק מגיעה לצד שלנו באותו היום.

Screenshot of the inclusionAI/Ling-3.0-flash-base model card on Hugging Face showing the six-checkpoint collection table for Ling-3.0-tiny and Ling-3.0-flash and the training-stage descriptions

מה שעדיין לא אושר

מכיוון שהגרסה הזו בת יום אחד במונחי הכרזה, רשימת הדברים הלא מאושרים ארוכה ויש לקרוא אותה כרשימת משימות, לא כביקורת:

• אין מדדים עצמאיים של נקודת הבסיס.כרטיס המודל מטמיע תרשים השוואתי של הספק המשווה את Ling-3.0-flash-base עם עמיתים מאומנים מראש בסוויטות מתמטיקה, קידוד, חשיבה, רב-לשוניות והקשר ארוך — אך זו הערכה עצמית של הספק, המאוחסנת על שרת תמונות פנימי, ללא פרק מתודולוגיה וללא שכפול על ידי צד שלישי.

• עדיין אין שחזורים קהילתיים. נכון למועד המחקר, כל ששת המאגרים הציגו אפס הורדות ולמעשה ללא מעורבות. השחרור חדש מכדי שמישהו יספיק לפרסם כוונון עדין עצמאי או הרצת המשך אימון מקדים על גבי המשקולות הללו.

• הכלים עדיין בשלב מוקדם. ה-bailing_hybrid, שהיא ארכיטקטורה, כוללת קוד מידול מותאם אישית, כך שאתה תלוי ב-trust_remote_code או בפריימוורק שהוסיף תמיכה. ספר הבישול לכיוונון עדין הוא במפורש עבודה בתהליך.

• ההכרזה עצמה דלה. ההשקה הפומבית הגיעה כשרשור ב-X וכרטיסי המודל; אין מסמך השקה נפרד המתאר את נתוני האימון, את כוח החישוב או את מתכון המיזוג המדויק מעבר למה שכרטיסי המודל מציינים.

לעומת זאת, לאח שעבר פוסט-אימון יש רקורד עצמאי: Ling-3.0-flash נמצא במעקב של Artificial Analysis עם Intelligence Index של 38 — נתון שמגיע מלוח התוצאות, לא מהיצרן. כל זה עדיין לא קיים עבור Ling-3.0-flash-base; נקודת ביקורת בסיסית אינה מוגשת בשום מקום, ולכן אינה באף לוח תוצאות. שני הארטיפקטים נמצאים בשלבים שונים לחלוטין של אימות, וכדאי לא לערבב ביניהם.

Screenshot of the Artificial Analysis model page for Ling-3.0-flash, the post-trained sibling of Ling-3.0-flash-base, showing its Intelligence Index of 38 and pricing of $0.075 per 1M input and $0.22 per 1M output tokens

מי צריך לפעול עכשיו?

שלוש קבוצות צריכות לקרוא את זה בצורה שונה:

• חוקרים שעושים המשך pre-training, SFT תחומי, או דיסטילציה — זו הגרסה בשבילכם. ה-checkpoint הבסיסי של WSM-merged נבנה במיוחד לאימון נוסף, והמתכון tiny-then-flash נותן דרך זולה לאמת גישה לפני הרחבתה. התחילו עם Ling-3.0-tiny-base, הוכיחו את המתכון, ואז עברו לLing-3.0-flash-base.

• מהנדסים שרוצים מודל עובד — אתם רוצים את ה-Ling-3.0-flash שעבר אימון נוסף, לא את הגרסה הזו. נקודות הביקורת הבסיסיות לא ימלאו אחר הוראות ואינן מוגשות בשום מקום; אל תפנו אליהן לקוח API.

• כל השאר — המהלך המועיל הוא לצפות. האותות המעניינים בשבועות הקרובים הם כוונון עדין עצמאי ראשון המבוסס על המשקלים הללו, שכפול קהילתי של טבלת אמות המידה של הספק, והאם ערמת אימונים של צד שלישי תוסיף תמיכה מלאה ב־bailing_hybrid-ארכיטקטורה.

שאלות נפוצות

מה ההבדל בין Ling-3.0-flash-base ל-Ling-3.0-flash?

Ling-3.0-flash הוא המודל שעבר אימון-המשך — מותאם באמצעות כוונון עדין מונחה ו-RL, עוקב אחר הוראות, מבצע קריאות לכלים, ומוגש דרך APIs. Ling-3.0-flash-base הוא אותה ארכיטקטורה בשלב מוקדם יותר: זוהי נקודת הביקורת הבסיסית הממוזגת הסופית לפני כל אימון-המשך, והיא לא תתנהג כמו מודל צ'אט. הבסיס קיים כדי שחוקרים יוכלו לבצע המשך אימון מקדים, כוונון עדין או זיקוק משלהם במקום להתחיל מאפס.

מדוע מעבדה תשחרר checkpoints שלא עברו אימון משלים?

מכיוון שפוסט-אימון הוא בדיוק מה שרוב החוקרים רוצים לעשות בעצמם, ונקודת ביקורת בסיסית היא נקודת ההתחלה הנכונה עבורו. שחרור נקודות הביקורת המאומנות מראש, מאומנות הביניים, והממוזגות בנפרד מאפשר לצוות לבחור את השלב שמתאים לעבודה שלהם: המשך אימון מראש מהמשקולת המאומנת מראש, או כיוונון עדין ו-RL מהבסיס הממוזג — ובזכות WSM, ללא מגבלות הפחתת קצב הלמידה שהופכות מודל בסיסי לשביר כאשר מאמנים אותו הלאה.

האם אני יכול להריץ את Ling-3.0-flash-base על חומרה ביתית?

בפועל, לא. משקלי ה-BF16 הם בערך 255 ג'יגה-בייט על פני 28 shards, ללא גרסה רשמית מכומתת של ה-checkpoint הבסיסי. האח הקטן יותר, Ling-3.0-tiny-base, הוא זה שנועד לניסויים על חומרה צנועה יותר — והוא חולק את מתכון האימון של ה-flash checkpoint, כך שניסויים שאומתו ניתנים להרחבה.

האם Ling-3.0-flash-base חינמי לשימוש מסחרי?

כן — הוא משוחרר תחת רישיון MIT ללא סעיף שימוש מותר. זה מכסה גם שימוש למחקר וגם, עקרונית, שימוש מסחרי במשקלים ובכל כוונון עדין שנבנה מהם. מדובר ב-checkpoint בסיסי, ולכן "שימוש" כאן פירושו אימון עליו; הרישיון לא אומר דבר על API מתארח, כי לא קיים כזה עבור המודל הבסיסי.

שורה תחתונה

עבור רוב הקוראים, Ling-3.0-flash-base הוא מצביע, לא מוצר: הוא אומר לך לאן משפחת Ling-3.0 הולכת וכיצד המעבדה מתכוונת שהקהילה תבנה עליו, אבל אין כאן שום דבר שאפשר לקרוא לו דרך API. עבור הקבוצה הקטנה יותר שבאמת עוסקת בהמשך אימון מקדים, כיוונון עדין, או זיקוק, זהו שחרור שימושי באמת — שש נקודות ביקורת (checkpoints), ברישיון MIT, שתוכנן במכוון לאימון נוסף, עם מסלול "קטן-קודם" שהופך את הניסויים לזולים. מה שיהפוך אותו מ"שחרור שימושי" ל"מתכון מוכח" הוא בדיוק מה שחסר היום: שכפול עצמאי, על ידי מישהו מחוץ למעבדה, של מה ש-WSM checkpoints יכולים לעשות כשמישהו ממשיך לאמן אותם.