ERNIE-5.5-Flash-Base: Baidu משחררת צ'קפוינט של 280B, ואז מצמצמת היכן מותר להשתמש בו

במשך שבועיים, הדבר הבולט ביותר ב-ERNIE-5.5-Flash-Base היה כמה מעט Baidu אמרה עליו. מאגר Hugging Face נרשם ב-21 באוקטובר 2026 ונשאר ריק למעשה עד 2 בנובמבר, כשהוא מכיל כמעט רק README. שברי המשקלים הראשונים הגיעו באותו בוקר, וצ'קפוינט ה-FP8 בן 128 החלקים סיים להיטען למחרת. רק ב-5 בנובמבר פרסמה Baidu את הבלוג הטכני ואת כרטיס המודל שמסבירים מה היא למעשה שמה שם: צ'קפוינט תערובת מומחים דלילה בעל 280B פרמטרים, מתוכם 14B פעילים לכל טוקן, שאומן מראש מאפס על 33.5 טריליון טוקנים.

עד אותו בוקר המאגר הראשי הורד ארבע פעמים, לעומת מספר לייקים בסביבות החמישים ושמונה. הפער בין שני המספרים הללו הוא המהדורה בזעיר אנפין. אנשים רבים מאוד צופים בפנייתה השנייה של Baidu לעבר משקולות פתוחות, וכמעט איש עדיין לא לקח את המשקולות הביתה.

שני דברים מסבירים את ההיסוס, ושניהם תכונות של השחרור עצמו ולא דיבורים סביבו. הראשון הוא שזו נקודת ביקורת בסיס — סוף האימון המקדים, ללא אימון ביניים וללא אימון לאחר — ולכן היא אינה מודל צ'אט ואינה מתנהגת כמוהו. השני הוא הרישיון. הוא אינו Apache 2.0, אינו חל על האיחוד האירופי, הממלכה המאוחדת או דרום קוריאה, והתנאים המסחריים שלו משתנים כאשר ההכנסה הקשורה שלך עוברת 50 מיליון דולר אמריקאי בשנה.

מה Baidu פרסמה, ובאיזה סדר

היסטוריית הקומיטים במאגר היא תיאור נקי יותר של השחרור מאשר כל הכרזה. קומיט ראשוני ב-21 באוקטובר. README ב-26 באוקטובר, ואחריו שתי דקות לאחר מכן העלאת תיקייה ואז מחיקה של תמונות הארכיטקטורה והביצועים — התהפוכות הרגילות של מי שמרכיב עמוד. קובצי התצורה הגיעו ב-2 בנובמבר בשעה 06:29, שברי המשקלים מיד אחר כך, והאחרון מבין ה-128 לפני 09:00 למחרת בבוקר. נתוני הבנצ'מרק והארכיטקטורה עלו ב-4 בנובמבר. הלוגו, כוונוני הטוקנייזר וסבבי העריכה האחרונים של ה-README הגיעו ב-5 בנובמבר, בתוך שעות מעליית הפוסט בבלוג לאוויר.

אז הסדר הוא: המשקלים תחילה, התיעוד שני, ההכרזה שלישית. באידו לא ערכה השקה ואז גררה את הקבצים מאחוריה. היא העלתה לאינטרנט צ'ק-פוינט של 280B וכתבה את ההסבר לאחר מכן. כדאי לומר זאת בבירור, משום שהמסגור שתראו בסיקור בשפה הסינית — הכרזה ניצחת על קוד פתוח — מתאר את מה שקרה ב-5 בנובמבר, לא את מה שקרה ב-2 בנובמבר.

קיימים שני מאגרים, והפיצול חשוב יותר מאשר בדרך כלל. baidu/ERNIE-5.5-Flash-Base מגיע עם safetensors בדיוק מעורב FP8; baidu/ERNIE-5.5-Flash-Base-BF16 מכיל את אותו צ'קפוינט ב-BF16. שניהם ללא שער גישה, שניהם טקסט בלבד, ושניהם מצהירים על אותו סך כולל של 280B ועל 14B פרמטרים פעילים. קיימת בתוך המודל קבוצה שלישית של משקלים כפרמטרי ECHO — 0.36B מהם — שאותם Baidu מחריגה במפורש ממספרי הפרמטרים הכותרתיים.

כדאי לקבוע את מוסכמות הספירה, מפני שהן חלוקות בנוגע לאותו עמוד. ה-280B של Baidu כולל את הטמעת הקלט ואת ראש הפלט, והנתון המופעל של 14B שלו סופר את ראש הפלט אך לא את אחזור ההטמעה. הווידג'ט של גודל המודל של Hugging Face עצמה מציג 286B — מוסכמה אחרת המיושמת על אותם קבצים. אף אחת מהן אינה שגויה; הן עונות על שאלות שונות במקצת, ודף מפרט שמערבב ביניהן לא יתחבר.

צ'קפוינט בסיס אינו צ'אטבוט, וההבדל אינו קוסמטי.

השורה בעלת ההשלכות הרבה ביותר בכרטיס המודל היא דווקא הפחות דרמטית: זהו "נקודת הבדיקה (checkpoint) בסוף האימון המקדים, לפני אימון ביניים או לאחריו." מטרתה המוצהרת של Baidu היא מחקר בהתאמת תחומים, כיוונון הוראות ולמידת חיזוק. זו נקודת התחלה, שנמכרת כנקודת התחלה.

משמעות הדבר בפועל היא שאינכם יכולים להחליף אותו לתוך מוצר צ'אט ולצפות ל-ERNIE. הכרטיס מגיש אותו דרך נקודת הקצה /v1/completions ולא דרך chat completions, והוא מציין שהקלטים דורשים אסימון BOS, ולכן הטוקניזציה חייבת לשמור על add_special_tokens=True. מודל בסיס ממשיך טקסט. הוא אינו מבצע הוראות, אינו מסרב לבקשות ואינו מנהל שיחה, משום שדבר לא לימד אותו לעשות זאת.

כמו כן, אין עדיין אח בסדרה שעבר post-training, וזה החלק שקוראים טועים בו לרוב כשהם רואים את מספרי הבנצ'מרק. הבלוג של Baidu אומר ש-ERNIE 5.5 Flash שעבר post-training „יגיע בהמשך”. הוא לא קיים היום. אין לו API מתארח ב-Qianfan שמוזכר בחומרי ההשקה, אין מודל צ'אט להשוות אליו, ואין שורה ל-ERNIE 5.5 Flash ב-Artificial Analysis — בדקתי את אינדקס המודלים ב-5 בנובמבר, והוא כולל את ERNIE 4.5 300B A47B ואת ERNIE 5.0 Thinking Preview, ושום דבר מקו 5.5.

אז התיאור הכנה של 5.5 Flash כמשפחת מוצרים, ביום ההכרזה עליה, הוא: צ'ק-פוינט בסיסי אחד, משקלים פתוחים, אין מודל instruct, אין נקודת קצה. כל השאר הוא הבטחה לגבי העתיד.

בתוך הארכיטקטורה, בקצרה

Baidu השקיעה את מאמץ ההנדסה שלה בעלות של הקשר ארוך, והעיצוב קריא גם אם לעולם לא תאמן אותו.

• קשב — 37 מתוך 43 שכבות משתמשות ב-Heavily Compressed Attention, אשר שומרת ערך אחד לכל 128 טוקנים, בעוד 6 שכבות שומרות על גישה ברמת הטוקן דרך MLA עם קשב דליל (DSA). בתקציב KV-cache תואם, Baidu מדווחת ש-HCA בשילוב עם MLA עדיפה על HCA בשילוב עם קשב דליל דחוס.

• גאומטריית הראשים — שכבות HCA הזולות, הדחוסות פי 128×, מקבלות ראשים רחבים בני 512 ממדים; שכבות MLA היקרות ברמת הטוקן מקבלות ראשים צרים בני 256 ממדים. רוחב הראש מותאם לעלות הקשב בפועל של כל שכבה.

• מומחים — 512 מומחים מנותבים בכל שכבת MoE עם ניתוב top-10 ועוד מומחה משותף, הנשלחים ומשולבים במרחב סמוי בן 2,048 ממדים בחצי מרוחב החבוי. איזון העומס הוא ללא אובדן עזר.

• שאריות ופלט — חיבורי-על עם אילוץ יריעה הכוללים ארבעה זרמי שאריות מקבילים מחליפים את נתיב השאריות הסטנדרטי, וראש MultiMax עם טמפרטורה למקוטעין ניתנת-ללמידה מחדד את התפלגות אוצר המילים.

• ECHO — במקום מודול נפרד לחיזוי ריבוי טוקנים, השכבה האחרונה של עמוד השדרה עצמו חוזה טוקנים עתידיים ומשמשת גם כמודל טיוטה לפענוח ספקולטיבי. זהו ה-0.36B שנמצא מחוץ לספירת הפרמטרים.

• טוקנייזר — כ-201,000 ערכי BPE, כאשר מספרים עוברים טוקניזציה מימין לשמאל בקבוצות של עד שלוש ספרות.

סיפור ההקשר הוא הכותרת המעשית: 128K במהלך האימון, ו-1M לכוונון עדין ולהסקה, כאשר התצורה שפורסמה כבר מאפשרת את הגדרת 1M. זהו חלון גדול באמת עבור צ'קפוינט פתוח בגודל הזה, וזו היכולת שסביבה בנתה Baidu את הארכיטקטורה ולא הוסיפה אותה בדיעבד.

טבלת הבנצ'מרק אמיתית, והיא לא המספר שאתם חושבים שהיא.

Baidu מפרסמת 30 שורות על פני בחינות, ידע, STEM, הסקה, רב-לשוניות, קוד והקשר ארוך, בהשוואה לשלושה מודלי בסיס בני זמננו: DeepSeek-V4-Flash-Base עם 284B בסך הכול ו-13B פעילים, Hy3-preview-Base עם 295B ו-21B, ו-MiMo-V2.5-Base עם 310B ו-15B. כל ארבעתם הורצו דרך צינור הערכה אחד עם אותם פרומפטים ואותן הגדרות few-shot — וזו הדרך הנכונה לבנות את הטבלה, וגם הסיבה שאי אפשר להפיל אותה לתוך לוח דירוג לצד מודלי צ'אט.

ERNIE-5.5-Flash-Base מוביל ב-24 מתוך 30 השורות. הפערים המשמעותיים ביותר הם בקוד ובידע בסגנון בחינות, שבהם ההבדלים בין מודלי הבסיס בדרך כלל קטנים:

• HumanEval+ (1-shot, Pass@1) — ERNIE 82.3 לעומת DeepSeek 69.5, Hy3 78.0, MiMo 74.4

• MMLU-Pro (5-shot, EM) — ERNIE 78.4 לעומת DeepSeek 69.2, Hy3 66.9, MiMo 65.7

• LiveCodeBench (בניסיון אחד, Pass@1) — ERNIE 40.1 לעומת DeepSeek 31.9, Hy3 33.5, MiMo 32.4

• RepoQA (0-shot, Pass@1) — ERNIE 91.7 לעומת DeepSeek 81.0, Hy3 91.3, MiMo 56.5

הוא גם מפסיד בשש, ושש אלה מאירות עיניים יותר מהניצחונות. ChineseSimpleQA עובר ל-DeepSeek עם 75.3 מול 73.0 של ERNIE. BBH עם שרשרת מחשבות עובר ל-Hy3 עם 90.0 מול 89.2. INCLUDE-lite הוא הפסד זעום ל-DeepSeek, 79.8 מול 79.5. FullStackBench עובר ל-Hy3 עם 56.7 מול 54.6. HELMET-Rerank הוא ההפסד הגדול ביותר, 60.0 מול 56.2. InfiniteBench, 48.0 מול 46.5, גם עובר ל-DeepSeek — וזו תוצאה חדה עבור מודל שמטרת העיצוב המרכזית שלו הייתה הקשר ארוך.

כל אחד מהנתונים הללו הוא של Baidu עצמה, הופק על ידי Baidu, על גבי מערכת בדיקות ש-Baidu הגדירה, ופורסם לצד המשקלים. אף צד שלישי לא שחזר ולו חלק ממנו. זו אינה האשמה; זהו המצב הרגיל של מודל בן שעות ספורות, וזה בדיוק המצב שבו טבלאות של ספקים מצוטטות לרוב כאילו היו מדידות.

ההשוואה שבאמת הייתה מועילה עדיין לא קיימת, והיא אינה זו שהטבלה מזמינה. כל אלה הם מודלי בסיס. ציון 93.3 ב-MMLU עבור checkpoint בסיס אינו 93.3 במודל צ'אט, והצבתו לצד ציון Artificial Analysis Intelligence Index — שמחושב על מודלים שעברו post-training ועוסקים בעבודה אג'נטית והיסקית — תהיה שגיאת קטגוריה. Baidu פרסמה השוואה קפדנית בתוך הקטגוריה. הטעות העומדת לרשות כל מי שקורא אותה היא להתייחס אליה כאל השוואה חוצת קטגוריות.

הרישיון הוא החלק שבפועל יעצור אנשים

אם מסירים את ההכרזה, המסמך שמסדיר את השחרור הזה הוא הסכם רישיון מודל הבסיס ERNIE 5.5 Flash גרסה 1.0. הוא מתוארך ל-5 בנובמבר 2026 — הרישיון עצמו הוא האישור המהימן ביותר לתאריך ההכרזה — והוא הסכם מותאם אישית, לא כזה שאושר על ידי OSI.

שלושה סעיפים עושים את רוב העבודה.

• טריטוריה. ההענקה ניתנת "אך ורק בתוך הטריטוריה", אשר סעיף 1.11 מגדיר ככל אזור גיאוגרפי בעולם למעט האיחוד האירופי, הממלכה המאוחדת ודרום קוריאה. הפצה מחדש לפי סעיף 3.1 מוגבלת לאותה טריטוריה. זהו הסעיף שסביר ביותר שיהיה חשוב לחברה שקוראת "משקלים פתוחים" ומתכננת פריסה.

• רף 50 מיליון הדולר.שימוש לא מסחרי הוא בחינם. שימוש מסחרי הוא גם בחינם כל עוד ההכנסה השנתית שלך ממוצרים או שירותים קשורים עומדת על 50 מיליון דולר ארה״ב או פחות, בתנאי שאתה שולח הודעת שימוש חד-פעמית ל-Baidu לפני השימוש המסחרי הראשון ומציג את המחרוזת המדויקת "Powered by ERNIE" במקום נגיש בקלות — ממשק משתמש, עמוד אודות, או, עבור APIs ושירותי backend, בתיעוד המפתחים שלך. מעל 50 מיליון דולר ארה״ב, דרוש לך אישור מראש בכתב נפרד לפני שתתחיל, והעמלות נקבעות בהסכם נפרד.

• כיצד נספרת ההכנסה. סעיף 1.7 מאחד כל ישות תחת שליטה משותפת — יותר מ-50% מההון העצמי או מזכויות ההצבעה — למפעיל אחד. הוא גם סופר את מלוא ההכנסה של מוצר קשור גם כאשר אותו מוצר משתמש במודלים אחרים לצד ERNIE. לא תוכלו לייחס את דרככם אל מתחת לסף באמצעות הצבעה על שיעור התעבורה שנוגע במשקלים הללו.

הניגוד להיסטוריה של באידו עצמה הוא מה שהופך את זה לראוי לחדשות ולא לשגרה. ERNIE 4.5, ששוחרר ב-30 ביוני 2025, הופץ בעשרה וריאנטים תחת Apache 2.0 — מתירני באמת, בלי הגבלה טריטוריאלית, בלי סף הכנסות, בלי מחרוזת ייחוס. ERNIE 5.0 בנובמבר 2025 הלך לכיוון ההפוך לחלוטין ולא סיפק משקלים כלל. ERNIE-5.5-Flash-Base הוא עמדה שלישית: משקלים שאפשר להוריד, בתנאים שהופכים את "פתוח" לאמירה על זמינות ולא על הרשאה.

אם אתם מעריכים את המודל הזה לשימוש מסחרי כלשהו, קראו את סעיפים 1.7, 1.11 ו-4 לפני שתקראו את טבלת הבנצ'מרקים. הטבלה מספרת לכם מה הוא מסוגל לעשות. שלושת הסעיפים האלה מספרים לכם האם מותר לכם לגלות.

מה שצריך כדי לרוץ

המשקלים גדולים מספיק כדי ששאלת החומרה תענה על עצמה, וקטנים מספיק כדי שהתשובה לא תהיה אבסורדית. ב-FP8, 280B פרמטרים הם בקירוב 280 GB של משקלים לפני כל KV cache — חשבון, לא מדידה — מה שנכנס בצומת של ארבעה GPUs עם כרטיסי 80 GB, עם מרווח שצר יותר מכפי שזה נשמע ברגע שמפעילים הקשר של 128K. מאגר ה-BF16 מכפיל את זה לבערך 560 GB ודורש שמונה כרטיסים.

Baidu מספקת שני מסלולי הגשה, ושניהם טומנים בחובם חיכוך שכדאי להכיר לפני שמתחילים.

• SGLang — תמונה מובנית מראש, lmsysorg/sglang:dev-ernie-55-flash, שהופעלה עם מקביליות טנזורים 4 ומקביליות נתונים של קשב 4. זהו תג dev, לא מהדורה מוצמדת.

• vLLM — vLLM 0.32.0 בתוספת תוסף המותקן ממאגר vLLM-ERNIE של Baidu. דגלי ההפעלה כוללים מטמון KV מסוג FP8, מקבילות מומחים (expert parallelism), ו---moe-backend humming.

אף אחד מהמסלולים אינו התקנה בשורה אחת, ומסלול ה-vLLM במיוחד נועל אתכם לגרסה ספציפית של vLLM ולתוסף ש-Baidu מתחזקת. זה נורמלי עבור מודל עם מבנה attention ו-MoE חדשים, וזה מסוג הפרטים שקובעים אם הערכה בת שבועיים תיגרר בשבוע. דוגמה לכוונון עדין עם Megatron-Bridge מקושרת מהכרטיס מאותה סיבה: ה-checkpoint הזה נועד לאמן עליו, לא רק להריץ אותו כשירות.

מי צריך להוריד אותו, ומי צריך לחכות

הורד אותו אם יש לך את התשתית לביצוע fine-tuning. צ'ק-פוינט בסיס 280B-A14B שאומן על 33.5T אסימונים, עם חלון הסקה של 1M אסימונים ותנאים מסחריים שישימים מתחת לקו ההכנסות ומחוץ לטריטוריות המוחרגות, הוא נקודת פתיחה רצינית להתאמת תחום או לריצת RL — ויחס האקטיבציה אומר שעלויות האימון וההגשה שלך תואמות 14B, לא 280B. עבודת היעילות ש-Baidu ביצעה על attention ו-KV cache מכוונת ישירות לעומסי העבודה ארוכי-ההקשר והאג'נטיים שיקרים להרצה על מודל dense באיכות דומה.

חכו אם אתם רוצים מודל שאפשר לקרוא לו. אין גרסת instruct, אין API, ואין הערכה עצמאית. כל מי שצריך את ERNIE 5.5 Flash כמוצר ממתין לגרסה post-trained ש-Baidu הבטיחה ולא קבעה לה תאריך.

ובדקו את המפה לפני כן. אם המשתמשים שלכם, הישות שלכם או התשתית שלכם נמצאים באיחוד האירופי, בבריטניה או בדרום קוריאה, הרישיון אינו מעניק לכם את הזכויות שכפתור ההורדה מרמז עליהן.

קיים מסלול ביניים מעשי עבור צוותים שהשאלה האמיתית שלהם אינה "האם אנחנו יכולים להריץ את זה" אלא "האם זה טוב יותר ממה שאנחנו כבר משלמים עליו". ההשוואה שאתם צריכים היא מול המודלים המתארחים שאותם הייתם מחליפים, ואלה שאתם יכולים לפנות אליהם היום. OrcaRouter מציב יותר מ-200 מודלים מאחורי API אחד ב-0% תוספת — מחיר המחירון של הספק מועבר הלאה, כך שהורדת מחיר של ספק נכנסת לתוקף באותו יום — מה שהופך השוואה מול מודל הייצור הנוכחי שלכם לעניין של שינוי מחרוזת מודל במקום חתימה על חוזה שני. עבור צ'קפוינט שאתם מתכוונים לכוונן ולארח בעצמכם, שכבת הניתוב היא הדרך שלכם להשאיר את המודל הקיים בתמונה בזמן שאתם מגלים אם הכוונון באמת טוב יותר, עם מעבר אוטומטי לגיבוי אם לא. ERNIE-5.5-Flash-Base אינו זמין ב-OrcaRouter; זהו סט משקלים שאתם מריצים בעצמכם, ושום דבר כאן לא משנה את זה.

מה לראות

המשתנה המעניין אינו האם הצ'קפוינט הבסיסי טוב — לפי המספרים של Baidu עצמה, הוא תחרותי מול מודלי הבסיס שמולם נמדד, והוא מנצח ברוב השורות. המשתנה הוא מה Baidu עושה עם המודל שעבר אימון-המשך, כי שם תנאי הרישיון מתחילים לחייב במוצרים אמיתיים, ושם סוף סוף יהיה ציון בלתי תלוי.

שני תאריכים שכדאי להחזיק בהם. הראשון הוא ERNIE 5.5 Flash לאחר האימון, ש-Baidu אומרת שיגיע וטרם קבעה לו מועד. השני הוא השחזור הראשון בידי צד שלישי של שורה כלשהי מתוך אותה טבלה בת 30 שורות — הרגע שבו המספרים מפסיקים להיות של Baidu ומתחילים להיות של כולם. עד אז, הסיכום הכנה של ERNIE-5.5-Flash-Base הוא ש-Baidu שחררה לציבור צ'קפוינט אימון מקדים גדול ומהונדס בקפידה, תיארה אותו בדייקנות, וצירפה לו רישיון שהוא פתוח במידה ניכרת פחות ממה שהביטוי "משקלים פתוחים" נוטה לרמוז.