כרטיס כותרת עבור ERNIE 5.5 Flash עם הכיתוב 'ERNIE 5.5 Flash: נתיב FP4 המיועד ל-Blackwell בלבד מופיע לפני מודל הצ'אט עצמו', עם התגיות 'SGLang PR #51236 · נפתח ב-18 בנוב׳ 2026', 'מומחי MXFP4, SM100 בלבד', 'תבנית צ'אט מרונדרת ב-Python', 'צ'ק-פוינט צ'אט: לא שוחרר'. בתחתית מופיע 'מקור: sgl-project/sglang PR #51236, פתוח ולא מוזג.'
Guides & Insights

ERNIE 5.5 Flash: מסלול FP4 בלעדי ל-Blackwell מופיע לפני שמודל הצ'אט מופיע

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

הדבר המוחשי ביותר שפורסם על ERNIE 5.5 Flash השבוע הוא הודעת שגיאה. בתוך בקשת משיכה (pull request) בת 525 שורות שנפתחה במאגר SGLang ב-18 בנובמבר 2026 יש סירוב חד-משמעי: האפשרות --moe-a2a-backend megamoe נדחית בכל חומרה שאינה SM100 GPU, מכיוון שהקרנלים שאמורים היו לבצע חישובי SwiGLU והמומחים של המודל הזה משתמשים ב-SiTU. השורה הזו, ושאר PR #51236, היא התיאור הציבורי הראשון של האופן שבו גרסת הצ'אט של ERNIE 5.5 Flash — להבדיל מERNIE 5.5 Flash Base ה-checkpoint ש-Baidu פרסמה ב-5 בנובמבר ומERNIE 5.5 Flash Preview ה-endpoint שפתחה ב-11 בנובמבר — אמורה להיות מוגשת. המודל עצמו עדיין לא יצא. חוזה ההגשה שלו כעת הוא.

זהו טקסט של מה שאנחנו יודעים עד כה, לא סיקור השקה. כל מה שלמטה מגיע מבקשת Pull Request פתוחה אחת, שלא מוזגה ולא נבדקה, מתיעוד SGLang שנכתב לצד תמיכת Base המוקדמת יותר, ומהעמודים שפרסם Baidu בעצמו. שום דבר כאן לא הורץ מול צ'קפוינט צ'אט שניתן להורדה, כי אין צ'קפוינט כזה שניתן להורדה. כאשר מספר הוא של Baidu, הוא מסומן כשל Baidu.

מה שבקשת המשיכה בעצם מוסיפה

PR #51236 נקרא "[תכונה] ERNIE-5.5-Flash: הוספת קידוד תבנית צ'אט של Python ואספקת FP4 MegaMoE" ונפתח על ידי chang-wenbin, תורם, ב-12:12 UTC ב-18 בנובמבר. הוא נוגע ב-14 קבצים, מוסיף 525 שורות ומוחק 24. אין לו אישורים, כל הרצות ה-CI שלו דולגו בהמתנה לתווית, ושני המדורים accuracy-test ו-speed-test בתיאור הם תגובות התבנית שלא מולאו. כשקוראים זאת כראיה, יש לכך משמעות: זהו קוד שהמחבר שלו מאמין שנדרש, לא קוד שמישהו אימת.

זהו ה-pull request הרביעי של ERNIE 5.5 בתוך שבועיים. #48546 הוסיף מתכוני פריסה ל-SGLang cookbook ומוזג ב-5 בנובמבר, ביום שבו עלו משקולות ה-Base. #48547 הוסיף את המודל עצמו — Ernie5_5_MoeForCausalLM, את ה-backend של attention, את מאגר ה-KV-cache, מודול טיוטה של DSpark — ומוזג ב-6 בנובמבר. #49807 הרחיב את ה-prefill של NVIDIA LiteTopK לכלול את "LongCat, ERNIE 5.5, HY-4-family, Kimi K3.1" ב-11 בנובמבר והוא עדיין פתוח. ה-PR מ-18 בנובמבר הוא הראשון מבין הארבעה שאינו עוסק כלל ב-Base checkpoint.

תבנית הצ'אט היא Python, וזה משנה מי יכול להריץ אותה.

נקודות שמירה של ERNIE 5.5 Flash יכולות לשאת את תבנית הצ'אט שלהן כ-Python ולא כמחרוזת Jinja, במחלקת tokenizer שה-PR מכנה ErnieChatTokenizer. המסלול הרגיל של SGLang מרנדר פרומפטים באמצעות קריאה ל-apply_chat_template כנגד תבנית Jinja בקונפיגורציית ה-tokenizer; קידוד הצ'אט החדש ernie5_5 קורא ל-tokenizer של נקודת השמירה עצמה במקום זאת, ומזהה את עצמו אוטומטית מתוך מחרוזת הארכיטקטורה או מסוג המודל ernie5_5_moe. ההשלכה המעשית, בלשונו של ה-PR: יש לטעון את ה-tokenizer עם --trust-remote-code, והגשת צ'אט עם --skip-tokenizer-init נדחית על הסף עם שגיאה מסבירה.

זהו אילוץ פריסה שקורא יכול לפעול לפיו. מודל שמרנדר פרומפטים ב-Python מריץ קוד ממאגר הצ'קפוינט בזמן הבקשה, ולכן כל מי שמריץ אותו בסביבה מנותקת (air-gapped), בתוך תמונה מוקשחת, או מאחורי מדיניות שאוסרת קוד מרוחק, חייב либо להטמיע את הטוקנייזר מקומית, либо להשלים עם הדגל. לצ'קפוינט Base אין את הבעיה הזו: קובץ tokenizer_config.json שפורסם שלו אינו כולל תבנית צ'אט כלל ומצהיר על PreTrainedTokenizerFast פשוט, וזה מה שהייתם מצפים מצ'קפוינט שמוגש דרך נקודת קצה של completions.

שלושה פרטים קטנים יותר באותו קובץ שווים יותר ממה שהם נראים. המתאם תומך בהודעות מערכת מוטבעות — תורי system באמצע השיחה שמוצגים במקומם, ולא ממוזגים להודעה הראשונה — דבר שרק שני קידודים אחרים בעץ של SGLang עושים. הוא משתמש בהמשך המקורי של הרנדרר עבור continue_final_message, מפני שמסלול הוספת-הקידומת הגנרי היה מאבד את הקידומת בתוך בלוק ה-think הפתוח. והוא משמיט בכוונה את chat_template_kwargs שהרנדרר היה דוחה, מכיוון ש-ErnieChatTokenizer מעלה שגיאה על מילת מפתח לא מוכרת במקום שתבנית Jinja מתעלמת ממנה בשקט — ה-PR מציין ממשק חזיתי ששולח חשיבה בסגנון DeepSeek כמקרה שנשבר.

תיקון הבאג שנובע מכך הוא השורה הבודדת החושפנית ביותר ב-diff. מטפל הבקשות של SGLang קורא מפתח thinking ומגדיר אותו כברירת מחדל לכבוי; מנתח ההיסק ernie55 קורא enable_thinking ומגדיר אותו כברירת מחדל למופעל. לכן הזרקת ברירת המחדל של המטפל הציגה פרומפט עם חשיבה כבויה תחת מנתח היסק שציפה להיסק, וכל תשובת המודל פורשה אל תוך reasoning_content כאשר content נותר ריק. זה בדיוק אופן הכשל שמשתמשי נקודת הקצה Preview דיווחו עליו מאז 11 בנובמבר — תשובות פשוטות שמגיעות כתוכן ריק — והתיקון מרמז שצ'קפוינט הצ'אט חושב כברירת מחדל.

גם המנתחים עבור הסקה וקריאות לכלים נבחרים אוטומטית: ernie55 עבור הסקה, קורא תגי <ernie:think>, ו-ernie55 עבור קריאות לכלים, קורא <ernie:tool_call>. מחרוזת התיעוד של המתאם מציינת שטקסט, קריאה לכלים ומתג החשיבה נתמכים, ושהענפים הרב-מודאליים של התבנית "נשארים לשדרוג מאוחר יותר" — לכן, נכון ל-PR הזה, מודל הצ'אט מוגש כפי ש-Baidu תיארה אותו בכל מקום אחר: מודל טקסט.

למה מומחי ארבעה-ביט נועלים את המסלול המהיר ל-Blackwell

המחצית השנייה של ה-PR עוסקת במומחים מנותבים המאוחסנים ב-MXFP4, ומופעלים כ-w4a8 — משקלים של ארבעה ביטים, אקטיבציות של שמונה ביטים — דרך ה-all-to-all של MegaMoE מ-DeepGEMM בין GPUs. שתי בחירות מימוש נושאות מידע על המודל עצמו.

• הכימות מזוהה אוטומטית מכותרת ה-safetensors, מכיוון שה-checkpoint אינו נושא מפתח routed_experts_quant_method. זה מתיישב עם קונפיגורציית Base שפורסמה, שאין בה שדה כזה; ה-loader קורא את ה-dtype של המומחים מתוך כותרות הקבצים ומגדיר את is_fp4_experts בהתאם.

• מסלול ה-MegaMoE נדחה ב-SM90 וב-ROCm, ולא מופעל במצב מוחלש, מכיוון שקרנלי ה-FP8 של SM90 וקרנלי ה-MegaMoE של ROCm מקודדים SwiGLU באופן קשיח, בעוד שהמומחים האלה מופעלים ב-SiTU. ההערה ב-PR מפרטת את הקבועים המדויקים ש-DeepGEMM מטביע: SiTU beta 4.0 ו-linear beta 25.0. קובץ ה-config.json של נקודת הביקורת Base עצמו מצהיר על activation_situ_beta: 4.0 ועל activation_situ_linear_beta: 25.0, כך שקבועי הקרנל והמשקולות תואמים — וזה בדיוק סוג הבדיקה ההצלבתית שגורם להדלפה להיראות כמו הנדסה ולא כמו ס�pekulacia.

מצב הכשל שנמנע הוא זה השקט. קרנל SM90 שחישב SwiGLU על משקולות SiTU לא היה קורס; הוא היה מחזיר טקסט רהוט ושגוי במקצת. סירוב לעלות הוא התוצאה הטובה יותר, וזו הסיבה שסיפור ה-FP4 מותנה בחומרה ולא אוניברסאלי.

מה שזה אומר מבחינה מסחרית הוא צר יותר מ"ERNIE 5.5 Flash זקוק ל-Blackwell". הוא לא. ספר המתכונים של SGLang, שנכתב עבור ה-Base checkpoint, מפרסם מתכונים לצומת בודד על B300, GB300, B200, GB200 ו-H100, ומתכון ה-FP8 של H100 הוא שמונה GPUs כי משקולות FP8 הן בערך 280 GB. מסלול המומחים FP4 הוא זה שקיים רק ברכיבי SM100, ו-SGLang לא פרסמה טבלת זיכרון ל-checkpoint FP4 כי היא לא ראתה כזה. התייחס לכל חשבון של "נכנס על B200 אחד" שתראה — כולל ההערכה הברורה שהקטנת הבייטים של המומחים בחצי מביאה מודל של 280 GB למשהו קרוב ל-150 GB — כהערכה, לא כמתכון.

מה למעשה ניתן להוריד היום

• ERNIE 5.5 Flash Base — משקלים פתוחים מאז 5 בנובמבר 2026, ב-FP8 וב-BF16, ב-Hugging Face וב-ModelScope. 280B פרמטרים בסך הכול, 14B פעילים, 43 שכבות (שכבת FFN צפופה אחת, 42 MoE), 512 מומחים מנותבים עם top-10 ועוד מומחה משותף אחד במרחב חבוי בן 2,048 ממדים. קשב היברידי: 37 שכבות של קשב דחוס מאוד, 6 של MLA עם קשב דליל DSA. הרישיון הוא ERNIE 5.5 Flash Base Model License Agreement v1.0 — לא Apache 2.0.

• ERNIE 5.5 Flash Preview — API בלבד מאז 11 בנובמבר, ב-Baidu Qianfan, רשום עם חלון הקשר של 1M טוקנים ומגבלות קצב של 300 בקשות ו-3 מיליון טוקנים בדקה. בפוסט ההשקה של Baidu נאמר כי המשקלים "ישוחררו בקוד פתוח תחת Apache 2.0 בקרוב." נכון להיום הם טרם שוחררו. וריאנט חינמי של ה-Preview זמין לקריאה דרך קטלוג של צד שלישי מאז 10 בנובמבר.

• ERNIE 5.5 Flash — המודל שאליו מתייחסת בקשת המשיכה הזו. טרם שוחרר. ספר המתכונים של SGLang מפרט אותו כ"ERNIE-5.5-Flash (FP8 / FP4 / BF16, בקרוב), עם הסקה, קריאה לכלים וטיוטת DSpark מצורפת", ורשימת המודלים של Qianfan מכילה בדיוק ערך ERNIE 5.5 אחד, ernie-5.5-flash-preview. אין עמוד Artificial Analysis לאף מודל ERNIE 5.5, והשורה החדשה ביותר של ERNIE בלוח המובילים של הזירה היא ERNIE 5.1 עם 1467 — לכן כל נתון יכולת שמשויך למודל הזה נותר של Baidu בלבד.

The SGLang cookbook page for ERNIE-5.5-Flash, showing the model-introduction section that lists ERNIE-5.5-Flash-Base in FP8 and BF16 as released, and ERNIE-5.5-Flash in FP8, FP4 and BF16 marked 'coming soon', above the GPU recipe grid running from two B300s to eight H100s.

מהי הקריאה הישרה של ה-PR כולו: הוא נכתב עבור צ'ק-פוינט שאיש אינו יכול להוריד. קוד זיהוי ה-FP4, טוען הטיוטות של DSpark שבונה את main_proj עם תצורת הכימות FP8 ומכמת feature_projection מסוג BF16 בעת הטעינה, והחימום של טבלת הקידוד (encode-table) שמשלם עלות מדודה של 0.8 שניות באתחול במקום בבקשה הראשונה — כל זה מכוון לארטיפקט שמוזכר בהערת קוד רק כ"the 1110 checkpoint". Baidu הכריזה על הארטיפקט הזה ולא פרסמה אותו.

A single-column scoreboard titled 'ERNIE 5.5 Flash — what the serving PR reveals', with six rows: Chat checkpoint state 'not released, listed coming soon', Chat template 'Python (ErnieChatTokenizer), needs --trust-remote-code', Expert format 'MXFP4 routed experts, run as w4a8', Fast path 'MegaMoE on SM100 only; refused on SM90 and ROCm', Reasoning format '<ernie:think> tags, thinking on by default', and DSpark draft 'bundled, loader being fixed'. Footer reads 'All rows from SGLang PR #51236 (open, unmerged) and SGLang docs; Baidu figures unaudited.'

כמה זה שווה למישהו שבוחר מודל היום

מעט מאוד כהחלטת רכישה, ודי הרבה כהחלטת תזמון. המהדורה שתהפוך את ERNIE 5.5 Flash למועמד אינה בקשת המשיכה הזו; היא צ'קפוינט הצ'אט בתוספת המחיר ש-Baidu תקבע לו בתוספת הערכה עצמאית אחת. מה שכן ה-PR הזה מכריע הוא הצורה של הפריסה שאליה תצטרף אם אתה מתכנן לארח בעצמך: טוקנייזר Python שדורש קוד מרוחק, מסלול מהיר FP4 שדורש חומרת SM100, טיוטה ספקולטיבית DSpark שנארזה באותה משפחת צ'קפוינטים, ומנתח הסקה שמניח שהחשיבה פעילה. צוותים שהניחו "יש לנו H100s, נריץ את הגרסה המקווננת הזולה" יודעים כעת שהגרסה המקווננת הזולה היא זו שהחומרה שלהם אינה יכולה להריץ.

אם אתה מעדיף לא להמר על מסלול ייצור על סמך נקודת הקצה או קוד השירות שלא מוזג, הצורה השפויה היא להשאיר את המודל מאחורי שכבת ניתוב בזמן שהוא מוכיח את עצמו. הקטלוג של OrcaRouter אינו כולל שום מודל ERNIE — רשימת המודלים מחזירה 218 רשומות ואין בה שורת Baidu — כך שזו אינה טענה שאפשר לפנות אליו כאן היום. מה שהפלטפורמה נותנת לך עבור מודל במצב כזה הוא תכנון הניסוי: נקודת קצה אחת תואמת OpenAI מול יותר מ-200 מודלים אחרים, מעבר אוטומטי בין ספקים מאחורי נקודת הקצה הבודדת, ותוספת מחיר של 0% כאשר מחיר המחירון של הספק מועבר הלאה כפי שהוא, כך שתמחור מחדש של ספק הוא מה שאתה משלם ביום שהוא קורה ולא אחרי שמרווח מיושם. אם ERNIE 5.5 Flash יגיע בהמשך לספק שאתה כבר מנתב אליו, הניסיון בו יהפוך לשינוי במחרוזת המודל, לא לאינטגרציה שנייה.

The GitHub pull request page for sgl-project/sglang PR #51236, titled 'ERNIE-5.5-Flash: Add Python chat template encoding and FP4 MegaMoE serving', showing the header line 'chang-wenbin wants to merge 1 commit into sgl-project:main from chang-wenbin:support-ernie55-1118', the tab strip with Checks 133 and Files changed 14, +525 −24, the top of the Motivation section describing ErnieChatTokenizer, MXFP4 routed experts and a bundled DSpark draft, and — further down — the CI States panel listing the Base, Extra and AMD ROCm 10 test runs as Skipped pending a run-ci label.

מה יהפוך את זה לסיפור שחרור?

ארבעה דברים, פחות או יותר לפי הסדר שבו הם ישנו את התמונה. מיזוג בקשת המשיכה עם CI והרצת דיוק שנבדקה יהפכו את "מישהו כתב את זה" ל"SGLang יכול לשרת את זה", וזה ההבדל שהתמיכה הקודמת ב-Base יצרה ב-6 בנובמבר. הופעת צ'ק פוינט MXFP4 ב-Hugging Face תהפוך את חצי ה-FP4 של ה-PR לניתן לבדיקה על ידי כל מי שיש לו B200. משקולות Apache 2.0 שהבטיחה Baidu ל-Preview יפתרו את שאלת הרישוי שהוצאת Base השאירה פתוחה. וציון עצמאי ראשון — עמוד Artificial Analysis, רשומה מדורגת בארנה, מדד agentic בר-שחזור ממישהו שאינו Baidu — יחליף את טבלת הספק בראיות.

עד אז, השאלה המעניינת אינה אם ERNIE 5.5 Flash טוב. היא אם מודל יכול להגיע כאשר חוזה השירות שלו מוגדר במלואו והמשקולות שלו עדיין לא פורסמו, ומה זה עושה לאנשים שמתכננים חומרה סביב הכרזות. השבוע התשובה היא כן, והחוזה הוא תבנית צ׳אט ב-Python, מומחים של ארבעה ביטים על דור אחד של GPU, וסירוב להתחיל בכל מקום אחר. המהלך הבא של Baidu הוא המשקולות; זה של SGLang הוא סקירה.