ERNIE 5.5 Flash Preview והטענה ל"מודל הפתוח מספר 2" ששורת לוח הדירוג שלה עצמה סותרת
- GoogleחדשGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 לכל 1M טוקנים · 250 tok/s
- AnthropicחדשAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 לכל 1M טוקנים · 104 tok/s
- orcaחדשOrca: OrcaC2 1.02026-11-0722 tok/s
- OrcaחדשOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 לכל 1M טוקנים · 139 tok/s
- OrcaחדשOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 לכל 1M טוקנים · 413 tok/s
- OrcaחדשOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 לכל 1M טוקנים · 43 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 לכל 1M טוקנים · 130 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 לכל 1M טוקנים · 57 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 98 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 40 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447אינטליגנציה
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 לכל 1M טוקנים · 165 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929אינטליגנציה
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 לכל 1M טוקנים · 106 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733אינטליגנציה
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 לכל 1M טוקנים · 69 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955אינטליגנציה
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855אינטליגנציה
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 לכל 1M טוקנים · 415 tok/s
Baidu ציטטה בציוץ טענת לוח דירוג ב-12 בנובמבר 2026 שנאמרת במלואה: "Ernie 5.5 Flash Preview מאת @Baidu_Inc נמצא במגמת הפיכה למודל הפתוח מספר 2 ב-Code Arena: WebDev, עם 1668 נק'." Baidu הוסיפה את מספרי הפרמטרים — 280 מיליארד בסך הכול, 14 מיליארד פעילים לכל טוקן — והודתה לקהילה על "שהעמידה אותו למבחן." ואז השאירה את השאר כפי שהוא. הבעיה היא שהשורה שמפיקה את ה-1668 הזה אינה מסומנת כפתוחה. על אותו לוח Code Arena WebDev, באותה תמונת מצב מ-10 בנובמבר, ERNIE 5.5 Flash Preview נושאת את התג קנייני, ציון של 1668 ±16, התווית AutoEval, והקולות רשומים כ-N/A. המודלים שנקראים אלה שהיא עוקפת — DeepSeek-V4.1-Flash עם 1664 ו-Kimi K3 עם 1658 — הן שורות מדורגות עם 13,952 ו-22,405 קולות אנושיים בהתאמה, והשורה של DeepSeek נושאת תג רישיון MIT. אז המשפט עושה שלושה דברים בבת אחת: מדווח על ציון אמיתי, מבטיח רישיון שעדיין לא קיים, ומתאר דירוג שהלוח לא הקצה.
שום דבר מזה לא הופך את המספר לשגוי. זה הופך את המספר לסוג אחר של אובייקט מזה שהמשפט מוכר, וההבדל קריא לחלוטין בעמודות של לוח המובילים עצמו.
מה ש-Arena פרסמה, והשורה האחת ש-Baidu השמיטה
הפוסט של Arena פורסם ב-01:08:21 UTC ב-12 בנובמבר 2026, דקה לפני הציטוט של Baidu. כדאי שהטקסט המלא שלו יהיה לפניך, משום שהטענה וההסתייגות שלה נמצאות באותה פסקה:
• "Ernie 5.5 Flash Preview מבית @Baidu_Inc נמצא במגמת עלייה להפוך למודל הפתוח ה־#2 ב-Code Arena: WebDev, עם 1668 נקודות."
• "המשקלים יפורסמו בקוד פתוח תחת רישיון Apache 2.0 בקרוב."
• "הציון שלה ממקם אותה ממש מעל: DeepSeek-V4.1-Flash (Max) עם 1664, Kimi K3 (Max) עם 1658."
Arena סייגה את הדירוג פעמיים — "במגמה להפוך ל..." — ותלתה את מעמד המשקולות הפתוחות באירוע עתידי עם המילה "בקרוב". הציוץ-מצוטט של Baidu שיחזר את הציון ואת ספירות הפרמטרים, השמיט לחלוטין את משפט ה-Apache 2.0, ושמר על המסגור "האחרון מ-@arena". קורא שראה רק את הפוסט של Baidu לא היה יודע שהחצי של המודל הפתוח בטענה הוא הצהרה צופה-פנים, מפני שהמקום היחיד שבו היא נאמרה הוא החצי שנחתך.
זה לא ציטוט מוטעה. זו בחירה, והיא מעבירה את נטל ההוכחה לקורא שרוצה לבדוק אותה — וזה מה ששאר הקטע הזה עושה.
השורה, יש לקרוא עמודה אחר עמודה
Code Arena WebDev מדרג עבודות פיתוח ווב בצד הלקוח: משימות קידוד סוכניות עם מספר שלבי חשיבה ושימוש בכלים, ולא איכות צ'אט ולא קידוד כללי. תמונת המצב מ-10 בנובמבר כוללת 995,980 הצבעות בקרב 158 מודלים. הנה השורה של ERNIE 5.5 Flash Preview כפי שהלוח מציג אותה, ללא תוספת פרשנות:
• ציון — 1668, פורסם כ-1668 +16/-16, כך שמרווח של כ-90 אחוזים בערך בין 1652 ל-1684.
• דירוג — לא זמין. השורה מוצגת בין דירוג 16 לדירוג 17 ללא מספר דירוג.
• הצבעות — N/A. אין כלל ספירת הצבעות אנושיות בשורה.
• תווית — AutoEval, תג מקושר שמפנה להסבר של Arena עצמה.
• תג רישיון — קנייני.
• מחיר — 0.28 $ בקלט, 1.13 $ בפלט למיליון טוקנים, מה שמתאים למחיר המחירון של Qianfan.
• הקשר — לא רלוונטי, על מודל שדף הספק שלו מציין חלון של 1M טוקנים.
שלוש משבע העמודות האלה הן N/A, ואחת מהן היא עמודת הרישיון — העמודה שהטענה תלויה בה. השוו את הטווח שהוא טוען שהוא יושב מעליו, והתמונה מתחדדת ולא מטשטשת:
• 1691 — Claude Opus 5 (Max), Anthropic, קנייני.
• 1688 — Kimi K3.1 Pro (Max), Moonshot, עם התגית "Kimi K3.1 Pro License", רישיון מותאם אישית ש-Arena מסמנת כ�לא פתוח ולא קנייני.
• 1682 — Gemini 4 Argon (High), Google, קנייני.
• 1679 — GPT-6.1 Terra (Max), OpenAI, קנייני.
• 1676 — Qwen3.8-Max (0902), Alibaba, קנייני, ראשוני.
• 1673 — GPT-6 Sol (Max), OpenAI, קנייני.
• 1670 — Qwen3.8-Max, Alibaba, קנייני, ראשוני.
• 1668 — ERNIE 5.5 Flash Preview, Baidu, קנייני, AutoEval.
• 1664 — DeepSeek-V4.1-Flash-20261017 (Max), DeepSeek, MIT, 13,952 הצבעות.
• 1658 — Kimi K3 (Max), Moonshot, 22,405 קולות.
קרא את הרשימה הזו מול הטענה. כל מה שמעל ERNIE בה הוא קנייני מלבד שורה אחת ברישיון מותאם אישית. המודל הראשון עם רישיון פתוח באמת שתפגוש הוא שורת DeepSeek מתחת לה. אז "מודל פתוח #2" אינו תיאור של המקום שבו ERNIE נמצא בטבלה הזו. זהו תיאור של המקום שבו ERNIE היה נמצא אם המשקלים היו מפורסמים תחת Apache 2.0 ואם ציוני AutoEval היו נחשבים שקולים לאלה שנקבעו בהצבעת בני אדם. שני התנאים עתידיים או שנויים במחלוקת, ואף אחד מהם אינו נראה בציוץ המצוטט.
מה זה בעצם AutoEval, ולמה ±16 חשוב כאן
Arena פרסמה את המתודולוגיה של AutoEval ב-30 ביולי 2026 ועדכנה אותה לאחרונה ב-12 באוגוסט. המנגנון הוא מודל תגמול שאומן על העדפות אנושיות, ומשמש להטלת הצבעות באופן אוטומטי: דוגמים זוגות של הנחיה ותגובה בזמן אמת, מייצרים מחדש תגובה ממודל היעד, מודל התגמול מדרג את שתיהן, ממירים את הפרש הניקוד להצבעת הסתברות רכה, ואז משלבים את ההצבעות הסינתטיות הללו עם ההצבעות האנושיות בזמן אמת על שאר המודלים. Arena מציינת שהציונים המתקבלים "מתויגים בבירור כ'AutoEval', ואז מתעדכנים לאחר שמגיעים מספיק הצבעות אנושיות כדי לאמת אותם", ומדווחת על קורלציה בדירוג גבוהה מ-0.98 עם הערכה בזמן אמת.
זו דרך מוצדקת לקבל אות מיום ראשון, ולכן מודל יכול להופיע על לוח ביום שבו הוא משוחרר. היא גם, לפי התיאור של Arena עצמה, מציין מקום. המספר הוא זמני מעצם הגדרתו וצפוי להשתנות. התווית בשורה של ERNIE אינה קישוט; היא הוראה להתייחס ל-1668 כאל הערכה שממתינה לאימות.
כעת החל את פס השגיאה, שהוא החלק בשורה שאיש לא ציטט. המרווח של ERNIE נע מבערך 1652 עד 1684. הערכים 1664 של DeepSeek-V4.1-Flash ו-1658 של Kimi K3 נמצאים שניהם בתוכו. וכך גם Qwen3.8-Max ב-1670, וכך גם GPT-6 Sol ב-1673. המשפט "הציון שלו מציב אותו ממש מעל DeepSeek-V4.1-Flash ב-1664 ו-Kimi K3 ב-1658" נכון אריתמטית לגבי אומדני הנקודה וחסר תמיכה סטטיסטית כהשוואה: לפי אי-הוודאות שפורסמה בשורה הזו עצמה, ERNIE אינו ניתן להבחנה מאף מודל בין 1652 ל-1684. ייתכן שהוא מעל DeepSeek. ייתכן שהוא מתחתיו. הלוח לא אומר כרגע איזה מהם.
זו אינה קפדנות טכנית שמכוונת לספק אחד. מרווח של ±16 בלוח שבו כל 25 המקומות הראשונים משתרעים על פני כ-200 נקודות פירושו שכמעט כל זוג שורות סמוכות הוא תיקו ברמת הביטחון הזו, והקריאה הכנה של כל השוואה סמוכה בודדת — עבור כל מודל — היא "שווה". מה שיוצא דופן כאן הוא רק שספק העצים את ההשוואה הסמוכה כתוצאה מכך.
מהיכן מגיע "#2", ולאיזה רישיון הוא תלוי
עבוד אחורה מהמספרים ויש בדיוק דרך אחת שבה הטענה הופכת לנכונה, וכדאי לציין אותה כי היא ניתנת לבדיקה וכי Arena לא פירטה אותה.
פרשׁ את הקבוצה הפתוחה ככזו שפירושה "כל שורה ש-Arena אינה מתייגת כ-Proprietary". מעל 1668, נשארת בדיוק שורה אחת: Kimi K3.1 Pro (Max) ב-1688, הנושאת את התג "Kimi K3.1 Pro License". כל השאר מעל ERNIE מתויג כ-Proprietary. לפי פרשנות זו, Kimi K3.1 Pro הוא #1 ו-ERNIE 5.5 Flash Preview יהיה #2 — לא מפני שהוא גבר על השדה, אלא מפני שהשדה שלפניו הוא קנייני.
השחזור הזה הוא הסקה, לא ציטוט: הפוסט של Arena אינו נוקב בשם המודל שהוא מחשיב כמספר 1, והלוח אינו חושף את המסווג שלו של פתוח מול קנייני מעבר לתגי הרישיון. אם ההסקה הזו נכונה, אז העובדה המכרעת של הטענה היא רישיון מותאם אישית על המודל של מישהו אחר — Arena מתייחסת ל-Kimi K3.1 Pro כאל פתוח, וכל מסגור "המודל הפתוח מספר 2" יורש את החלטת הסיווג הזו. אם Arena במקום זאת סופרת רישיונות מותאמים אישית כסגורים, ה-1668 של ERNIE הוא השורה העליונה שאינה קניינית והטענה הייתה צריכה להיקרא "מספר 1", וזה היה משפט מוזר יותר לפרסום על תצוגה מקדימה.
כך או כך, המשפט עושה יותר עבודה מאשר הנתונים שמאחוריו. המספר אמיתי. הדירוג מותנה ברישיון שאיש לא ראה.
המרחק שהמסגור מסתיר
עוד נתון אחד שייך לכל גרסה כנה של הפוסט הזה, והיעדרו הוא הדבר המלמד ביותר בו. בראש Code Arena WebDev באותה תמונת מצב נמצא Claude Fable 5.2 עם 1836. ERNIE 5.5 Flash Preview עם 1668 נמצא 168 נקודות מאחור — ומקום 17 מתוך 158 אילו שורת AutoEval הייתה מדורגת, כשהוא משתלב בין Qwen3.8-Max עם 1670 ל-DeepSeek-V4.1-Flash עם 1664.
מקום שבעה־עשר בלוח של 158 מודלים, יום אחד לאחר השחרור, עם 14 מיליארד פרמטרים פעילים מתוך 280 מיליארד בסך הכול, הוא תוצאה טובה באמת. זו התוצאה שמצדיקה פוסט לשבוע ההשקה. זו לא התוצאה שצריך להלביש כסיום על הפודיום, והלבשה כזו מזמינה בדיוק את הבחינה המדוקדקת שעולה לספק יותר באמינות ממה שהיה עולה לו המשפט הישר.
מה דף הספק אומר ומה הוא אינו אומר
דף ההשקה של Baidu עצמה עבור ERNIE 5.5 Flash Preview מתוארך ל-11 בנובמבר 2026, מציין "280B פרמטרים בסך הכול, עם 14B פעילים והקשר של 1M טוקנים," ומתאר את המודל כנקודת הביקורת הראשונה לאחר אימון על ERNIE 5.5 Flash Base, כאשר משקולות הבסיס פורסמו ב-5 בנובמבר. אין בו הצהרת רישיון, אין בו הצהרת משקולות ואין בו מספרי בנצ'מרק — אזכורי הבנצ'מרק בדף הם כותרות על מהדורות ERNIE קודמות, ולא ציונים עבור המודל הזה.
הפער הזה חשוב לטענה הנבחנת. "המשקלים ייפתחו בקוד פתוח תחת Apache 2.0 בקרוב" מופיע בפוסט של Arena. הוא אינו מופיע בעמוד ההפצה של הספק, ואינו מופיע בהפצה העצמית של הספק של אותו פוסט. אם ההתחייבות ל-Apache 2.0 אמיתית ועדכנית, עמוד ההפצה הוא המקום הטבעי לכך והיא אינה שם. אם היא אמיתית אך טרם תועדה, המקור הציבורי היחיד להתחייבות רישיון למודל הזה הוא הכרזה בלוח דירוג — מקום דליל מדי עבור רישיון להתקיים בו כאשר ספק בונה דירוג על גביו.
איך להשתמש בזה לפני שהמספרים מתייצבים
השאלה המעשית לכל מי שבוחר מודל השבוע אינה אם 1668 הוא ציון טוב. היא אם אומדן WebDev זמני על נקודת ביקורת בתצוגה מקדימה, בתמחור של $0.28 לקלט ו-$1.13 לפלט, עם חשיבה מחייבת שמחויבת כפלט, צריך להחליף משהו שכבר נמצא בייצור. בהתבסס על הראיות הזמינות, התשובה היא לא — אבל הדרך לבחון זאת זולה, והיא אינה מחייבת להאמין לא לפוסט ולא למאמר הזה.
הרץ את ההשוואה על המודלים המנותבים במקום על לוח הדירוג. DeepSeek-V4.1-Flash ו-Kimi K3 זמינים שניהם דרך OrcaRouter מאחורי מפתח אחד תואם OpenAI, במחיר המחירון של הספק ללא תוספת רווח, כך שקבוצת הבקרה עולה בתעריף של הספק עצמו במקום חוזה שני ו-SDK שני. בנה עשרים משימות פרונט-אנד שמייצגות את העבודה האמיתית שלך — ריפקטור של קומפוננטות, באג פריסה שמתגלה רק בנקודת שבירה אחת, עבודת חיווט של מכונת מצבים — הרץ כל מודל פעמיים, וספור גם טוקנים בפלט וגם נכונות. זו המדידה שאף שורה בלוח דירוג לא תיתן לך, כי זה המספר היחיד שחייב להיות שלך: עלות לכל משימה, לא מחיר לכל טוקן.
התייחס ל-ERNIE 5.5 Flash Preview עצמו כדבר הנבחן ולא כדבר המאומץ. הוא נמצא ב-Qianfan, לא בקטלוג שלנו, ותצוגה מקדימה שהספק שלה עצמו מכנה אותה נקודת ביניים של אימון-על (post-training checkpoint) היא בדיוק הפרופיל שמנתבים מאחורי ראשי ולא לפניו. אם בכל זאת תשים אותו על מסלול, שים אותו על מסלול עם failover, כך שביום שבו Arena תחליף את 1668 במספר שנבחר על ידי בני אדם — או ביום שבו משקולות Apache 2.0 יופיעו, או לא יופיעו — המשתמשים שלך יגלו זאת משורת לוג ולא מהשבתה.
מה יפתור את זה
שלושה דברים, לפי הסדר שבו סביר שהם יגיעו, שכל אחד מהם ישנה את המסקנה במאמר הזה ולא רק יוסיף לה נופך.
הצבעות אנושיות מחליפות את תווית AutoEval בשורה הזו. Arena אומרת שהציונים מתעדכנים ברגע שמגיעות מספיק הצבעות. כשההצבעות מפסיקות להציג N/A, ה-1668 הופך להשוואה ל-1664 ול-1658 שמולם הוא נקבע, ושאלת ה-±16 נפתרת מעצמה. שימו לב שהמרווח מצטמצם באותה מידה שהאומדן הנקודתי זז.
• משקלים מפורסמים תחת רישיון בשם מפורש. מאגר ממשי עם קובץ Apache 2.0 מכריע לתמיד את שאלת המודל הפתוח והופך את הניסוח "#2 open model" להוגן בדיעבד. הכרזה על רישיון בלי משקלים אינה מכריעה דבר.
• מדידת WebDev עצמאית. AutoEval של Arena הוא הכלי של Arena עצמה, וכל נתון בנצ'מרק ש-Baidu פרסמה עבור המודל הזה הוא הרצה של Baidu על ה-harness של Baidu עצמה. אף אחד מהם אינו תוצאה של צד שלישי. ההערכה העצמאית באמת הראשונה של ה-front-end של ERNIE 5.5 Flash Preview תהיה שווה יותר משניהם.
עד אז, המשפט המדויק הוא המשעמם: צ'ק-פוינט תצוגה מקדימה ש-Baidu שחררה ב-11 בנובמבר הגיע ל-1668 ב-Code Arena WebDev, אומדן AutoEval בתוך טווח החופף לארבעת המודלים הבאים מתחתיו, בשורה שהלוח עדיין מתייג כ-Proprietary, והספק שלה העצים את זה כאל מקום שני בטווח הקרוב מבין המודלים הפתוחים. אפשר לבדוק היום כל סעיף בכך. הגרסה שצויצה אינה כל כך שגויה כמו שהיא לא גמורה — והיא פורסמה כאילו היא מוגמרת.
השוואות במאמר הזה1
זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית
