Claude Haiku 5.5 נגד GLM 5.3 Flash: שוויון מוחלט בבנצ'מרק ששני הספקים מצטטים

הריצו Claude Haiku 5.5 וGLM 5.3 Flash דרך Terminal Bench 4.0 ותקבלו את אותו מספר: 0.32828 לשניהם. לא קרוב — זהה, עד חמש ספרות אחרי הנקודה העשרונית, במבחן שהספק מוביל איתו בחומרי ההשקה של עצמו, וגם חומרי ההשקה של Z.ai מובילים איתו. עבור שני מודלים הבנויים על סטאקים שונים לחלוטין, של ספקים ממדינות שונות, שהושקו בהפרש של שישה שבועות זה מזה, זהו צירוף מקרים שראוי לעצור עליו.

זה גם המספר הלא נכון שעל פיו להחליט. שני המודלים נבדלים בחדות בכל מקום אחר, ודפוס ההפרדה הזה יוצא דופן מספיק כדי לשנות את האופן שבו אתם קוראים את טענות הכותרת של כל אחד מהספקים. אחד מהם מנצח במדד המשולב ובנתון העלות לכל משימה. האחר מנצח כמעט בכל מה שנראה כמו פריסה ממשית.

הם אינם מופרדים לפי יכולת. הם מופרדים לפי צורה.

התחל במספר האחד שאומר "אלה הם אותו סוג של מודל."

• SciCode — 0.5498 עבור Claude Haiku 5.5 לעומת 0.5162 עבור GLM 5.3 Flash. שתי נקודות ל-Anthropic, בבנצ'מרק שבו שתי נקודות הן רעש.

• Terminal Bench 4.0 — 0.32828 מול 0.32828. תיקו, בדיוק.

• חלון הקשר — מיליון טוקנים עבור שניהם.

מחיר פלט, מדרגה ראשונה — $0.50 למיליון טוקנים עבור שניהם.

ארבע שורות, ארבע התאמות כמעט מושלמות. אם תעצרו כאן, תסיקו שהדגמים האלה ניתנים להחלפה זה בזה ושתיבחרו לפי מחיר. המסקנה הזו תהיה שגויה, וקבוצת השורות הבאה היא הסיבה.

במקום שבו הם מתפצלים, הכיוון עקבי

השורות שכן מפרידות ביניהם אינן מפוזרות. הן מתקבצות לשתי קבוצות, וכל מודל מחזיק בקבוצה אחת באופן מוחלט.

הקבוצה האג'נטית שייכת ל-GLM 5.3 Flash.הציון החלקי של AutomationBench עומד על 0.6037 עבור GLM 5.3 Flash לעומת 0.3541 עבור Claude Haiku 5.5 — פער של 25 נקודות, ההבדל הבודד הגדול ביותר בין שני המודלים הללו בכל מדידה משותפת. Tau-Bench Banking עומד על 0.4722 עבור GLM 5.3 Flash; ל-Claude Haiku 5.5 אין נתון מפורסם בשורה הזו. GPQA עומד על 0.9121 עבור GLM 5.3 Flash; שוב אין נתון של Anthropic להשוות אליו. במדדים של האם מודל מסוגל להחזיק משימה רב-שלבית יחדיו ולהשתמש בכלים באופן מהימן בתוך תחום מובנה, המודל של Z.ai מקדים בפער שמגמד את הפער במדד המשולב שרץ בכיוון ההפוך.

קבוצת המדד המשולב והעלות שייכת ל-Claude Haiku 5.5. המדד Artificial Analysis Intelligence Index v4.3.2 עומד על 43.40 לעומת 41.81 — 1.59 נקודות, וזה המספר שכל סיכום של מפגש זה מצטט. העלות לכל משימת Index שהושלמה עומדת על $0.21 לעומת $0.25. זמן שעון קיר לכל משימת Index עומד על 424.6 שניות לעומת 1,035.4 שניות: המודל של Anthropic מסיים בפחות ממחצית הזמן.

זו הצורה של הבחירה. Claude Haiku 5.5 מהיר יותר, זול יותר לכל משימה שהושלמה, וגבוה יותר במדד המצטבר. GLM 5.3 Flash אמין יותר בסוג הספציפי של העבודה שבשבילו קונים מודלים זולים.

איזה מהם הוא זה שיש להאמין בו?

לא זה ולא זה, כשלעצמו — והמחלוקת עצמה היא המידע.

Intelligence Index הוא שילוב משוקלל של קטגוריות הסקה, מדע, קידוד ואג'נטיות. הוא נועד לענות על השאלה "בערך כמה מסוגל המודל הזה" במספר יחיד, והוא עושה את העבודה הזו. מה שהוא לא יכול לעשות הוא לומר לך אם יתרון של 1.59 נקודות מגיע מהקטגוריות שעומס העבודה שלך חי בהן או מאלה שהוא לעולם לא נוגע בהן. כאן, היתרון מגיע במידה רבה משורות כמו SciCode ו-Humanity's Last Exam — 0.5498 מול 0.5162, ו-0.4439 מול 0.3985 — בעוד שגירעון של 25 נקודות נמצא ב-AutomationBench עם הסימן ההפוך.

צוות שבונה עוזר קידוד בלולאת טרמינל יבחין ביתרון של SciCode. צוות שבונה סוכן שצריך להשלים תהליך בנקאי מקצה לקצה יבחין בפער של AutomationBench, והוא יבחין בו בכל יום ויום. שני הצוותים מסתכלים על אותו מדד ואמורים להגיע למסקנות הפוכות.

המהלך המעשי הוא לקרוא את הציון המורכב כמסנן ולא כדירוג. אם שני מודלים נמצאים בטווח של כשני נקודות אינדקס, הציון המורכב אמר לך שהם באותה רצועה ולא אמר לך דבר על איזה מהם לבחור. בנקודה זו, השורות היחידות שכדאי לקרוא הן אלה שתואמות את עומס העבודה שלך — ואם ספק לא פרסם שורה שאתה צריך, ההיעדרות עצמה היא נקודת נתונים, לא פער שיש למלא בהנחה.

שורת הטוקנייזר שאף אחד לא מכניס לטבלת ההשוואה

התיעוד של Anthropic עצמה מכיל משפט אחד שמשנה כל השוואת מחירים הכוללת את Claude Haiku 5.5, וקל לפספס אותו בקריאה. המודל משתמש בטוקנייזר החדש יותר שמשותף עם Claude 4.7 ואילך, אשר סופר את אותו טקסט בכ-30% יותר טוקנים מאשר המודל שאותו הוא מחליף.

הציבו את זה מול המחירון והחשבון נעשה פחות מחמיא ממה שהמחיר הנקוב מרמז. תעריף הקלט של Claude Haiku 5.5 הוא $0.10 למיליון טוקנים לעומת $0.15 של GLM 5.3 Flash — יתרון של פי 1.5. קחו 30% יותר טוקנים לאותו פרומפט, והיתרון האפקטיבי על טקסט זהה מצטמצם במידה ניכרת, אם כי אינו נעלם. תעריפי הפלט זהים ועומדים על $0.50 בדרגה הראשונה, ולכן אפקט הטוקנייזר חל שם בלי שום דבר שמאזן אותו.

התוצאה הנמדדת היא הגרסה הכנה של הטענה: לפי החישוב של Artificial Analysis עצמה, Claude Haiku 5.5 הפיק 162,164 טוקנים של פלט לכל משימת Index לעומת 68,673 עבור GLM 5.3 Flash — פי 2.4 — ובכל זאת הסתכם ב-$0.21 למשימה שהושלמה לעומת $0.25. יתרון התעריף שורד את אריכות הדברים, ומה שנותר ממנו קטן ממה שמציין כרטיס התעריפים.

רק אחד מהשניים מציג את התעריפים שלו כקבועים. המחיר של Claude Haiku 5.5 עולה מדרגה מעבר ל-100,000 טוקנים של פרומפט, ל-$0.50 לקלט ו-$2.50 לפלט; ל-GLM 5.3 Flash לא פורסם סף מקביל. עבור רוב תעבורת הצ'אט והסיוע בקוד, המדרגה הזו לא חלה אף פעם. עבור עבודה עם מסמכים ארוכים או סוכנים בהקשר גדול היא חלה כל הזמן, ובנקודה הזו ההשוואה מתהפכת הרבה מעבר למה שמספרי הדרגה הראשונה מרמזים.

הקו שמכריע בכך לפני שאף אחד מהמספרים עושה זאת

כל האמור לעיל מניח שאתם יכולים לבחור בין שני המודלים האלה באופן חופשי. חלק גדול מהצוותים לא יכול, והסיבה היא שורת מפרט בודדת שהדיון בבנצ'מרק נוטה לקבור.

GLM 5.3 Flash הוא במשקלים פתוחים, משוחרר תחת רישיון MIT, עם 320 מיליארד פרמטרים בסך הכול ו־18 מיליארד פעילים. ניתן להוריד אותו, לארח אותו בעצמך, לכוונן אותו, לבצע בו קוונטיזציה, להצמיד אותו לגרסה ולהריץ אותו בתוך טננסי שבשליטתך. Claude Haiku 5.5 הוא קנייני ול־API בלבד, ללא מספר פרמטרים מפורסם, ללא רישיון וללא מאגר.

אם מסמך הדרישות שלך אומר שהמודל חייב לרוץ על החומרה שלך, או שנקודת ביקורת ספציפית חייבת להישאר ניתנת להפעלה במשך שלוש השנים הבאות, ההשוואה הזו נגמרת לפני שקוראים את טור המחיר. זו לא נקודה טכנית גרידא. זו הסיבה הנפוצה ביותר לכך שצוותים בכלל מוצאים את עצמם עם מודל בינוני במשקלים פתוחים, והיא הסיבה שיתרון של 25 נקודות ב-AutomationBench אינו הדבר היחיד שמושך בכיוון של Z.ai.

זה עובד גם בכיוון ההפוך, ואותה כנות חלה גם כאן. Anthropic מפרסמת התחייבות לפרישה של Claude Haiku 5.5 שלא לפני אוקטובר 2027, ומספקת את המודל דרך API של צד ראשון עם כרטיס מערכת ומערך הערכה מתועד. שחרור עם משקולות פתוחות אינו הופך אוטומטית לעמיד יותר — אתה יורש את הנטל התפעולי יחד עם המשקולות, וקובץ רישיון אינו חוזה תמיכה. איזה משני אלה אתה רוצה — זו שאלה על הצוות שלך, לא על המודלים.

שני הצדדים על מקש אחד, אם אתה רוצה להכריע את זה באופן אמפירי

GLM 5.3 Flash נמצא בקטלוג של OrcaRouter במחיר המחירון של Z.ai עם 0% תוספת, מועבר הלאה ולא ממוזג, כך שהתעריף שלמעלה הוא התעריף בחשבון וכל שינוי ש-Z.ai מבצעת נוחת על הצד שלנו באותו יום. Claude Haiku 5.5 אינו בקטלוג שלנו — ניתן להגיע אליו דרך ה-API של Anthropic עצמה — ומוטב להצהיר על כך מאשר להשאיר זאת משתמע.

מה שהקטלוג כן מקל עליו הוא צורת הבדיקה שההשוואה הזו בעצם דורשת. אי-ההסכמה בין המדד המשולב לשורות האג'נטיות היא השערה לגבי שלך עומס העבודה, והדרך היחידה ליישב אותה היא להריץ את שני המודלים על אותו trace. עם GLM 5.3 Flash במסלול ורגל של Anthropic בצד השני של אותו gateway, זה הופך לשינוי בקונפיגורציה ולא לשתי אינטגרציות — API אחד ליותר מ-200 מודלים, מפתח אחד, מעבר אוטומטי לגיבוי מתחת לפני השטח, ואת ה-DSL של הניתוב כשאתה רוצה לפצל תעבורה לפי סוג משימה ולקרוא את העלות מחשבונית אחת.

פסק הדין, מנוסח כפי שהמספרים תומכים בו

אם העבודה שלך היא טקסט נכנס וטקסט יוצא, הפרומפטים שלך נשארים בתוך שכבת התמחור הראשונה, ואתה משלם פר טוקן עבור נפח אמיתי, Claude Haiku 5.5 הוא המודל הטוב יותר כאן: קומפוזיט גבוה יותר, זול יותר לכל משימה שהושלמה, ומהיר יותר מפי שניים לכל משימה. כותרת terminal-benchmark היא חסרת משמעות ולא צריך להשתמש בה כדי להכריע דבר.

אם העבודה שלך היא סוכן שצריך להשלים תהליך עבודה רב-שלבי ללא פיקוח, GLM 5.3 Flash מוביל במדד המשותף היחיד שמודד בדיוק את זה, ב-25 נקודות, והוא הזול מבין השניים לשינוי כי אתה יכול להחזיק את המשקולות.

התיקו ב-0.32828 הוא התמונה הנכונה עבור הצמד הזה, אבל לא מפני שהמודלים שווים. זו השורה היחידה שבה שני מודלים שכמעט אין להם דבר אחר במשותף נוחתים במקרה על אותה ספרה — והתייחסות לספרה הזו כסיכום של ההשוואה היא הדרך שבה מתקבלת החלטת רכש על סמך המספר הכי פחות אינפורמטיבי בטבלה.