בנצ'מרק Claude Fable 5.2: מה ה-65 עולה בזמן שעון קיר
- GoogleחדשGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 לכל 1M טוקנים · 226 tok/s
- AnthropicחדשAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 לכל 1M טוקנים · 101 tok/s
- orcaחדשOrca: OrcaC2 1.02026-11-0717 tok/s
- OrcaחדשOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 לכל 1M טוקנים · 82 tok/s
- OrcaחדשOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 לכל 1M טוקנים · 182 tok/s
- OrcaחדשOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$4.00 / $20.00 לכל 1M טוקנים · 46 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 לכל 1M טוקנים · 139 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 לכל 1M טוקנים · 63 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 96 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447אינטליגנציה
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 לכל 1M טוקנים · 182 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929אינטליגנציה
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 לכל 1M טוקנים · 138 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733אינטליגנציה
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740אינטליגנציה
- OrcaOrca: OrcaCyber Zero 1.52026-10-10$3.00 / $7.50 לכל 1M טוקנים · 111 tok/s
- openaiOpenAI: GPT-6.1 Sol2026-09-2955אינטליגנציה
- anthropicAnthropic: Claude Sonnet 5.52026-09-2855אינטליגנציה
- typesafeTypeSafe: Jev 1.132026-09-24$0.04 / $0.00 לכל 1M טוקנים · 319 tok/s
Claude Fable 5.2 מקבל ציון 65 ב-Artificial Analysis Intelligence Index v5.0.1 — הראשון מבין 78 מודלים, בפער של חמש נקודות מ-Gemini 4 Carbon. חמש הנקודות האלה מגיעות עם 267 שניות עד לאסימון הראשון, 46.8 דקות של זמן קיר לכל משימה ו-$26.54 של הוצאה לכל ריצת אינדקס, שכל אחד מהם הוא הצורה המעשית של הציון. זה מה שמערך הבדיקה מדד ומה לעשות עם זה. העמוד של Claude Fable 5.2 API מכיל את נקודות הקצה והמחירים; הקטע הזה עוסק בבנצ'מרק.
תשע ההערכות
AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. שלוש משימות מסוף ואוטומציה, שתי משימות הסקה מבוססות מסמכים על קלטים ארוכים, שני מבחני מדע ומתמטיקה קשים, הערכת קוד חזיתית אחת. ללא רתמת סוכן אינטרנט, ללא סימולציית תמיכה מרובת-תורות, ללא זיהוי פגיעויות.
הציון והסקאלה שלו
65, דירוג 1 מתוך 78, ב-v5.0.1. רק מודלים שקיבלו ציון מחדש ב-v5.0.1 שייכים לאותה טבלה; ציוני v4.3 ו-v4.3.2 הם מערך הערכה שונה, וכל תרשים שמערבב ביניהם אינו תקף. בתוך הקבוצה הנוכחית, הסדר בראש הוא Fable 5.2 עם 65 ו-Gemini 4 Carbon עם 60, כאשר שאר המתחרים נמצאים הרחק מאחור או שטרם קיבלו ציון מחדש.
פער של חמש נקודות במדד בן תשע הערכות הוא אמיתי אך צר. הקריאה המועילה אינה "טוב יותר בחמישה אחוזים" אלא "יתרון מתון בחבילה קשה", והסיבה לשלם עליו היא שונות ולא יכולת גולמית: במשימות שבהן תשובה שגויה מבטלת את כל הריצה, יתרון קטן בהסתברות להצלחה מצטבר לאורך שלבים.
שעון הקיר
267 שניות עד לטוקן הראשון, דירוג 76 מתוך 77 מודלים עם נתוני השהיה. 46.8 דקות סה"כ לכל משימה. 97 טוקנים לשנייה של פלט ברגע שהוא מתחיל, שמהיר ב-35 אחוזים מ-72 של Carbon וכמעט אינו מהווה חלק מהזמן שחלף.
ההתפלגות היא החלק החשוב. דרך התעבורה החיה של OrcaRouter, אותו מודל מדווח על p50 של 8.09 שניות עד לאסימון הראשון ו-p95 של 10.00 שניות על פני 35.6 מיליון אסימונים בשבעה ימים. ההרנס והשער מודדים אוכלוסיות שונות: האחד מאפשר למודל לחשוב במאמץ מקסימלי על HLE-Diamond, והשני הוא הבקשה החציונית בכל רמת מאמץ שהמזמין קבע. אם תריץ את Fable 5.2 במאמץ מקסימלי, תשחזר את המספר של AA; במאמץ נמוך תראה משהו קרוב לזה של השער.
הכסף
$26.54 לכל ריצת אינדקס בתעריף של $8.00 למיליון קלט ו-$40.00 למיליון פלט — מקום 77 מתוך 77, היקר ביותר בלוח. Gemini 4 Carbon עולה $5.48 עבור אותן תשע הערכות. כלומר פי 4.8 הוצאה תמורת חמש נקודות אינדקס, וזהו היחס השימושי ביותר בהשוואה הזו.
AA מדווחת על 275 מיליון אסימוני פלט עבור ההרצה, כאשר המילוליות עומדת על 0.97 אחוז. שים לב שהאחוז והמניין מצביעים בכיוונים מנוגדים ביחס ל-2.69 האחוזים ול-205 מיליון האסימונים של Carbon, ולכן אין לצטט את האחוז כטענת תמציתיות.
היחס שהופך את ההשוואה לשמישה הוא $0.41 הוצאות בנצ'מרק לכל נקודת אינדקס, לעומת $0.09 של Carbon. יהיה אשר יהיה מה שתסיקו ממנו, האריתמטיקה מכריחה החלטת ניתוב ולא החלטת מודל יחיד: במחיר הזה המודל הוא שכבה, לא ברירת מחדל.
מה שהציון לא מספר לך
אין הערכת סייבר במערך, כך ששום דבר כאן לא מתייחס לאחזור פגיעויות או לאיכות תיקונים — רלוונטי אם זו הסיבה שבגללה אתם בוחנים מודל חזיתי. אין הערכת סוכן ארוכת-טווח עם קריאות לכלים לאורך סבבים, וזהו עומס העבודה ש-Fable 5.2 משווקת עבורו בפועל; משימות הטרמינל מקרבות אותו אך אינן משחזרות אותו.
אין גם מדידת אמינות. תעבורה חיה ב-OrcaRouter הראתה שיעור של 10.8 אחוז תגובות שאינן 2xx בקרב כל ספקי ה-upstream במשך שבעה ימים, לעומת 39.7 אחוז אצל Carbon. רתמת benchmark סופגת זאת באמצעות ניסיונות חוזרים; היישום שלך לא יעשה זאת אלא אם תבנה אותו.
לקרוא בזה כהחלטה
אם המשימה שלך נראית כמו תשע ההערכות ואתה יכול להריץ אותה באופן אסינכרוני, 65 ב-$26.54 לכל הרצה ניתן להצדקה במקרים הקשים ובזבזני במקרים הקלים — נתב לפי קושי והשתמש במודל זול יותר עבור הרוב. אם המשימה שלך אינטראקטיבית, מספרי ה-harness אינם המספרים שלך; ה-p50 של ה-gateway, שעומד על 8.09 שניות, הוא זה שצריך לתכנן מולו, ורמת המאמץ היא המשתנה שמכריע אם תגיע קרוב לשמונה שניות או קרוב לארבע דקות.
בהשוואה ראש בראש, Claude Fable 5.2 vs Claude Fable 5.1 מכסה את הדור הקודם במחיר גבוה יותר, וGemini 4 Carbon vs Claude Fable 5.1 מכסה את הצמד החוצה-ספקים. ה-LLM models list מכילה את שאר קבוצת v5.0.1 עם מזהים ומחירים; בדקו מחדש את גרסת האינדקס בכל תרשים שבו אתם משתמשים, כי ציון v4.3 באותה טבלה יפסול את ההשוואה.
השוואות במאמר הזה1
זוהה מתוך המאמר הזה
