Muse Spark 1.2 לעומת Claude Fable 5: מה באמת עולות שש נקודות מדד

Artificial Analysis מפרסמת משהו שרוב טבלאות ההשוואה משמיטות: כמה היא הוציאה. הרצת Intelligence Index בעל תשע ההערכות עלתה $637.85 על Muse Spark 1.2 ו-$5,630.52 על Claude Fable 5. אותו סט בדיקות, אותה תשתית, חשבון אחד גדול פי 8.8 מהשני. Fable 5 קיבלה 60 לעומת 54 של Muse Spark 1.2.

חלקו את ההפרש ותקבלו את המספר שסביבו באמת סובבת ההשוואה: באותו עומס עבודה, שש נקודות האינטליגנציה האחרונות עולות בערך $832 לנקודה. השאלה אם כדאי לכם לשלם אותו אינה שאלה של מדדים. זו שאלה של כמה מהתעבורה שלכם באמת זקוקה לנקודות האלה, והתשובה עבור רוב הצוותים היא חלק קטן וניתן לזיהוי.

לנקודת המדד השולית יש מחיר, והוא תלול.

שתי התוצאות מגיעות מאותו מעריך בלתי תלוי שהריץ את אותו הרכב — GDPval-AA v2, τ³-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience ו-AA-LCR. אף אחת מהן אינה טענה של ספק. Fable 5 ממוקם במקום 3 מתוך 185 דגמים; Muse Spark 1.2 במקום 13, מול חציון של 32 בקטגוריה. שתיהן הרבה מעל הממוצע; רק אחת נמצאת בחזית.

מחירי הרשימה מסבירים את רוב הפער וממעיטים ביתרתו:

• קלט — Muse Spark 1.2 $1.25 למיליון, Claude Fable 5 $10.00. פי שמונה.

• תפוקה — $4.25 לעומת $50.00. כמעט פי שתים עשרה.

• קלט במטמון — $0.15 לעומת $1.00. בערך פי שבע, ו-Fable 5 גובה בנוסף $12.50 למיליון עבור כתיבה למטמון, או $20.00 עבור TTL של שעה, בעוד ש-Muse Spark 1.2 אינו מפרסם עמלת כתיבה נפרדת למטמון כלל.

• תעריף משולב — Artificial Analysis מעמידה את Muse Spark 1.2 על $0.78 למיליון טוקנים ואת Fable 5 על $7.70. קצת פחות מפי עשר.

Fable 5 היה המודל היקר ביותר ש-Artificial Analysis אי פעם ביצעה עליו Benchmarking כשהושק, והוא שמר על התואר הזה. כדאי לדייק למה: המודל שרף פחות אסימוני פלט מאשר Muse Spark 1.2 בזמן המעבר על המדד — 87M לעומת 95M — כך שכל ההבדל בעלות נובע מהתעריף, לא מהאריכות. Fable 5 אינו מבזבז. הוא פשוט מתומחר כמוצר דגל.

בתרגום לשלב סוכן שקורא 60,000 טוקנים של הקשר מהמאגר וכותב 3,000 טוקנים של תיקון: בערך 8.8 סנט על Muse Spark 1.2, בערך 75 סנט על Claude Fable 5. אלף צעדים ביום זה $88 לעומת $750. במשך שנה, $32,000 לעומת $274,000.

היכן ש-Claude Fable 5 אינו ניתן להחלפה

מקרה העלות היה חד-צדדי אם שש הנקודות היו כל ההבדל. הן אינן, והמקום שבו הפער מתרחב הוא בדיוק המקום שבו Meta מיקמה מחדש את Muse Spark 1.2 כדי להתחרות.

Fable 5 תופס את המקום הראשון במגוון רחב של דירוגי הראש-בראש של Design Arena: 1399 Elo ומקום 1 בפיתוח משחקים, 1367 ומקום 1 באמנות ASCII, 1353 ומקום 1 ביצירת SVG, ובנוסף מקום 1 בזירת הסוכנים לפיתוח משחקי Godot (1344), אנדרואיד native (1318), פיתוח משחקים סוכני (1300) ושקופיות HTML (1260), עם מקום שני באפליקציות רשת ובעבודה full-stack. ל-Muse Spark 1.2 אין שום רשומות Design Arena בכלל — קודמו צבר רקורד מכובד באמצע הטבלה (1334 בפיתוח משחקים במקום 5, 1309 בקטגוריות קוד כלליות במקום 9), אבל הגרסה החדשה לא דורגה אפילו פעם אחת.

המדדים לפי ממד מצביעים לאותו כיוון. Artificial Analysis נותנת ל-Claude Fable 5 מדד קידוד של 76.5 ומדד אג'נטי של 52.8. Muse Spark 1.1 עמד על 71.3 ו-37.5 — חמש נקודות מאחור בקידוד וחמש עשרה בעבודה אג'נטית. טרם פורסמו נתונים לפי ממד עבור 1.2, ולכן האמירה הכנה היא שאנחנו יודעים שהפער במדד המשולב נסגר בשלוש נקודות, ואיננו יודעים כמה מזה נחת על הציר האג'נטי.

מיצוב המוצר של Fable 5 עצמו טוען שההובלה מתרחבת עם אורך המשימה ומורכבותה. זוהי טענת ספק שאינה מאומתת כפי שנאמר, אך היא עקבית עם צורת הנתונים הבלתי תלויים: הפערים הגדולים ביותר של Fable 5 הם בזירת הסוכנים, שם מודל חייב להחזיק תוכנית לאורך פניות רבות, ולא ביצירה חד-פעמית.

כאשר Muse Spark 1.2 הוא פשוט התשובה הנכונה

שלושה דברים הופכים אותו לבחירה הנכונה ללא קשר לשש הנקודות.

• קלט אודיו ווידאו.הרישום של Meta מפרסם טקסט, תמונות, וידאו, אודיו ו-PDF. Claude Fable 5 מקבל טקסט, תמונות וקבצים — לא אודיו, לא וידאו. עבור כל צנרת עיבוד הנוגעת להקלטות או לצילומים, זו לא פשרה, זה פילטר נוקשה. אזהרה כנה אחת: כרטיס המפרט של Artificial Analysis עבור Muse Spark 1.2 מתעד רק טקסט ותמונה כפי שנבדקו, ולכן המשטח הרחב יותר מפורסם ולא אומת באופן בלתי תלוי.

• מהירות. 165.0 אסימונים לשנייה לעומת 71.7. Muse Spark 1.2 מזרים פלט במהירות גבוהה בהרבה מפי שניים, ומדורג במקום #16 מתוך 185 במהירות, לעומת חציון כיתתי של 71 — Fable 5 נמצא בחציון.

• עלות בכמות. הכל בסעיף הקודם.

הוסף רביעי עבור כל מי שבקשותיו באמת עצומות: שני הדגמים מפרסמים בערך מיליון טוקנים של קונטקסט — 1,048,576 עבור Muse Spark 1.2, 1,000,000 עבור Fable 5 — אך Muse Spark 1.2 גובה תעריף קבוע על כל זה, בעוד שתמחור כתיבת המטמון של Fable 5 אומר שהחזקת קידומת יציבה גדולה עולה כסף אמיתי מראש לפני שהיא מתחילה לחסוך לך.

אף אחד מאלה אינו מודל מהיר

זה החלק שרוב ההשוואות ראש-בראש מדלגות עליו, והוא משנה את הארכיטקטורה במקום את החשבונית.

ברמת מאמץ נימוק מקסימלית, Artificial Analysis מודדת זמן עד לטוקן הראשון ב-26.12 שניות עבור Muse Spark 1.2 וב-141.26 שניות עבור Claude Fable 5, עם זמן תגובה כולל של 148.24 שניות עבור Fable 5. אף אחד מהם לא שייך מול משתמש בהגדרות אלו.

נתוני הייצור הם הרבה יותר מעודדים וכדאי להכיר אותם. ב-OrcaRouter, Claude Fable 5 מראה זמן p50 לתגובה ראשונה של 7.04 שניות ו-p95 של 10.00 שניות על פני שבוע מתגלגל — זהו תעבורה אמיתית בכל רמת מאמץ שהמתקשרים מבקשים, לא benchmark במקסימום. Muse Spark 1.1, לשם השוואה, מציג p50 של 1.84 שניות. ל-Muse Spark 1.2 אין עדיין טלמטריה מייצור.

הנקודה המבנית: לשני הדגמים יש חשיבה חובה. חוגת המאמץ של Fable 5 נעה מנמוך עד מקסימום, וברירת המחדל היא גבוהה; זו של Muse Spark 1.2 נעה ממינימלי עד גבוה מאוד, וברירת המחדל היא בינונית. אף אחת מהן לא מאפשרת לך לכבות את החשיבה. אם אתה צריך תגובות בפחות משנייה, כל ההשוואה הזו היא על המדף הלא נכון — לשם כך נועדו דגמים מסוג Luna או Flash-Lite.

ערימת שני הדגמים, במחיר שאינו נגיש

להציג זאת כבחירה של "המנצח לוקח הכל" היא הטעות, כי התעבורה אינה הומוגנית. כמעט לכל סוכן ייצור יש זנב ארוך של צעדים שגרתיים — קריאת קובץ, סיכום diff, עיצוב patch, החלטה באיזה כלי לקרוא הבא — וראש קצר של צעדים קשים באמת, שבהם תשובה שגויה עולה שעה.

קח את אותם אלף צעדי סוכן ביום. הכל על Claude Fable 5: כ-$750. הכל על Muse Spark 1.2: כ-$88. חלק 900 משימות שגרתיות למודל הזול ו-100 קשות ליקר: כ-$79 ועוד $75, או $154 ליום. זה חמישית מהחשבון הכולל של Fable תוך שמירה על יכולת חוד החנית בעשירית מהקריאות שבאמת זקוקות לה — וזה הפרש של כ-$220,000 בשנה על לולאת סוכן אחת.

הסיבה שפיצול כדאי לבנות ולא רק לתאר היא שפעם זה דרש שני קשרי ספקים, שתי ערכות SDK ושני סטים של אישורים. כיום זה לא. Claude Fable 5 נמצא בקטלוג של OrcaRouter ב-$10.00 ו-$50.00 — מחיר רשימה של ספק, המועבר ב-0% ריווח — ו-Muse Spark 1.1 נמצא שם ב-$1.25 ו-$4.25 באותם תנאים, מאחורי אותה נקודת קצה תואמת OpenAI. ה-DSL לניתוב מאפשר לך לבטא "מודל זול קודם, הסלמה בביטחון נמוך או בריצת בדיקה שנכשלה" כקריאה אחת במקום כקוד אורקסטרציה שאתה מתחזק, ומיזוג מודלים מאפשר לך לשלוח את הצעדים המעורפלים באמת לפאנל של מודלים בבת אחת ולהשוות. Muse Spark 1.2 עצמו עדיין לא בקטלוג — Meta מספקת אותו ישירות, כספקית היחידה שלו — כך שהיום הדבר הקרוב ביותר שאתה יכול לבנות לסטאק הזה משתמש ב-1.1 בזרוע הזולה.

פרט הספק יחיד זה ראוי לשורה משלו בהערכת סיכונים. ל-Claude Fable 5 יש מספר מסלולי אספקה ומעבר אוטומטי ביניהם. ל-Muse Spark 1.2 יש נקודת קצה אחת בדיוק, המופעלת על ידי Meta. אם היא נופלת, אין גיבוי שהוא אותו מודל.

מודל עלות, לא פסק דין

הפלט השימושי של השוואה זו אינו "איזה מודל מנצח." הוא סף שתוכלו לחשב עבור עומס העבודה שלכם.

הערך את החלק של הקריאות שלך שבהן תשובה ברמת Muse Spark 1.2 נכשלת ותשובה ברמת Fable 5 מצליחה. הכפל בעלות של כשלון — דקות של מהנדס, מיזוג שגוי, לולאת ניסיון חוזר, לקוח. השווה זאת ל-66 סנט לשלב, וזה מה שעולה שדרוג של קריאה אחת מ-Muse Spark 1.2 ל-Claude Fable 5 בדוגמה שלמעלה של 60K-in / 3K-out. אם ההפסד הצפוי מתשובה שגויה עולה על 66 סנט, נתב את השלב הזה ל-Fable 5. אם לא, אל תעשה זאת.

עבור רוב הצוותים, חישוב זה מציב את Fable 5 על ביקורת קוד, הפקת תיקונים סופית, תכנון ארכיטקטוני וכל מה שנוגע לנתוני ייצור, ואת Muse Spark 1.2 על כל השאר — קריאת קבצים, סיכום, טרייאז' בדיקות, בחירת כלים, החלק האמצעי בעל הנפח הגבוה של לולאת סוכן שבו העלות אמיתית וההימור לכל קריאה אינו.

דבר אחד שכדאי להמשיך לעקוב אחריו: סולמות ה-Design Arena והמדדים לפי ממדים עבור Muse Spark 1.2, שאף אחד מהם לא קיים עדיין. הראיה החזקה ביותר של Fable 5 היא דווקא בזירות הראש-בראש שבהן למודל החדש של Meta אין כל רקורד. כאשר הרקורד הזה יופיע, הסף הזה יזוז — אולי במידה ניכרת.