Obsidian 3: שורת בנצ'מרק נסתרת, חשבון של פי 3.6, ושאלת Fable 5.5

המספר המעניין ביותר בלוח הדירוג החדש של Cognition לתכנות השבוע שייך למודל שאיש אינו יכול לנקוב בשמו. רשומה נסתרת שסומנה בשם Obsidian 3 הופיעה בקובץ הנתונים שמאחורי FrontierCode 2.0 עם ציון במאמץ גבוה של 46.77%, גבוה מ-Claude Opus 5.5 שעומד על 45.5% — המודל שמופיע ראשון בטבלה של Cognition עצמה. השורה הורצה ב-harness בשם claude-code, שבו רק המודלים של Anthropic משתמשים בלוח הזה, וההשערות התפצלו מיד בין Claude Fable 5.5, מודל הדגל ש-Anthropic טרם השיקה, לבין רענון אמצע מחזור שאחד מהמשתמשים כינה "Opus 5.6". דבר מזה אינו מאומת. Anthropic לא אמרה דבר, לא קיים כרטיס מודל או מזהה API, וכל נתון של Obsidian 3 בכתבה הזו הוא טענה לא מאומתת מפוסטים ב-X ולא תוצאה שיכולנו לשחזר.

מה שאפשר לבדוק הוא צר יותר ושימושי יותר: הקובץ הפומבי שאליו הצביע ההדלפה, עקומת המאמץ המיוחסת לשורה הנסתרת, והאריתמטיקה שמאחורי הטענה בדבר „עלות של פי 3.6”. חברו את אלה יחד והסיפור מפסיק להיות „המודל הבא של Anthropic גובר על המודל הנוכחי שלו”. הוא הופך למשהו ספציפי יותר — שורה שמגיעה לשיא במאמץ גבוה ואז נסוגה לאחור, השוואה שעובדת רק אם מחזיקים רמות מאמץ שונות בכל צד, וקובץ נתונים שאינו מכיל את השורה כלל.

מה דלף, ומתי

Cognition פרסמה את FrontierCode 2.0 ב-27 באוקטובר. הבנצ'מרק קשה בכוונה לתמרן: 132 משימות שנבנו ממאגרי קוד פתוח אמיתיים בידי יותר מ-20 מתחזקים, שכל אחת מהן אורכת בערך 40 שעות, ונמדדות לפי האם תיקון היה ממוזג בפועל ולא לפי האם הוא עובר בדיקה. כל ריצה מוחזרת שלוש פעמים, המשימות פרטיות, וכשל בקריטריון חוסם יחיד גורר ציון אפס. הטבלה של Cognition עצמה דירגה את Claude Opus 5.5 במקום הראשון עם 45.5% במאמץ מרבי, את GPT-6 Astra במקום השני עם 42.8%, את Claude Sonnet 5.5 במקום השלישי עם 41.0%, ואף מודל לא עבר את 50%. Artificial Analysis אימצה את הבנצ'מרק בשיעור של 15% ממדד Intelligence Index v5 החדש שלה, ודיווחה באופן עצמאי על אותו מוביל, Claude Opus 5.5 עם 46% לאחר עיגול.

באותו ערב, בשעה 21:10 UTC ב-27 באוקטובר, @tensorson פרסם שקובץ הנתונים של Cognition הכיל מודל שהטבלה לא הציגה: "Obsidian 3", ב-46.8%, "מעל Opus 5.5 שבמקום הראשון (45.5%)". הפוסט ציין את מערך הבדיקות claude-code ושיער שמדובר ב-Fable 5.5. כעבור שתים עשרה שעות, שרשור ב-linux.do פירט חמישה ציוני מאמץ נפרדים עבור השורה — low 39.19%, medium 39.84%, high 46.77%, xHigh 45.90%, max 45.53% — וצירף עותק של הנתונים. בשעה 09:12 UTC ב-28 באוקטובר, @teortaxesTex פרסם ציוץ מצוטט עם נתוני העלות: Opus 5.5 ברמת high משיג 34.5% תמורת $2.42 לכל הרצה, Opus 5.5 ברמת max משיג 45.5% תמורת $12.82, ו-Obsidian 3 ברמת high משיג 46.7% "ככל הנראה תמורת $8.62", ולא משיג יותר אפילו ב-$47 ברמת max. "האם FrontierCode כבר שבור?" שאל הפוסט. "או ש-Fable 5.5 הוא כישלון?" בשעה 16:18 UTC, @CodexResets1 הדהד את אותם המספרים ושאל אם המודל הוא Fable 5.5 או Opus 5.6.

כותרת ה-Last-Modified של הקובץ מציינת 17:44 UTC ב-28 באוקטובר. הגרסה שהורדנו יום לאחר מכן היא 32,055 בייט, מפרטת 24 מודלים, ואינה מכילה שום שורה בשם Obsidian 3 בשום מקום במבנה שלה. בקשת cache-busted החזירה את אותו hash של הקובץ. טבלת הדירוג הרשמית מעולם לא הציגה את השורה, גם לא המראה בת 20 השורות של BenchLM, ו-Anthropic לא פרסמה דבר.

שורה אחת, חמש רמות מאמץ, שלושה סיפורים שונים

החצי שפורסם של ההשוואה הזו מוצק, משום שהוא מגיע ישירות מהנתונים הניתנים להורדה של Cognition. הציון של Claude Opus 5.5 מותאם-המיזוגיות עולה בכל שלב: 14.7% בנמוך, 30.1% בינוני, 34.5% גבוה, 43.4% ב-xHigh, ו-45.5% במקסימלי. העלות הממוצעת למשימה שלו עולה מ-2.42 דולר בגבוה ל-12.82 דולר במקסימלי. זו העקומה של מודל שמשתפר כשמשלמים לו לחשוב זמן רב יותר.

העקומה הנטענת של Obsidian 3 אינה מתנהגת כך:

• מאמץ נמוך — 39.19% לפי הטענה, כבר מעל 34.5% של המאמץ הגבוה של Claude Opus 5.5.

• {{1}}מאמץ{{/1}} בינוני — 39.84% מימשו, עלייה של 0.65 נקודות.

• מאמץ גבוה — 46.77% בטענה, השיא, במחיר נתבע של 8.62$ למשימה.

• מאמץ xHigh — 45.90% מוצהר, ירידה של 0.87 נקודות.

• מאמץ מרבי — 45.53% לפי הטענה, ירידה נוספת של 0.37, בעלות מוצהרת קרוב ל-$47.

חמישה הגדרות מאמץ, והציון הטוב ביותר מגיע במקום השלישי. השקעה של בערך פי 5.5 מתקציב המאמץ הגבוה כדי להגיע למקסימום מניבה ציון נמוך ב-1.24 נקודות. Cognition עצמה מזהירה שזה יכול לקרות: הגדרות הסקה גבוהות יותר לעיתים מפחיתות ציונים משום שהמודלים כותבים יותר קוד ונוגעים ביותר קבצים, והדוגמאות של הבנצ'מרק עצמו כוללות ריצת מאמץ מקסימלי שמחקה מחלקת API ציבורית בזמן תיקון תנאי מרוץ. אבל גודל הירידה חשוב. מודל שנתקע בפסגה הוא צ'קפוינט מוקדם או תוצר זיקוק לעיתים קרובות הרבה יותר ממה שהוא דגם דגל מוגמר.

עכשיו ההשוואות, כי הכותרת תלויה לחלוטין באיזו מהן תבחר:

• הטוב ביותר מול הטוב ביותר — 46.77% של Obsidian 3 ברמה גבוהה לעומת 45.5% של Claude Opus 5.5 ברמת מקסימום הם +1.32 נקודות, במחיר של $8.62 לעומת $12.82, או כ-33% זול יותר. לפי קריאה זו, השורה הנסתרת מנצחת בשני הצירים.

• גבוה מול גבוה — 46.77% לעומת 34.5% הם +12.24 נקודות, ב-$8.62 לעומת $2.42, או פי 3.56 מהעלות. לפי קריאה זו, מדובר בשיפור איכות גדול במחיר גבוה.

• Max לעומת max — 45.53% לעומת 45.45% הם +0.08 נקודות, בערך 47$ לעומת 12.82$, או פי 3.67 מהעלות. לפי קריאה זו זהו תיקו במחיר הרסני.

כל השלושה נכונים מבחינה אריתמטית. זו הסיבה שהשרשור ב-X ניהל ויכוח שבו הצדדים לא התייחסו לאותה השוואה: @tensorson השווה high ל-max וקרא לזה ניצחון של 1.3 נקודות; @teortaxesTex השווה high ל-high ושאל אם הבנצ'מרק שבור. הנתון "עלות של 3.6× באותו מאמץ" מדויק, וכך גם "זול יותר מהריצה הטובה ביותר של Opus 5.5" — הם מתארים זוגות שונים של ריצות.

יש הסתייגות גדולה יותר שמסתתרת מתחת לכל זה. מאגר הנתונים של Cognition מכיל שני מספרים לכל ריצה: שיעור נכונות גולמי וציון מותאם ליכולת מיזוג. ה-45.5% שפורסמו עבור Claude Opus 5.5 הוא הנתון המותאם; שיעור הנכונות הגולמי שלו במצב max הוא 49.7%, ובמצב high הוא 37.9%. ההתאמה עולה לשורות Claude הציבוריות שלוש עד ארבע נקודות. איננו יודעים מאיזה עמודה הגיעו המספרים שהודלפו של Obsidian 3. אם 46.77% הוא שיעור נכונות גולמי, הציון המותאם שלו יגיע לסמוך ל-43% — מתחת ל-Claude Opus 5.5 — והטענה כולה ש"מעל המקום הראשון" נעלמת. אותו גורם לא ידוע בודד גדול יותר ממרווח 1.3 הנקודות שכולם התווכחו עליו.

למה התווית claude-code היא כל הטיעון בעד Anthropic

הארנס הוא פיגום, לא טביעת אצבע. FrontierCode מריץ כל מודל בתוך לופ סוכן, וקובץ הנתונים ממפה מודלים ללופ שבו השתמשו: השורות של OpenAI רצות ב-codex, של Google ב-devin-cli, של xAI ב-grok-build, Muse Wonder של Meta ב-muse, מודלי ה-SWE של Cognition עצמה ב-devin-cli-swe1, וכל שש שורות Claude ב-claude-code. שורה אנונימית שיושבת בהארנס של Claude היא רמז חזק שהמודל שמאחוריה נבנה לעבוד עם הכלים של Anthropic. זו אינה הוכחה ש-Anthropic בנתה אותו. מפעיל בנצ'מרק יכול לבדוק מודל טרום-השקה של שותף בכל ארנס שמתאים, ומעבדה יכולה לבדוק את המודל שלה עצמה תחת שם שכפוף לאמברגו.

השם עצמו כמעט לא אומר לך דבר. ההיצע הפומבי של Anthropic — שנבדק מול סקירת המודלים שלה ב-29 באוקטובר — הוא Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 ו-Claude Haiku 5.5. אין Fable 5.5, אין Opus 5.6, ואין מוצר בשם Obsidian. "Obsidian 3" הוא שם קוד בסגנון אבן חן, מהסוג שמעבדות משתמשות בו פנימית, אך אין מרשם פומבי שכנגדו אפשר לבדוק אותו, וה-"3" שבסוף אינו ממופה לשום רצף ש-Anthropic שחררה.

זה משאיר שלוש פרשנויות, והראיות אינן מכריעות ביניהן:

• בנייה ברמת Fable. ‏Claude Fable 5.1 הוא דגם הדגל בתמחור $10 / $50 לחשיבה תובענית, שהושק ב־1 בספטמבר, וקו Fable הוא הפער המובהק בהרכב הנוכחי. ההשערה של @tensorson, וכמה מהתגובות לפוסט, התנקזו לכאן משום שפרופיל העלויות נראה כמו שכבת פרימיום ולא שכבת ערך.

• רענון Opus באמצע מחזור. ההנחה המוקדמת של @teortaxesTex היא ש"Obsidian 3 הוא Opus 5.6", בטענה ש-Anthropic כבר השיקה בעבר מודלים באמצע מחזור עם שיפור חשיבה מועט. החלק העליון השטוח של העקומה הנטענת מתאים לסיפור הזה, אך ציוני המאמץ הנמוך — 39.19% לעומת 14.7% של Claude Opus 5.5 — נראים כמו ריצת אימון אחרת, ולא כמו רענון קטן.

• תוצר זיקוק או צ'קפוינט מוקדם. ההשערה האחרת של @teortaxesTex, וזו שצורת העקומה תומכת בה ביותר: חזק במאמץ נמוך ובינוני, מגיע לשיא במאמץ גבוה, ואז נסוג כשניתן לו יותר מקום. מודל חזית מוגמר לא אמור להחמיר בכל פעם שמגדילים את התקציב שלו.

מה תזמון ה-IPO מוסיף — ומה הוא לא מוסיף

האות שהתחיל את השרשור הזה היה שאלה درباره תזמון: מדוע Fable לא הושקה לפני ההנפקה? Anthropic הגישה בפומבי את ה-S-1 שלה ב-26 באוקטובר, יום לפני השקת FrontierCode 2.0, לגיוס מוערך של 75 מיליארד דולר בנאסד"ק תחת הסימול ANT. הרודשואו צפוי בשבוע של 9 בנובמבר והתמחור בשבוע של 16 בנובמבר, לפי Renaissance Capital. מוצר הדגל הבא שיושק לפני התמחור יעניק להנפקה סיפור מוצרי; כזה שיושק לאחר מכן יעניק לה סיפור של מפת דרכים.

אבל שורה נסתרת בטבלת בנצ'מרקים אינה אות להשקה. מעבדות בודקות מודלים לפני שחרורם עם מפעילי בנצ'מרקים באופן שגרתי, בדרך כלל תחת אמברגו, ותפקידו של המפעיל הוא לשמור על המודל אנונימי עד שהספק יאמר אחרת. אם Cognition בדקו בילד של Anthropic, הקריאה הנכונה היא ש-Anthropic עדיין מבצעת איטרציות — ולא שהשחרור בעוד ימים. נקודת הנתונים הרשמית היחידה נותרת התיעוד של Anthropic, שמפרט ארבעה מודלים נוכחיים ואף אחד מהם אינו Obsidian. ההנפקה מסבירה מדוע אנשים עוקבים אחרי שכבת Fable כל כך מקרוב. היא לא הופכת את השורה לאמיתית.

מה שקורא יכול למעשה לעשות היום

שום דבר ב-Obsidian 3 אינו ניתן להפעלה, אינו מתומחר ואינו מתועד, ולכן הוא אינו משנה שום החלטה השבוע. אם אתה צריך את ציון יכולת המיזוג הטוב ביותר הזמין כעת, Claude Opus 5.5 זמין לציבור: 4 דולרים לקלט ו-20 דולרים לפלט למיליון טוקנים, חלון הקשר של מיליון טוקנים, פלט מקסימלי של 128K, API ID ‏claude-opus-5-5, שוחרר ב-22 בספטמבר. אם העלות היא המגבלה, GPT-6.1 Sol קיבל ציון של 39.0% בעלות של כ-1.03 דולר למשימה באותו לוח — יחס ציון-לדולר טוב בהרבה מזה של כל אחת מהרצות Claude, והמספר שכדאי לבדוק לפני שאתה מניח שהחלק העליון של הטבלה הוא השורה השימושית היחידה.

Claude Opus 5.5 ניתן לניתוב דרך OrcaRouter במחיר המחירון של Anthropic ללא תוספת, לצד יותר מ-200 מודלים אחרים ב-API אחד עם מעבר אוטומטי לגיבוי במקרה של כשל. זה קריטי לניסוי האחד שהדליפה הזו מזמינה: הריצו את Claude Opus 5.5 ברמה גבוהה וברמה מקסימלית על עומס העבודה שלכם ומדדו את העלות לכל תיקון שהתקבל. העקומה של FrontierCode עצמה מראה ששתי מדרגות המאמץ האחרונות עולות 10.40 דולר יותר לכל משימה עבור 11 נקודות; ייתכן שהמאגר שלכם לא מתמחר זאת באותו אופן. הגדרת המאמץ ומחיר הטוקן הם של Anthropic עצמה, מועברים כמו שהם, כך שההשוואה היא שינוי פרמטר ולא חוזה שני — ואם Anthropic תוריד את מחיר המחירון, ההנחה תהיה פעילה בנתיב באותו יום.

מה יהפוך את Obsidian 3 לעובדה?

• השורה מוחזרת בקובץ נתונים להורדה, עם מפתח מודל וכל חמשת ערכי המאמץ, כך שאפשר לקרוא את המספרים בלי צילום מסך.

• Cognition אומרת האם היא בחנה מודל לפני השקה, ובאילו תנאים. מפעיל בנצ׳מרק שיאשר ריצה תחת אמברגו יבהיר את המקור בלי לנקוב בשם הספק.

• Anthropic מפרסמת כרטיס מודל, מזהה API או רשומה בתיעוד. זהו האירוע היחיד שהופך שורת בנצ'מרק למוצר.

• מחיר מופיע. מודל בלי מחיר הוא רשומת בנצ׳מרק, לא אפשרות שהקורא יכול לבחור.

• מפעיל שני מודד אותו. Artificial Analysis מריצה הרנס FrontierCode 2.0 משלה עם הגדרות חיצוניות שונות; שורה של Obsidian שם תהיה אישוש ולא פרסום חוזר של אותה תמונת מסך.

השורה הזו היא קבלה, לא השקה. מה שהיא מתעדת מעניין יותר מהכותרת: מודל שחזק במאמץ נמוך, מגיע לשיא במאמץ גבוה, ואז משקיע פי חמישה מהתקציב רק כדי להיות גרוע יותר. אם העקומה הזו שייכת לדגל המרכזי הבא של Anthropic, לחברה יש בעיית סקיילינג של הסקה לפתור לפני שיש לה השקה. אם היא שייכת לצ׳קפוינט מוקדם, המספר יזוז לפני שהשם יזוז. כך או כך, 46.8 אינו הנתון שכדאי לעקוב אחריו. הנתון שכדאי לעקוב אחריו הוא האם העקומה הופכת אי־פעם למונוטונית.

שאלות נפוצות

האם Obsidian 3 כבר יצא?

לא. לא מופיע שום מודל בשם Obsidian 3 בתיעוד של Anthropic או בטבלת FrontierCode 2.0 שפרסמה Cognition, ולא מצאנו קטלוג API שמפרט אותו. הראיה היחידה היא שורה מוסתרת שדווחה בפוסטים ב-X ב-27 וב-28 באוקטובר ובשרשור פורום שהעתיק חמישה ציוני effort. Anthropic לא הגיבה, וקובץ הנתונים הציבורי שהורדנו ב-29 באוקטובר אינו מכיל את השורה.

האם Obsidian 3 הוא Claude Fable 5.5 או Claude Opus 5.6?

לא ידוע. שתי האפשרויות הן ניחושים מתוך תווית ה-harness של claude-code, ולא מתוך מזהה כלשהו. Fable 5.5 מתאים למקום הפנוי מעל Claude Fable 5.1 בקטלוג של Anthropic; Opus 5.6 מתאים לתזה ש-Anthropic משיקה רענונים אמצע-מחזוריים בעלי רווח נמוך. אף אחד מהשמות אינו מופיע בתיעוד של Anthropic, ופרופיל העלויות מתאים יותר לרמת Fable פרימיום מאשר לרמת Opus חסכונית.

למה Obsidian 3 נעלם כעת מ-FrontierCode 2.0?

איננו יכולים לאשר מדוע. הקובץ המקושר בפוסט המקורי נערך לאחרונה ב-17:44 UTC ב-28 באוקטובר, והעותק שהורדנו ב-29 באוקטובר מפרט 24 דגמים ללא רשומה של Obsidian 3. ייתכן שהוא הוסר לאחר שהפוסטים הופצו, או שייתכן שהגרסה הציבורית מעולם לא הכילה אותו. הפוסטים ב-X וארכיון הפורום הם התיעוד היחיד שמצאנו, ואף אחד מהם אינו ממקור ראשוני.

האם הטענה בדבר עלות של פי 3.6 עומדת במבחן?

החשבון אכן מסתדר, מול העלויות של Claude Opus 5.5 שפרסמה Cognition: $8.62 הוא פי 3.56 מריצת המאמץ הגבוה שעולה $2.42, ונתון המקסימום של כ-$47 הוא בערך פי 3.67 מריצת המקסימום שעולה $12.82. מה שאי אפשר לבדוק הוא הצד של Obsidian 3 במאזן, מפני שנתוני העלויות שלו קיימים רק בפוסטים ב-X, ולא בשום קובץ שניתן להוריד.