Claude Sonnet 5.5 על Extra Effort: מדוע הטענה בדבר "מודל Claude הבא" נכשלת בשני המבחנים של עצמה

בשעה 12:44 UTC ב-5 בנובמבר, חשבון X בשם @chetaslua פרסם משפט שמסתובב בצורות שונות מאז אוקטובר: "נראה ש-Sonnet 5.5 Extra מנתב למודל claude הבא." עד הבוקר שלמחרת היו לפוסט 20,900 צפיות, 384 לייקים ו-38 תגובות. המודל שהוא מציין הוא מודל שאפשר לפנות אליו היום — Claude Sonnet 5.5, שהושק ב-28 בספטמבר במחיר של $2 ו-$10 למיליון טוקנים. המילה "Extra" אינה מודל שני. היא המדרגה השנייה בגובהה בתפריט רמות המאמץ של Claude, ש-Anthropic מסמנת כ-Extra high וה-API מכנה xhigh.

שני מבחנים מוצעים כראיה: שאלה לאן אנדריי קרפטי הלך ב-2026, ושקנאי על אופניים שצויר כולו ב-SVG. שני המבחנים עוברים על המודל ש-Anthropic השיקה בספטמבר. זה כל הקושי בטענה. מבחן אחד בודק עובדה שנופלת חודש בתוך Claude Sonnet 5.5 עצמו. המבחן האחר מודד כמות שהגדרת Extra נועדה להגדיל. אף אחד מהם לא יכול להפריד בין "מודל טוב יותר ענה" לבין "ההגדרה שבחרתי עשתה את מה שהתיעוד שלה אומר שהיא עושה."

זה לא הופך את הפוסט לחסר ערך. זה הופך אותו לדגימה נקייה של מבחן שמרגיש מכריע ואינו כזה — ושתי התנועות שהוא משתמש בהן, בדיקת ידע והשוואת גודל פלט, הן אותן שתי תנועות שעומדות מאחורי רוב טענות הניתוב בסתיו הזה. מעבר עליהן מועיל יותר מעוד סבב ניחושים לגבי מה ש-Anthropic לא הכריזה.

מה בעצם פורסם

הפוסט מתאר סשן צ'אט אחד ושתי הנחיות. הראשונה שאלה לאן קרפת'י הלך ב-2026 והורתה למודל לא להשתמש באינטרנט; התשובה אמרה שהוא הצטרף ל-Anthropic במאי 2026 בצוות האימון המקדים. השנייה ביקשה "שקנאי רוכב על אופניים בצורה ריאליסטית ככל האפשר, רק עם קוד", והתוצאה מתוארת ככוללת 26,599 רכיבי SVG, בערך 6,500 משיכות נוצה, ללא תמונות מוטמעות, data URIs או סקריפטים, ו-1,860 שורות של Python. משני החילופים האלה המפרסם מסיק שהתווית משרתת משהו חדש יותר מהמודל שהיא מציינת.

דבר אינו מלווה אותו. אין מזהה מודל, אין כרטיס תעריפים, אין כרטיס מערכת, אין הצהרה של Anthropic. היורש שאליו הפוסט מרמז מסתובב תחת כמה שמות מאז אוקטובר, אף אחד מהם אינו של Anthropic ואף אחד מהם אינו ניתן להפעלה. רשימת המודלים של Anthropic עצמה, כפי שנקראה היום, כוללת ארבעה מודלים נוכחיים: Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 ו-Claude Haiku 5.5. אין שורה חמישית, ואין מזהה בשום מקום בפוסט שקורא יוכל לבדוק.

מהו "Extra", לפני שהוא הופך לתעלומה

תפריט המאמץ באפליקציות של Claude מציג חמש דרגות — נמוך, בינוני, גבוה, גבוה במיוחד (xhigh) ומקסימלי — כשהדרגה המומלצת של המודל מסומנת כברירת מחדל. "Extra" הוא הקיצור שבו אנשים משתמשים לדרגה הרביעית. התיעוד של Anthropic עצמה מתאר את xhigh כיכולת מורחבת לעבודה בטווח ארוך, ומייעד אותה ל"משימות סוכניות וקידוד ארוכות טווח (מעל 30 דקות) עם תקציבי טוקנים במיליונים". זה הספק אומר לכם מראש שהדרגה הזו נועדה לצרוך הרבה יותר מזו שמתחתיה.

הדרגה גם מכוילת לכל מודל בנפרד, לא גלובלית. הערת ההגירה של Anthropic לדור הזה אומרת במפורש שרמות המאמץ של Claude Sonnet 5.5 מכוילות מחדש — רמה "אינה מפיקה את אותה כמות חשיבה כמו ב-Claude Sonnet 5" — ומורה למפתחים להריץ מחדש את סבב בדיקת רמות המאמץ שלהם במקום להעביר הגדרה. מכך נובעות שתי השלכות, שתיהן משעממות ושתיהן קטלניות להסקה. בקשה ברמת Extra ב-Sonnet 5.5 אינה אותה בקשה כמו Extra בקודמו, ולכן "זה מרגיש שונה ממה שאני זוכר" הוא תוצאה צפויה. וסיבוב חוגה מ-High ל-Extra הוא הוראה להוציא יותר טוקנים, ולכן ציור ארוך יותר, צפוף יותר ומורכב יותר הוא התוצאה המבוקשת.

יש עוד פרט שטחי אחד ששווה לקבוע במדויק, משום ששם התוויות מפסיקות להתאים. ברירת המחדל של מאמץ ב-Claude API עבור המודל הזה היא high; ברירת המחדל של Claude Code עבור אותו מודל היא medium. תגובה מהאפליקציה ב-Extra, תגובה מה-API בברירת המחדל שלו, ותגובה מ-Claude Code בברירת המחדל שלו הן שלוש תצורות שונות של מודל אחד. השוואה בין כל שתיים מהן והסקה שמודל חדש הופיע היא השוואה של ברירות מחדל, לא של צ'קפוינטים.

מבחן ראשון: עובדה ממאי שנבדקת מול נקודת חיתוך ביוני

שאלת קרפתי היא החזקה מבין שתי הבדיקות, משום שבניגוד לרוב המבחנים האלה, אפשר לאמת את התשובה שלה מול הרשומה הציבורית. היא מתאמתת. קרפתי הודיע ב-X ב-19 במאי 2026 שהצטרף ל-Anthropic; הוא החל באותו שבוע בצוות קדם-האימון, בדיווח לניק ג'וזף, ואמר שיבנה צוות שיתמקד בשימוש ב-Claude כדי להאיץ מחקר קדם-אימון. התשובה שהפוסט מתאר — הצטרף ל-Anthropic, מאי 2026, צוות קדם-אימון — מדויקת.

הדיוק הוא הבעיה. תאריך הידע האמין של Claude Sonnet 5.5 הוא יוני 2026, וכך גם תאריך החיתוך של נתוני האימון שלו. הגיוס התרחש כחודש לפני אותו קו. גרסה שהופצה של Claude Sonnet 5.5, כששואלים אותה את השאלה הזו עם האינטרנט כבוי, אמורה לענות עליה, וענייה עליה היא מה שהתיעוד שלה חוזה. הבדיקה הניבה את תוצאת האפס ופורשה כממצא.

כדאי להיות מדויקים לגבי מה שבדיקת ידע יכולה לעשות ומה היא אינה יכולה, כי כאן רוב הטענות האלה טועות:

• תשובה נכונה על אירוע מלפני נקודת החיתוך אינה אינפורמטיבית. כל מודל בשורה אומן עליו.

• תשובה שגויה הייתה מלמדת — בכיוון ההפוך. אם מודל שאמור לדעת על עובד שגויס במאי 2026 מכחיש זאת, זוהי עדות לצ'קפוינט אחר וחלש יותר, ולא לכזה חזק יותר שלא הוכרז.

• רק עובדה שפורסמה לאחר תאריך החיתוך מבדילה. עובדה שפורסמה אחרי יוני 2026, שאף מודל בקו הנוכחי לא יכול היה להתאמן עליה, היא צורת השאלה היחידה שמפרידה בין צ'קפוינט חדש לישן. קרפתי פרסם תיעוד של זרימת עבודה בבלוג שלו ב-2 בנובמבר. לשאול על תוכנו כשהאינטרנט כבוי היה מבחן אמיתי. לשאול לאן הוא נסע במאי לא היה.

מבחן שתיים: ספירת שקנאים שמודדת מילוליות

הפרומפט של השקנאי הוא ההערכה האד-הוקית ארוכת השנים של סיימון ויליסון, והוא הריץ אותו מול Claude Sonnet 5.5 ב-28 בספטמבר, ביום שבו הדגם שוחרר. התוצאות שפרסם הן בסיס ההשוואה השימושי כאן, מכיוון שהן מתוארכות, מיוחסות ומדודות ולא נספרו בעין.

• במאמץ מרבי — דרגה אחת מעל זו שבה השתמש הפוסט — המודל הוציא 128,000 טוקנים של פלט, הגיע לתקרה, עלה $1.28, ומעולם לא הפיק SVG כלל.

• ב-xhigh — המדרגה שהפוסט מכנה Extra — אותו מודל יצר שקנאי בתוך 41 שניות תמורת 5.74 סנט.

קרא את שתי השורות האלה יחד והמבחן השני של הפוסט קורס. המודל המשולח ב-Extra כבר מצייר את הציפור — זו הריצה של 41 שניות ו-5.74 סנט — כך שציפור ב-Extra אינה אנומליה. המודל המשולח מדרגה אחת מעל Extra לא מצייר דבר כלל, כך שבמשימה הזו חוגת המאמץ היא המשתנה הדומיננטי בפער גדול, וחוגת המאמץ היא הדבר היחיד שהפוסט שינה. תוצאה שזזה עם ההגדרה שסובבת היא ראיה לגבי ההגדרה.

למספר האלמנטים מגיעה אריתמטיקה משלו, משום שזה המספר שסביר ביותר שיחזור על עצמו. Anthropic מציינת כי 1M טוקנים הם בקירוב 2.5M תווים בטוקנייזר הנוכחי. אם 26,599 אלמנטים היו באורך ממוצע של 40 תווים כל אחד — נתון שמרני ברגע שמכלילים נתוני נתיב ומאפיינים — הציור יהיה באורך של כ-1.06M תווים, או בקירוב 424,000 טוקנים. זה יותר מפי שלושה מתקרת הפלט הסינכרוני של 128,000 טוקנים, וגם מעל תקרת האצווה של 300,000 טוקנים. אם האלמנטים היו באורך ממוצע של שבעה תווים, אותו מספר נכנס בנוחות בכ-74,000 טוקנים.

לכן הספירה מוגבלת על ידי צפיפות סימון, לא על ידי עוצמת המודל, ומודל תמציתי יותר מפרסם מספר גדול יותר. התיאור של הפוסט עצמו מצביע על הקריאה הסבירה יותר: 1,860 שורות של Python מופיעות באותו צ׳אט, ותסריט שמבצע לולאה על נוצות יכול להפיק 26,599 רכיבים בלי שהמודל יכתוב 26,599 רכיבים. הפוסט אינו אומר אם הקוד הזה צייר את השקנאי או היה פריט נפרד, וזה בדיוק הפרט שקורא היה זקוק לו. מה שאפשר לומר בלי הקובץ הוא שמספר הרכיבים הוא מדד לשפע מילולי בשלב שתואר תפקידו המתועד כהפקת יותר.

השורה שבאמת מעניינת בתיאור היא השלילית: בלי תמונות מוטמעות, בלי data URIs, בלי סקריפטים. שקנאי ברמת פירוט כזו, שנבנה רק מפרימיטיבים וקטוריים, הוא תוצאה אמיתית. עם זאת, זו תוצאה בנוגע לאיכות הפלט, ואיכות פלט בהגדרת מאמץ גבוהה יותר היא הדבר הכי פחות מפתיע שמודל יכול לספק.

הדרך המתועדת היחידה שבה קלוד אחר עונה

שום דבר מזה לא מוכיח ש-Anthropic לעולם לא תשרת בקשה תחת תווית אחת עם משקלים שונים. זה כן אומר שהטענה חייבת להסביר את המנגנונים ש-Anthropic כן מתעדת, ושניהם מצביעים בכיוון ההפוך.

הראשון הוא גיבוי במקרה של סירוב. בקשה שנדחתה מחזירה HTTP 200 עם stop_reason: "refusal" ואובייקט stop_details שמציין את תחום המדיניות. גיבוי בצד השרת, שנקבע באמצעות fallbacks: "default" ונמצא בבטא ב-Claude API, מנסה שוב סירובים של cyber ו-frontier_llm ב-Claude Sonnet 5 — המודל הישן והזול יותר. זהו מקרה מתועד שבו בקשה ל-Sonnet 5.5 נענית על ידי משהו אחר, וזוהי הורדת גרסה שמכריזה על עצמה בתגובה.

השני הוא כריכת בלוקי חשיבה. בלוקי חשיבה מתעדים איזה מודל הפיק אותם, וכאשר שיחה עוברת למודל שאינו יכול לקרוא אותם, ה-API משמיט אותם לפני שהמודל רואה את הבקשה, ומדווח על ההשמטה ב-input_transformations כאשר כותרת הבטא מוגדרת. זהו ה-API שאומר לך שהמודל המשרת השתנה. שום דבר באף אחד מהמנגנונים אינו משדרג בקשת claude-sonnet-5-5 למודל חזק יותר שלא הוכרז תחת אותה מחרוזת.

היעדר מנגנון אינו הוכחה שדבר אינו מתרחש. עם זאת, זהו הסטנדרט שהטענה חייבת לעמוד בו: סיפור ניתוב שמתאר תמיד רק שיפור חייב להסביר מדוע הנתיב היחיד ש-Anthropic מפרסמת יורד במורד ומשאיר קבלה.

הדבר הקרוב ביותר לבדיקה חיצונית הוא המדד שמעריכים בלתי תלויים מריצים מול המודל שאנתרופיק מספקת. Artificial Analysis מציבה את Claude Sonnet 5.5 ב-55 במדד ה-Intelligence Index v5.0.1 שלה, במקום התשיעי מתוך 69 מודלים לעומת חציון של 37. זו קריאה של המחרוזת כפי שהיא מוגשת היום, וזהו המשטח שעליו צפוי בסופו של דבר להופיע צ'קפוינט חזק באופן מהותי שמסתתר תחת אותו שם.

איך נראה מבחן שיכול להכריע את זה

אם אתה רוצה לדעת אם התווית שלפניך מוגשת על ידי משהו אחר, הניסוי לא קשה. הוא רק פחות כיף מלפרסם שקנאי.

• הצמד את המזהה, לא את התווית. קרא ל-claude-sonnet-5-5 עם ערך effort מפורש, כך שהבקשה תהיה אותה בקשה בכל פעם. תווית בתפריט היא משטח מוצר; מזהה הוא יעד.

• דגום יותר מפעם אחת. תגובה אחת בדרגה אחת היא אנקדוטה. עשר ב-high ועשר ב-xhigh, עם אותו system prompt ואותו max_tokens, נותנים לך שתי התפלגויות. המאמץ יוצר שינוי חלק ומונוטוני באורך הפלט. checkpoint שונה נוטה ליצור אי-רציפות בתוכן שאורך אינו מסביר.

• השתמשו בעובדה שפורסמה לאחר מועד החיתוך. מועד חיתוך של יוני 2026 פירושו שכל מה שפורסם אחרי יוני הוא מותר לשימוש, וכל מה שלפניו חסר ערך כבדיקה. זהו השינוי היחיד שהיה הופך את המבחן של 5 בנובמבר לשווה הרצה.

קרא את אובייקט התגובה, ואז התייחס אליו בספקנות. שדה model, ‏usage, ‏stop_reason ו-stop_details שווים תיעוד, ו-refusal fallback נראה שם. אבל השדות האלה מהדהדים את מה שהשרת אומר שהוא עשה. הם הצהרה, לא בדיקה — אותה קטגוריית ראיות כמו לבקש ממודל לתאר את עצמו.

• תמחרו את זה לפני שמריצים. במחיר של $2 ו-$10 למיליון טוקנים, תגובה בת 128,000 טוקנים עולה $1.28, שזה הנתון של ויליסון וגם פשוט מחירון התעריפים. עשרים תגובות שמורשות לרוץ עד התקרה הן בערך $25.

אילו עלויות נוספות יש בזמן ההמתנה לתשובה?

יש שאלה מעשית מתחת לשמועה שאינה תלויה בהכרעה בה. Claude Sonnet 5.5 מחייב חשיבה כפלט, חשיבה נספרת במסגרת max_tokens, ו-Extra מתועד עבור תקציבי טוקנים במיליונים. תגובה בודדת שמוציאה מיליון טוקני פלט עולה $10 בצד הפלט בלבד, לפי מחירון שצוותים רבים בחרו בו דווקא משום שהיה השכבה הזולה.

מדרגה אחת מעל Extra, ריצת השקנאי הנמדדת הגיעה לתקרת 128,000 הטוקנים ועלתה $1.28 מבלי להפיק ציור. העלות של בקשה שנכשלה במודל הזה אינה אפס.

• מדרגה אחת למטה, אותה משימה הסתיימה תוך 41 שניות תמורת 5.74 סנט. הפער בין השניים הוא יותר מפי עשרים, והוא נקבע על ידי תפריט נפתח.

צוות שמריץ 1,000 בקשות Extra ביום, עם 30,000 טוקני פלט כל אחת, מוציא 30 מיליון טוקני פלט ביום — או 300 דולר — עוד לפני שטוקני הקלט נספרים בכלל.

זה החלק שקורא יכול לפעול לפיו כבר היום, בלי קשר למה שאנתרופיק תשיק בהמשך. אם Extra הוא מודל אחר, הרווח אמיתי אך בלתי ניתן לתכנון. אם Extra הוא כפי ששמו מעיד, אז עומס עבודה שלא נבחן מול high ו-medium משלם על יסודיות שאיש לא מדד.

OrcaRouter מנתב את Claude Sonnet 5.5 במחירי הספק עצמו של 2 ו-10 דולר, ללא תוספת מעל, וה-effort הוא פרמטר לכל בקשה ולא חוזה נפרד, כך שסריקת effort על פני דרגות היא לולאה בסקריפט. זה גם גידור כן מפני טענה כמו זו: נעלו את מזהה המודל שהתכוונתם אליו, הריצו את אותו פרומפט בכל דרגה, והשוו את ספירות הטוקנים שלכם במקום צילום מסך. כששאלת ניתוב לא ניתנת להכרעה מבחוץ, הדבר הטוב הבא הוא הגדרה שבה התשובה ניתנת למדידה על התעבורה שלכם — ושבה מעבר לגיבוי ל-high או למודל אחר הוא שינוי קונפיגורציה ולא מיגרציה.

מה היה משנה את הדף הזה

מזהה מודל, כרטיס תעריפים, כרטיס מערכת או משפט מאנתרופיק שמנקב בשם היורש. כל אחד מאלה מכריע את השאלה באחר צהריים אחד, ואף אחד מהם אינו קיים היום. עד שאחד מהם יהיה קיים, התיאור הכנה של הדבר שמאחורי התווית הוא זה שאנתרופיק מפרסמת: Claude Sonnet 5.5, תאריך חיתוך יוני 2026, חמש דרגות מאמץ, וסיבה מתועדת להאמין ששקנאי גדול יותר בהגדרה גבוהה יותר הוא שקנאי גדול יותר בהגדרה גבוהה יותר.

המסגור של הפוסט עצמו מסגיר את הכול. הוא משווה את Extra לציפייה, לא למדידה — אותה דרגה ב-Sonnet 5, או אותה דרגה ב-max, או קו בסיס שפורסם משבוע ההשקה. ההשוואות האלה קיימות וזולות. עד שמישהו יריץ אותן, "נראה כמו ניתוב" הוא תיאור של תפריט נפתח שעושה את עבודתו.