Claude Opus 5.5 נגד GPT-6 Astra: מבחן טעימה שהקדים את מדדי הביצועים

מישהו ביקש מClaude Opus 5.5ליצור סרטון קצר על מעבדה מתחרה שפותרת את משוואות נאוויה–סטוקס, לפרסם את התוצאה, ואז לכתוב את המשפט שהופך את ההשוואה הזו לראויה לעיסוק: המודל "מאוד נחמד", יש לו "טעם מעולה", והוא ה-Claude הראשון מאז Opus 4.7 שהם באמת רוצים להריץ בכבדות — אבל הם עדיין שומרים על GPT-6 Astraו-GPT-5.6 Sol כנהגים הראשיים שלהם, כי העבודה שלהם עתירת מחקר. אלו שלוש טענות בפוסט אחד, והן מושכות לכיוונים שונים. מודל יכול להיות הדבר הנעים ביותר לעבוד איתו, ובכל זאת לא להיות זה שאליו מנתבים תעבורת ייצור. השאלה המעניינת אינה איזה מודל טוב יותר. היא איזו משתי הפסיקות האלה שורדת מפגש עם המספרים, ואיזו מתגלה כאמירה על טעם.

הפוסט הוא דיווח של איש מקצוע אחד, לא ריצת בנצ'מרק — התייחסו אליו כאל אות לגבי איך המודל מרגיש בעבודה יצירתית ופתוחה, לא כראיה לגבי יכולת. כל נתון מספרי בהמשך מסומן לפי מי שהפיק אותו.

מה מבחן טעימה יכול לספר לך ומה הוא לא יכול

התוצר הוא מה שקובע כאן. יצירת סרטון על תוצאה מתמטית אינה משימת קידוד עם שער עובר/נכשל. אין שלב קומפילציה, אין חבילת בדיקות, אין מערכת Terminal-Bench שנותנת ציון אם הדבר טוב בכלל. המודל היה צריך לבחור זווית, להחליט מה להציג, לשמור על קוהרנטיות ולעצור. כשאנשי מקצוע אומרים שלמודל יש ״טעם מעולה״, זה מה שהם מתארים: שיקול דעת לגבי היקף והדגש שמופיע בעבודה שבה המפרט מעורפל במכוון.

זו יכולת אמיתית, והיא הדבר שמערכי הבנצ'מרק הכי גרועים בלמדוד. זו גם הסיבה שאותו אדם יכול לשבח מודל ולא לעבור אליו. טעם הוא מה שאתה רוצה כשאתה חוקר. הוא לא מה שאתה רוצה כשיש לך 200,000 שורות קוד לבקר וחשבון להצדיק.

המסגור של Anthropic עצמה להשקה מצביע על אותה יכולת, בפרוזה ולא בווידאו: Claude Opus 5.5 מוצג ככותב פחות "קלודיש" — פחות הקדמות מיותרות, פחות הסתייגויות, ונכונות רבה יותר להציב את הנקודה תחילה. ניקוד קריאות עצמאי תומך בכיוון של הטענה הזו גם כשהוא חולק על הגודל. הספק גם מדווח כי בדיקת אימות עובדות פנימית עברה 16 מתוך 18 ניסיונות, לעומת אפס מתוך 18 גם אצל Claude Fable 5.1 וגם אצל Claude Opus 5; המספר הזה הוא של Anthropic עצמה, לא שוחזר, ויש לקרוא אותו כטענה ולא כתוצאה.

שני לוחות תוצאות, אי-הסכמה אחת שחשובה

על פי בנצ'מרקים גולמיים שפורסמו, Claude Opus 5.5 מוביל על GPT-6 Astra ברוב המקרים. הבעיה היא ששני המקורות המצוטטים ביותר אינם מסכימים בכמה.

טבלת ההשקה של Anthropic מציבה את Claude Opus 5.5 ב-66.4% ב-Terminal-Bench 4.0, עם GPT-6 Astra ב-57.9% ו-Claude Fable 5.1 ב-55.8%. זהו יתרון של 8.5 נקודות כפי שדווח על ידי הספק בקידוד סוכני — סוג המרווח שמכריע ויכוח במצגת שיווקית. Artificial Analysis, שהריצה ארנס משלה, מדדה את Claude Opus 5.5 ב-59.6% באותו מבחן: שווה ל-GPT-6 Astra במאמץ xhigh, וכ-11 נקודות מעל Claude Opus 5. היתרון אמיתי בשתי הקריאות. הגודל לא.

המקום שבו שני המודלים מתחלפים ביניהם שימושי יותר מהמקום שבו הם לא:

• Terminal-Bench 4.0 (קידוד סוכני) — Claude Opus 5.5 עומד על 66.4% לפי הטבלה של Anthropic עצמה, ו-59.6% לפי Artificial Analysis; GPT-6 Astra 57.9%.

• Humanity's Last Exam, עם כלים — Claude Opus 5.5 67.7% לפי דיווח הספק, נמדד באופן בלתי תלוי ב-61.4%; GPT-6 Astra 57.2%.

• GDPval-AA v2.1 (עבודת ידע בעולם האמיתי ב-44 מקצועות) — Claude Opus 5.5 1,846 Elo; GPT-6 Astra 1,542 Elo. שני הנתונים מגיעים מהלוח העצמאי של Artificial Analysis, לא מהספק.

• Terminal-Bench-Science 0.1 — GPT-6 Astra 64.6% לעומת Claude Opus 5.5 58.7%. זהו ניצחון נקי של Astra, וזהו הבנצ'מרק הסוכני בעל האופי המדעי.

• AutomationBench — GPT-6 Astra 41.4% לעומת Claude Opus 5.5 40.0%. פער קטן, אבל שוב Astra.

• FrontierCode v1.1 — Claude Opus 5.5 54.4% לעומת GPT-6 Astra 53.3%. בתוך נקודה.

קראו את הרשימה הזו כפי שאיש מקצוע היה קורא אותה. עומסי העבודה עתירי המחקר — אלה עם מרכיב מדעי או ספרותי, אלה שמריצים לולאה ארוכה של שימוש בכלים וזקוקים לכך שהמודל ישמור על יציבותו — הם בדיוק המקום שבו GPT-6 Astra מחזיק מעמד. לוחות העבודה הידענית והקוד, שבהם Claude Opus 5.5 מנצח בפער עצום, הם אלה שאליהם הייתם מצביעים אילו תפקידכם היה הוצאת תוכנה לאור. שני האנשים בשיחה הזו קוראים נכון את מדד הביצועים שלהם. הם פשוט קוראים מדדי ביצועים שונים.

הגדרת המאמץ עושה יותר עבודה מהמודל עצמו

יש סיבה שנייה, פחות מחמיאה, לכך ששולי הכותרת רכים. השוואות הספקים אינן נערכות באותה הגדרה.

הנתונים שפורסמו של Claude Opus 5.5 מגיעים מתצורת מאמץ חשיבה גבוהה במיוחד (xhigh), לעומת GPT-6 Astra ברמת high. ההרצות העצמאיות של Artificial Analysis מציבות את שני המודלים ב-xhigh והפער בקוד נעלם — יתרון הספק של 8.5 נקודות הופך לתיקו. אין זו האשמה בהתנהלות פסולה; זה מה שקורה כאשר ספק בוחר את התצורה שמציגה את המודל שלו במיטבו ומעבדה עצמאית בוחרת את התצורה שמתאימה לתחרות. לפני שאתם מעבירים עומס עבודה על סמך טבלת בנצ'מרקים, בדקו באיזו הגדרת מאמץ נערכה ההרצה, כי לעתים קרובות התשובה היא "זו המחמיאה".

חשבון הטוקנים מספר את אותו סיפור מזווית אחרת. בחומר ההשקה של Anthropic עצמה, Claude Opus 5.5 מוציא בסדר גודל של 119,000 טוקנים לבעיה, כשכ-84,000 מהם מוקדשים לחשיבה, בעוד GPT-6 Astra פותר בעיות דומות בכ-27,000 טוקנים. טוקני חשיבה מחויבים כטוקני פלט. מודל שמשתמש פי ארבעה בטוקנים בחמישית ממחיר הפלט כמעט מתאזן — וזאת לפני שמביאים בחשבון את העובדה שהמודל הזול יותר הוא לעתים קרובות זה שהייתם מוכנים להריץ בכל מקרה בהגדרת מאמץ גבוהה יותר.

הסתייגות נוספת אחת חלה ספציפית על הצד של Claude Opus 5.5: ניתוב אמצעי ההגנה של Anthropic יכול להעביר חלק מהבקשות הקשורות לסייבר ולביו למסלול מגביל יותר, מה שמוריד את הציונים המפורסמים באותן הערכות ביחס למה שהמודל שבבסיס היה מפיק. אם העבודה שלך נוגעת בתחומים האלה, הפער בין הבנצ'מרק לבין הניסיון שלך יהיה אמיתי, והוא יהיה בכיוון שבו הבנצ'מרק אופטימי.

כמה עולה משימה אמיתית בכל אחד

Claude Opus 5.5 הוא המודל הזול יותר במחירון, וזה אפילו לא קרוב:

• Claude Opus 5.5 —‏ $4.00 למיליון טוקנים בקלט, $20.00 למיליון טוקנים בפלט, $0.20 למיליון טוקנים בקלט שמור במטמון, $5.00 למיליון כתיבות למטמון. חלון הקשר של מיליון טוקנים, פלט מקסימלי של 128 אלף טוקנים.

• GPT-6 Astra — $10.00 למיליון קלט, $50.00 למיליון פלט, $1.00 למיליון קלט במטמון, $12.50 למיליון כתיבות מטמון. לאחר 272,000 אסימוני קלט בבקשה בודדת, הבקשה כולה מתומחרת מחדש ב-$20.00 קלט ו-$100.00 פלט; דרגת האצווה היא $5.00/$25.00.

אז Claude Opus 5.5 זול פי 2.5 בקלט ופי 2.5 בפלט, כשקלט במטמון זול פי חמישה. אם המשימות שלך דומות מבחינת טוקנים, זו כל ההחלטה ושאלת הטעם היא רק קישוט.

ההסתייגות בדבר השימוש בטוקנים שלמעלה היא מה שמונע שזה יהיה כל כך פשוט, והתמחור מחדש של ההקשר הארוך של GPT-6 Astra הוא המלכודת האחרת. אם תחצו 272,000 טוקני קלט בבקשה אחת, כל הבקשה — לא רק העודף — עוברת לתעריף ההקשר הארוך. עומס עבודה מחקרי שדוחס קורפוס גדול לקריאה אחת הוא בדיוק הצורה שמפעילה זאת. אצווה במחיר חצי היא פתח המילוט הלגיטימי, והיא בתור האיטי יותר.

הסיכום הכנה הוא שתמונת העלויות מתהפכת בהתאם למה שאתה עושה. במשימה שבה שני המודלים משתמשים בטוקנים דומים, Claude Opus 5.5 מנצח במחיר בפער גדול. בלולאת מחקר агентית ארוכה שבה ספירות הטוקנים מתפצלות כפי שמראה החומר ההשקתי של Anthropic עצמה, השניים מתכנסים — וזו כותרת הרבה פחות מרגשת מ-40% קיצוץ בעלויות, וקרובה יותר למה שהמתרגל דיווח.

מדוע המשתמש שעורך מחקר רב לא עבר

חברו את החלקים, והשורה "עדיין מעדיפים את Astra" מפסיקה להיות סתירה לשורה "טעם נהדר". זו אותה תצפית, רק מכיסא אחר.

עומסי העבודה שהמשתמש ציין הם ארוכים, פתוחים, עם שימוש בכלים, ויקרים לכל הרצה. באלה, GPT-6 Astra מחזיק בלוחות המדע והאוטומציה, משתמש בשבריר מאסימוני החשיבה, ולפי מדידה עצמאית — נמצא באותה רמה בקידוד כששני המודלים פועלים באותו מאמץ. היתרונות של Claude Opus 5.5 מתרכזים בעבודה שבה אפשר לראות את הפלט ולשפוט אותו: פרוזה, בחירות עיצוביות, הגדרת היקף של בריף מעורפל, להחליט מה סרטון על Navier-Stokes צריך בעצם להראות. זה טעם, וטעם הוא בדיוק החלק שלא מופיע על ציר בנצ'מרק.

אם קיוויתם לפסק דין שלפיו מודל אחד מנצח, הראיות אינן תומכות בכך. הגרסה הניתנת להגנה היא צרה יותר: Claude Opus 5.5 הוא המודל הטוב יותר לעבודה שבה שיקול דעת הוא צוואר הבקבוק, GPT-6 Astra הוא המודל הטוב יותר לעבודה שבה מאמץ מתמשך בהקשר ארוך הוא צוואר הבקבוק, ופער המחיר ביניהם מצטמצם לכמעט כלום בסוג העבודה השני. זוהי החלטת ניתוב, לא המרה.

הרצת שניהם ללא מיגרציה

זה החלק שבו שני המודלים מפסיקים להיות עניין של או-או. GPT-6 Astra זמין ב-OrcaRouter היום במחיר המחירון של OpenAI עצמה — $10.00 קלט, $50.00 פלט, $1.00 קריאה מהמטמון, $12.50 כתיבה למטמון — עם 0% תוספת, מחיר המחירון של הספק מועבר ישירות. המשמעות היא ששינוי בתעריף הספק מגיע אלינו באותו יום, ולא בכל פעם שמשווק מחדש מסנכרן.

Claude Opus 5.5 נגיש דרך ה-API של Anthropic עצמה ומספר פלטפורמות צד שלישי; איננו מונים אותו כדבר שאנחנו מספקים, וכדאי שתהיו ספקניים כלפי כל מי שטוען אחרת לפני שהמודל התפשט. מה שאתם יכולים לעשות היום הוא להעמיד את שני המודלים מאחורי מפתח אחד וצורת נקודת קצה אחת, ולנתב לפי עומס העבודה במקום לפי העדפה: לשלוח את הבקשה הפתוחה ועתירת שיקול הדעת אל Claude Opus 5.5 ואת לולאת המחקר הארוכה אל GPT-6 Astra בלי לתחזק שני חוזים או שתי אינטגרציות לקוח.

מעבר אוטומטי בין שרתים הוא מה שהופך את זה לבטוח לבדיקה. מודל חדש אינו עדיין נתיב ייצור, וניתוב דרך נקודת קצה אחת פירושו שתקלה אצל הספק או הגבלת קצב יעבירו את הבקשה במקום להכשיל אותה. אם אתם רוצים לגלות אם פער הטעם אמיתי בעבודה שלכם, זו הדרך הזולה לגלות זאת — הריצו אותו לצד מה שכבר יש לכם במקום להחליף אותו, ותנו לסוויטה שלכם להחליט במקום לטבלאות ההשקה.

השאלה שהמבחנים לא יכולים לענות עליה

שני דברים שכדאי לשים לב אליהם, ואף אחד מהם אינו עוד נקודת בנצ'מרק.

הראשון הוא אם האסימטריה בהגדרת המאמץ תיפתר. נכון לעכשיו, טבלה של ספק בהגדרת xhigh מול מתחרה בהגדרת high מניבה יתרון של 8.5 נקודות, שאותו בדיקות בלתי תלויות בהגדרות תואמות הופכות לתיקו. ככל שמעבדות בלתי תלויות מפרסמות ריצות בהגדרות תואמות בלוחות המדע והאוטומציה שבהם GPT-6 Astra מוביל כיום, התמונה הזו יכולה לזוז לשני הכיוונים — והיא תזוז על סמך ראיות ולא על סמך המסגור של מישהו.

השאלה השנייה היא שאלת יעילות הטוקנים. אם תקורת החשיבה של Claude Opus 5.5 תרד בגרסת נקודה, יתרון המחירון של פי 2.5 מפסיק להיות מקוזז, והטיעון המחירי מנצח באופן מוחלט. אם לא, אז איש המקצוע שהשאיר את GPT-6 Astra ככלי העיקרי שלו אינו מפגר אחרי מחזור החדשות. הוא פירש נכון את עומס העבודה שלו, וטבלת ההשקה פשוט לא מדדה אותו.