Gemini 4 Pro מול GPT-6 Astra במבחן בקר ה-Xbox 360 — ולמה Fable 5.2 לא נכלל בו

פוסט ב-X עלה ב-21 בספטמבר וכלל שלושה שמות, סרטון, ואת המילים "השוואת SOTA": Gemini 4 Pro, GPT-6 Astra, Claude Fable 5.2. שניים מהשמות האלה שייכים למודלים שאף אחד לא יכול לקרוא להם. אחד שייך למודל שנמצא במכירה כבר שמונה עשר יום. והארטיפקט שהפוסט מצביע עליו — בקר משחק שצויר כגרפיקה וקטורית בזריקה אחת מפרומפט אחד — היה, לפי האנשים שהריצו אותו בפועל, השוואה דו-כיוונית בין שני הראשונים. Claude Fable 5.2 לא היה בו. גם לא Claude Fable 5.1.

הפער הזה בין המסגור לראיות הוא כל מצבו של סיפור Gemini 4 Pro כרגע, וכדאי לפרק אותו בקפידה ולא לפטור אותו בביטול. מבחן הבקר אינו דבר של מה בכך. זהו הממצא היחיד שנראה הכי ניתן לשחזור שמישהו הפיק החודש על מודל חזית שטרם שוחרר, יש מאחוריו שושלת של ארבעה חודשים, והרבה אנשים קוראים אותו כפסק דין. הוא אינו פסק דין. זהו תיקו, מניסיון אחד, שהבוחן עצמו לא הצליח לשחזר למחרת — ולדעת בדיוק עד כמה הוא מגיע ועד כמה לא מועיל יותר מאשר ההתלהבות או גלגול העיניים.

המבחן, ולמה SVG הפך לאמת המידה

הפרומפט מבוגר יותר מהמודלים שהוא משמש כעת כדי לשפוט אותם. הוא מתוארך לעידן Gemini 3.0, אז הוא נפוץ בנוסח: "צרו תמונת SVG של בקר Xbox 360. פלטו אותה בבלוק קוד רב-שורתי ב-Markdown." הניסוח הזה חשוב, משום שהוא עוין במכוון למודל שפה. ציור וקטורי הוא כולו מבנה וללא מרקם — אין רעש צילומי שמודל יוכל להתחבא מאחוריו, אין דגם דיפוזיה שיטשטש טעות. כל עקומה חייבת להיות מוגדרת כקואורדינטה. בקר הוא מטרה קשה עבורו: שתי ידיות אחיזה סימטריות, משטח קעור, הדקי כתף המשורטטים בפרספקטיבה, כששה-עשרה כפתורים שכל אחד מהם זקוק למיקום, וצורת מתאר שנקראת מיד כשגויה אם פרופורציה אחת סוטה. וכיוון שהתשובה מגיעה כטקסט שאפשר להדביק בכלי צפייה, ההשוואה זולה וניידת. אף אחד לא צריך לסמוך על צילום מסך של חלון הצ'אט של מישהו אחר.

בספטמבר הקהילה חזרה לאמץ את הפרומפט. התוצרים שהסתובבו מסשני הארנה — שקנאי על אופניים, בקר PlayStation 5 שרונדר מחמש זוויות של מצלמת מאקרו, פגודה תלת-ממדית עם תאורה שניתן להחליף, סצנת מקדש בסגנון ווקסל ועמוד של מסוק Airbus H145 — מתוארים בדיווח כמי שנמשכו בערך שמונה עד עשרים דקות כל אחד במאמץ חשיבה גבוה. הבקר הוא זה שנכנס להשוואה באמצעות צילום מסך.

מה שהשוואת הבקר למעשה מראה

הנה התוצאה כפי שהבודק דיווח עליה, והיא טענה קטנה בהרבה מכפי שציר הזמן עשה ממנה.

• הכרעה — תיקו. האדם שהריץ את זה, שפרסם תחת השם Lumina, כינה את שני הפלטים "כמעט מושלמים".

• אי-הסימטריה היחידה — הגרסה של Astra הכילה לוגו שגוי במקצת. זהו יתרון של פרט בודד, והבודק הציג אותו כיתרון של פרט בודד, לא כיתרון כללי.

• שלמות חזותית — שני הרינדורים מציגים גופי בקר מפורטים, פקדים והצללה. אף אחד מהם לא התפרק מבחינת הצורה.

• מה שההשוואה אינה מבססת — שהמודל שטרם שוחרר מוביל. שני פלטים שנשפטים כטובים באותה מידה הם ההגדרה של היעדר יתרון.

• שחזוריות — לפי הדיווח, הפלט הופק בלילה הקודם, ארך כעשרים דקות, והבודק לא הצליח להשיג תוצאות ברות השוואה ביום שלמחרת.

• זהות — רשומת הזירה שממנה הגיע הפלט הייתה מסומנת בתווית gemini-3.8-flash, שם שכבר שייך למודל שגוגל השיקה ב-2 בספטמבר, ולאחר מכן דווח כי הוא סומן מחדש בשם gemini-3.7-flash. איזה מודל עמד למעשה מאחורי הכינוי אינו ברור, ושני בודקים אחרים אמרו באותו חלון זמן שגם הם לא יכלו לאשר באיזה מודל השתמשו.

קרא את הרשימה לפי הסדר וצורת הראיות מתבהרת. הטענה המעניינת אינה "המודל שלא שוחרר ניצח". היא שמודל שאיש אינו יכול לזהות, שרץ תחת שמו של מודל ששוחרר, יצר עבודת וקטורים בניסיון אחד, שבודק קפדן לא יכול היה להבחין בינה לבין הפלט של מודל חזיתי שהיה זמין באופן כללי במשך רוב ספטמבר. זו תצפית אמיתית. היא גם תצפית על אחר צהריים אחד, והבודק אמר זאת.

התוצאה הדו-כיוונית והטענה התלת-כיוונית

הפוסט שהתחיל את הקטע הזה אומר שלושה מודלים. הכתבות המתארות את אותו סשן בקר מתארות שניים. המעמד האמיתי של Claude Fable 5.2 השבוע הוא סיפור נפרד שבמקרה חולק מחזור חדשות, וכדאי לדייק לגביו כי הערבוב עושה עבודה בשני הכיוונים.

• מה נטען — חשבון ה-X ‏@chetaslua פרסם ב-18 בספטמבר ש-Claude Fable 5.2 "נבדק ב-claude code כאשר מנותב אליו fable 5.1". זוהי טענה בדבר ניתוב בנוגע ל-Claude Code, מחשבון בודד.

• מהו השם — הנחתו של הכתב עצמו. הבודק המפרסם תחת השם JAZII, שכתבו מ-18 בספטמבר הוא התיאור המפורט ביותר של ההתנהגות, אומר בבירור כי "Fable 5.2" הוא שם שהוקצה, לא שם שמישהו אישר. אין כרטיס מודל, אין מזהה API, אין דף תמחור, אין כרטיס מערכת, ואין כלי תקשורת שני שמדווח באופן עצמאי על מסלול Fable 5.2.

• מה בעצם כולל סיפור הניתוב של Claude שאומת — הבלוג הזה סיקר אותו בנפרד: דיווחי הניתוב השקט מאמצע ספטמבר שכמה כלי תקשורת עצמאיים אימצו עסקו בצ'קפוינט בדרגת Opus שטרם פורסם, ולא ב-Fable. הייחוס ל-Fable מבוסס על מקור יחיד. התייחסו לכך כדיווח של גורם אחד, לא כממצא.

• מה שהבודק כן דיווח — במאמץ חשיבה גבוה, ה-Fable הבא החשוד הועדף על פני GPT-6 Astra, והיה איטי ויקר יותר. זו העדפה, של אדם אחד, על העבודה שלו עצמו.

• מה מאומת לגבי המודל שהופץ — Claude Fable 5.1 זמין באופן כללי מאז 1 בספטמבר 2026. המודל הזה קיים, יש לו מחיר, ואפשר לקרוא לו היום.

אז הגרסה הכנה של המסגור התלת-כיווני היא זו: שניים משלושת השמות בפוסט הזה הם מודלים שטרם הוכרזו עם שמות שהוקצו על ידי הקהילה, מבחן הבקר כלל רק את זה שזהותו לכל הפחות מעוגנת לרשומה בארנה, וטור Fable הוא העדפה של בודק יחיד שסירב במפורש לנקוב בשם המודל. זו אינה סיבה להתעלם מאף אחד מאלה. זו סיבה להחזיק את שלושת השמות בשלוש רמות ביטחון שונות במקום ברמה אחת.

טבלת הבנצ'מרק היא זו שמנהלת את הוויכוח בפועל

ה-SVG של הבקר הוא הארטיפקט הנראה לעין. הדבר שבאמת משכנע הוא גיליון בנצ'מרק שצץ בסביבות ה-18 בספטמבר ומאז שוחזר בעיתונות הטכנולוגית הסינית והאנגלית. כדאי לפרט אותו, כי המספרים ספציפיים מספיק כדי לבדוק, ואף אחד מהם לא נבדק.

• DeepSWE v1.1 — 88.7%, מתואר כגבוה בכשתי נקודות בקירוב מעל GPT-6 Astra.

• GDPval-AA v2 — 2,064 Elo, מתואר כפריט היחיד בהשוואה שמעל 2,000.

• Terminal-bench 2.1 — 95.3%, שניתן כציון הגבוה ביותר בטבלה.

• OSWorld-2.0 — 86.8%, דורג לפני הן GPT-6 Astra והן Claude Fable 5.1.

• תמחור מוצהר — $2.25 למיליון טוקני קלט ו-$11.25 למיליון טוקני פלט.

• מפרטים מוצהרים — מגבלת קלט של 10 מיליון טוקנים, תקרת פלט של 256K טוקנים, זיכרון חוצה-שיחות.

כל שורה למעלה היא טענה קהילתית. Google לא אישרה דבר מזה, לא אישרה שהרשומה ב-Arena היא בכלל Gemini 4 Pro, ולא הגיבה לבקשה לתגובה. הטבלה אינה כוללת מזהה צ'קפוינט, הגדרת מאמץ חשיבה, רתמת סוכן, הרשאות כלים, פיצול בדיקה, גודל מדגם או יומן ריצה — הדברים שהערכה אמיתית כוללת וצילום מסך של שקופית אינו כולל. שמות הבנצ'מרקים גם הם לקוחים מאותה משפחה שבה השתמשה OpenAI בחומר ההשקה שלה בספטמבר, מה שמסגיר היכן הגיליון הורכב ולא היכן שהוא נמדד.

יש סיבה שנייה להיזהר בכל השוואת חזית החודש: האינדקס העצמאי שכולם נעזרים בו עודכן לגרסה v4.3 ב-7 בספטמבר, ועדכון גרסה מכווץ או מותח את ראש הטבלה. ציון בלי הגרסה שלו אינו בר-השוואה לציון משלושה שבועות קודם, שלנו או של כל אחד אחר.

מה בעצם אושר לגבי Gemini 4 Pro?

הסר את הטענות, והרשומה העובדתית קצרה.

• 21 ביולי 2026 — גוגל מאשרת שהחלה את ריצת האימון המקדים השאפתנית ביותר שלה עד כה, עבור Gemini 4. המנכ״ל חוזר על כך בשיחת הרווחים לרבעון השני.

• 2 בספטמבר 2026 — Gemini 3.8 Flash יוצא לשוק. המודל החדש ביותר של Google הזמין באופן כללי נותר מודל בדרגת Flash.

• 15–18 בספטמבר 2026 — מדליף המפרסם תחת הכינוי "Lentils" טוען שצ׳קפוינטים של Gemini 4 Pro מופיעים באופן פנימי תחת שם הקוד "argon"; עוקבים מהקהילה רושמים רשומה בארנה תחת התווית של gemini-3.8-flashשהופצה, שלוקחת שמונה עד עשר דקות לכל תשובה ומפיקה עבודות וקטוריות ותלת-ממדיות הרבה מעבר למה שאותו מודל מפיק.

• היום — אין מזהה מודל של Gemini 4, אין נקודת קצה, אין מחיר, אין כרטיס מודל. Gemini 3.5 Pro, שהוצג בתצוגה מקדימה לקראת יוני ומעולם לא שוחרר, דווח על ידי הוול סטריט ג'ורנל כי נזנח מכיוון שהשיפורים שלו היו קטנים מדי.

זה כל המשטח המאומת. כל השאר בתפוצה — הטבלה, המחיר, חלון ההקשר, שם הקוד, זהות הרשומה בזירה — הוא הסקה העוטה נקודה עשרונית.

מה שאתה יכול להריץ בפועל בזמן שאתה ממתין

זה החלק שפוסטים של השוואות משמיטים, וזה החלק שמשנה החלטה.

GPT-6 Astra אינו שמועה. הוא שוחרר ב-3 בספטמבר 2026, הוא נושא את מזהה המודל gpt-6-astra, וניתן לקרוא לו היום במחיר המחירון של OpenAI עצמה — 10.00 דולר למיליון טוקנים בקלט ו-50.00 דולר למיליון בפלט, כאשר קלט שמור במטמון עולה 1.00 דולר. הוא פועל ב-OrcaRouter באותו מחיר מחירון של הספק עם 0% תוספת — אנחנו מעבירים את התעריף של הספק ישירות, כך שכאשר תעריף משתנה, המספר בצד שלנו משתנה באותו יום, ולא בכל פעם שמישהו טורח סוף סוף לעדכן מרווח. ציוני הבנצ'מרק שדווחו על ידי OpenAI הם DeepSWE v1.1 ב-74%, OSWorld 2.0 ב-72.6%, Terminal-Bench 4.0 ב-57.9%, ו-ExploitBench ב-100%, וזה מה שהעביר אותו מעל סף היכולת הקיברנית הקריטית. אלו נתונים מדיווחי הספק, שאינם משוחזרים, והם המספרים שגיליון Gemini 4 Pro שהודלף מתווכח נגדם בעקיפין.

Gemini 4 Pro אינו נמצא ב-OrcaRouter, ואיננו מתכוונים להעמיד פנים אחרת. אין נקודת קצה, אין מזהה מודל ואין מחיר, כי אין מודל ששוחרר. לעומתם, Claude Fable 5.1 זמין באופן כללי מאז 1 בספטמבר וניתן לנתב אליו במחיר המחירון שלו, וכך גם Claude Opus 5 ושאר שכבת החזית הנוכחית — API אחד מכסה למעלה מ-200 מודלים במחיר המחירון של הספק ללא כל תוספת, כך שהשוואה כמו זו אינה מחייבת שלושה חשבונות, שלושה SDK-ים ושלושה חשבוניות כדי לפעול לפיה.

אם תוצאת הבקר היא מה שמפתה אותך לארגן מחדש נתיב ייצור סביב מודל שלא הוכרז, המהלך השפוי הוא זה שהראיות תומכות בו: אל תעשה זאת. השאר את הנתיב שיש לך, ואם אתה רוצה לגלות אם האפקט ניתן להכללה לעבודה שלך, נתב פלח תעבורה בנתיב לא מוכח עם גיבוי למודל שאתה כבר סומך עליו. כך אחר צהריים גרוע עולה לך בנקודת אחוז מהתעבורה ולא בתקרית, ואתה מקבל תשובה משלך במקום לקחת בהשאלה תוצאה של עשרים דקות של מישהו אחר.

מה יהפוך את תוצאת הבקר למשהו בעל משמעות?

• הכינוי מקבל שם אמיתי. רשומה בארנה היא שמועה עם שורה בלוח המובילים. מזהה מודל בתיעוד של הספק עצמו הוא מוצר. שימו לב לרשימת המודלים, לא לציר הזמן.

• התוצאה משתחזרת. בודק אחד לא הצליח להפיק את אותו פלט למחרת. שלושה אנשים בלתי־תלויים שמפיקים אותו לפי דרישה, כשהמודל מזוהה, הוא סוג ראיות שונה לחלוטין.

הגיליון שהודלף מקבל מתודולוגיה. ציון בנצ'מרק ללא נקודת ביקורת, הגדרת מאמץ והארנס אינו מדידה; זוהי טענה בדבר מדידה.

• מופיע מחיר. המחיר הנטען $2.25/$11.25 יהפוך מודל חזית שטרם שוחרר לזול מבין השלושה בפער ניכר — וזהו מסוג הטענות שמופיעות במחירון או שלא.

• ייחוס Fable מקבל מקור שני. כרגע יש לו מקור אחד, והאדם שיצר אותו אמר שהשם היה שלו מלכתחילה.

שאלות שראויות לתשובה

אם הרשומה בארנה היא באמת Gemini 4 Pro, למה להריץ אותה בשם של מודל שכבר הושק?

בדיקת נקודת ביקורת חדשה מאחורי התווית של מודל קיים היא נוהג מקובל בבנצ'מרקינג עיוור — היא מאפשרת למעבדה לאסוף הצבעות ראש בראש בלי שהשם ישפיע על ההצבעה. זה גם אומר שהתווית לא מספרת לך דבר על מה שנמצא מאחוריה, וזו בדיוק הבעיה כאן: הכינוי הוא ראיה שמשהו נבחן, לא ראיה למה.

האם תיקו מול GPT-6 Astra אומר שהמודל שטרם שוחרר מאכזב?

לא, וכאן המסגור עושה את הנזק הגדול ביותר. צ׳קפוינט שעדיין נמצא בשלב post-training, רץ מאחורי כינוי, ומשתווה למודל חזיתי שהושק במשימת one-shot קשה — הוא אות חזק הרבה יותר מאשר גרף של יום השקה. זה רק אות על כיוון, ולא על מוצר שאפשר לקנות, אבל בפוסט השוואה השניים נקראים כדבר אחד.

האם עליי להחליף משהו היום בגלל זה?

לא בגלל זה. שום דבר בבדיקת הבקר לא משנה מה זמין, כמה עולה משהו, או במה מודל כלשהו טוב. העובדות הרלוונטיות להחלטה השבוע הן ש-GPT-6 Astra ו-Claude Fable 5.1 פעילים ותומחרו, בעוד ש-Gemini 4 Pro אינו לא זה ולא זה. אם אתם רוצים לגדר סיכון לכיוון האפשרות הזו, גדרו אותו באמצעות ניתוב ולא באמצעות שכתוב.

הקריאה הכנה

מבחן הבקר הוא הראיה הטובה ביותר שמישהו הציג על Gemini 4 Pro, והראיה הטובה ביותר שמישהו הציג היא תיקו, מניסיון אחד, שלא חזר על עצמו, על מודל שאיש לא יכול לנקוב בשמו, שדווח לצד גיליון בנצ'מרק שאיש לא יכול לבדוק. זה נשמע כמו דחייה וזה לא. הסיבה שהמבחן התפשט היא שזהו הפריט הראשון בסיפור הזה שנראה כמו מוצר ולא כמו שקופית — פרומפט אמיתי, פלט אמיתי, אדם אמיתי שמשווה ביניהם, ותוצאה שאף אחד מתומכי הצדדים לא הצליח לתבוע בעלות עליה באופן מוחלט.

מה שזה לא עושה זה להכריע שום דבר. אם אתם צריכים לשחרר השבוע, הדרג המוביל שקיים — GPT-6 Astra ב-$10/$50, Claude Fable 5.1 במחיר המחירון שלו — הוא המקום שבו ההחלטה שלכם בעצם נמצאת, ושניהם ניתנים לקריאה במפתח אחד בלי חוזה נוסף. אם אתם רוצים לדעת מה יש ל-Google, האותות היחידים שיעבירו את זה מכתבה של מה שאנחנו יודעים עד כה לכתבת השקה הם מזהה מודל, מחירון ושחזור. עד שהם יגיעו, הקריאה הנכונה של השוואת שלט ה-Xbox 360 היא זו שנתן מי שהריץ אותה: שני ציורים טובים מאוד, ואין מנצח.