כרטיס כותרת שנוצר עם הכותרת הראשית 'GPT-6.2 Astra מוביל את Hospital-Bench' וכותרת המשנה 'ציון ממוצע של 62.4%, 14 מתוך 48 משימות הושלמו באופן נקי' ושלושה תגי ראיות: 'המוביל מבין 20 מודלים', 'בית חולים עם 320 מיטות, 13 מערכות, 131 כלים' ו'Claude Opus 5.5 מוביל במעברים מלאים עם 35.4%', מעל כותרת תחתונה שמציינת שהתוצאה פורסמה ב-20 בנובמבר 2026 על ידי מעריך מגובה YC ושה-GPT-6.2 Astra הושק ב-17 בנובמבר 2026.
Guides & Insights

GPT-6.2 Astra בראש Hospital-Bench עם 62.4%: 14 מתוך 48 משימות נקיות

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

הערכה של עשרים מודלים שפורסמה ב-X ב-20 בנובמבר 2026 ממקמת את GPT-6.2 Astra במקום הראשון ב-Hospital-bench עם ציון ממוצע של 62.4% ושיעור מעבר מלא של 29.2% — ארבעה־עשר מתוך ארבעים ושמונה המשימות הושלמו ללא רבב. Claude Fable 5.2 במקום השני עם 60.3%, Gemini 4 Neon במקום השלישי עם 59.8%, ו-Claude Opus 5.5 במקום החמישי לפי ציון עם 55.6% בעודו מוביל את כל התחום במעברים מלאים עם 35.4%, שהם שבעה־עשר מתוך ארבעים ושמונה. Gemini 4 Argon מסיים במקום התשיעי עם ממוצע של 46.9% ו-16.7% מעבר. אלה המספרים. מה שהשרשור לא נותן לך הוא הדבר שקובע אם יש להם משמעות: שמה של חברת הסטארט־אפ שהריצה את ההערכה, ודף מתודולוגיה שאפשר לקרוא.

הפער הזה ראוי לשם לפני כל דבר אחר, משום שהוא ההבדל בין לוח מובילים לבין בנצ׳מרק. הפוסט מתאר חברה בתמיכת Y Combinator ומקשר רק לגרפיקה המצורפת שלה; המקצר מפנה חזרה לתמונה, לא למאמר, למאגר GitHub או לדף תוצאות. אין סט משימות לבדיקה, אין קוד ציון לקרוא, ואין בסיס השוואה אנושי להשוות אליו. לכן כל מה שלהלן הוא קריאה של טבלה אחת שפורסמה והמשפט שמודפס מעליה, ויש לצטט אותו כך.

שום דבר מזה לא הופך את התוצאה להשקה. OpenAI שחררה את GPT-6.2 Astra ב-17 בנובמבר 2026, שלושה ימים לפני שהשרשור עלה, וזהו עוד לוח דירוג עצמאי שהמודל הופיע בו מאז. מה שחדש ב-20 בנובמבר הוא הלוח עצמו — Hospital-bench לא הופיע בפומבי לפני כן, ומערך של עשרים מודלים עם עשירייה מובילה שפורסמה הוא כמות גדולה של סיגנל שמגיעה בתמונה אחת. הסיבה שהוא ראוי לקריאה מדוקדקת ולא לחגיגת ניצחון היא ששתי העמודות שבו אינן מסכימות מי ניצח, והמחלוקת היא הדבר השימושי ביותר בעמוד.

מה Hospital-bench בעצם מודד

שורת המתודולוגיה בגרפיקה היא משפט אחד: "מדידת עד כמה סוכני AI מפעילים את הפעילות האדמיניסטרטיבית של בית חולים עם 320 מיטות על פני 13 מערכות מחוברות." השרשור ממלא עוד קצת. לסוכנים ניתנים 131 כלים הפרוסים על פני שלוש-עשרה המערכות האלה וארבעים ושמונה משימות הלקוחות מהמשרד האחורי של בית חולים ולא מהצד הקליני שלו — אישורים מוקדמים, תביעות שנדחו, בקשות לרשומות. אין אבחון, אין מיון, אין הדמיה. העבודה שנמדדת היא העבודה שמייצרת את הניירת שעליה מתנהל בית החולים ואת מאבקי מחזור ההכנסות שהוא מפסיד בהם.

הבחירה בתחום הזה עושה יותר כדי להסביר את צורתו של לוח התוצאות מכל טענה לגבי אינטליגנציה כללית. ניהול בית חולים הוא בעיית בחירת כלים לפני שהוא בעיית הסקה. אישור מוקדם הוא בדיקה מול כללי הפורמולרי של המשלם, טופס, הגשה, מעקב וערעור, וכל אחד מהשלבים האלה נמצא במערכת אחרת עם ממשק אחר. עם 131 כלים זמינים ו-48 משימות מרובות שלבים, סוכן צריך לאחזר את תת-הקבוצה הנכונה, לשמור על מצב המקרה עקבי בין סבבים, ולהימנע מהכשל המסוים שמאפיין את העבודה הזו: לבצע אחד עשר שלבים נכון ואז להגיש לתור הלא נכון. הערכה שנבנתה כך תפריד בין מודלים על בסיס אמינות הרבה לפני שהיא תפריד ביניהם על בסיס פיקחות, וזה בדיוק מה ששתי העמודות מראות.

זה גם אומר שהציונים אינם ניתנים להעברה לשום דבר אחר. מודל שמוביל את Hospital-bench הדגים משהו לגבי תהליכי עבודה אדמיניסטרטיביים המבוססים על כלים בהיקף רחב, וכלום בכלל לגבי השאלה אם הוא יכול לכתוב קוד, לעבור בחינה משפטית או לנהל שיחה. יש לקרוא את הלוח כהצהרה על סוכנים שמפעילים משטח כלים גדול תחת כללים פרוצדורליים. זו קטגוריית הערכה אמיתית ושאינה זוכה למענה מספק, והיא צרה יותר מ"מנהל בית חולים".

הלוח כפי שפורסם, מלמעלה למטה

הנה עשרת המובילים המלאים שפורסמו, כשהציון הממוצע ראשון ושיעור המעבר המלא שני:

• GPT-6.2 Astra — 62.4% ממוצע, 29.2% עברו (14 מתוך 48)

• Claude Fable 5.2 — 60.3% ממוצע, 29.2% עברו (14 מתוך 48)

• G​emini 4 Neon — 59.8% ממוצע, 31.3% עברו (15 מתוך 48)

• GPT-6.2 Sol — 57.6% בממוצע, 25.0% מעבר (12 מתוך 48)

• Claude Opus 5.5 — 55.6% ממוצע, 35.4% עוברים (17 מתוך 48)

• Muse Wonder — ממוצע 53.6%, שיעור מעבר 27.1% (13 מתוך 48)

• GPT-6.1 Sol — ממוצע 50.0%, 12.5% עוברים (6 מתוך 48)

• Claude Sonnet 5.5 — ממוצע 47.7%, 29.2% עברו (14 מתוך 48)

• Gemini 4 Argon — 46.9% ממוצע, 16.7% עברו (8 מתוך 48)

• GPT-6 Astra — ממוצע 46.7%, 8.3% עברו (4 מתוך 48)

The Hospital-bench leaderboard graphic attached to the 20 November 2026 X thread, headed 'Hospital-bench' with the methodology line 'Measuring how well AI agents run the administrative operations of a 320-bed hospital across 13 connected systems', labelled 'Top 10 of 20 models' with columns 'Mean score' and 'Pass rate'. Rows read GPT-6.2 Astra 62.4% / 29.2%, Claude Fable 5.2 60.3% / 29.2%, Gemini 4 Neon 59.8% / 31.3%, GPT-6.2 Sol 57.6% / 25.0%, Claude Opus 5.5 55.6% / 35.4%, Muse Wonder 53.6% / 27.1%, GPT-6.1 Sol 50.0% / 12.5%, Claude Sonnet 5.5 47.7% / 29.2%, Gemini 4 Argon 46.9% / 16.7% and GPT-6 Astra 46.7% / 8.3%, on an axis running 0% to 100%.

שתי עובדות מבניות לגבי הרשימה הזאת לפני כל פרשנות. הראשונה היא שהתחום כולל עשרים מודלים בעומק ורק עשרה מוצגים, כך שהמחצית התחתונה בלתי נראית — ובתחום שבו שיעור ההצלחה הוא העמודה המעניינת, המודלים שנכשלים בכל דבר הם אלה שיגידו לך כמה קשה הרצפה. השנייה היא שכל הפער מהמקום הראשון לעשירי הוא 15.7 נקודות של ציון ממוצע. בבנצ'מרק עם ארבעים ושמונה משימות וללא שונות שפורסמה, זה לא ראש רחב. זה אשכול עם מוביל בתוכו.

סדר הדורות הוא האות הנקי ביותר בטבלה, וזה שהכי פחות סביר להיות תוצר לוואי. GPT-6.2 Astra עם 62.4% נמצא 15.7 נקודות מעל GPT-6 Astra עם 46.7%, ושיעור ההצלחה עולה מ-8.3% ל-29.2% — זינוק פי 3.5 במשימות שהושלמו בצורה נקייה. GPT-6.2 Sol עם 57.6% נמצא 7.6 נקודות מעל GPT-6.1 Sol עם 50.0%, כאשר שיעור ההצלחה שלו מוכפל מ-12.5% ל-25.0%. יהיה אשר יהיה מה שהמבחן מודד, הוא מודד משהו שזז בין דורות, בשני קווי OpenAI, באותו כיוון, בעוצמה שנמצאת הרחק מעבר לשגיאת עיגול.

למה עמודת שיעור המעבר חשובה יותר

הציון הממוצע הוא הממוצע על פני כל ארבעים ושמונה המשימות עם ניקוד חלקי. שיעור ההצלחה הוא החלק של המשימות שהסוכן סיים באופן מלא. אלו מדידות שונות של דברים שונים, והפער ביניהן בלוח הזה עצום: GPT-6.2 Astra מגיע לממוצע של 62.4% אך משלים 29.2% מהמשימות, כלומר המשימה הממוצעת מקבלת ניקוד של כשני שלישים נכונים בעוד שפחות מאחת משלוש מושלמת. זהו הסימן המאפיין סוכן שמבצע נכון את רובו של תהליך עבודה ואז מאבד אותו בשלב מסוים.

במרבית מבחני הייחוס ההבחנה היא אקדמית. בניהול בית חולים היא כל המוצר. אישור מוקדם שנשלח עם הקודים הנכונים לתור המשלם הלא נכון מקבל ניקוד חלקי טוב ומייצר תביעה נדחית. בקשת רשומות שמרכיבה את סט המסמכים הנכון ומפספסת את הרשומה ביומן הגילויים היא ממצא אי-ציות. המשימות בתחום הזה בנויות כך שהשלב האחרון הוא זה שחשוב, כלומר עמודת שיעור המעבר קרובה יותר למדד של האם ניתן לסמוך על הסוכן עם תהליך העבודה מאשר ציון הממוצע, וזו העמודה שכמעט אף אחד לא ציטט.

זו גם העמודה עם התמיכה הסטטיסטית המועטה ביותר. ארבעים ושמונה משימות הן מכנה קטן. משימה אחת היא 2.08 נקודות אחוז של שיעור מעבר, ולכן ההפרש בין Claude Fable 5.2 ל-GPT-6.2 Astra — שניהם ב-29.2%, שניהם עם ארבע עשרה משימות — הוא אפס, וההפרש בין G​emini 4 Neon עם חמש עשרה משימות לשני המובילים עם ארבע עשרה הוא משימה אחת. שלושה מודלים מופרדים במשימה אחת מתוך ארבעים ושמונה. יש להתייחס לשלושת המובילים כשווים בהשלמה ומופרדים רק בממוצע, שבו הפערים הם 2.1 ו-0.5 נקודות ושבירים באותה מידה.

Opus 5.5 מסיים ראשון היכן שזה חשוב

Claude Opus 5.5 הוא המודל שהטבלה נבנתה כדי לחשוף. הוא מדורג חמישי בציון הממוצע עם 55.6% — 6.8 נקודות מאחורי המוביל, וזה לא קרוב — וראשון במעברים מלאים עם 35.4%, שבעה עשר מתוך ארבעים ושמונה, בפער של שלוש משימות מהמודל הבא. אף מודל אחר בלוח לא הופך כך את דירוגו. Claude Sonnet 5.5 עושה זאת במידה מתונה, שמיני בציון וחולק את המקום השלישי במעברים. Gemini 4 Argon עושה את ההפך, תשיעי בציון ותשיעי במעברים, וזה לפחות עקבי.

שלוש משימות אינן מרווח גדול, וכדאי לומר זאת בפשטות: שבעה עשר מול ארבעה עשר מתוך ארבעים ושמונה הוא הבדל שמשימה אחת דו-משמעותית יכולה למחוק, ולא מפורסם רווח סמך. אבל הכיוון עקבי בין שני מודלי Anthropic שעל הלוח, והוא מצביע על פשרה אמיתית. נראה ש-Opus 5.5 מקדיש יותר תורות ויותר קריאות לכלים בכל משימה כדי להגיע למצב מושלם, מה שמעלה את שיעור ההשלמה שלו ומגביל את הממוצע שלו. Astra מגיע לממוצע גבוה יותר עם פחות סיומים נקיים. אם אתם קונים סוכן עבור תהליך עבודה שבו תביעה שהושלמה למחצה גרועה מתביעה איטית, המודל במקום החמישי הוא הקנייה הטובה יותר, ושום דירוג לפי ציון ממוצע לא יגיד לכם זאת.

ישנה קריאה שנייה, פחות מחמיאה למדד. מודל יכול להעלות את שיעור ההצלחה שלו בכך שיימנע מלנסות משימות שסביר שייכשל בהן, או בכך שיסיים מוקדם עם תשובה חלקית שהמעריך מחשיב כשלמה. בלי הפלט ברמת המשימה — שהשרשור אינו מפרסם — אין דרך להבחין בין "מסיים יותר מהדברים שהוא מתחיל" לבין "מסיים פחות ממה שניתן לו". הטבלה תומכת בקריאה הראשונה. היא אינה יכולה לשלול את השנייה.

כמה עולים 131 כלים לכל משימה

Hospital-bench היא הערכה יקרה להרצה ויקרה להרצה חוזרת, והשרשור אינו מפרסם שום נתון עלות כלל. מאה שלושים ואחת הגדרות כלים הן פרומפט מערכת גדול לפני שהסוכן מבצע פעולה אחת; ארבעים ושמונה משימות רב-שלביות על פני עשרים מודלים הן כמות גדולה של טוקני קלט והרבה סבבים. כל עלות למשימה שתחשבו ממחירי טוקנים תהיה רצפה, לא אומדן, משום שהיא תפספס את האחזור, את הניסיונות החוזרים ואת קריאות הכלים שנכשלו שלולאה אג'נטית מייצרת מעצמה.

• ציון ממוצע — GPT-6.2 Astra 62.4% לעומת Gemini 4 Argon 46.9%

• שיעור מעבר מלא — Astra 29.2% לעומת Argon 16.7%

• מחיר קלט לכל 1M — Argon $2.00 לעומת Astra $8.00

• מחיר פלט ל-1M — Argon ‏$10.00 לעומת Astra ‏$40.00

• כלים בהיקף — 131, זהים עבור כל מודל בלוח

• עלות לכל משימה — לא פורסמה על ידי המעריך

A generated three-panel comparison card titled 'What the lead costs', with panels reading 'Mean score: Astra 62.4% vs Argon 46.9%', 'Full passes: Astra 14 of 48 vs Argon 8 of 48' and 'Price per 1M: Astra $8 in / $40 out vs Argon $2 in / $10 out', over a footer noting the evaluator publishes no cost per completed task.

השוו בין שני הבלוקים אלה מול אלה, והמספר המעניין אינו פער הממוצע של 15.5 נקודות. אלא שהעלות של Argon היא רבע מזו של Astra בשני הכיוונים, והוא משלים קצת יותר ממחצית ממספר המשימות בצורה נקייה, מה שמביא את שני המודלים לפער של עד פי שניים זה מזה בעלות למשימה שהושלמה, למרות פער מחירים של פי 4. זו הכרעה צמודה בהרבה ממה שלוח הדירוג מרמז, וזהו סוג החישוב שאפשר לעשות רק על עומס העבודה שלכם, כי היחס תלוי לחלוטין בתדירות שבה המשימות שלכם מסתיימות מוקדם.

זה המקום שבו שכבת ניתוב מצדיקה את מקומה ולא משמשת רק כקישוט. OrcaRouter מעבירה הלאה את מחיר המחירון של הספק במרווח של 0%, כך שה-$8 וה-$40 שלמעלה הם מה שאתם משלמים למיליון טוקנים, ולא תעריף ספק שעליו נערם מרווח פלטפורמה — ומכיוון שההעברה הלאה היא בזמן אמת, הורדת מחיר של ספק באחד משני המודלים מופיעה בחשבון שלכם באותו יום שבו היא מוכרזת. מעבר אוטומטי לגיבוי חשוב כאן יותר מאשר בעומס עבודה של צ'אט: קמפיין סוכני של ארבעים ושמונה משימות מול 131 כלים יגיע למגבלת קצב במקום כלשהו, ומסלול שעובר למודל השני במקום לגווע באמצע הריצה שווה יותר מנקודה של ציון ממוצע.

שווה לומר בבירור: GPT-6.2 Astra אינו בקטלוג שלנו נכון ל-20 בנובמבר. דגמי OpenAI שאנו מספקים הם GPT-6 Astra, שמשיג 46.7% ו-8.3% בלוח הזה, וקו GPT-6 Sol, שבו GPT-6.2 Sol רושם 57.6% ו-25.0%. Gemini 4 Argon ניתן לניתוב במחירים של $2 ו-$10. עד ש-Astra יהיה זמין כאן, הדגם בקטלוג שלנו הקרוב ביותר לראש הטבלה הזו הוא GPT-6.2 Sol, והדגם הזול ביותר שמנצח את הדור הקודם של OpenAI הוא Argon.

מה ישנה את הקריאה הזו?

ארבעה דברים, בערך לפי מידת ההשפעה שלהם על התמונה. הראשון הוא עמוד מתודולוגיה. בנצ'מרק שמפרסם את מערך המשימות שלו, את כללי הניקוד שלו ואת יומני ההרצה שלו אפשר להתווכח איתו; בנצ'מרק שמפרסם תמונת עשרת המובילים לא. המשפט הבודד שמעל הטבלה עושה עבודה עצומה, וכל טענה במאמר הזה כפופה לו.

הנקודה השנייה היא עשרת המודלים החסרים. עשרים נבחנו ועשרה הוצגו, ובתחום שבו ניקוד חלקי מנפח את הממוצע, המודלים בתחתית הם אלה שקובעים את כיול המשימה. אם המודל במקום האחד-עשר נמצא בממוצע של 45% ושיעור מעבר של 6%, הלוח הוא פרוס. אם הוא ב-44% וב-2%, הלוח הוא צוק, ועשרת המובילים הם המודלים היחידים שמסוגלים לבצע את העבודה בכלל.

השלישי הוא קו בסיס אנושי. Hospital-bench אינה מפרסמת נתון אנושי, ובלעדיו אין תשובה לשאלה היחידה שבאמת עומדת לקונה, והיא אם השלמה של 35.4% היא טובה. מומחה לחיוב רפואי עם אותם 131 כלים וארבעים ושמונה משימות היה נותן לטבלה קנה מידה. אין לה כזה.

הרביעי הוא ריצה שנייה. המודל בן ארבעה ימים וההערכה היא קמפיין יחיד, ולמבחני סוכן עם שרשראות כלים ארוכות יש שונות גדולה יותר בין ריצות מאשר להערכות חד-פעמיות — וזו בדיוק השונות שפער של 2.1 נקודות בין הראשון לשני לא יכול לספוג. אם אסטרה ו-Fable 5.2 יסתדרו באותו סדר שלוש פעמים, היתרון אמיתי. פעם אחת, זו רשומה בלוח המובילים.

מה ששורד את כל ארבע ההסתייגויות צר יותר מהמסגור של השרשור ומועיל יותר מדחייה. GPT-6.2 Astra הוא המודל הטוב ביותר שפורסם בבנצ'מרק לניהול סוכני של עשרים מודלים, בפער שנמצא בתוך הרעש במדד ההשלמות ומחוצה לו בממוצע. הקפיצה הבין-דורית היא החלק שקשה לתרץ — 15.7 נקודות של ציון ממוצע ושיפור פי 3.5 בהשלמות נקיות לעומת GPT-6 Astra, על לוח שאין לו סיבה להעדיף ספק אחד. זו תוצאה אמיתית לגבי עבודה ניהולית מבוססת כלים, שפורסמה על ידי מעריך שאיש עדיין לא יכול לבדוק, ארבעה ימים אחרי שהמודל הושק. שני החצאים של המשפט הזה שייכים לאותה נשימה.

A generated single-column scoreboard titled 'Hospital-bench, top of the board' with six rows reading 'GPT-6.2 Astra 62.4% mean / 29.2% pass', 'Claude Fable 5.2 60.3% / 29.2%', 'Gemini 4 Neon 59.8% / 31.3%', 'GPT-6.2 Sol 57.6% / 25.0%', 'Claude Opus 5.5 55.6% / 35.4%' and 'Gemini 4 Argon 46.9% / 16.7%', with column headers 'Mean score' and 'Pass rate' and the footer '48 tasks, 20 models evaluated, top 10 published'.

השוואות במאמר הזה1

זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית