
GPT-6.2 Astra בראש טבלת התוצאות של הרובוט SO-101: 22% הצלחה
- OrcaחדשOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 לכל 1M טוקנים · 184 tok/s
- tencentחדשTencent: Hy4 Flash2026-11-16$0.02 / $0.07 לכל 1M טוקנים · 494 tok/s
- AlibabaחדשQwen: Qwen4 Max2026-11-16$1.50 / $4.50 לכל 1M טוקנים · 385 tok/s
- GoogleחדשGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 לכל 1M טוקנים · 94 tok/s
- AnthropicחדשAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 לכל 1M טוקנים · 290 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 לכל 1M טוקנים · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 לכל 1M טוקנים · 132 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 לכל 1M טוקנים · 86 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 לכל 1M טוקנים · 122 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 לכל 1M טוקנים · 104 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 לכל 1M טוקנים · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 89 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 לכל 1M טוקנים · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447אינטליגנציה
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 לכל 1M טוקנים · 215 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929אינטליגנציה
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 לכל 1M טוקנים · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733אינטליגנציה
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 לכל 1M טוקנים · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740אינטליגנציה
לטבלת המובילים SO-ARM101 של RoboColosseum יש מקום ראשון חדש, והדבר שיושב בו אינו מדיניות רובוט. GPT-6.2 Astra נרשם ב-1,984 בסולם DCR של האתר, עם Claude Fable 5.2 במקום השני ב-1,803, Claude Opus 5.5 במקום השלישי ב-1,666, הצ'קפוינט הטוב ביותר מסוג vision-language-action שעבר כיוונון עדין — pi0.5 של Physical Intelligence — במקום הרביעי ב-1,526, והדור הקודם, GPT-6 Astra, במקום החמישי ב-1,393. OpenAI שחררה את GPT-6.2 Astra ב-17 בנובמבר 2026; הדירוג חושב ב-20 בנובמבר בשעה 19:46 UTC, וגרג ברוקמן הפיץ אותו ב-X בבוקר שלמחרת. זה כל תוכן ההודעה. מה שהציטוט אינו כולל הוא שאר השורה: שיעור הצלחה של 22% במשימה מלאה, יתרון שהטבלה מסמנת כנמצא בתוך מרווחי השגיאה, ומדגם של 122 השוואות עיוורות שנעשו בסצנות שהמודל מעולם לא ראה.
קראו את הדירוג כתוצאה — ותפרשו אותו לא נכון. קראו אותו כתמונת מצב של הערכה שעדיין נאספת, על הזול והפחות מנוצל מבין שלושת לוחות הרובוט העיקריים של הפרויקט, והוא אומר משהו שימושי יותר — על כמה מהר מודל רב-שימושי סוגר פער שמדיניות מניפולציה מתמחות בנו במשך שנה, וכמה מעט מהפער הזה המדגם הנוכחי באמת יכול לאשר.
מה RoboColosseum מודד, ומה הוא לא מודד

RoboColosseum הוא מסגרת הערכה מבוזרת ולא מעבדה. המאמר שמאחוריה, arXiv 2611.02497, פורסם ב-2 בנובמבר 2026 על ידי קבוצה הכוללת את NUS MAGIC Lab, Hugging Face, EAIC Singapore ו-BitRobot; רשימת המחברים כוללת את Dieter Fox, Siddhartha Srinivasa, Thomas Wolf, Harold Soh ו-David Hsu. ההנחה היא שאי אפשר להעריך מדיניות רובוטים (robot policies) ממחשב נייד, ולכן הפרויקט מריץ אותן על חומרה אמיתית שמופעלת על ידי שותפים ב-124 אתרים במחקר הראשוני שלו, על פני 194 סצנות ו-8,237 הוראות נפרדות שנכתבו במקום על ידי מעריך. כל ריצה (rollout) מפורסמת ב-Hugging Face בפורמט LeRobot, כולל כשלים.
המדד הוא המקום שבו רוב הסיקור טועה, ולכן כדאי לומר זאת בפשטות. האתר שומר שתי רשומות לכל מדיניות: רשומת W/T/L מהשוואות זוגיות עיוורות, שבהן מעריך אנושי צופה בשתי הרצות של אותה הוראה באותו סצנה ובוחר את הטובה יותר או קובע תיקו; ודירוג DCR, אשר נאמד מתוך תוצאות הצלחה במשימה מלאה לאחר כיול לפי מידת הקושי של כל משימה כפי שהתבררה. לוח הדירוגים אומר זאת בעצמו, במשפט שלא נכנס לאף ציוץ על התוצאה: DCR הוא „דירוג Rasch מכויל לפי קושי (DCR) (בסקאלת Elo); אין לפרש אותו כדירוג Elo המתקבל mediante עדכוני Elo עוקבים.”
ההבחנה הזו אינה קפדנות יתר. מספר Elo משתנה בכל פעם שמשחק משוחק; אומדן Rasch הוא התאמה משותפת של יכולת המדיניות וקושי המשימה, והוא משתנה כאשר אחד משני הצדדים של אותה התאמה משתנה. דיווח על לוח SO-101 כ"דירוגי Elo" — כפי שהתוצאה תוארה ב-X — לוקח אומדן פוסטריורי ומלביש אותו כלוח תוצאות מתעדכן. השניים נראים דומים בגרף, וזו בדיוק הסיבה שהבלבול ממשיך להתקיים. DCR גם דורש לפחות 20 השוואות כשירות לפני שמדיניות מדורגת בכלל, והוא במכוון אינו משתמש ברשומת ניצחונות-הפסדים-תיקו: שתי מדיניות יכולות להיות בעלות שורות W/T/L שונות מאוד ועדיין להיות מופרדות על ידי ההתאמה המבוססת על הצלחה. זכור זאת כאשר המספרים שלמטה נראים כסותרים זה את זה.
הלוח, מלמעלה למטה

ה-SO-ARM101 היא הזרוע בקוד פתוח, המודפסת בתלת-ממד, ממערכת האקוסיסטם של LeRobot — זו שהמאמר מתאר ככזו שתוכננה להיבנות מחדש באופן זהה במקומות שונים, כך שניתן יהיה לשחזר במעבדה במקום אחר תוצאה שנאספה בסינגפור. עשר מדיניות מדורגות עליו. נכון לרענון של 20 בנובמבר:
• GPT-6.2 Astra — 1,984, 122 השוואות, 95 ניצחונות / 18 תיקו / 9 הפסדים, 27 הצלחות מלאות
• Claude Fable 5.2 — 1,803, 112 השוואות, 62 / 23 / 27, 21 הצלחות
• Claude Opus 5.5 — 1,666, 187 השוואות, 98 / 57 / 32, 9 הצלחות
• pi0.5 — 1,526, 194 השוואות, 66 / 57 / 71, 9 הצלחות
• GPT-6 Astra — 1,393, 183 השוואות, 75 / 62 / 46, 5 הצלחות
• Grok 4.7 — 1,366, 181 השוואות, 37 / 79 / 65, 4 הצלחות
• LingBot-MolmoAct2 — 1,259, 214 השוואות, 42 / 92 / 80, 5 הצלחות
• GR00T N1.7 — 1,233, 219 השוואות, 31 / 92 / 96, 3 הצלחות
• MolmoAct2 — 1,122, 216 השוואות, 40 / 83 / 93, 3 הצלחות
• G0.5 — 1,095, 207 השוואות, 18 / 94 / 95, הצלחה אחת
שני דברים עולים מיד מהרשימה הזו. הראשון הוא ששלושת המקומות הראשונים הם כולם מודלי שפה בחזית הפיתוח שמונעים דרך רתמת קידוד, ולא מדיניות מניפולציה שעברה כיוונון עדין; ה-VLA המתמחה הטוב ביותר, pi0.5, נמצא במקום הרביעי. השני הוא של-Claude Opus 5.5 יש את מספר הניצחונות המוחלטים הגבוה ביותר בלוח — 98, שלושה יותר מ-Astra — והוא מסיים שלישי, משום שיש לו גם 57 תיקו ורק תשע הצלחות מלאות. השורה של Astra היא ההיפך: פחות השוואות, הרבה פחות תיקו, ופי שלושה משימות שהושלמו. יהיה מה שהרנס עושה, הוא ממיר התקדמות חלקית להרצות מוגמרות, וזה מה ש-DCR נועד לתגמל.
עשרים ושניים אחוז הוא המספר
עשרים ושבע הצלחות מתוך 122 השוואות הן 22.1%. זהו שיעור ההצלחה הגבוה ביותר במשימה מלאה בלוח SO-ARM101, והוא אומר שבערך ארבע מתוך חמש ניסיונות אינם משלימים את ההוראה. המשימות אינן אקזוטיות — ההרצות שפורסמו כוללות "הנח את הכוס בתוך המחבת", "הרם את הקופסה הצהובה והנח אותה על הצלחת", "סובב את הטוש ב-90 מעלות בכיוון השעון", "גע בעט הכחול", ו"הרם את המזלג, ואז הרם את הסכין". הסצנות הן שולחנות רגילים: NUS COM3, שולחן בחוץ על מרפסת, מקום מחוץ ל-MAGIC Lab.
העובדה שמוביל נכשל בארבעה מתוך חמישה ניסיונות היא ההקשר החשוב ביותר לכותרת, והיא עולה בקנה אחד עם כל מה שהפרויקט פרסם. המאמר מנובמבר מדווח כי בשש קטגוריות המניפולציה שלו, "אף מערכת שנבחנה אינה עוברת 13% הצלחה באף קטגוריה", וכי MolmoAct2, מודל ה-VLA החזק ביותר לפי ציון ההשוואה הצפוי, הגיע רק ל-58% עד 77% במדד היחסי, בעוד שיעורי ההצלחה המוחלטים שלו נעו בין 6% ל-13%. הלוח שאתם מסתכלים עליו אינו לוח של רובוטים שמסוגלים לבצע את המשימה. זהו לוח של מערכות שמשתפרות בלהימנע מלהיכשל לחלוטין.
שיעור ההצלחה הוא גם הנתון היחיד בשורה שלא ניתן לנפח באמצעות המדד. דירוג DCR תלוי בכיול הקושי, שתלוי באופן שבו ההתאמה מאגדת משימות לרוחב מדיניויות; ספירת הצלחות אינה תלויה בכך. עשרים ושבע זה עשרים ושבע. אם ברצונכם להשוות את GPT-6.2 Astra לכל דבר ברשימה הזו בלי להתווכח על מודלי Rasch, השוו 27 ל-21 ל-9 ל-5.
היתרון נמצא בתוך פסי השגיאה
RoboColosseum מציג סטיית תקן פוסטריורית של ±1 סביב כל דירוג, ומציין באותה שורה שה"יתרון על פני #2" של המוביל, +181 נקודות, נמצא "בתוך פסי השגיאה". זהו הסיכום של האתר עצמו את תוצאתו, מודפס לצד המספר ולא קבור מתחתיו.
הציבו את רצועות ±1 סטיית התקן זו לצד זו, והזהירות מובנת. הטווח של Astra נע מכ-1,888 ל-2,080; זה של Claude Fable 5.2 מכ-1,712 ל-1,894. הם חופפים בחלון של כמה נקודות סביב 1,890, והפער של 181 נקודות בין שתי ההערכות הוא כ-1.4 סטיות תקן משולבות — פחות ממה שדרוש כדי לקרוא לזה יתרון ולא שובר שוויון. 122 ההשוואות של Astra מספיקות כדי לדרג אותה ראשונה, אך לא מספיקות כדי לומר בביטחון שהיא טובה מהמודל שבמקום השני. הפער בין המקום הראשון לשלישי רחב ונקי יותר — 1,984 לעומת 1,666 — אבל זו גם השוואה בין מודל עם 122 השוואות למודל עם 187, בלוח שבו לכל מדיניות אחרת יש יותר דגימות מאשר למוביל.
זה אינו פגם ייחודי לתוצאה. כך נראה לוח עם 1,017 השוואות. לשם השוואה, בלוח Franka של אותו פרויקט יש 5,643 השוואות ובלוח Bimanual-YAM 4,517; SO-ARM101 הוא הדק מבין השלושה פי כחמישה בערך, עם 78 סצנות ו-70.3 שעות רובוט מאחוריו. מצטרף חדש יכול להגיע למקום הראשון כאן מהר יותר מאשר בכל לוח אחר בקבוצה. זו תכונה של הלוח, לא של המודל, והיא תמשיך להיות נכונה בפעם הבאה שמודל יושק.
למה מודל שפה נמצא על לוח של רובוט
העובדה המבנית המעניינת ביותר בלוח המובילים הזה היא שהוא מערבב שני סוגי מערכות שבדרך כלל מוחזקים בנפרד. חמישה מבין עשרת המדיניויות הם צ'קפוינטים של vision-language-action — pi0.5, GR00T N1.7, MolmoAct2, LingBot-MolmoAct2, G0.5 — שאומנו על נתוני רובוט, ובמסלול הכוונון העדין (Fine-tune Track) עוברים כוונון עדין על 100 הדגמות לכל משימה. חמשת האחרים הם סוכני חזית: GPT-6.2 Astra, GPT-6 Astra, Claude Fable 5.2, Claude Opus 5.5 ו-Grok 4.7, שכל אחד מהם מחובר דרך מערך הגשה (serving rig) ומושאר לכתוב את קוד התנועה בעצמו. המאמר מנסח זאת ישירות: סוכני חזית "משתתפים אך ורק במסלול הפתוח", בעוד שמודלי VLA משתמשים בצ'קפוינטים ייעודיים לכל גוף (embodiment).
העיצוב הזה הוא הסיבה לכך שהתוצאה בכלל מובנת, ולכך שאין לקרוא אותה כטענה לגבי מודלים לרובוטיקה. GPT-6.2 Astra לא אומן על מסלולי SO-101. הוא לא כוונן בכוונון עדין על המשימות. מבקשים ממנו להסתכל על הזנות מצלמה, להסיק לגבי שולחן, ולפלוט פקודות תנועה, וזהו מבחן של יכולת כללית המיושמת על לולאה פיזית ולא מבחן של מיומנות מניפולציה. העובדה שזה גובר על מדיניות שאומנה במיוחד עבור הזרוע היא הסיפור; שיעור ההצלחה של 22% הוא המחיר של לעשות את זה בדרך הזו.
בדיקת ההשוואה בין-המימושים של המאמר עצמו היא התיקון. דירוגי המדיניות מצביעים על „התאמה חלשה בין חבילות משימות ייעודיות למימוש”, עם W של קנדל בגובה 0.24 — שקרוב לחוסר התאמה מוחלט. π0.5 מדורג ראשון ב-Franka וב-Bimanual-YAM ורביעי ב-G1 humanoid; GR00T N1.7 מוביל ב-SO-ARM101 לאחר כוונון עדין ומסיים רביעי בשתי האחרות. מספר שנצבר על זרוע אחת אינו מועבר, ו-GPT-6.2 Astra הורץ רק על זו. הוא נעדר לחלוטין מלוח Franka, שבו הדור הקודם, GPT-6 Astra, מוביל כיום עם 1,915.
יום אחד, 122 השוואות
הפוסט שהתחיל את זה אומר שהמודל עבר "מאות השוואות ראש-בראש בשטח" ב"יום אחד בלבד". הלוח מזכה את GPT-6.2 Astra ב-122. שני המספרים יכולים להיות נכונים — הזירה מריצה השוואות על פני כל מדיניות שנמצאת בה, והתפוקה היומית מגיעה בהחלט למאות — אבל רק אחד מהם הוא המדגם שעומד מאחורי 1,984, והוא הקטן יותר.
כדאי לקבוע את ציר הזמן במדויק, כי "יום אחד" עושה כאן עבודה רטורית. OpenAI השיקה את GPT-6.2 Astra ב-17 בנובמבר. הדירוג בלוח SO-ARM101 נושא חתימת זמן חישוב של 20 בנובמבר, 19:46 UTC, וההשוואה האחרונה בזירה נרשמה באותו בוקר ב-09:49 UTC. כלומר, 122 ההשוואות הצטברו במשך כשלושה ימים של לוח חי, ולא במשך עשרים וארבע שעות של ריצה ייעודית. האתר מתרענן מדי שעה, וזה אומר שהמספר שאתם רואים הוא הערכה נעה ולא תוצאה סופית — וזה אומר ששינוי דירוג של מקום או שניים הוא בהחלט במסגרת מה שהרענון הבא יכול להניב.
שום דבר מזה לא הופך את התוצאה לשגויה. זה הופך אותה לזמנית באופן ספציפי וניתן לבדיקה: הכיוון ברור, הגודל עדיין לא נקבע, וכל מי שמצטט 1,984 ככמות קבועה מצטט התאמה שתשתנה.
כמה עולה הדרגה

כאן הרעש הופך להחלטת רכישה ולא להערת שוליים מתודולוגית. בלוח SO-ARM101, שני הדגמים המובילים רשומים באותו מחיר. GPT-6.2 Astra עולה $8 למיליון טוקני קלט ו-$40 למיליון טוקני פלט; Claude Fable 5.2 עולה $8 ו-$40; GPT-6 Astra, שלושה מקומות למטה, עולה $10 ו-$50. Claude Opus 5.5, במקום השלישי, עולה $4 ו-$20 — חצי ממחיר הקלט של Astra וחצי ממחיר הפלט שלה — ו-pi0.5, המדיניות המתמחה הטובה ביותר בלוח, היא בעלת משקולות פתוחות וניתנת להפעלה בחינם על החומרה שלך.
• דירוג 1 — GPT-6.2 Astra, 1,984 DCR, 8$ קלט / 40$ פלט למיליון טוקנים
• דירוג 2 — Claude Fable 5.2, 1,803 DCR, $8 / $40
• מקום 3 — Claude Opus 5.5, 1,666 DCR, $4 / $20
• דירוג 4 — pi0.5, 1,526 DCR, משקלים פתוחים
• דירוג 5 — GPT-6 Astra, 1,393 DCR, $10 / $50
אם קוראים את זה כעקומת עלות, הדירוג מפסיק להיות החלק המעניין. מעבר מהמקום השלישי לראשון מכפיל את העלות לכל טוקן וקונה יתרון שלוח התוצאות עצמו אומר שהוא בתוך מרווחי השגיאה. מעבר מהמקום החמישי לראשון חוסך 20% ומשיג 591 נקודות DCR, שזו הקפיצה הגדולה ביותר מדור לדור בלוח — אבל זה גם אומר שהדור הקודם הוא כעת האפשרות היקרה יותר, סוג של היפוך שמתגלה רק כשמסתכלים על עמודת המחיר שלצד הדירוג.
בכל דבר שרץ בלולאה, החשבון הזה מצטבר. ריצת מניפולציה אינה בקשה אחת; היא רצף ארוך של קריאות, שרובן נושאות פריימים ממצלמה ותמלול גדל, ומחיר לכל טוקן מוכפל בכל שלב. מודל שמסיים 22% מהמשימות ועולה $8 למיליון טוקני קלט הוא רכישה אחרת ממודל שמסיים 5% ועולה $10, וההבדל כלל אינו נראה בלוח המובילים.
GPT-6.2 Astra עדיין לא נמצא בקטלוג של OrcaRouter, כך שהתשובה הכנה לכל מי שרוצה לפנות אליו היא ה-API של הספק עצמו. מה שכן נמצא בקטלוג הוא שאר העמודה הזו: GPT-6 Astra ב-10$ וב-50$, GPT-6.1 Sol ב-2$ וב-10$, ו-Claude Opus 5.5 ב-4$ וב-20$, הכול בתוספת של 0% למחיר המחירון של הספק, וזו הסיבה שהורדת מחיר של ספק מגיעה לצד שלנו באותו יום שבו היא מגיעה לצד שלהם. הרצת אותה משימה על שלושה מהם והשוואת ריצות מוגמרות היא הניסוי הזול ביותר בעמוד הזה, וזה מה שלוח המובילים מבקש שתעשה ולא מה שהוא מדווח עליו.
מה היה משנה את פסק הדין
שלושה דברים יהפכו מקום ראשון זמני לקבוע, וכל השלושה ניתנים לצפייה.
הראשון הוא מדגם. SO-ARM101 זקוק לכמה מאות השוואות לכל מדיניות לפני שהמרווחים שלו מצטמצמים לרוחב של לוח Franka. הרצועה של GPT-6.2 Astra רחבה 376 נקודות ברמת מהימנות של 95%; המוביל של Franka, GPT-6 Astra מהדור הקודם, נמצא ברצועה ברוחב של כ-185 נקודות על 194 השוואות. כאשר המדגם של Astra בערך יוכפל, השאלה אם הוא באמת מקדים את Claude Fable 5.2 עונה על עצמה.
השני הוא מימוש שני. מודל שמוביל בזרוע אחת ומעולם לא הורץ על זרוע אחרת הוא נקודת נתונים, לא טענת יכולת, וה-Kendall's W של 0.24 במאמר הוא ההודאה של הפרויקט עצמו שהדירוגים אינם עוברים. אם GPT-6.2 Astra יופיע בלוח Franka או Bimanual-YAM בדירוג דומה, תוצאת SO-101 תחדל להיות ארטיפקט של לוח דק.
השלישי הוא ה-Fine-tune Track. המאמר מדווח שלאחר כיוונון עדין על 100 הדגמות לכל משימה, GR00T N1.7 מוביל על SO-101 — ו-GR00T N1.7 נמצא כיום במקום השמיני בלוח הפתוח עם 1.37% הצלחה ו-219 השוואות. זו השורה השימושית ביותר בכל מערך הנתונים: המדיניות שמנצחת כשכולם מקבלים את אותן הדגמות נמצאת קרוב לתחתית כשאף אחד לא מקבל אותן, והסוכן החזיתי שמנצח במסלול הפתוח הוא לא זה שאף אחד היה בוחר לפרוס. שתי שאלות שונות, שני מנצחים שונים, ורק אחד מהם הוא מה שצוות רובוטיקה באמת צריך לענות עליו לפני שהוא משגר.
עד אז, הסיכום ההוגן של 20 בנובמבר הוא צר וכדאי לנסח אותו במדויק. מודל למטרות כלליות, בן ארבעה ימים, הגיע לראש טבלת מובילים של רובוטים אמיתיים בכך שהשלים 22% מהמשימות שלו, על בסיס 122 השוואות עיוורות, מול קבוצה הכוללת את המדיניות המקצועיות שנבנו עבור הזרוע הזו — והאתר שפרסם את הדירוג הוא הראשון לומר שההובלה נמצאת בתוך הרעש.
השוואות במאמר הזה1
זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית
