Gemini 4 Carbon שבר את זרוע הרובוט: מה אומרת הרצת מעבדה של 7 שעות ו-33 דקות לפני שהציון קיים

אין עדיין ציון. זה הדבר הראשון שצריך להבין לגבי תוצאת הרובוטיקה של Gemini 4 Carbon, וכמעט כל השאר בקטע הזה נובע מכך. מה שקיים, נכון ל-13 בנובמבר 2026, הוא פוסט בודד של Artificial Analysis מ-12 בנובמבר, שלפיו Gemini 4 Carbon בילה 7 שעות ו-33 דקות בתוך מעבדת AA-Robotics v0.1, ״כשהוא הכה בזרוע כל כך הרבה עד ששבר תפסן,״ בתוספת הערה שהמעבדה אפשרה לו ניסיון חוזר באותו ניסיון. טבלת הדירוג של חמשת המודלים שפורסמה ב-14 באוקטובר עדיין מפרטת את אותן חמש שורות שפורטו אז — GPT-6 Astra 69.4, GPT-6.1 Sol 64.6, Gemini 4 Argon 55.3, Claude Opus 5.5 48.8, Claude Fable 5.1 46.3 — ו-Carbon אינו ביניהן. אין נתון מצרפי, אין פירוט לפי משימה, אין שיעור אחיזה, אין חשבון.

אז התייחסו לזה כאל אות מוקדם ולא כתוצאה: משך זמן, תקלת חומרה וניסיון חוזר אחד, מהמעבדה שמחזיקה במדד, שפורסמו לפני שהטבלה שלה עודכנה. כל מה שלמטה מזה שחורג משלוש העובדות האלה הוא הסקה, ומסומן ככזה. הסיבה שזה עדיין שווה קריאה עכשיו היא ש-Gemini 4 Argon, קודמו של Carbon, הוא המודל האיטי ביותר במעבדה הזו בפער גדול, ו-7 שעות ו-33 דקות נופלות כמעט בדיוק על המספר של Argon — מה שהופך את משך הזמן לקריא גם בלי ציון.

המספר הציבורי היחיד הוא שעון

Artificial Analysis מתארת את AA-Robotics כמערכת שמודדת "עד כמה מודלי שפה מבינים, מתכננים ופועלים בעולם הפיזי באמצעות שליטה בזרוע רובוטית". המערך הוא Hiwonder NexArm בעל 6 צירים עם חמישה מפרקים ומלקחיים, שנצפה על ידי ארבע מצלמות — שלוש על השולחן ואחת על פרק היד — לאורך שמונה משימות על השולחן: ללחוץ על כפתור אדום, להכניס צעצוע תנין לתוך מלבן, למזוג משקה לכוס, לסדר קוביות בקופסה כולל המכסה שלה, להשלים לוח התאמת צורות, לכתוב "hello world", לבנות את מגדל הקצף הגבוה ביותר, ולמדוד קופסה בדיוק של עד 2 מ״מ בכל מימד. הניסיונות הם zero-shot, וכל אחד מדורג מ-0 עד 100 עם ניקוד חלקי. המודלים מוכנסים דרך רתמות הקידוד הייעודיות שלהם ברמת מאמץ גבוהה — Codex עבור מודלי GPT, Claude Code עבור Claude, Antigravity עבור Gemini — ועליהם לכתוב בעצמם את קוד ה-Python שמתכנן ומבצע את התנועה.

לעומת זאת, נקודת הנתונים של Carbon דקה בכוונה. שבע שעות ושלושים ושלוש דקות הן 453 דקות. לא מצוין אם זה מכסה את כל שמונה המשימות, אם זה כולל את הניסיון החוזר, או מה עלות ההרצה. כל מי שמצטט את זה כנתון ביצועים קורא שעון עצר כמו לוח תוצאות.

מה שכן נאמר בו, באופן חד-משמעי, הוא ש-Carbon הועבר במעבדה והציוד לא שרד בשלמותו. הפרסום של הבנצ'מרק עצמו מתעד עשרות מצבי כשל — אחיזות ריקות, בקבוקים שנפלו, קוביות שהוסטו מהשולחן, עט שנבחן על הדף עצמו — ואף לא אחד מהם הוא גריפר שבור. הרס חומרה הוא קטגוריה שהמאמר מאוקטובר מעולם לא נדרש לתאר, משום שאף אחד מחמשת הדגמים בו לא הניב אחד כזה.

שבע שעות ושלושים ושלוש דקות, בהשוואה ל-Argon

קו הבסיס חשוב כאן יותר מהרגיל, משום שההשוואה נקייה באופן יוצא דופן. Artificial Analysis פרסמה זמני ריצה מצטברים לכל אחד מחמשת הדגמים של אוקטובר: GPT-6 Astra‏ 242 דקות, GPT-6.1 Sol‏ 224, Claude Opus 5.5‏ 253, Claude Fable 5.1‏ 249, ו-Gemini 4 Argon‏ 419. 453 הדקות של Carbon נמצאות 34 דקות מעל Argon — כ-8% יותר — וכ-200 דקות מעל ארבעת הדגמים שאינם של Gemini, המתקבצים בטווח של 224 עד 253 דקות.

• קצב לכל משימה, אם הסשן כיסה את כל שמונה המשימות — Carbon כ-56.6 דקות למשימה לעומת 52.4 של Argon, 30.3 של Astra ו-28 של Sol.

• לעומת אדם — AA מציב אנשים בכ-20 שניות למשימה, כך ש-453 דקות על פני שמונה משימות איטיות יותר פי 170 בערך מאדם שעושה את אותה עבודת שולחן.

• החלק מזמן השעון שהוקדש לתכנון — החלוקה של Argon הייתה 42% הבנה, 45% תכנון, 6% מצלמות, 6% זרוע. Astra ו-Sol הפכו את זה, והקדישו 13% מהריצה לתנועת זרוע ממשית ואת הרוב לתכנון.

השורה האחרונה היא המקום שבו הגריפר השבור הופך למעניין ולא למצחיק. בנתוני אוקטובר, שני המודלים בעלי הניקוד הגבוה ביותר (Astra עם 69.4 ו-Sol עם 64.6) בילו הכי מעט זמן בהבנת הסצנה והכי הרבה זמן בתכנון; Argon, האיטי ביותר והשלישי בטיבו, בילה 42% מהריצה שלו רק בהסתכלות. מודל שמתלבט זמן רב יותר ואז מזיק לחומרה אינו מציג את אותו כשל שתיארה קיר הטעויות של אוקטובר. הקיר מלא במודלים שטעו להעריך מצב — "מדווח שהמכסה מפולסת ומיושרת כשהיא מונחת על טריז", "מחשיב משושה צהוב נטוי ככזה שהוצב." אלה שגיאות תפיסה והערכה עצמית. ריסוק זרוע עד שהגריפר נשבר הוא שגיאת סמכות פקודה: המודל ביקש מהחומרה משהו שהחומרה לא יכלה לעמוד בו. אם Carbon עשה זאת על ידי נהיגה לתוך מגבלת התנגשות, הפעלת מומנט יתר על אחיזה, או פשוט חזרה על תנועה שכבר נאמר לו שנכשלה, AA לא מסרה, והקליפ בן 11 השניות המצורף לפוסט לא מכריע זאת.

הניסיון החוזר הוא השאלה המתודולוגית, לא הערת שוליים.

"נתנו לזה ניסיון חוזר" הוא חצי המשפט המשמעותי ביותר בפוסט, והוא ראוי לבחינה מדוקדקת יותר מאשר הגריפר השבור. AA-Robotics מבוססת על ניסיונות zero-shot — הפרסום מאוקטובר אומר זאת במפורש, וכל הנקודה של מבחן פיזי zero-shot היא שהמודל מקבל ניסיון אחד, כפי שאדם היה מקבל. לאפשר ניסיון חוזר לאחר תקלת ציוד זה מוצדק: גריפר שנשבר הוא הבעיה של המעבדה, לא מדד לתכנון של המודל, ומתן ציון אפס לניסיון שנהרס היה מעניש את שבריריות המערכת.

אבל זה יוצר בעיית השוואה שהציון הסופי יצטרך להשיב עליה. אם בדיוק ניסיון אחד בוטל והורץ מחדש, המצטבר ניתן להשוואה לחמשת האחרים והניסיון החוזר הוא הערת שוליים. אם הניסיון החוזר ניתן יותר מפעם אחת, או רק במשימות שבהן Carbon כבר נכשל מסיבות בצד המודל, למספר שיינחת על לוח המובילים לא תהיה אותה משמעות כמו לחמשת המספרים האחרים. הדבר ההגון לחפש כשהטבלה מתעדכנת הוא שורה שמציינת כמה ניסיונות בוטלו, באיזו משימה ולפי איזה קריטריון — באותו אופן שבו הפוסט של אוקטובר תיעד שדגימת האחיזה של Argon הייתה n=75 לעומת n=95 של Astra.

ישנה בעיית מדידה שנייה, שקטה יותר. התזמונים של Argon בפרסום מאוקטובר הם הערכות מפורשות: Antigravity, רתמת ה-Gemini, אינה מוסיפה חותמות זמן לשלבים, ולכן AA ביצעה עבורם אינטרפולציה לפי טוקנים בין פקודות arm מתוזמנות. Carbon פועל באותה רתמה. אם נתון 7 השעות נמדד באותה שיטה, אין להשוותו ישירות לספירות הדקות שהפיקו Codex ו-Claude Code — ופער 34 הדקות לעומת Argon מצוי היטב בתוך הטעות ששיטת אינטרפולציה לפי טוקנים עשויה להכניס בריצה בת 453 דקות. זה לא הופך את משך הזמן לחסר משמעות. זה הופך את "Carbon איטי ב-8% מ-Argon" לטענה שהנתונים אינם תומכים בה, אף ש"ל-Carbon לקח זמן רב מאוד" הוא אמירה בטוחה.

מה שפרופיל הטקסט של Carbon ינבא

אין בכך שום דבר מפתיע לנוכח ההתנהגות שפורסמה של Carbon, שהיא החלק שאנו יכולים לבדוק באופן עצמאי. במדד v5 של Artificial Analysis המודל מקבל ציון 60, רביעי מתוך 78, והפרופיל שלו הוא של מודל הסקה מהורהר ומפורט ולא מהיר: 28.4 דקות למשימה לעומת חציון של 13.0 דקות, 72 אסימוני פלט בשנייה, 64.71 שניות לאסימון התשובה הראשון, ו-205 מיליון אסימוני פלט לאורך המדד — שתואר על ידי AA כ"מפורט מאוד" לעומת חציון של 72.8 מיליון. הוא גם עולה $5.48 לכל משימת מדד, ומדורג 59 מתוך 77 ביעילות עלות.

קראו את אלה יחד והתוצאה מהמעבדה מקבלת צורה לפני שהציון מגיע. מודל שמבלה דקה לפני האסימון הראשון שלו בהנחיית טקסט, פולט כמעט פי שלושה מהנפח החציוני, וכבר לקח 28 דקות למשימה במבחן סטטי — לא הולך להיות מהיר בלופ שבו כל שלב דורש קריאה של ארבעה זרמי מצלמה ואז כתיבת קוד תנועה. הנתון של 7 שעות הוא איך שפרופיל הטקסט של Carbon נראה כשהוא מחובר לזרוע רובוטית. אם השיקול הממושך הזה הניב תפעול טוב יותר — בדיוק זה מה שהציון החסר היה אומר לנו, והמלחציים השבורים הם לפחות עדות חלשה לכך שיותר חשיבה לא התרגמה לפעולה עדינה יותר.

מה העלות של ריצה כזו, ולמה לוח השנה חשוב

העלות לכל משימה היא המספר ש-AA לא פרסמה עבור Carbon, וניחוש שלו יהיה חסר ערך כי הפער הקיים עצום: ריצה של 242 דקות של GPT-6 Astra עלתה $16.36 לכל משימה, וזו של GPT-6.1 Sol עלתה $1.93 — פער של פי 8.5 בין שני מודלים מאותו ספק שמבצעים את אותן שמונה משימות. לאורך שמונה משימות זה בערך $131 לעומת $15. כ-70% מההוצאה הוקדשה לקלט ולהקשר ולא לפלט, וזה מה שארבעה הזנות מצלמה ותמלול גדל עושים לחשבון הטוקנים. Carbon מפורטת יותר משניהם בטקסט, כך שאם כבר, המספר לכל משימה שלה אמור להיות גבוה — אבל זו תחזית, לא נתון, והשימוש היחיד ההגון בה הוא כטווח תקצוב ולא כהצעת מחיר.

היומן הוא החלק שאפשר לפעול לפיו. המחיר של Carbon הוא $2 למיליון טוקני קלט ו-$10 למיליון טוקני פלט עד 30 בנובמבר 2026; ב-1 בדצמבר הם יהפכו ל-$4 ול-$20 כשהמודל ללא שינוי. קלט שמור במטמון עובר מ-$0.10 ל-$0.20, batch ו-flex פועלים בחצי מהתעריף, ו-priority פי 1.8 מהסטנדרט. כל לופ סוכני ארוך מהסוג ש-AA הרגע הריץ הוא בעיקר הקשר שמור במטמון ופריימים חוזרים של מצלמה, מה שאומר שעומס עבודה בסגנון רובוטיקה הוא בדיוק הצורה שהכי נהנית מהתעריף הנוכחי והכי נפגעת אחריו. הרצה חוזרת של הניסוי הזה בדצמבר תעלה פי שניים ממה שהיא עולה השבוע.

איך לקרוא את המספר כשהוא נוחת

כאשר AA מעדכנת את הטבלה, שלושה דברים קובעים אם Carbon היא צעד קדימה או עוד Argon.

• הציון המצטבר מול 55.3 — הציון של Argon. מודל Gemini ברמה של קודמו או נמוך ממנו, גרסה אחת מאוחר יותר, יהפוך את סיפור הרובוטיקה של המשפחה לסיפור על השהיית harness ולא על יכולת.

• שיעור הצלחה באחיזה מול טווח 28–45%: Astra 45% (n=95), Fable 44% (n=89), Opus 40% (n=100), Argon 36% (n=75), Sol 28% (n=111). זהו המדד שהיה מזהה מודל ששובר גריפרים, מפני שפקודה שמזיקה לחומרה ואחיזה שמפספסת את האובייקט נובעות מאותו היעדר משוב כוח.

• הפרופיל לכל משימה, משימה אחר משימה. הפרופיל של Argon היה 100, 100, 100, 40, 0, 45, 57, 0 עבור כפתור, תנין, מזיגה, סידור, צורות, כתיבה, מגדל, מדידה. משימת מדידת הקופסה היא זו שאף אחד לא פותר: Astra 0, Argon 0, Fable 0, כשרק Sol ו-Opus עומדים על 17. סבילות של 2 מ״מ בשלושה ממדים היא משימת דיוק, ודיוק הוא המקום שבו מודל שמכה בזרוע אמור להתבלט לרעה ביותר.

יש גם שאלה הוגנת לגבי מה שהבנצ'מרק באמת מודד. Carbon רץ בתוך Antigravity במאמץ גבוה, כפי שעשה Argon. מפגש של 7.5 שעות הוא מבחן משותף של תכנון המודל ויכולת ה-harness לשמור על לולאה ארוכה קוהרנטית — ונתוני אוקטובר כבר הראו ארטיפקטים בצורת harness, מהפעולה הראשונה של Argon באורך 25 דקות ועד עשר דקות הלימוד של Fable לפני שנגע במשהו. התוצאה של Carbon תצוטט כמספר של מודל בכל מקרה. היא לפחות בחלקה מספר של לולאת סוכן.

אם אתה רוצה לשחזר את הניסוי במקום לחכות

הדבר השימושי בבנצ'מרק ציבורי עם מערך ציבורי הוא שהציון אינו הדרך היחידה ללמוד ממנו. Carbon זמין כעת לקריאה — Google הפכה את gemini-4-carbon לזמין באופן כללי ב-API בתשלום של Gemini ב-10 בנובמבר 2026, לאחר שהכריזה עליו בפני קבוצת מגני סייבר בגישה מוגבלת ב-28 באוקטובר — והוא נמצא ב-OrcaRouter בתור google/gemini-4-carbon בתעריף ההיכרות של Google עצמה, $2/$10, באותה נקודת קצה תואמת OpenAI כמו שאר יותר מ-200 המודלים במפתח. מכיוון שאנו מעבירים את מחיר המחירון של הספק הלאה עם 0% תוספת, התמחור מחדש של 1 בדצמבר נוחת אצלנו ביום שבו Google מחילה אותו, ולא לאחר מחזור מכירה חוזרת.

שתי הערות מעשיות לפני שמישהו מפנה מודל חדש לחומרה יקרה. ראשית, נקודת קצה בשבוע הראשון אינה נקודת קצה בייצור: הנתונים המצטברים שלנו עבור google/gemini-4-carbon מראים כעת שיעור שגיאות של 30.2% וזמן p50 של 6.89 שניות עד לאסימון הראשון במהלך שבעת הימים האחרונים, כפי שנמדד לאורך נתיב הספק שדרכו אנו מנתבים. זה נורמלי עבור מודל שנמצא שלושה ימים אחרי שהפך לזמין באופן כללי, וזו גם בדיוק הסיבה לכך שלא מקודדים נקודת קצה אחת באופן קשיח בתוך לולאה שרצה שבע שעות — מעבר אוטומטי בין ספקים הוא מה שמונע מסשן סוכני ארוך למות בשעה הרביעית. שנית, ה-DSL לניתוב מאפשר לך להשאיר מודל זול בלולאה עבור השלבים שאינם זקוקים ל-Carbon, וזה משנה כשמדובר ב-453 דקות: רוב אותו סשן הוקדש לקריאת פריימים ולתכנון מחדש, לא לקבלת החלטות קשות.

מה שישנה את הקריאה הזו הוא לא קליפ טוב יותר של הזרוע. הוא ש-AA תפרסם ציון שבו הניסיונות שנפסלו מתועדים, ושיעור אחיזה לצד חמשת האחרים. עד אז, הסיכום המדויק הוא צר: Gemini 4 Carbon הוא המודל הראשון במעבדה הזו שעלה למעבדה פריט חומרה, והוא ארך יותר מכל מה שהמעבדה מדדה מלבד קודמו, והניסיון החוזר שבא אחר כך הוא פרט שהמספר הסופי יצטרך לשאת. הפוסט מ-12 בנובמבר הוא נקודת נתונים אמיתית לגבי האופן שבו המודל הזה מתנהג כשהוא מקבל ידיים. הוא עדיין לא תוצאה לגבי כמה טוב הוא משתמש בהן.