GPT-6.1 Terra לסוכני דפדפן: המתמטיקה לכל צעד מאחורי 74.2%

המסר השיווקי של OpenAI עבור GPT-6.1 Terra אינו שהוא חכם יותר. אלא שהוא מסוגל להפעיל מסך — למלא טופס, לקרוא שרטוט טכני, ללחוץ דרך יישום — ולעשות זאת בזול ובמהירות. המבחן שתומך בטענה הוא OSWorld 2.1, שבו Terra משיג 74.2% במאמץ חשיבה מרבי, בפער של 1.7 נקודות מ-GPT-6.1 Sol ב-xhigh ושל 1.6 נקודות מ-GPT-6 Astra. עם זאת, המספר שחשוב לסוכן אינו ציון המשימה. אלא האמינות לכל צעד שמשתמעת מציון זה, משום שסוכנים נכשלים צעד אחר צעד, לא משימה אחר משימה.

הקטע הזה מפרק את 74.2%: מה OSWorld מודד, מה זה מרמז בכל שלב, מה עולה משימה בת עשרים שלבים, היכן נשברת הלולאה, ואילו מעקות בטיחות מונעים מסוכן בעל דיוק של 74% להפוך לתקלה בעלת דיוק של 0%.

מה אומר לוח התוצאות

• GPT-6.1 Terra — 74.2% ב־OSWorld 2.1 במאמץ מרבי.

• GPT-6.1 Sol — 75.9% ב-xhigh.

• GPT-6 Astra — 75.8%.

• Claude Opus 5.5 — 81.8%.

• Claude Sonnet 5.5 — 80.1%.

• Kimi K3.1 Pro — 79.6%.

יש להפריד בין שלוש פרשנויות. בתוך משפחת GPT-6, Terra נמצאת במרחק של טעות עיגול מאחיותיה היקרות יותר — פער המחיר כמעט אינו מניב דבר באוטומציה לשולחן העבודה. בין הספקים, כל המשפחה מפגרת אחרי Anthropic בשש עד שבע נקודות. והטענה של Terra עצמה בדבר קרבה לספק — בערך שווה ל-GPT-6 Astra ברמה בינונית במבחן Agents’ Last Exam, בעשירית ממחיר לכל טוקן — היא טענה ברמת המשימה שאותה מספר OSWorld תומך בה במידה רבה.

מציון משימה לאמינות בכל שלב

משימות OSWorld מדורגות כעוברות או כנכשלות לאחר רצף פעולות. אם משימה אורכת בערך עשרים צעדים ו־Terra משלימה 74.2% מהמשימות מקצה לקצה, שיעור ההצלחה המשתמע לכל צעד הוא השורש ה־20 של 0.742 — כ־98.5%. זהו איור אריתמטי, לא מדידה: יש משימות קצרות יותר, יש ארוכות יותר, וכשלים אינם בלתי תלויים. אבל זה קובע את קנה המידה נכון. מודל שנראה כמו מודל של 74% הוא למעשה מודל של 98.5% לכל צעד, והפער הזה הוא המקום שבו נמצא עיצוב הסוכנים.

חשבו את החשבון בכיוון ההפוך עבור תהליך עבודה בן חמישים שלבים. באותו שיעור הצלחה לכל שלב, ההצלחה מקצה לקצה יורדת לכ-47%. בשמונים שלבים היא 30%. ציון המשימה אינו משתנה; תהליך העבודה כן, ולכן "טוב מספיק עבור סוכן" תלוי לחלוטין בכמה זמן הסוכן פועל ללא פיקוח.

מה העלות של משימה

נניח 3,000 טוקני קלט לכל שלב — צילום מסך בתוספת מצב משימה בתוספת היסטוריית פעולות — ו-150 טוקני פלט עבור הפעולה, לאורך עשרים שלבים.

• לכל משימה: 60,000 קלט ב-$1 למיליון הם $0.06; 3,000 פלט ב-$5 למיליון הם $0.015. סה"כ $0.075.

• עם שיעור ניסיונות חוזרים של 30%: כ-$0.0975 למשימה מוצלחת, או $98 לאלף משימות.

• אותו עומס עבודה על GPT-6.1 Sol בתעריף $2/$10: $0.15 למשימה, $195 לאלף.

• על GPT-6 Astra במחיר $10/$50: $0.75 למשימה, $975 לאלף.

• על Claude Opus 5.5 במחיר $4/$20: $0.30 למשימה, $390 לאלף.

הנחות היסוד לגבי טוקנים חשובות יותר מיחס המחירים. צילומי מסך שולטים בעלות הקלט, וגודל צילום המסך הוא בחירה: קובץ PNG מלא בגודל 1440×900 עולה בהרבה יותר טוקנים מאשר אזור עניין חתוך. צינור עיבוד ששולח צילום מסך חתוך אחד בכל שלב במקום את כל שולחן העבודה יכול לחתוך את טוקני הקלט בחצי, מה שמחצה את העלות לכל משימה ומשנה את הדירוג מול המודלים המדויקים יותר.

השהיה היא המוצר

Artificial Analysis מודדת את Terra ב-90.9 אסימוני פלט לשנייה וב-133.64 שניות עד לאסימון הראשון במדד החשיבה שלה, לעומת 73.5 אסימונים לשנייה ו-284.31 שניות עבור GPT-6.1 Sol. נתוני השהיה אלה מגיעים ממשימת חשיבה במאמץ מקסימלי, ולכן הם מעריכים יתר על המידה את ההשהיה בכל שלב בלופ סוכנים — אך היחס, קצת יותר מפי 2, הוא האינדיקטור הנכון לכמה זמן כל מודל חושב לפני שהוא פועל.

בלופ של סוכן, זמן החשיבה מצטבר פי עשרים בכל משימה. אם Sol לוקח ארבע שניות לכל צעד ו-Terra שתיים, משימה בת עשרים צעדים מסתיימת ב-40 שניות במקום ב-80. עובד OpenAI ויקטור א. נונייז דיווח ש-Terra השלימה טופס אינטרנט ביותר משתי דקות מהר יותר מ-Sol; זו אנקדוטה, לא מדד, אבל זה סוג ההבדל שמשתמשים מבחינים בו בלי שיגידו להם.

היכן שהלולאה נשברת

• פעולות בלתי הפיכות. הגשה, שליחה, מחיקה, תשלום — כל פעולה שיש לה השפעה נלווית מחייבת שער אישור. שום שינוי בציון מדד הביצועים לא משנה זאת.

• ממשקים מעורפלים. שני כפתורים שכתוב עליהם "Continue" מביסים מודל בכל מחיר; התיקון הוא היגיינת פרומפט וצילום מסך.

• אופקים ארוכים. החישוב לכל צעד שלעיל הוא כל הטיעון נגד עבודה לא מפוקחת באופקים ארוכים בשיעור 98.5% לכל צעד.

• צילומי מסך מיושנים. פריים שנלכד לפני שינוי פריסה הוא שגוי, ופריים שגוי מניב לחיצה שגויה שנעשית בביטחון.

• מצב שנשמר בין טאבים. סוכנים המבוססים על צילומי מסך רואים חלון אחד בכל פעם; תהליכי עבודה עם ריבוי טאבים דורשים מעקב מצב מפורש מחוץ למודל.

מעקות שהופכים 74% לניתנים לשליחה

• הגבילו את מספר הצעדים, לא רק את מספר הדולרים. עשרים הוא גם תקציב וגם אמצעי בקרה בטיחותי בעת ובעונה אחת; לולאה שאינה יכולה להסתיים היא מצב הכשל היקר ביותר.

• שערו השפעות לוואי. העבירו כל פעולה שמשנה מצב חיצוני דרך אדם או בדיקת מדיניות.

• תעד את הפריים עם הפעולה. כשהסוכן עושה משהו לא נכון, הארטיפקט השימושי היחיד הוא צילום המסך שעליו הוא פעל.

• השתמש בפלטים מובנים עבור סכימת הפעולה. פעולה בטקסט חופשי אינה ניתנת לפענוח בדיוק ברגע שבו אתה זקוק לוודאות.

• מדוד לפי צעד, לא לפי משימה. נסיגה של 2% בכל צעד אינה נראית בציוני המשימה, ומכפילה את שיעור הכשלים לאורך חמישים צעדים.

• החזיקו מודל שני לשלבים הקשים. Terra לפריימים שגרתיים, ומודל חזק יותר עבור הדו-משמעיים, זול יותר מ-Terra עם ניסיונות חוזרים.

מה לרוץ היום

GPT-6.1 Terra אינו מופיע בקטלוג של OrcaRouter במועד כתיבת הדברים, ולכן יש לבחון את זרוע ה-Terra מול OpenAI ישירות. סט ההשוואה פעיל אצלנו בתוספת של 0% מעל מחיר המחירון של הספקים — GPT-6.1 Sol ב-$2/$10, GPT-6 Astra ב-$10/$50, Claude Opus 5.5 ב-$4/$20, Claude Sonnet 5.5 ב-$2/$10 ו-Kimi K3.1 Pro ב-$2/$10 — הכול על מפתח אחד עם מעבר אוטומטי בעת תקלה.

הניסוי שכדאי להריץ אינו "איזה מודל מקבל את הציון הגבוה ביותר ב-OSWorld". הוא קבוצת המשימות שלך עצמך, עם ניקוד לכל שלב, כאשר מדיניות צילומי המסך נשמרת קבועה. המדידה הזו קובעת אם המחיר והמהירות של Terra מצדיקים את פער 7.6 הנקודות לעומת Claude Opus 5.5 במשימות שאתה באמת מריץ — וזהו המספר היחיד שאפשר לבנות עליו מוצר סוכן.