המדדים של GPT-6.1 Terra, ממוינים: היכן 48 משתווה ל־52 והיכן לא

המספר המשולב של GPT-6.1 Terra הוא 48. GPT-6.1 Sol הוא 52, GPT-6 Astra הוא 53, GPT-5.6 Terra הוא 42, ו-GPT-6 Luna הוא 38. זה כל הסיפור אם קוראים רק את השורה העליונה של מדד הבינה של Artificial Analysis — מודל בדרג ביניים שנוחת שש נקודות מעל קודמו וארבע מתחת לאחיו היקר יותר. זו גם הדרך הפחות שימושית לקרוא את ההשקה, מפני שאותו מדד מסתיר פער של 29 נקודות בקידוד מול Astra, פער של 7.6 נקודות בשימוש במחשב מול Claude Opus 5.5, ושיפור בהזיות שגדול מכל רווחי הבינה בהשקה גם יחד.

מה שמופיע בהמשך מפריד בין שלושה סוגים של מספרים: מדידות בלתי תלויות מ-Artificial Analysis, תוצאות שדווחו על ידי הספק OpenAI שאיש מחוץ ל-OpenAI לא שחזר, ונתונים נגזרים — החשבון שהופך כל אחד משני הראשונים לעלות או ליחס. ההבחנות חשובות, משום שסיקור ההשקה כבר החל לטשטש את הגבולות ביניהן.

שלושת הציונים שכולם יצטטו

Artificial Analysis מציין את GPT-6.1 Terra ב-48 במדד האינטליגנציה שלו, במקום ה-25 מתוך 221 מודלים, במחיר של $0.40 לכל משימת מדד. GPT-6.1 Sol נמצא ב-52 ובמקום ה-13, במחיר של $0.72 לכל משימה. GPT-6 Astra, הדגם המוביל הנוכחי, נמצא ב-53. GPT-5.6 Terra נמצא ב-42 ובמקום ה-53, במחיר של $1.40 לכל משימה. GPT-6 Luna נמצא ב-38.

אם קוראים זאת כסולם, Terra היא שדרוג אמיתי: שש נקודות תמורת פחות משליש מהעלות לכל משימה שהושלמה, ועשר נקודות מעל שכבת התקציב. אם קוראים זאת כהשוואה מול Sol, זה בדיוק מה שכרטיס המחירים מרמז — חלש בארבע נקודות, ובכמחצית ממחיר הטוקנים. שום דבר בציון המשולב לא סותר את המיצוב של OpenAI.

המדד המשולב גם משטח דברים שהוא לא אמור. ארבע נקודות מדד בין Terra ל-Sol הן 8% מהסקאלה; 29 נקודות בין Terra ל-Astra ב-Coding Agent Index הן 60% מהסקאלה הזו. מספר בודד לא יכול לשאת את שניהם, וסיקור ההשקה שמצטט רק את הראשון השמיט בשקט את השני.

היכן שהפער מתרחב: קידוד

{{1}}במדד סוכני הקידוד של Artificial Analysis v2.0{{/1}}, {{2}}GPT-6.1 Terra{{/2}} מקבל 48, {{3}}GPT-6.1 Sol{{/3}} מקבל 54, ו{{4}}GPT-6 Luna{{/4}} מקבל 31. {{5}}זהו פער של שש נקודות מול Sol ויתרון של 17 נקודות על פני Luna — באותה תבנית כמו מדד האינטליגנציה, אבל הפער לראש המשפחה גדול יותר במונחים יחסיים.{{/5}}

מספרי הספקים מספרים סיפור מחמיא יותר, והם אכן מספרי ספקים. OpenAI מדווחת על 50.3% פתורים ב-Terminal-Bench 4.0 במאמץ מרבי, לעומת 21.5% עבור GPT-5.6 Terra. זה יותר מכפול, וזה הזינוק הגדול ביותר בין דור לדור במהדורה הזו. זה גם מדד למשימות טרמינל, ולא מדד רחב לסוכני קידוד: Terra יכולה להיות קרובה ל-Sol בעבודת shell קצרה ומוגדרת היטב, ובכל זאת להיות שש נקודות מאחור במדד הרחב יותר, ושתי הדברים נכונים בו-זמנית.

הקריאה המעשית היא שהרווחים של Terra בקידוד מרוכזים במקום שבו המשימה תחומה. "הרץ את מערך הבדיקות הזה, קרא את הכשל, תקן את הקובץ" הוא הצורה של Terra. "להחזיק ריפקטור של חמישה־עשר קבצים בראש במשך ארבעים שלבים" הוא לא, וההמלצה של OpenAI עצמה עדיין מפנה עבודת תכנות מורכבת ל-Sol או Astra.

כאשר הפער קטן מכפי שהמדד מרמז: שימוש במחשב

ב-OSWorld 2.1, בנצ'מרק הסטנדרטי לאוטומציית שולחן עבודה, GPT-6.1 Terra משיג 74.2% בהסקה מקסימלית. GPT-6.1 Sol משיג 75.9% ב-xhigh. GPT-6 Astra משיג 75.8%. Claude Opus 5.5 מוביל בין הדגמים שאפשר להשוות עם 81.8%, כאשר Claude Fable 5.1 עם 80.7%, Claude Sonnet 5.5 עם 80.1% ו-Kimi K3.1 Pro עם 79.6%.

שני דברים נובעים מכך. ראשית, Terra נמצאת במרחק 1.7 נקודות מ-Sol במשימה שלשמה היא נבנתה, במחצית ממחיר הטוקן — עסקה טובה בהרבה מכפי שפער האינטליגנציה של ארבע נקודות מרמז. שנית, כל משפחת GPT-6 מפגרת אחרי Anthropic באוטומציה של שולחן העבודה בשש עד שבע נקודות, ו-Terra לא סוגרת את הפער הזה. אם המוצר שלך הוא סוכן דפדפן, ההשוואה המעניינת אינה Terra מול Sol; היא Terra מול Claude Sonnet 5.5, שמחירו לטוקן נמוך מזה של Sol ומשיג 5.9 נקודות יותר ב-OSWorld.

המספרים האג'נטיים של הספק עצמו מצביעים לאותו כיוון. ב-Agents' Last Exam v1, OpenAI מדווחת על 57.6% עבור Terra במאמץ בינוני, לעומת 50.7% עבור GPT-5.6 Terra במאמץ מקסימלי. הטענה הנלווית לכך — דומה ל-GPT-6 Astra במאמץ בינוני, במחיר של כעשירית ממחיר לכל טוקן — היא טענה ברמת משימה, וזהו המשפט בעל המשמעות הכלכלית הרבה ביותר בהשקה.

המספר שבאמת זז: הזיה

Artificial Analysis מודדת שיעור הזיות של Omniscience: באיזו תדירות מודל מנחש כשהוא אינו יודע. GPT-5.6 Terra קיבל 88%. GPT-6.1 Terra מקבל 38%. הדיוק עלה בשתי נקודות באותה התקופה.

ירידה של 50 נקודות אחוז בשיעור הניחושים גדולה מכל שיפור ביכולות האינטליגנציה במהדורה הזו, והיא המספר היחיד שמשנה את התחומים שבהם בטוח להשתמש במודל. מודל שממציא תשובה ב-88% מהמקרים כשהוא אינו בטוח אינו אמין לחילוץ חשבוניות או למילוי טפסים בלי בדיקה אנושית של כל פלט. ב-38% הוא עדיין מנחש יותר משליש מהפעמים — זהו שיפור, לא פתרון — אבל אופן הכשל עובר מ"להניח שזה שגוי" ל"לדגום ולאמת".

לכך יש השלכה ישירה על העלות. אימות הוא סעיף העלות הנסתר בכל פריסה של מודל זול: אם עליך לבדוק 88% מהתשובות, העבודה גוברת בהרבה על החיסכון באסימונים. ב-38%, בדיקה מדגמית הופכת לאפשרית, והנתון של $0.40 למשימה מתחיל להיראות כמו העלות האמיתית ולא כמו החצי הגלוי שלה.

טענות ספקים, ומה חסר בהן

התוצאות שפרסמה OpenAI, כולן הורצו על ידי הספק ואף אחת לא שוחזרה באופן בלתי תלוי נכון למועד כתיבת הדברים:

• Terminal-Bench 4.0 — 50.3% במאמץ מקסימלי, לעומת 21.5% עבור GPT-5.6 Terra.

• Agents' Last Exam — 15 נקודות מעל GPT-5.6 Terra במאמץ בינוני, בכשליש מהעלות בקירוב.

• MMMU-Pro — מקדים את GPT-5.6 Terra בכל רמת מאמץ, מתקרב ל-Astra ול-Sol, ללא ציונים מוחלטים שפורסמו.

• Terminal-Bench-Science 0.1 — בתוך 5 נקודות מ-Claude Opus 5.5 בפחות מחמישית מהעלות המוערכת.

• פרומפטים שמעוררים שגיאות — 16.7% במאמץ נמוך לעומת 53.6%, ו-4.3% במאמץ מקסימלי, בבדיקה פנימית שהחברה לא פרסמה.

כדאי לתת שם לדפוס ברשימה הזו. שתי הטענות החזקות ביותר — MMMU-Pro ומבחן שיעור השגיאות — הן השתיים שלא מצורפים להן מספרים מוחלטים. "מתקרב ל-Astra" ו"קרוב ל-Sol" הן אמירות השוואתיות שאי אפשר לבדוק בלי המספרים שמאחוריהן. הטענות עם נתונים מספריים מוצקים הן אלה שצד שלישי יכול לשחזר, ו-Artificial Analysis כבר שחזרה את צד העלות: $0.40 למשימה, $1.40 עבור קודמו.

המהירות היא המספר העצמאי שאינו נמצא באינדקס

Artificial Analysis מודדת את GPT-6.1 Terra ב־90.9 אסימוני פלט לשנייה, עם 133.64 שניות עד לאסימון הראשון במדד החשיבה שלה. GPT-6.1 Sol נמדדת ב־73.5 אסימונים לשנייה וב־284.31 שניות. זה בערך 24% יותר תפוקה ויתרון של קצת יותר מפי שניים בזמן עד לאסימון הראשון — מדידה עצמאית, לא טענה של ספק, והמקרה האובייקטיבי החזק ביותר עבור Terra בכל ההשקה.

עבור מוצר צ'אט, לתפוקה בקושי יש משמעות; עבור לולאת שימוש במחשב שכוללת עשרים צעדים לכל משימה, זה ההבדל בין משימה של 40 שניות למשימה של 90 שניות. המדד אינו מתמחר השהיה, ולכן מודל שמדורג במקום ה-25 יכול להיות הרכישה הנכונה עבור סוכן שמדורג במקום ה-13 באיכות.

איך לקרוא את האינדקס בלי שיטעו אותנו

• התייחסו למדד המשולב כמסנן, לא כדירוג. הוא אומר לכם אילו מודלים נמצאים בשיחה; הוא לא אומר לכם איזה מהם ינצח במשימה שלכם.

• הסתכלו על תתי-הציונים של קידוד ושימוש במחשב בנפרד. הפרופיל של Terra רחב באופן חריג: קרוב ל-Sol באוטומציה של שולחן העבודה, בפיגור של שש נקודות בקידוד, ובפיגור של ארבע נקודות בסך הכול.

• בדקו מחדש את הערכים המוחלטים מול תאריך יחיד. המדד מנורמל מחדש מעת לעת, וסקירות משבועות שונים מצטטות מספרים שונים לאותו מודל.

• שקלו את שיעור ההזיות באותה מידה כמו את ציון האינטליגנציה אם לעומס העבודה שלכם יש עלות אימות. שיפור של 50 נקודות משנה את מודל התפעול, לא רק את הציון.

• מדוד את המשימה שלך בעצמך. נתוני העלות למשימה מבית Artificial Analysis הם פרוקסי המבוסס על הפרומפטים שלהם; הפרומפטים שלך יפיקו יחס שונה בין מחיר הטוקן לבין הניסיונות.

שום דבר מזה לא הופך את GPT-6.1 Terra למודל גרוע. זה הופך אותו למודל ספציפי: מודל מהיר, זול, הרבה פחות הוזה, שקרוב לאחיו היקר יותר במסכים ורחוק מדגם הדגל בקוד. הציון המשולב אומר 48. ציוני המשנה אומרים איזה 48 אתה קונה.