כרטיס כותרת שנוצר עם כותרת ראשית 'GPT-6.2 Astra Tops Blueprint-Bench 2' ועם כותרת משנה 'קו האדם הוא שתים־עשרה דירות' וכותרת תחתונה באותו סגנון? לא. צריך "caption" = כיתוב. "וכיתוב האומר '0.614 מול בסיס אנושי של 0.586'". Two rounded cards sit below: "שני כרטיסים מעוגלים נמצאים למטה: זה השמאלי מסומן 'GPT-6.2 Astra' עם השורות 'Blueprint-Bench 2: 0.614', 'מקום 1 בלוח' ו'שחזור סצנת תלת־ממד'; זה הימני מסומן 'בסיס אנושי' עם '0.586', 'נמדד על 12 דירות' ו'מתוך 50 במבחן'. הלוגו של OrcaRouter משולב בפינה הימנית התחתונה."
Guides & Insights

GPT-6.2 Astra בראש Blueprint-Bench 2: הקו האנושי הוא שתים־עשרה דירות

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

GPT-6.2 Astra משיג ציון 0.614 ב-Blueprint-Bench 2. קו הבסיס האנושי באותו לוח הוא 0.586. זהו יתרון אמיתי, והוא גם 0.028 נקודה שנמדדו מול מספר אנושי שחישבה Andon Labs מתוך שתים עשרה דירות. התוצאה פורסמה בעמוד ההערכה של Andon ב-20 בנובמבר 2026 והופצה באותו בוקר על ידי גרג ברוקמן, שניסח אותה כך: GPT-6.2 Astra "עולה על קו הבסיס האנושי במבחן הבנה תלת-ממדית פיזית." שני החצאים של המשפט הזה קצת נפוחים, וכדאי להוציא מהם אוויר, והמאמר הזה עוסק בשאלה אילו חלקים שורדים. GPT-6.2 Astra, GPT-6.2 Sol ו-Gemini 4 Carbon תופסים את ארבעת המקומות הראשונים בלוח של Andon, וזה חשוב יותר לקורא שמחליט איך לכנות זאת מאשר הדירוג שבכותרת.

הבנצ'מרק עצמו אינו חדש. Blueprint-Bench 2 נמצא באתר של Andon Labs מאז מאי 2026 ואוסף מודלים כבר שישה חודשים; מה שהשתנה ב-20 בנובמבר הוא שמודל סוף סוף חצה את קו האדם בפער גדול מסרגל השגיאה שלו עצמו. אז זה לא השקת בנצ'מרק וזה לא השקת מודל — OpenAI שחררה את GPT-6.2 Astra ב-17 בנובמבר 2026, שלושה ימים לפני שהציון הופיע. זו תוצאה שנוחתת על לוח קיים, והשאלה המעניינת אינה אם המספר אמיתי. היא מה המספר מודד, מאחר שהביטוי "הבנה פיזית תלת-ממדית" עושה יותר עבודה בציוץ מאשר הבנצ'מרק עושה במתודולוגיה שלו עצמה.

מה ש-Andon Labs למעשה מדדו

Blueprint-Bench 2 נותן לסוכן חמישים דירות, אחת אחרי השנייה. עבור כל דירה הוא בוחן בערך עשרים תצלומי פנים וצריך לשרטט תוכנית קומה דו-ממדית: חדרים, אילו חדרים מתחברים לאילו, והגדלים היחסיים שלהם. סוכנים נושאים פנקס מתמשך בין דירות, כך שמודל יכול לרשום מה למד על פריסות אופייניות — היכן בדרך כלל נמצא מסדרון, מה מרמז משקוף בפינה — ולהשתמש בזה בדירה הבאה. הפנקס הזה הוא החלק בעיצוב שהופך את זה להערכת סוכנים ולא למבחן ראייה, ובגללו הציונים מבדילים בין מודלי חזית למודלים בינוניים בצורה חדה יותר מאשר מבחן של תמונה בודדת היה עושה.

הניקוד משווה את גרף הקישוריות של המודל מול נתוני האמת, תוך שקלול לפי שש תת-מדדיות: דמיון Jaccard בקישורים בין חדרים — 50%, דמיון דרגות — 20%, צפיפות גרף — 10%, מספר חדרים — 10%, מספר דלתות — 5% ואוריינטציה — 5%. תוכניות מותאמות תחת סימטריית D4, כך שתוכנית מסובבת או משוקפת עדיין מקבלת ניקוד, והציון המשולב מנורמל כך שקו בסיס אקראי ממופה ל-0 ותוכנית מושלמת ממופה ל-1. המשקל של 50% על Jaccard הוא כל המבחן בשורה אחת: בכתביו של אנדון נאמר שכל מודל מקבל בערך נכון את מספר החדרים, בסביבות 90%, ושהמבחן המכריע הוא האם המודל מצליח לפענח איזה חדר נפתח אל איזה. לספור חדרים מתמונות זה קל. לשחזר את הטופולוגיה מתוך סיור מודרך זה לא.

שתי השלכות נובעות מהעיצוב הזה. ראשית, הפלט הוא תוכנית דו-ממדית, לא מודל תלת-ממדי — ההסקה המרחבית היא תלת-ממדית במובן זה שהסוכן צריך להסיק את פריסת הקומה מרצף של מבטים חופפים, אבל שום דבר בניקוד אינו מתגמל שחזור נכון של גובה התקרה, הנפח או הרהיטים. שנית, הציון הוא מספר דמיון-גרפים, לא אחוז דיוק. 0.614 אינו אומר שהמודל צדק לגבי 61% מהדירות; הוא אומר שגרפי הקישוריות שלו נמצאים ב-61.4% מהדרך מאקראי למושלם תחת שקלול זה.

ה-0.028 שמפריד בין מודל לאדם

הנה ראש הטבלה כפי שהיה ב-20 בנובמבר 2026, עם פסי השגיאה התקנית שאנדון מצייר בתרשים שלו, שנקראו מהנתון שפורסם:

• GPT-6.2 Astra — 0.614, דירוג 1, פס שגיאה בערך 0.601 עד 0.627

• Gemini 4 Carbon — 0.586, מקום 2 משותף, פס שגיאה בערך בין 0.571 ל-0.601

• קו בסיס אנושי — 0.586, מקום 2 משותף, נבדק על 12 דירות, לא פורסם מרווח סמך

• GPT-6.2 Sol — 0.570, מקום 4, טווח שגיאה בערך 0.558 עד 0.584

• Claude Fable 5.2 — 0.566, מקום 5

• Gemini 4 Argon — 0.544, דירוג 6

• Claude Opus 5.5 — 0.512, דירוג 7

• GPT-6 Astra — 0.497, דירוג 8

A screenshot of Andon Labs' Blueprint-Bench 2 evaluation page. The top half explains that agents convert roughly twenty interior photographs of each apartment into a 2D floor plan across fifty apartments, with the normalisation note that random maps to 0 and perfect to 1 and that error bars are standard error, above a connectivity-similarity chart. The leaderboard below lists GPT-6.2 Astra at 0.614 in first place, then Gemini 4 Carbon and a Human baseline both at 0.586, GPT-6.2 Sol at 0.570 and Claude Fable 5.2 at 0.566, continuing down through GPT-6 Astra at 0.497 to Claude Haiku 5.5 at 0.330.

שלושה דברים שכדאי להבליט מהרשימה הזו. הראשון הוא גודל הפער, שהוא 0.028 נקודה בסולם שבו אקראי הוא 0 ומושלם הוא 1. השני הוא שפס השגיאה של Astra אינו מגיע למטה עד 0.586 — תחתית הטווח שלו היא 0.601 — ולכן היתרון על פני הנתון האנושי אינו בתוך הרעש של המודל עצמו. השלישי הוא שלמספר האנושי אין כלל רצועת אי-ודאות, משום שהוא חושב על תריסר דירות מתוך משימה של חמישים דירות. ציון אנושי מ-12 דירות וציון מודל מ-50 אינם אותה מדידה, ו-Andon גלוי לגבי זה: בהערת השוליים של לוח המובילים נכתב "קו הבסיס האנושי נבדק רק על תת-קבוצה של 12 דירות." התייחסו ל-0.586 כאל אומדן של היכן שאדם מגיע, ולא כאל קו עם רוחב ידוע.

הדבר הנוסף שפסי השגיאה מראים הוא עד כמה צמרת הלוח דקה. השפם התחתון של Astra והשפם העליון של Gemini 4 Carbon נפגשים בדיוק ב-0.601. במבחן הזה, המקום הראשון והמקום השני המשותף נמצאים במרחק של נגיעת שפם אחת זה מזה, וזו טענה שונה מ"טוב יותר מכל AI אחר" וכזו שאפשר להגן עליה יותר. הכיתוב של Andon עצמו לתרשים מגשר על הפער באופן שראוי לשים לב אליו: הוא מסמן את הקו המקווקו של האדם כ"Human (0.59)" ואז כותב ש-GPT-6.2 Astra ו-Gemini 4 Carbon "כעת משתווים אליו", למרות שהטבלה מציבה את Astra ב-0.028 מעליו ואת Carbon בדיוק עליו. הטבלה היא הפריט המוקפד יותר. הכיתוב הוא זה שצוטט.

שני מדדים, כיוון אחד

לוח אחד שעובר את קו הביצועים האנושי יכול להיות תוצר מלאכותי של שיטת הניקוד. הסיבה להתייחס לתוצאה ברצינות היא שהערכה תלת-ממדית שנייה, שנבנתה באופן עצמאי, נעה באותו כיוון באותו שבוע. Artificial Analysis מפעילה את AA-3D, שהיא משימה שונה לחלוטין: המודלים פועלים כסוכנים בסנדבוקס לא מקוון דרך Stirrup והופכים תדריך כתוב לסצנת three.js אינטראקטיבית, והדירוג מגיע מהצבעות עיוורות בזוגות על ידי פאנל אנושי מגויס — יותר מ-20,000 הצבעות בלוח הנוכחי — ולא מהשוואת גרפים.

• GPT-6.2 Astra (Max) — 1,318 Elo, מרווח 95% בין 1,286 ל-1,349, דירוג 1

• Claude Fable 5.2 (Max) — 1,271 Elo, דירוג 2

• GPT-6.2 Sol (Max) — 1,259 Elo, דירוג 3

• Claude Sonnet 5.5 (Max) — 1,204 Elo, דירוג 4

• Claude Opus 5.5 (Max) — 1,202 Elo, דירוג 5

• GPT-6 Astra (Max) — 1,168 Elo, מרווח של 95% בין 1,141 ל-1,196, דירוג 6

שני הדירוגים לא מסכימים לגבי אמצע הטבלה — Claude Fable 5.2 מדורג חמישי אצל Andon ושני אצל Artificial Analysis — והם מסכימים לחלוטין לגבי הצמרת. Astra בראש, Sol בשלישייה הראשונה, והדור הקודם נמצא בפיגור של כ-150 Elo. פוסט ההשקה של OpenAI עצמה הציג את טענת AA-3D ב-17 בנובמבר עם אותם שלושה מספרים, והדירוג העצמאי מציג אותם כעת ללא שינוי, וזהו מקרה נדיר שבו נתון של ספק ונתון של צד שלישי הם אותו נתון. זה לא נכון לגבי הנתון של Blueprint-Bench: OpenAI לא מסרה דבר על תוכניות קומה, והציון הגיע מ-Andon בלבד.

A screenshot of the AA-3D Leaderboard from Artificial Analysis, with columns for rank, score range, model and Elo. GPT-6.2 Astra (Max) sits at rank 1 with 1318, above Claude Fable 5.2 (Max), GPT-6.2 Sol (Max), Claude Sonnet 5.5 (Max) and Claude Opus 5.5 (Max), with GPT-6 Astra (Max) further down at 1168.

ההתכנסות היא הטיעון. מדד דמיון גרפים שנמדד באמצעות קוד, ומדד Elo שנמדד לפי העדפה אנושית עיוורת, רחוקים זה מזה בערך כמרחק המרבי האפשרי בין שני הערכות של "יכולת מרחבית", והם מדרגים את אותם שלושה מודלים באותו סדר. מה שהם אינם מבססים הוא שאחד מהם מודד משהו שצוות רובוטיקה יכנה אינטליגנציה מרחבית, מה שמביא אותנו לשורה המעניינת ביותר בטבלה של Andon.

מדוע מודל רובוטיקה קיבל ציון אפס

Gemini Robotics-ER 1.6 מקבל 0.000 ב-Blueprint-Bench 2 — ברמה השווה או נמוכה מבסיס האקראי, ומסומן על ידי Andon בשתי כוכביות. זהו המספר השימושי ביותר בעמוד. מודל שנבנה במיוחד לחשיבה מרחבית ולחשיבה מגולמת, מהסוג שאליו היית פונה אילו המשימה הייתה "להבין מרחב פיזי", מייצר גרפי קישוריות שאינם טובים מן המקריות. Andon מסמנים זאת בעצמם: ההתמחות המרחבית אינה עוברת ליצירת תוכניות קומה.

ארבעה מודלים אחרים נמצאים גם הם ברף האקראי, וצורתו של האשכול הזה מספרת לך מה הבנצ'מרק מתגמל. מה שהוא מתגמל הוא מיומנות מורכבת ספציפית — לקרוא רצף של צילומים, לשמור על השערה עקבית לגבי קומה, ולהפיק תוכנית בפורמט קפדני שאותו מנתח יכול לדרג. מודל יכול להיות מצוין בהסקה על מרחב פיזי ועדיין להיכשל בזה, משום שאופן הכשל הוא בדרך כלל פורמט הפלט או העקביות לאורך טווח ארוך, ולא ההסקה המרחבית. כלומר, "עולה על רף האדם בהבנה מרחבית תלת-ממדית פיזית" הוא סיכום הוגן של הניקוד וסיכום נדיב במקצת של המיומנות. הגרסה הכנה צרה יותר: הוא משחזר את הקישוריות של דירה מתוך צילומים בצורה מדויקת יותר מאשר מדגם אנושי של שתים עשרה דירות, בבנצ'מרק שמדרג מבנה גרף ולא שום דבר אחר.

לכל מי שעבודתו בפועל כרוכה בתוכניות קומה — תיעוד נכסים, תיעוד לצורכי ביטוח, עבודות מתקנים, דיגיטציה של תוכניות נייר — הטענה המצומצמת הזו עדיין שימושית, משום שמבנה הגרף הוא בדיוק מה שזרימות העבודה האלה צריכות, ובדיוק מה שצינור PDF-to-CAD עושה לא נכון. לכל מי שקורא אותה כהצהרה על רובוטים שמנווטים בחדרים, שורת Robotics-ER היא התיקון.

כמה עולה לקנות את הליד הזה

המחיר של GPT-6.2 Astra הוא 8 דולר למיליון אסימוני קלט, 0.40 דולר לאסימונים במטמון ו־40 דולר למיליון אסימוני פלט — 20% פחות מ־GPT-6 Astra בשני כיווני המונה. המודל שמשתווה לקו האנושי, Gemini 4 Carbon, מתומחר ב־2 דולר וב־10 דולר — רבע ממחיר הקלט של Astra ורבע ממחיר הפלט שלה. GPT-6.2 Sol, הרביעי בלוח של Andon עם 0.570 והשלישי ב־AA-3D עם 1,259 Elo, שומר על מחירי האסימונים של GPT-6.1 Sol ולא על אלה של Astra.

• Blueprint-Bench 2 — Gemini 4 Carbon 0.586 לעומת GPT-6.2 Astra 0.614

• מחיר קלט ל-1M — Carbon $2.00 לעומת Astra $8.00

• מחיר פלט לכל 1M — Carbon $10.00 לעומת Astra $40.00

• AA-3D Elo — Carbon לא על הלוח מול Astra 1,318, דירוג 1

• היכן כל אחד ממוקם — Carbon משתווה לקו האנושי, בעוד Astra עוברת אותו ב-0.028

A generated single-column scoreboard titled 'GPT-6.2 Astra — the scoreboard' with six rows reading 'Blueprint-Bench 2: 0.614, rank 1', 'Human baseline: 0.586 on 12 apartments', 'Error bar: 0.601 to 0.627', 'AA-3D Elo: 1,318, rank 1', 'AA-3D vs GPT-6 Astra: +150 Elo' and 'Price per 1M: $8 in / $40 out', over a footer reading 'Blueprint-Bench 2 figures per Andon Labs; AA-3D per Artificial Analysis; pricing per OpenAI.' The OrcaRouter logo is composited in the bottom-right corner.

אם מפרשים את זה כשאלת תמחור, התשובה לא נוחה לדגם הדגל. בבנצ'מרק היחיד שבו שני הדגמים מופיעים, חמישית מהמחיר קונה לך שוויון עם קו הבסיס האנושי ומרחק של שערה מהמקום הראשון. ההצדקה של Astra למחיר שלה לא נשענת על תוכניות קומה; היא נשענת על הערכות העבודה המקצועית בפוסט ההשקה של OpenAI, שבו היא הדגם עם חלון הקשר של 1,050,000 טוקנים והציונים בחזית ב-Agents' Last Exam וב-Terminal-Bench-Science. אם עומס העבודה שלך הוא תצלומי דירות וגרפי קישוריות, קשה להצדיק את פער המחיר מהטבלה הזו בלבד. ואם עומס העבודה שלך הוא סט מסמכים משפטיים או מדעיים ארוכים, הבנצ'מרק הזה לא אומר על זה דבר לכאן או לכאן.

הסתייגות נוספת בנוגע לעלות: לא Andon ולא Artificial Analysis מפרסמות נתון עלות למשימה עבור Blueprint-Bench 2, והבנצ'מרק הזה רגיש לכך באופן חריג. חמישים דירות עם בערך עשרים תמונות כל אחת הן כמות גדולה של טוקני קלט לפני שהמודל כותב אפילו חדר אחד, ומודל שמגיע לאותו ציון גרף עם יותר סיבובים של לולאת הפנקס עולה יותר לדירה ממה שמחיר הטוקנים שלו מרמז. אל תפרשו את מחירי הטוקנים שלמעלה כחשבון לדירה; הם לא כאלה.

היכן זה משאיר את החלטת הניתוב

הגרסה המעשית של כל זה היא שהשאלה "איזה מודל לעבודה מרחבית" הפכה זה עתה לשאלה של שני מודלים עם פער מחירים, ושכבת הניתוב היא המקום שבו הפער נפתר. Gemini 4 Carbon נמצא בקטלוג של OrcaRouter במחיר מחירון, עם תוספת מחיר של 0% שמועברת הלאה, מה שאומר שה-$2 וה-$10 שלמעלה הם מה שאתם משלמים בפועל למיליון טוקנים, ולא תעריף ספק עם מרווח פלטפורמה שנערם עליו. זה חשוב כאן במיוחד משום שפער העלויות בין המקום הראשון למקום השני-במשותף בלוח הזה הוא פי 4, ופער של פי 4 הוא מסוג הדברים שתרצו למדוד על תוכניות הקומה שלכם לפני שאתם מאמצים סטנדרט עבור אחד מהם.

GPT-6.2 Astra אינו בקטלוג שלנו נכון ל-20 בנובמבר; דגמי OpenAI שאנו מספקים הם GPT-6 Astra, שמקבל 0.497 בלוח הזה, וקו GPT-6 Sol. שווה לומר זאת בגלוי ולא לרמוז אחרת, כי זה משנה את ההמלצה: עד ש-Astra יהיה ניתן לניתוב כאן, הדגם בקטלוג שלנו שמשתווה לקו הבסיס האנושי הוא Carbon, ו-GPT-6 Astra יושב על אותו מפתח אם אתם רוצים את סגנון הפלט של OpenAI ב-$10 וב-$50. כאשר דגם ומתחרה זול יותר שלו נוחתים על נקודת קצה אחת, A/B על הדירות שלכם עולה החלפת מפתח API ולא חוזה שני, ו-failover פירושו שמגבלת קצב על אחד לא עוצרת את הבאצ'.

מה ישנה את הקריאה הזו?

שלושה דברים, לפי מידת ההשפעה שלהם על סיפור המעשה. הראשון הוא בסיס אנושי רחב יותר. שתים־עשרה דירות הן מדגם קטן למשימה של חמישים דירות, ופרסום של אנדון של רווח סמך על הנתון האנושי יבהיר האם 0.586 הוא קו או מריחה — אם מתברר שטווח האדם נע בין 0.55 ל־0.62, אז היתרון של אסטרה אמיתי אבל התיקו של קרבון אינו, וכל החלק העליון של הלוח מתערבב מחדש. השני הוא ריצה שנייה של GPT-6.2 Astra על אותו לוח. המודל בן שלושה ימים; המספרים של אנדון מגיעים מקמפיין אחד, ולבנצ'מרקים עם לולאת פנקס ואופק של חמישים דירות יש שונות גדולה יותר בין ריצות מאשר להערכה חד־פעמית, וזה מה שפסי השגיאה התקנית מרמזים עליו אבל אינם יכולים לספוג במלואו.

הדבר השלישי הוא העמוד עצמו. הקטע "ממצאים עיקריים" של Andon עדיין מציין את GPT 5.5, Gemini 3.1 Pro ו-Claude Opus 4.7 כשלושת המודלים המובילים, מה שהיה נכון במאי 2026 ולא עודכן כשהטבלה התמלאה. הניתוחים שלהם בנושא הסקה מרחבית עדיין מצטטים את Gemini 3.1 Pro ו-GPT 5.5 כעובדים דרך דירות בודדות. לוח המובילים מעודכן; הטקסט שסביבו הוא תמונת מצב מלפני שישה חודשים. קראו את הטבלה, לא את קטע הממצאים, וקראו את פסי השגיאה בגרף ולא את הכיתוב שאומר ששני מודלים משתווים לקו שאחד מהם נמצא מעליו באופן מדיד.

שום דבר מזה לא הופך את התוצאה לשגויה. GPT-6.2 Astra הוא המודל הטוב ביותר בשתי ההערכות התלת-ממדיות העצמאיות שפורסמו השבוע, בפער שעובר את פס השגיאה של עצמו באחת מהן וב-47 Elo בשנייה, שבה שני מרווחי ה-95% עדיין חופפים. זהו המודל הראשון שנמצא באופן משמעותי מעל הערכה אנושית במדד שפועל מאז מאי. הטענה קטנה מהציוץ ומוצקה יותר מהדלפה, וזו הצורה הנכונה לתוצאה שהגיעה שלושה ימים אחרי שהמודל הגיע.

השוואות במאמר הזה2

זוהה מתוך המאמר הזה · בנצ'מרקים: Artificial Analysis · מתעדכן יומית