כרטיס כותרת להשוואה בין GPT-6.2 Astra ל-GPT-6.2 Sol בבניית אותה הדגמת mech של Yonkers ב-three.js, המציג את Astra עם 1,318 Elo ב-AA-3D של Artificial Analysis ואת Sol עם 1,259, ולצדו פס שמציין שבהשוואה צד-לצד שפרסם מפתח אחד, אף אחד מהמודלים לא הפך את העיר ל-mech באופן משכנע. הלוגו של OrcaRouter מופיע בפינה הימנית התחתונה.
Guides & Insights

GPT-6.2 Astra לעומת GPT-6.2 Sol: שתי הדגמות Mech, החמצה אחת

מחבר

jinhao.song

תאריך פרסום

מודלים אחרונים · 20צפו בכל המודלים →
בנצ'מרקים: Artificial Analysis · מתעדכן יומית
חזרה לכל הפוסטים

פוסט ההשקה של OpenAI עבור GPT-6.2 Astra ו-GPT-6.2 Solמציג הבטחה צרה וניתנת לבדיקה: הצמד "כותב קוד נקי יותר ובונה פרונט-אנדים שנראים ועובדים טוב יותר, במיוחד עבור אתרים, גיימינג ועיצוב תלת-ממד". זה מסוג הטענות שאי אפשר להכריע באמצעות דף מפרט, ובנצ'מרק יכול רק לקרב אליהן, ולכן יומיים לאחר ההשקה יש בדיוק השוואה ראש-בראש אחת שפורסמה ושניתנת לשחזור — הפרומפט של יונקרס של סיימון ויליסון, שהורץ מול שני המודלים במצב Ultra effort ב-Codex CLI, כאשר שני הפלטים הושארו באינטרנט כדי שכל אחד יוכל לפתוח אותם. פסיקתו היא השורה הראשונה של הסיפור: "אף אחד מהם לא עשה עבודה טובה מספיק כדי להפוך את יונקרס למכונת ענק."

מה שהופך את המבחן לראוי לכתבה הוא לא ששני מודלים לא עמדו בו. אלא שהם לא עמדו בו בדרכים שונות, בקוד שאפשר לקרוא, וזה שנכשל בעלות גבוהה יותר היה דווקא זה שהיה טוב מספיק כדי לערוך afterwards את סרטון ההשוואה. אם אתם עומדים להשקיע שבוע מחלון ההקשר ביצירת פרונטאנד, ההבדל בין חבילה של 568 KB לבין ארבעה מודולים בכתיבה ידנית הוא ההבדל בין דמו שאפשר לשחרר לבין כזה שצריך לשכתב.

מה ש-Open​AI אומרת שהצמד יכול לבנות

הטענה ספציפית מספיק כדי לבחון אותה. הפוסט של OpenAI מתאר כיצד שני המודלים הופכים "תדרוך כתוב לחוויית דפדפן אינטראקטיבית, משולחן פינבול שאפשר לשחק בו ועד שחזור של הקולוסיאום שאפשר לחקור מזוויות שונות", ומפנה ל-AA-3D של Artificial Analysis, שבו שופטים אנושיים רואים שתי חוויות מוסתרות שנבנו מאותו פרומפט ומצביעים לזו שהם מעדיפים. בלוח הזה GPT-6.2 Astra מדורגת במקום הראשון עם 1,318 Elo, לפני Claude Fable 5.2 עם 1,271 ו-GPT-6.2 Sol עם 1,259.

קרא את הפער של 59 נקודות בין שני המודלים של Open​AI ותסיק ש-Astra טובה באופן משמעותי בתלת-ממד. קרא את המספרים המוחלטים ותלמד משהו שהדירוג מסתיר: הלוח משווה תמיד רק שני ניסיונות לאותו פרומפט, כך שהוא יכול לומר לך איזה מבני הזוג נראה טוב יותר מבלי לומר דבר על האם אחד מהם טוב. מבחן העדפה עיוור בין שתי מכונות קרב לא גמורות עדיין מחזיר מנצח.

התיעוד מוסיף הסתייגות שנשמעת כמו התנצלות מצוות הנדסת הפרומפטים. בהערות ההעברה עבור GPT-6.2, Open​AI מציינת ששני המודלים תמציתיים וישירים יותר מאשר GPT-6 Astra, שהם עשויים להציע צעד ולהמתין כאשר הכוונה אינה ברורה, וש—השורה שחשובה לקטע הזה—שעבודת פרונטנד דורשת כעת הנחיה מפורשת בנוגע לדימויים ולטיפוגרפיה. הנחיה שלא כתבתם היא הנחיה שהמודל ממציא. הפרומפט של Yonkers אינו מכיל שום הכוונה אמנותית, וזה בדיוק מה שהופך אותו למבחן הוגן לשני המודלים ולמבחן מעט לא הוגן לכל אחד מהם.

פרומפט אחד, שתי הדגמות שפורסמו

ההנחיה היא משפט אחד: "צור אנימציית three js שבה יונקרס מתרומם כמכונת ענק (תנועת התרוממות מגניבה) ודורך ברחבי מנהטן וקווינס וברוקלין, השתמש בנתוני מיפוי של openstreetmap." שתי ההרצות השתמשו במאמץ Ultra ב-Codex CLI. שתי התוצאות עדיין באינטרנט, ושתיהן נפתחות לסצנת WebGL עובדת עם מצלמה אמיתית, עיר low-poly אמיתית ומסלול אמיתי — וזה כבר יותר ממה שרוב בקשות three.js מפיקות בניסיון הראשון.

אף אחד מהשניים אינו יצירה מוגמרת. ההשוואה של וויליסון עצמו היא מול גרסאות של Claude Fable 5.2 ו-Gemini 4 Carbon שנבנו מאותו בריף, והשיפוט שלו הוא ששתי הניסיונות של GPT-6.2 מפסידים בדבר האחד שהפרומפט באמת ביקש: המעבר מעיר למכ עומד. תנועת ההזדקפות היא הדמו, ואף אחד מהמודלים לא ממש הנפיש אותה.

• חבילה — GPT-6.2 Astra מספקת build יחיד של Vite בגודל 568,418 בייטים בתוספת 8,075 בייטים של CSS, לעומת GPT-6.2 Sol עם main.js בגודל 17,094 בייטים שמייבא את city.js, mech.js ו-effects.js, כאשר three.js מוגש מקומית בגודל 658,900 בייטים

• ציר זמן — Astra מפעילה רצף של 96 שניות על סרגל גרירה של 0–960, לעומת Sol עם רצף של 48 שניות, כאשר ההליכה מתחילה ב-6.25 שנ' והצעד האחרון ב-44.5 שנ'

• פרקים — ארבעה בכל אחד: אסטרה ממספרת אותם באמצעות מונה רצף שמציג "01 / 04", לעומת סול שמכנה אותם יונקרס, מנהטן, קווינס וברוקלין, כשהם מתחילים ב־0, 17.6, 30.2 ו־38 שניות

• מצלמה — אסטרה מחליפה בין תצוגת "מסלול" לתצוגת "אטלס", לעומת סול, שבה מתג מסלול מקושר ל-O

• טלמטריה — Astra מדפיסה פלט פעולה המציין "עולה" וקואורדינטות "40.9310° N 73.8987° W" לעומת Sol, קנבס מכ״ם בגודל 184×138 ב־"40.93° N · 73.90° W"

• ייחוס — שניהם מעניקים קרדיט ל-OpenFreeMap, ל-OpenMapTiles ול-© OpenStreetMap contributors בכותרת התחתונה של העמוד, וזו הדרישה היחידה מהבריף שאף אחד מהמודלים לא השמיט

• עלות ההרצה — במאמץ מקסימלי, השקנאי הסטנדרטי ב-SVG של Willison עלה 88.71¢ ב-Astra לעומת 13.69¢ ב-Sol, יחס שנשמר בכל רמת מאמץ שהוא מדד

A two-column scoreboard comparing GPT-6.2 Astra and GPT-6.2 Sol on the Yonkers three.js build, with rows reading AA-3D Elo 1,318 versus 1,259, input price $8.00 versus $2.00 per million tokens, output price $40.00 versus $10.00, cached input $0.40 versus $0.10, demo timeline 96 seconds versus 48 seconds, and build one 568 KB bundle versus four ES modules, with a footer crediting AA-3D to Artificial Analysis, prices to OpenAI's rate card, and the build and timeline to the two published demos. The OrcaRouter logo sits in the bottom-right corner.

Astra: חבילה אחת של 568 KB, ממשק משתמש מבוסס סקריפטים

הבילד של Astra נקרא "Stride Atlas — Yonkers Rising" ומתנהג כמו מצגת: כותרת עליונה עם המותג וסטטוס "המערכת מקוונת", מתג שמע, לחצן מסך מלא, וקנבס שהתווית הנגישה שלו מבטיחה "עיר תלת-ממדית ומך מונפש. גררו כדי לסובב וגללו כדי להתקרב." מתחתיו, כתובית על שקוראת "סימולציית מך / 001", כותרת ראשית שקוראת "Yonkers Rising." ושורת משנה שקוראת "אזור המטרופולין של ניו יורק".

האומנות נמצאת במכשור. יש לוח טלמטריה עם תצוגת פעולה שאומרת "עולה" וקואורדינטות חיות, קנבס מוטבע לסקירת מסלול המסומן 10 ק״מ, וקונסולת ניגון עם מונה רצף, כפתורי נגן והפעלה מחדש, שעון, טווח גרירה מ-0 עד 960 וזמן סיום 01:36. אלה 96 שניות של רצף מעוצב, וסרגל גרירה כל כך ארוך אינו מקרי — זו החלטה שההדגמה היא סרט והמצלמה היא הבמאי.

זה מגיע גם כארטיפקט ארוז יחיד. כל האמור לעיל מקומפל לפלט Vite אחד בגודל 568,418 בייט ולגיליון סגנונות אחד בגודל 8,075 בייט, כאשר המחרוזת chapters ו-stompProgramCache שורדים את המזעור כי נתוני הרצף אמיתיים. עבור הדגמה, חבילה היא הבחירה הנכונה: קובץ אחד לאירוח, רשומת מטמון אחת, בלי גרף ייבוא שיישבר. עבור בסיס קוד שצריך להרחיב, זה קיר של 568 KB.

The GPT-6.2 Astra build of the Yonkers mech demo, titled Stride Atlas with a Yonkers Rising headline, showing a low-poly New York City on a three.js canvas, a mech telemetry panel reading Rising with coordinates 40.9310 degrees north and 73.8987 degrees west, a 10-kilometre route overview inset, a sequence console at 01 of 04 with a 96-second scrubber, and OpenStreetMap attribution.

Sol: ארבעה מודולים, three.js מקומי

הבילד של סול נקרא "Yonkers Protocol | A New York Mech Simulation", ותיאור המטא שלו מציין את הטכנולוגיה במפורש: "אנימציית Three.js קינמטית של מכ בגודל עיר שמתרומם ביונקרס וצועד דרך מנהטן, קווינס וברוקלין." העמוד פועל תחת מיתוג "METRO CONTROL / NEW YORK, NY" עם צ'יפ "OPENSTREETMAP TERRAIN", מתג תצוגת מסלול, מתג צליל וחלון תצוגה המסומן "Yonkers Protocol simulation".

במקום שבו Astra כתבה תסריט לסרט, Sol בנה חדר בקרה. יש תצוגת סקטור ב־"01 / 04 YONKERS", כפתור "התחל רצף" עם רמז SPACE, קנבס מכ״ם בגודל 184×138, ארבעה כפתורי שלב — Yonkers / התעוררות, Manhattan / דרומה, Queens / איסט ריבר, Brooklyn / גישה סופית — ורמז לגרירה לסיבוב ולגלילה לזום. הטקסט הוא הדבר הבטוח ביותר בשני העמודים: "צפו ביונקרס מתרוממת מקו המים של הדסון וצועדת דרך מנהטן, קווינס וברוקלין."

הקוד הוא החלק המעניין. סול דילג לגמרי על ה-bundler והשתמש ב-import map שמצביע three על עותק מקומי של גרסת ה-module, ואז פיצל את העבודה ידנית: city.js בגודל 9,603 בייטים, mech.js בגודל 25,511, effects.js בגודל 12,119. main.js מחזיק את הכיוון — משך של 48 שניות, הליכה שמתחילה ב-6.25 ש', הצעד האחרון ב-44.5 ש', שישה-עשר נקודות ביקורת של קו אורך וקו רוחב מיניקרס ועד ברוקלין, ו-THREE.CatmullRomCurve3 דרכם עם arcLengthDivisions מוגדר ל-1,000 כך שהמך הולך בקצב אחיד במקום להאיץ בפינות צרות. ההגדרה האחרונה הזו היא סוג הפרט שאתה כותב רק אם צפית בדמות מגמגמת.

אף אחת מהגישות אינה שגויה. Astra מיטבה את הגישה שלה למשהו שנטען, Sol מיטבה את הגישה שלה למשהו שאפשר לפתוח ולערוך — ופיצול הקבצים מלמד ש-Sol הבין שדמו תלת-ממד הוא גרף סצנה, שחקן וקבוצת אפקטים, ושכל אלה שייכים לקבצים נפרדים.

The GPT-6.2 Sol build of the Yonkers mech demo, titled Yonkers Protocol, showing a cinematic low-poly New York City with a sector readout at 01 of 04 Yonkers, a radar panel at 40.93 degrees north and 73.90 degrees west, a Start sequence button with a space-bar hint, four phase buttons for Yonkers, Manhattan, Queens and Brooklyn, and OpenStreetMap attribution.

המורפ ששתי ההדגמות פספסו

הנה החלק ששום כמות של ליטוש ממשק לא מכסה. הפרומפט מבקש מיאנקרס להזדקף כמכ גדול — טרנספורמציה, שבה בלוק עירוני הופך לגוף. אף אחד מהבילדים לא מספק את המעבר הזה באופן משכנע, ווויליסון אומר זאת ישירות, ומדרג את שניהם מתחת לגרסה של Claude Fable 5.2 וזו של Gemini 4 Carbon.

זו הפרשנות הכנה של ציון Elo של 1,318. Artificial Analysis מדדה את Astra כמובילה על Sol, והדמו מסכים — העמוד של Astra הוא הגמור יותר. אבל טבלת הדירוג עונה על "איזה משני אלה טוב יותר", והשאלה האמיתית של הקורא היא "האם זה טוב מספיק לשימוש", ובנקודה הזו התשובה מההשוואה הישירה היחידה שפורסמה היא לא. מבחן העדפה בין שני מודלים ששניהם פספסו את ה-morph עדיין יפיק דירוג, והדירוג עדיין ידווח כיתרון ביכולות.

החצי השני של סיפור הפרונטאנד של ההשקה הוא תקשורת, וגם הוא לא מחמיא. וויליסון מצטט את מכתב המשוב לפני ההשקה של תיאו בראון, שמתאר מודל שמנהל תת-סוכנים היטב במשימות ארוכות ואז נתקע על שאלת מימוש פנימית שאיש לא היה יכול לענות עליה — הדוגמה שלו היא סוכן שנמצא שעתיים בתוך פרויקט ועוצר כדי לשאול אם מבקר כותב את הקליפים שלו לשם קובץ אחד או אחר. הערת המיגרציה של OpenAI עצמה, שלפיה המודל "עשוי להציע צעד ולהמתין כשהכוונה אינה ברורה", היא אותה התנהגות כפי שהיא מתוארת מבפנים, וזה עלות אמיתית: סוכן שממתין לקלט שאינך יכול לספק הוא סוכן שעצר.

מה המשמעות של הפער עבור הבילד שלך

אם העבודה היא הדגמת תלת־ממד או פרונטאנד, ההבדל המעשי בין שני המודלים אינו פער של 59 נקודות Elo. ההבדל הוא ש-Astra תמסור לך תוצר שנראה מוגמר ו-Sol תמסור לך מאגר קוד. בחר ב-Astra כשהתוצר הוא קישור שאתה שולח למישהו; בחר ב-Sol כשהתוצר הוא קוד שמישהו אחר יצטרך לשנות ביום שני.

תמחרו את הבחירה על אותו ציר. התעריף של GPT-6.2 Astra עומד על 8 דולר למיליון טוקני קלט ו-40 דולר למיליון טוקני פלט, כאשר קלט שמור במטמון עומד על 0.40 דולר וכתיבות למטמון על 10 דולר. התעריף של GPT-6.2 Sol עומד על 2, 10, 0.10 ו-2.50 דולר — רבע מתעריף הטוקנים בכל שורה. לשניהם חלון הקשר של 1,050,000 טוקנים, עם קלט מרבי של 922,000 ופלט מרבי של 128,000, ושניהם דוחים reasoning_effort: "none", ושניהם מכפילים קלט וקלט שמור במטמון מעל 272,000 טוקנים לבקשה, תוך חיוב של פי 1.5 על פלט. Batch מחויב ב-50% מהתעריף הרגיל, מצב Fast בפי שניים, ו-Ultrafast בפי שלושה עד 28 בפברואר 2027 ופי שישה מ-1 במרץ 2027.

הנתון של עלות לכל ארטיפקט מאותו אחר הצהריים הוא זה שכדאי לזכור. מבחן השקנאי של Willison מרנדר את אותו SVG בשלוש רמות מאמץ, וברמת המאמץ המרבית Astra עלתה 88.71¢ לעומת 13.69¢ של Sol — בערך פי שש וחצי, עבור ציור שהוא לא תיאר כניצחון מובהק של אף אחד מהצדדים. יצירת פרונטאנד ברמת המאמץ Ultra היא מקום שבו היתרון של המודל היקר אמיתי אך צר, ומקום שבו ניסיון חוזר בודד מוחק אותו.

היכן משתלבת שכבת הניתוב

אם להיות ישירים לגבי העמדה: GPT-6.2 Astra ו-GPT-6.2 Sol לא נמצאים בקטלוג של OrcaRouter היום. רשומות ה-Open​AI שאנו מספקים הן GPT-6 Astra, GPT-6 Sol ו-GPT-6.1 Sol, כך שהזוג הזה נגיש דרך ה-API של Open​AI עצמו ופלטפורמות צד שלישי באופן כללי, ולא דרכנו.

מה שהקטלוג כן נותן לך הוא ההרגל שהמאמר הזה טוען בעדו. בדיקה כמו Yonkers היא בדיוק סוג עומס העבודה שאתה רוצה להשוות ב-A/B בין מודלים במקום להתחייב לו בנתיב ייצור — וביצוע זה דרך נקודת קצה אחת משמעו מפתח אחד, חשבון אחד ובלי חוזה שני, עם מעבר אוטומטי לגיבוי כשמודל שאתה מנסה מתחיל לפגוש פסקי זמן באמצע רינדור. בשורות שאנחנו כן מציעים, OrcaRouter מעביר הלאה את מחיר המחירון של הספק בתוספת של 0%, כך שמחירון התעריפים של הספק עצמו הוא מה שאתה משלם, והורדת מחיר נכנסת לתוקף אצלנו באותו יום. אם אתה בוחר בין מודל ב-$2 למודל ב-$8 לעבודת פרונטאנד, זו ההשוואה שכדאי שתעשה בעצמך, על אותו פרומפט, לפני שתבחר ברירת מחדל.

הלקח הצר יותר מההשקה הזו הוא שיצירת תלת־ממד עברה מ"לא יכולה" ל"לא גמורה", ושני המודלים יושבים בנקודות שונות על המדרון הזה: האחד מפיק עמוד שנראה גמור, והשני מפיק קוד שהוא אכן גמור. אף אחד מהם לא הפך את יונקרס. שניהם התקרבו מספיק כך שהגרסה הבאה כנראה תעשה זאת — וכשהיא תעשה זאת, העלות של לגלות זאת תהיה פרומפט אחד, לא מיגרציה אחת.

השוואות במאמר הזה1

זוהה מתוך המאמר הזה