GPT-6.1 Sol על COBOL: 86.6% לעומת 5.4%, ורק אחד משני המבחנים ניתן להריץ מחדש

ב־19 באוקטובר 2026, O​penAI פרסמה שתי הערכות קידוד עבור שפות דלות משאבים, והנתון הבולט שייך ל־GPT-6.1 Sol: 86.6% ממשימות מיגרציה של COBOL עברו במאמץ חשיבה נמוך, לעומת 5.4% עבור GPT-5.6 Sol באותה תצורה, ועולה ל־97.9% כשהמאמץ עולה. ההערכה השנייה, MultiLangBench, היא סיפור של מודל אחר — GPT-6 Astra הגיע בממוצע ל־87.4% על פני עשרים שפות במאמץ מקסימלי — אך זהו החצי המועיל יותר של השחרור, כי O​penAI העלתה את מערכת הבדיקות שלה ל-GitHub תחת Apache-2.0 ואתה יכול להריץ אותה בעצמך אחר הצהריים. הערכת המיגרציה של COBOL, זו שנושאת את 86.6%, היא עניין אחר: הבדיקות שלה נסתרות, קריטריון המעבר שלה הוא התאמת פלט בייט-לבייט מול מקרים שאיש מחוץ ל-O​penAI לא ראה, ואף צד שלישי לא שחזר אותה. האי-סימטריה הזו היא כל הסיפור, וכדאי לומר זאת בפשטות לפני שאחד משני המספרים יצוטט בתיק עסקי למיגרציה. הכשלים המתועדים של AI ותקריות סוכנים מאחורי שחרורים כמו זה נאספים ב־ה-OrcaRouter AI Incident Archive שבו כל רשומה כוללת את המקורות שלה, חומרה, דרגת ביטחון וסימון מחלוקת.

תאריך אחד שכדאי לזכור. GPT-6.1 Sol עצמו הוא מ-29 בספטמבר 2026 — זו לא השקה, ושום דבר כאן לא משנה את המשקלים, המחיר או תעריף המודל. מה שקרה ב-19 באוקטובר הוא ש-OpenAI פרסמה ראיות לגבי מה שהמודל מסוגל לעשות בקטגוריה שלא תועדה בעבר, והשיקה בנצ'מרק שכל אחד יכול להריץ מחדש. זה האירוע שהמאמר הזה עוסק בו.

מה פורסם בפועל, ולשם מה נועד כל חצי

שתי ההערכות עונות על שאלות שונות, והמסגור של OpenAI עצמו מפריד ביניהן. MultiLangBench שואלת אם מודל יכול לבנות משהו בשפה שאיש אינו מאמן עליה: לממש את SQLite 3.40.1 מאפס באחת מעשרים שפות תכנות, ואז לעבור חבילת בדיקות תאימות למסד נתונים. הערכת הגירת COBOL שואלת אם מודל יכול להעביר משהו: לתרגם תוכניות COBOL ל-C++, Java, Kotlin, Python או Rust תוך שמירה מדויקת על ההתנהגות הנצפית.

הראשון הוא מבחן רצפת היכולת. השני הוא זה שארגונים באמת אכפת להם ממנו, כי COBOL אינו קוריוז של בנצ'מרק — ההערכות הוותיקות של IBM מציבות את COBOL מאחורי יותר מ-40% ממערכות הבנקאות המקוונת וכ-95% מעסקאות הכספומטים, והקוד מתוחזק על ידי כוח עבודה שאינו מוחלף.

• MultiLangBench, מאמץ מרבי — GPT-6 Astra 87.4%, GPT-6 Luna 40.3%, GPT-5.6 Sol 26.8%. Astra עברה את רף 83% ב-19 מתוך 20 שפות; COBOL היה החלש ביותר שלה עם 72.1% לעומת 10.9% של GPT-5.6 Sol, מה שמראה שהשפה הקשה ביותר בקבוצה היא עדיין זו עם הכלים הוותיקים ביותר.

• הגירת COBOL, מאמץ נמוך — GPT-6.1 Sol 86.6%, GPT-5.6 Sol 5.4%, בעלות API מוערכת השווה ל-61% מעלות המודל הישן יותר עבור ריצת ההערכה, או 39% פחות.

• הגירת COBOL, מאמץ גבוה יותר — GPT-6.1 Sol 97.9%, שאותו OpenAI מתארת כקרובה לרוויה.

• פירוט לפי שפה ש-O​penAI אכן פרסמה — Fortran 83.5% עבור Astra לעומת 21.4% עבור GPT-5.6 Sol; Visual Basic 89.4% לעומת 27.5%; OCaml 85.8% לעומת 25.6%; GPT-6 Luna עם 17.1% ב-COBOL, 31.4% ב-Fortran, 34.1% ב-OCaml ו-41.6% ב-Visual Basic.

• עלות לדגימה ב-MultiLangBench — הערכה של $0.77 עבור GPT-6 Luna לעומת $3.48 עבור GPT-5.6 Sol, נמוכה בכ-78%, וזה המספר שהופך את המודל החלש ביותר בטבלה למעניין עבור תהליך יצירת buildים.

ההערכה שאפשר להריץ מחדש: מה MultiLangBench באמת דורש

המאגר הוא github.com/openai/MultiLangBench, ברישיון Apache-2.0, וקריאה במערכת הבדיקה מלמדת יותר מקריאה בלוח המובילים. המשימה ספציפית מספיק כדי שמודל לא יוכל לבלף בה: לייצר קובץ הרצה שמקבל נתיב למסד נתונים כארגומנט בשורת הפקודה, קורא שאילתת SQL מ-stdin, ומתנהג כמו SQLite 3.40.1. הבדיקות מגיעות מחבילת ה-TCL של SQLite עצמו — כ-51,000 בדיקות בסך הכול, שמתוכן כ-24,000 הומרו לשלשות שבהן משתמשת מערכת הבדיקה: מסד נתונים התחלתי, שאילתת משתמש ושאילתת אימות. שמות הבדיקות הם גיבובי SHA-256 של רכיבים אלה, כך שאי אפשר לשנן את החבילה לפי שמות.

הקושי טמון בכללים, וכל אחד מהם סוגר קיצור דרך:

• אין אינטרנט, ואין SQLite בשום מקום בסביבה. רתמת הבדיקה אומרת שיש להסיר קודם כל זכר של SQLite. מודל לא יכול להריץ את המנוע האמיתי דרך מעטפת, והוא לא יכול לאחזר מימוש.

• האימות מתבצע מול SQLite 3.40.1 אמיתי.המימוש שלך משנה את מסד הנתונים; הארנס מחלץ אותו ובודק אותו עם הגרסה האמיתית. התנהגות משוערת תיכשל.

• שישים שניות לכל מבחן, ותשובה בשפה שגויה מקבלת אפס. ערבוב שפות נכשל, וההרנס מציין שייתכן שישתמשו במודל אחר כדי לבדוק באיזו שפה כתבת בפועל. הכלל האחרון קיים משום שהרמייה הברורה מאליה — לכתוב בפייתון ולעטוף אותה — היא הדבר הראשון שמודל מוכשר מנסה.

• ההרצה המהירה כוללת 272 בדיקות, לא 24,000. ה-README ממליץ להריץ רק את הבדיקות ששמותיהן מתחילים ב־00, 01 או 02 כאשר רוצים מספר בר־השוואה. זה הפרט שכדאי לשים לב אליו לפני שמשווים את הציון שלך לזה של O​penAI: הרצת חבילה מלאה והרצה מהירה אינן אותה מדידה, וה-README אומר זאת.

זהו מדד אמיתי וניתן לבדיקה. הוא גם מספר לך משהו שהסיקור בתקשורת לא סיפר: נתון הכותרת של 87.4% נמדד על חבילת מבחנים שאפשר לכוון אל המודל שלך, וזה נדיר מספיק כדי להצדיק את ההורדה.

ההערכה שאי אפשר להריץ מחדש, ולמה זה לא הופך אותה אוטומטית לשערורייה

הערכת ההגירה מ-COBOL תוכננה על ידי OpenAI, מופעלת על ידי OpenAI ומדורגת על ידי OpenAI, ומקרי המבחן שלה אינם מפורסמים. רף המעבר מוצהר במדויק — הגירה נחשבת רק אם כל מבחן נסתר מפיק פלט נצפה זהה בייט-בייט — ובדיוק הזה הוא בדיוק מה שהופך את התוצאה לבלתי ניתנת לאימות מבחוץ: 86.6% הם המדידה של OpenAI מול מקרי המבחן הנסתרים של OpenAI עצמה. רק אחת משתי ההערכות במהדורה היא משהו שקורא יכול לשחזר.

יש הצדקה להסתרת מבחני הגירה. הקורפוס כנראה נשאב מתוכנות מדור קודם אמיתיות, ופרסומו עלול להדליף קוד של לקוחות או לספק למודלים עתידיים סט אימון. זהות בייט-לבייט היא גם קריטריון שמרני באמת, מחמיר יותר מרוב ההערכות של ספקים: הוא אינו מתגמל תרגום שהוא רק קרוב.

אבל הקריטריון הוא גם המקום שבו מתחילות הצרות המעשיות, וההסתייגויות של OpenAI עצמה מצביעות על כך. פלט המיגרציה עדיין דורש סקירת מומחים ובדיקות מול כללי עסק ותלויות מערכת לפני הייצור. ושוויון בתים קשה בדיוק במקומות שבהם COBOL קשה: השפה מקצרת ומעגלת אריתמטיקה של נקודה קבועה בדרכים שרוב שפות היעד אינן עושות, כך שתרגום יכול להיראות נכון, לעבור חבילת בדיקות שבודקת "קרוב מספיק", ועדיין להזיז יתרה בסנט אחד. חבילת בדיקות נסתרת שדורשת שוויון מדויק מטפלת בזה; גם תהליך הסקירה שלכם חייב לטפל בזה, כי הציון של המודל אינו הצהרה על התוכניות שלכם.

נתון העלות דורש אותה מידה של זהירות. החיסכון של 39% הוא אומדן עבור ריצת ההערכה — טוקנים שנכנסים ויוצאים מהבנצ'מרק — ולא העלות של החלפת מערכת ייצור, שנשלטת בעיקר על ידי גילוי, סקירת מומחים, בדיקות אינטגרציה ושנים של התנהגות לא מתועדת שאף הערכה לא דוגמת.

מה 86.6% ו-97.9% אמורים לשנות בהחלטה

הקריאה הכנה צרה יותר מהכותרות ומועילה יותר מהן. בסיס של 5.4% אינו מודל שעובד למחצה; הוא מודל שכמעט לעולם אינו מפיק תרגום שמשמר התנהגות, ולכן הדור הישן מעולם לא היה מועמד לעבודה הזאת. GPT-6.1 Sol ב-86.6% נמצא בטווח שבו הכלכלה מתהפכת: כלי שמנסח את רוב התרגום ומשאיר לבודק לבדוק אותו הוא מוצר אחר מכלי שלא מפיק דבר שמיש.

הנתון של 97.9% במאמץ גבוה יותר הוא זה שצריך להיות ספקניים לגביו, לא משום שהוא שגוי אלא משום שהוא רווי. ברגע שמדד קרוב לתקרת הביצועים שלו, הוא מפסיק להבחין בין מודלים ומתחיל למדוד את החבילה, ו-OpenAI אומרת זאת במפורש. לצורכי תכנון, התייחסו ל-86.6% במאמץ נמוך כנקודת הפעלה זולה, ול-97.9% כתקרה של מה שההערכה יכולה להראות לכם — ולא כהבטחה לדיוק עבור בסיס הקוד שלכם.

יש גם בדיקה צולבת שכדאי לבצע, והיא פועלת נגד ההייפ. במבחן הבנייה, COBOL נותרה השפה החלשה ביותר של GPT-6 Astra עם 72.1%, אף ש-Astra הוא המודל החזק יותר באופן כללי עם ממוצע של 87.4%. השפה קשה בשני הכיוונים. מודל שמבצע מיגרציה של COBOL היטב בהערכה נסתרת אינו בהכרח טוב ב-COBOL; הוא טוב בתבנית שההערכה דוגמת.

הדבר האחר שקרה השבוע: הטענה בדבר עקבות החשיבה

פוסט שהופץ באופן נרחב ב-21 באוקטובר אמר שעקבות החשיבה של GPT-6.1 Sol הן "קריאות לחלוטין, אין ממה לדאוג." שום דבר בפרסום של OpenAI מ-19 באוקטובר, ושום דבר בעמוד התיעוד של המודל עצמו, אינו תומך בטענה שמדובר בשינוי במה שה-API מחזיר. מדריך החשיבה של OpenAI מבהיר במפורש שטוקנים גולמיים של חשיבה אינם נחשפים — פריטי חשיבה נשארים אטומים — ושמה שאפשר לבקש הוא תקציר של החשיבה דרך פרמטר ה-summary, כאשר תוכן חשיבה מוצפן משוחזר בין סבבים. GPT-6.1 Sol תומך בצורת all_turns של השמעה מחדש זו. ערוץ תקציר אינו עקבה קריאה, והתייחסות לשניים כדבר אחד היא הדרך שבה טענת בטיחות נעשית באמצעות צילום מסך.

מה שניתן למדידה הוא סמוך לכך ומעניין יותר עבור כל מי שבודק סוכן. ההערכה של Sonar מ-9 באוקטובר של GPT-6.1 Sol, שהורצה מול GPT-6 Sol במאמץ בינוני על פני 4,444 משימות Java, מצאה שטוקני החשיבה ירדו ב-51.4% — מ-2.64M ל-1.28M — בעוד שחלקם של טוקני החשיבה בתפוקה ירד מ-41.8% ל-19.5%, התפוקה עלתה, ושיעור המעבר הפונקציונלי השתפר מ-83.09% ל-85.29%. באותה הרצה נמצאה ירידה של 32.4% בצפיפות הפגיעויות, אך ממצאי אמינות בחומרה קריטית עלו מ-21 ל-46, כאשר באגים של מקביליות היו הקטגוריה הגדולה ביותר עם 196 ממצאים. זו פשרה שמבקר יכול לפעול על פיה. המשפט "העקבות קריאות" אינו כזה, משום שהעקבות אינן מה שמוחזר.

בפרויקט הגירה זה חשוב באופן קונקרטי אחד: נתיב הביקורת שלך הוא ה-diff ופלט הבדיקות, ולא הנרטיב של המודל. תקצב את קיבולת הביקורת בהתאם — הממצא של Sonar שלפיו 39.4% יותר קוד שנוצר הניבו 12,982 ממצאים בסך הכול לעומת 9,859 הוא הצורה של העלות שמסתתרת מאחורי ציון benchmark.

להריץ את שתי הזרועות בעצמך

הבעיה המעשית בהשוואה כזו היא שזרוע הבסיס והזרוע החדשה הן בדרך כלל שני חוזים, שני מפתחות ושתי מערכות חיוב, וזה מספיק חיכוך כדי שאף אחד לא מריץ את הבסיס. שני המודלים נמצאים בקטלוג שלנו מאחורי מפתח אחד: openai/gpt-6.1-sol ו-openai/gpt-5.6-sol, במחירי המחירון של OpenAI עם 0% תוספת, כך שאותם $2.00 לקלט ו-$10.00 לפלט לכל מיליון טוקנים שהייתם משלמים לספק, כאשר קלט במטמון ב-$0.10 וכתיבות למטמון ב-$2.50, ושכבת מעל 272K מועברת ב-$4.00, $0.20, $5.00 ו-$15.00. שינוי בתעריף הספק נכנס לתוקף כאן ביום פרסומו ולא בסקירת החוזה הבאה.

ההעברה הזו היא מה שהופך בנצ'מרק של אותו יום לזול להרצה: הפנו את MultiLangBench quick suite אל שני המודלים, שלמו מחיר מחירון על כל אחד, ותקבלו מספר על שרשרת הכלים שלכם ולא של OpenAI. מעבר אוטומטי לגיבוי הוא החצי השני של הטיעון — אם המודל החדש יותר נחלש באמצע ההרצה או שנתיב מוגבל בקצב, הבקשה לא נכשלת יחד איתו, וזה מה שמאפשר לכם להציב מודל לא מוכח לפני צינור הגירה לפני שיש לכם ראיות משלכם.

מערכת הבדיקה של MultiLangBench היא ציבורית, ומקרי ההגירה של COBOL אינם, ולכן הבדיקה היחידה הכנה של 86.6% היא זו שתבנו בעצמכם: דגמו כמה מאות מתוכניות ה-COBOL שלכם, תרגמו אותן, והשוו את הפלט בייט אחר בייט מול ההתנהגות המקורית. זו עבודה של שבוע, והיא שווה יותר מטבלת הספק.

מה לצפות בהמשך

שלושה דברים היו משנים את התמונה הזו, ואף אחד מהם עוד לא קרה. פרסום מקרי ההגירה של COBOL על ידי O​penAI, או הרצה חוזרת שלהם במעבדה עצמאית, היה הופך מספר של ספק למדידה. שחזור של טבלת MultiLangBench לפי שפה על ידי צד שלישי יגיד לנו אם 72.1% של COBOL הוא תכונה של השפה או של החבילה. ורקורד הבנצ'מרק העצמאי של המודל — Artificial Analysis מציבה כיום את GPT-6.1 Sol באינדקס אינטליגנציה של 52, במקום ה-12 מתוך 214 מודלים, ב-55.2 אסימוני פלט לשנייה וב-$0.72 למשימת אינדקס — הוא הבדיקה שאינה תלויה כלל בהערכות של O​penAI עצמה.

עד אז, הסיכום השימושי הוא קצר. GPT-6.1 Sol הוא מודל מ-29 בספטמבר, ויכולתו בתחום קוד מדורות קודמים תועדה ב-19 באוקטובר, בהערכה אחת שאפשר להריץ ואחת שאי אפשר. זו שאפשר להריץ אומרת שהדור החדש ברמה אחרת בשפות עם מעט משאבים. זו שאי אפשר להריץ אומרת שהגירה מ-COBOL מצדיקה כעת פיילוט. רק בסיס הקוד שלכם יכול להפוך כל אחד מהשניים להחלטה.