שאל את GPT-6.1 Sol, Claude Opus 5.5 או Gemini 4 Argon "מיהו החוקר הזה?" — וראה את Argon פונה למעבדה הלא נכונה

שלושה מודלים בחזית נשאלו שאלה אחת כל אחד, 448 פעמים, כשכל מה שעמד לרשותם הוא שם בלבד. GPT-6.1 Sol וClaude Opus 5.5 זיהו כמעט כל חוקר בינה מלאכותית שהוצג להם. Gemini 4 Argon זיהה כמעט אותו מספר אנשים אך תיאר פחות מהם נכון, והסיבה המדווחת ספציפית ושימושית: הוא ציין שוב ושוב את המעביד לשעבר של חוקר כמעבידו הנוכחי. ההערכה פורסמה ב-14 באוקטובר 2026 על ידי החשבון @scaling01; זהו מבחן שפורסם, לא מדד עצמאי, ואיש לא שחזר אותו. שלושת המודלים שונים מאוד בגילם — Gemini 4 Argon הפך לזמין באופן כללי במסלול בתשלום ב-13 באוקטובר 2026 לאחר שהוכרז ב-30 בספטמבר, Claude Opus 5.5 שוחרר ב-22 בספטמבר, GPT-6.1 Sol ב-29 בספטמבר — כך שהדבר היחיד שבאמת חדש כאן הוא הממצא עצמו, שמגיע יומיים לאחר שנפתח המסלול בתשלום של Argon.

זו בעיית תכונה מיושנת, וכדאי להבין אותה כהלכה, מפני שהיא אינה מאותו סוג של כשל כמו ציטוט הזייתי או מאמר מומצא בביטחון. מודל שמציין את המעסיק לשעבר של חוקר לא ממציא משהו. הוא מחזיר עובדה שהייתה נכונה, מתוך תמונת מצב שהתקדמה הלאה. ההיגיון הפנימי המצוטט לפער הוא שככל שמודל "טוב יותר" בציטוט מידע מיושן כעדכני, כך הוא שימושי יותר למשימות מסוימות ומסוכן יותר למשימה הזו. זהו ניסוח נקי של הפשרה, וזו הסיבה שההערכה המסוימת הזו מעניינת יותר ממה שגודל המדגם שלה מרמז.

מה שהפוסט למעשה מדד, במילותיו שלו: 448 חוקרים אמיתיים הוצגו לכל מודל כשם בלבד, פעם אחת, ללא גישה לאינטרנט וללא כלים. התשובות נבדקו מול מקורות פומביים — עמודים אישיים, ביוגרפיות במעבדות, מאמרים — ב-14 באוקטובר 2026. התרשים מפריד בין שני דברים שבדרך כלל מאוחדים לציון אחד. העמודה המלאה היא "זיהה את האדם הנכון". החלק האטום של העמודה הוא "התשובה כולה הייתה גם מדויקת". הפער בין השניים הוא אופן הכשל: האדם הנכון, הפרט הלא נכון. פילוח הקבוצה היה 131 חוקרי OpenAI, 166 Anthropic, 151 Google. השיוך למעבדה נקבע מתוך 298 פרופילים נוכחיים או עמודי מעבדה, 148 חתימות מחבר במעבדה מאז אוקטובר 2025, ו-2 אנשים שעברו בין מעבדות. הוחרגו: 2 שעזבו את המעבדות הללו, 13 שלא ניתן היה לאמת, ו-22 חוקרים בולטים שפועלים מחוץ לשלוש המעבדות. כל שלושת המודלים דחו את כל 50 השמות הבדויים שניתנו להם — אף אחד מהשלושה לא המציא אדם, שזו הבקרה הקשה יותר, וזו שהם עברו.

מה שבאמת עולה לך טעות של "מעסיק קודם"

אם אתם משתמשים במודל פרונטיר כדי להכין תדריך, לנסח רשימת פניות, או לסכם מי עובד איפה, זו בדיוק הצורה של השגיאה שתקבלו. השם יהיה נכון. התפקיד יהיה סביר. הארגון יהיה זה שהאדם עזב. שום דבר בפלט לא ייראה שגוי, וזו הסיבה שהוא שורד ביקורת, וזו הסיבה שתשובה עם מעסיק שגוי גרועה מתשובה שגויה באופן ברור.

זה גם מסביר מהיכן מגיעים ההבדלים בין מודלים. שגיאות ייחוס מהסוג הזה עוקבות אחר האופן שבו הידע של המודל נתפס כתמונת מצב ואיך הוא מנסח תשובה כאשר נתוני האימון שלו מכילים גם שיוך ישן וגם שיוך חדש. מודל שראה את שתי העובדות ובוחר בחדשה יותר מקבל כאן ציון טוב. מודל שראה את שתיהן ובוחר בנפוצה יותר בקורפוס שלו — אשר עבור חוקר בעל ותק רב היא בדרך כלל הישנה יותר — מקבל ציון גרוע בלי להיות טועה לגבי שום דבר שבאמת נאמר לו. המסגור של ההערכה עצמה תואם: היא מודדת אם מודל מתייחס ל"מיהו האדם הזה" כאל שאלה על ההווה.

מה המשמעות של שלושה מודלים שונים עבור תוצאה זו, ומה היא לא.

זו הערכה אחת שפורסמה על ידי חשבון אחד, והקריאה הכנה חייבת להתחיל שם. המדגם הוא 448 שמות, הדירוג הוא של המפרסם עצמו מול מקורות ציבוריים, נתוני העמודות לכל מודל אינם ניתנים לשחזור מלא מתמונות הגרף, ואף מעבדה או מעריך אחר לא הריצו את אותו פרוטוקול. התייחסו לזה כאל אות לכך שמצב כשל ספציפי קיים בקצב מדיד באחד מהשלושה, ולא כדירוג שעל פיו בוחרים.

מה שהופך את זה ליותר מרעש הוא שהבקרה טובה באופן יוצא דופן עבור הערכת מדיה חברתית. מתן שם בלבד לכל מודל, פעם אחת, ללא גישה לאינטרנט, מסיר את מסלול השליפה שבדרך כלל היה מכסה על השתייכות מיושנת — מודל בעל יכולת גלישה פשוט היה מחפש את האדם. החרגת חוקרים שעזבו את המעבדות, ובנפרד החרגת אנשים בולטים מחוץ למעבדות, מסירה את המקרים שבהם תשובה של "מעסיק נוכחי שגוי" עשויה להיחשב נכונה. ו-50 השמות המומצאים הם המבחן שמפריד בין "ידע מיושן" לבין "נכונות להמציא דברים", שאותו עברו שלושת המודלים יחד.

יש מתח שראוי לתת לו שם: שיעור השטויות המדווח — השיעור של תשובות שהיו שגויות בשוליים — הוא כמעט אפס, ואילו אי-הדיוק המוכר מרוכז כמעט כולו בשדה ההשתייכות. מודל שקיבל ציון כה נקי בשמות מומצאים ובכל זאת ייחס באופן שגוי מעסיקים אינו מבולבל. הוא מיושן בדיוק בממד אחד.

שלושת הדגמים אינם מוצרים ברי השוואה, לכן יש לקרוא את התוצאה בהתאם

• Gemini 4 Argon — הוכרז ב-30 בספטמבר 2026, זמין באופן כללי במסלול בתשלום מ-13 באוקטובר במחיר מוצהר של 2.00 דולר למיליון טוקנים בקלט ו-10.00 דולר למיליון טוקנים בפלט; אותה הערכה שמסמנת את שגיאות הייחוס שלו היא זו שדירגה אותו גבוה בזיהוי.

• Claude Opus 5.5 — שוחרר ב-22 בספטמבר 2026 במחיר של 4.00 דולר למיליון טוקני קלט ו-20.00 דולר למיליון טוקני פלט, ירידה מ-5/25 דולר שגבה Claude Opus 5.

• GPT-6.1 Sol — הושק ב-29 בספטמבר 2026 במחיר של 2.00 דולר למיליון טוקנים בקלט ו-10.00 דולר למיליון טוקנים בפלט.

פער הגילאים משנה את האופן שבו אתה קורא את התוצאה. Argon הוא החדש מבין השלושה בפער ניכר, ואם מצב הכשל הוא תמונות מצב מיושנות, המודל עם הידע העדכני ביותר הוא זה שסביר ביותר לשאת שתי השתייכויות סותרות עבור אותו אדם בלי אות חזק לגבי איזו מהן עדכנית. זו השערה שההערכה אינה בודקת ולא יכלה לבדוק, בהינתן העיצוב שלה, אבל זה הדבר הראשון שכדאי לבדוק אם תריץ אותה שוב.

אם אתה מתכוון להשתמש במודל לעובדות על אנשים, בדוק אותו לפני שאתה סומך עליו

קל לשערך את ההערכה הזו על הנתונים שלך, והשערוך שימושי יותר מהמצרף. קח עשרים שמות מהתחום שלך — אנשים שאתה יודע שהחליפו מעסיקים בשמונה־עשר החודשים האחרונים — ושאל את המודל מה התפקיד הנוכחי של כל אחד מהם, פעם אחת, בלי כלים. ספור כמה מהם חוזרים עם הארגון הישן. המספר הבודד הזה אומר לך יותר על הפריסה שלך מאשר כל ריצת 448 השמות כולה, כי הכשל תלוי־תחום: מודל שאמין לגבי חוקרי מעבדות בינה מלאכותית עשוי להיות חלש בתעשייה שלך, או להפך.

שני פרטי פרוטוקול מהמקור שווים העתקה, מפני שהם אלו שהופכים את התוצאה למשמעותית. ראשית, ללא גישה לאינטרנט. מודל עם כלי חיפוש פשוט יחפש את האדם, וזו ההתנהגות הנכונה; המשמעות היא שהמבחן מפסיק למדוד משהו לגבי הידע המאוחסן שלו. שנית, למסור רק את השם. הוספת הקשר ("האדם הזה עוסק ברובוטיקה") מאפשרת למודל להסיק את התשובה מההקשר במקום לשלוף אותה, מה שמחמיא לתוצאה בלי לתקן את החולשה.

אם אתם מריצים את זה בנפח גדול על פני כמה מודלים ולא מודל אחד בלבד, ההשוואה היא החלק היקר — אותם שמות חייבים לעבור לכל מודל באותו אופן, ושם שכבת ניתוב מצדיקה את מקומה במקום להיות רק נוחות.

היכן בדיקה מסוג זה שייכת בצינור עיבוד נתונים

עובדות על אנשים הן אחד המקרים הבודדים שבהם תשובה שגויה זולה לזיהוי בדיעבד ויקרה לזיהוי מראש, ולכן הצעד המעשי הוא להתייחס לשדה השיוך כברירת מחדל כלא מאומת ולבדוק אותו מול מקור שבשליטתך. זה לא אומר להפחית אמון במודלים באופן גורף. זה אומר לשים לב ש"זיהה את האדם הנכון" ו"תיאר אותו נכון" הן שתי מדידות שונות, ושהשנייה היא זו שרצית באמת.

ב-OrcaRouter זהו סוג הבדיקה שרץ על פני כמה מודלים באותו מפתח ולא אחד בכל פעם. GPT-6.1 Sol ו-Claude Opus 5.5 — שני המודלים שההערכה הזו מצאה שהם הכי פחות נוטים לשגיאת ההשתייכות המיושנת — ניתנים לניתוב כאן דרך אותה נקודת קצה, כך שאותם עשרים שמות מגיעים לשניהם בשינוי של מחרוזת המודל ולא בחוזה נוסף, וספק שעובר אחר צהריים רע לא מפיל איתו את ההשוואה. Gemini 4 Argon אינו נמצא ב-OrcaRouter; אפשר להגיע אליו דרך המסלול בתשלום של הספק עצמו ופלטפורמות צד-שלישי אחרות, ואין לקרוא כאן דבר כהצעה לנתב אותו. המודלים שאנחנו כן מציעים הם במחיר המחירון של הספק בלי תוספת, כך ששינוי מחיר של ספק מגיע לחשבון שלך באותו יום שבו הוא מתפרסם.

למה לשים לב, ומה ישנה את הקריאה הזו

התוצאה היא הערכה של חשבון אחד עם בקרה טובה ומדגם קטן, שפורסמה ב-14 באוקטובר 2026, והצעד הבא ההוגן אינו לפעול לפיה אלא לחפש את ההרצה השנייה. שני דברים יעבירו אותה ממצב של אות לממצא: מעריך עצמאי שיחזור על הפרוטוקול עם רשימת שמות גדולה יותר ודירוג מפורסם, או ספק שיכיר בכך שייחוס בין המעסיק הקודם והנוכחי של אדם הוא סוג כשל מובחן ששווה להתמקד בו. העובדה שבקרת 50 השמות המומצאים עוברת בכל שלושת המודלים היא הפרט שהופך זאת לסביר — משמעותה היא שהבעיה אינה בדיה, שקשה, אלא רענון, שניתן לטפל בו.

עד אז, הסיכום השימושי הוא צר יותר מטבלת דירוג ויותר מעשי ממנה. מודל שמדווח בביטחון על מעסיק מיושן אינו משקר לך. הוא עונה על שאלה על העבר כאילו שאלת על ההווה, והדרך היחידה לתפוס אותו היא לשאול את השאלה שהתכוונת אליה באמת.

תוצאה כמו זו היא גם תזכורת לכך שטעויות של מודלים כבר מתועדות: תקלות AI וכשלי סוכנים שמאחורי המודלים במחלקה הזו נאספים בOrcaRouter AI Incident Archive, שבו כל ערך נושא מקורות משלו, חומרה, דרגת ביטחון ודגל שנוי במחלוקת.