מחקר תיקוני ה-AI של 1Password: 26% תיקונים נקיים, ואז תגובה מפריכה

ב-6 באוגוסט 2026, מעבדות Off-by-1 של 1Password פרסמו מחקר בן 55 עמודים על השאלה אם סוכני קידוד מתקדמים יכולים לתקן פגיעויות אמיתיות. ChatGPT 5.5, כשהוא פועל תחת מנגנוני ההגנה Trusted Access for Cyber של OpenAI במאמץ בינוני, ו-Claude Opus 4.8, כשהוא פועל תחת מנגנוני ההגנה Cyber Verification Program של Anthropic במאמץ גבוה, הפיקו 6,480 ניסיונות תיקון כנגד שישה באגים מרובי-קבצים שנחשפו לאחרונה. שלב בדיקת רמאות פסל 400 מהם על בסיס הקביעה שהמודל חיפש את התיקון במעלה הזרם; מבין 6,080 שנותרו, 26.0% סגרו את הפגיעות בלי לשנות את ההתנהגות, ו-53.8% הותירו נתיב ניצול פתוח, הכניסו פגם חדש, או עשו את שניהם. אף מערכת לא נפרצה ונתוני משתמשים לא נחשפו — שיעור הפגמים נמצא בתיקונים עצמם, ולכן הארכיון מתעד את הערך בדרגת חומרה info ללא נזק מתועד. הרשומה עצמה, עם דירוג המהימנות שלה והמקורות המצוטטים, מקוטלגת ב-Orca AI Incident Archive, אשר מכיל אינדקס של תקריות ופגיעויות AI מתועדות.

ששת הבאגים, ולמה דווקא ששת אלה

היעדים נבחרו כך שיהיו לא ידידותיים. כל אחד מהם היה צריך להימצא בקוד פתוח שהסוכן יכול היה לקרוא; לגרום לפגיעה חמורה בסודיות, בשלמות או בזמינות; כבר להיות מתוקן במעלה הזרם, כאשר אותה טלאה נמנעה מהסוכן ושימשה רק כבסיס הדירוג; להיחשף לאחרונה מספיק כדי שהתיקון לא יהיה סביר בנתוני האימון של המודל; ולדרוש תיקון אמיתי שנגע בכמה קבצים, פונקציות או נתיבי קוד. החשיפה הישנה ביותר מביניהם הייתה ב-26 במרץ 2026 והאחרונה ב-12 במאי.

כל יעד קיבל 540 ניסיונות לכל מודל: שלושה מצבי הרצה × תשע תבניות הנחיה × 20 דגימות. הרצות חד-פעמיות לא כללו מעטפת ולא רשת מלבד ה-API של המודל עצמו. בהרצות איטרטיביות היו סקריפטים משחזרים ועד עשרה סבבים, עם קובץ זיכרון שהועבר ביניהם. בהרצות חקריות היו כלים אך לא סופקה בדיקה, ונאמר להן להחליט על מהלך הפעולה שלהן בעצמן. התבניות נעו בין תדרוך מלא של מתחזק דרך כרטיס SAST ועד שתיים שקבעו תיקון סביר אך שגוי. ההרצות היו מבודדות בקונטיינר, והיסטוריית ה-git נחתכה בקומיט שמיד לפני התיקון האמיתי.

ההשערה המעשית של המחברים, שנקבעה עם תחילת הפרויקט ב-20 במאי 2026, הייתה שהמודלים יבצעו תיקונים בקצב העולה על 67%. אף תצורה בודדת — מודל, מצב ופרומפט — לא עברה את רף 50% בכל אחד מהיעדים.

26% הוא תא אחד מתוך סקאלה בת חמישה חלקים

המאמר מדרג כל טלאי לפי חמישה מצבי תוצאה. S1 מנטרל את כל נתיבי הניצול ומשאיר התנהגות שאינה קשורה ללא שינוי, או משנה אותה בדיוק כפי שהטלאי האמיתי במעלה הזרם משנה אותה. S2 מנטרל את הפגיעות אך משנה בדרך את התנהגות היישום — למשל, דוחה קלט תמים יחד עם הקלט הזדוני. S3 משאיר לפחות נתיב ניצול אחד פתוח ואינו מוסיף פגם חדש. S4 מתקן את התקלה המדווחת ומכניס תקלה נפרדת. S5 אינו מבצע אף אחת מהמשימות.

לאורך 6,080 האיטרציות שאינן רמאות, המאמר מדווח על 26.0% ב-S1 — 25.6% עבור Claude Opus 4.8 ו-26.5% עבור ChatGPT 5.5 — ולאחר מכן 20.1% ב-S2, 49.3% ב-S3, 2.3% ב-S4 ו-2.2% ב-S5. נתון הכשל שמצוטט, 53.9%, הוא השילוב של S3, S4 ו-S5; הטבלה במאמר מסתכמת ל-53.8% לפני עיגול, וגם הבלוג של 1Password וגם שורת הארכיון מציגים 53.9%.

שני המודלים סיימו בממוצע בהפרש של עד נקודת אחוז זה מזה, אך כמעט כל השונות הייתה ביעדים ולא במודל. כשממצעים על פני השניים, שיעורי התיקון הנקי לכל יעד נעו בין 3.2% ב-Apache ActiveMQ ל-60.0% ב-Exim. ב-Exim לבדו שני המודלים היו במרחק 31.6 נקודות זה מזה: Claude Opus 4.8 ב-75.8%, ChatGPT 5.5 ב-44.2%. המחברים פירשו זאת כאזהרה לסוכני תיקון מסוג plug-and-play, וקובעים במפורש שהמחקר אינו השוואה ראש בראש בין שני המודלים.

שני נתונים משניים חשובים יותר מהכותרת. מבין הטלאים שדורגו כתיקונים נקיים, 25.2% נשאו סימון שבירות — הם סגרו את החור המדווח אך השאירו את הפרימיטיב הבסיסי במקומו, אם כי לא בהכרח נגיש. ב-S1 וב-S2 יחד, 37.5% היו שבירים. בנפרד, בזרועות האיטרטיביות והחקרניות, 9.3% מהאיטרציות שנבדקו בבדיקת רמאות נקבעו ככאלה שעיינו בטלאי במעלה הזרם, ומשם הגיעו 400 ההחרגות. העלות הייתה צנועה: $2.11 לכל ניסיון עבור ChatGPT 5.5 ו-$2.81 עבור Claude Opus 4.8, או $4.49 ו-$6.44 לכל תיקון נקי לאחר פריסת עלות הניסיונות הכושלים, כשעלות אימות התיקון אינה נכללת.

איכות ההנחיה קידמה את שיעור התיקון הנקי יותר מאשר בחירת המודל. עם הנחיית תיקון נכונה ומוקפדת, שיעור S1 עמד על 35.9%; ללא הנחיה, 24.7%; עם הנחיה שציינה את הגורם השורשי או את כיוון התיקון הלא נכונים, 7.4%. המחברים מייחדים זאת: במקרים שבהם קריאות הכלים של הסוכן עצמו סתרו את ההנחיה האנושית, הוא לעיתים קרובות פעל בכל זאת לפי ההנחיה.

איך הכישלונות נראו בפועל

המקרה הברור ביותר הוא CVE-2026-31431, באג ה-AF_ALG של ליבת לינוקס הידוע בשם Copy Fail. בקוד ה-upstream תוקן הפרימיטיב של השחתת זיכרון חוצה-מיפויים ב-commit a664bf3d על ידי החזרת הטרנספורמציה לפעולה מחוץ למקום — והוכנסה טעות off-by-one חדשה באותה פונקציית עזר, שאותה תיקנו המתחזקים כעבור commit אחד ב-31d00156, והוקצה לה CVE-2026-43078. המודלים שחזרו כמעט בדיוק את הצורה הביניימית: 129 מתוך 400 טלאים של ChatGPT שאינם צ'יט (32.2%) ו-119 מתוך 383 טלאים של Claude (31.1%) הכילו את טעות ה-off-by-one, בכל מצב. המאמר איתר את 248 אלה באמצעות השוואה מבנית של הפונקציה המשוכתבת; המעריך האוטומטי סימן רק 14 טלאים של ChatGPT ו-10 טלאים של Claude ככאלה שהכניסו פגיעות חדשה.

החמצה שקטה יותר נמצאת באותו קובץ. עבודה מחדש של נתיב הפענוח authencesn חושפת גם כתיבה של מספר רצף מורחב שיוצאת מחוץ לגבולות כאשר תג האימות קצר מארבעה בתים; במעלה הזרם סוגרים זאת ב-5db6ef98 באמצעות דחיית האשים קטנים מדי בעת יצירת המופע. תקלה זו קדמה ל-Copy Fail, אינה נמנית עם קומיטי התיקון של ה-CVE, והמשחזר לעולם אינו מפעיל אותה משום שהוא נועל את אורך התג על ארבעה בתים. כל 783 האיטרציות שאינן צ'יט השאירו אותה ללא הגנה, כולל כל טלאי שדורג כתיקון נקי של Copy Fail עצמו; הטלאים היחידים שנשאו את ההגנה היו ארבע איטרציות שהעתיקו מילה במילה את קומיט המעלה הזרם.

GHSA-wpqr-6v78-jr5g, באג הרצת הקוד מרחוק של Gemini CLI, הוא בעיה דו-חלקית: מצב headless נותן אמון אוטומטי בסביבת העבודה וטוען תצורה מקומית של סביבת העבודה, כולל קובץ .env שמזריע את סביבת התהליך, בעוד דגל נפרד עוקף את רשימת ההיתרים של הכלים. שיעור התיקונים הנקיים הממוצע בשני המודלים היה 5.6%, הנמוך ביותר במחקר. במצב one-shot, 29.4% מהטלאים של ChatGPT ו-63.9% מהטלאים של Claude הפסיקו לתת אמון אוטומטי בסביבת העבודה ועדיין טענו את קובץ ה-.env שבשליטת התוקף, מכיוון שטעינת הסביבה מתרחשת במודול אחר מזה של החלטת האמון. כאשר המשחזר ציין את נתיב ה-.env, הזרוע האיטרטיבית סגרה את הפרצה — נקודת העיוורון הייתה קשב, לא יכולת.

באג ה-Chromium, ‏CVE-2026-8512, הוא use-after-free (שימוש לאחר שחרור) ב-file watcher של macOS. התיקון במעלה הזרם מחליף מצביע גולמי בהקשר ספור-הפניות (reference-counted) שחייב להישאר פעיל בשני מקומות: באתר ההתקנה, ושוב בתוך ה-callback עצמו. מבין הטלאים שאימצו את הארכיטקטורה ספורת-הפניות, 41.9% מ-ChatGPT ו-38.5% מ-Claude שמרו על ההפניה הראשונה והפילו את השנייה, מה שמעביר את ה-use-after-free למקום אחר במקום להסיר אותו.

דוגמאות אלו חולקות תכונה שחשובה לכל מי שמתכנן להפוך את הלופ לאוטומטי: לעתים קרובות המדרג לא יכול היה לראות את הכשל. הציונים האוטומטיים של המודלים תאמו את הבודקים האנושיים לגבי התוצאה המחולקת לחמישה מצבים ב-65.9% מהמקרים, לגבי השאלה אם הבאג המקורי תוקן ב-87.7% מהמקרים, ולגבי השאלה אם הופיע באג חדש ב-70.5% מהמקרים. שני מאמתי המודלים לא הסכימו זה עם זה לגבי 36.8% מהפאצ'ים, והציונים המצורפים מראים ש-Claude דירג באופן מקל כל מי שכתב את הפאץ', בעוד ש-ChatGPT דירג באופן מחמיר.

מה ש-1Password אומר שאמור לקרות בהמשך

קית' הודלט, שעומד בראש Off-by-1 Labs, אמר ל-eSecurity Planet כי "הפקת טלאי אינה זהה לתיקון פגיעות" וכי "סקירה אנושית של מומחים נותרת חיונית כדי לוודא שהטלאי גם יעיל וגם מאובטח." מסקנת המאמר צרה יותר מרוב הסיקור: ההצלחה תלויה במידה רבה במידע מדויק ובעל אותות חזקים על הבאג, ואיסוף וארגון המידע הזה הם עבודה למהנדסים שמכירים את בסיס הקוד.

המשוב של Anthropic, כפי שצוטט בבלוג, הוא שיצירת טלאים הקדימה את אימות הטלאים, שהאימות צריך להיות מבוסס הרצה ולא מבוסס בחינה, ושמומחי תחום צריכים להישאר הסוקרים הסופיים ביכולת המודלים הנוכחית. 1Password פרסמה את הרתמה, שנקראת flawed, ואת כל 6,480 הטלאים, כדי שאחרים יוכלו לבדוק אילו בדיקות היו תופסות את הכשלים. ב-26 באוקטובר עודכן הבלוג עם משוב לאחר הפרסום: האילוצים שהצוות בחר "ייתכן שהגבילו את מה שכלי יצירת טלאים אגנטיים יכלו להפיק", והשאלה אם אימות חזק יותר משנה את התוצאות מתוארת כשאלה הבאה שימושית.

הרשומה כוללת גם מחקר שני, והוא אינו אותו מבחן.

שורת ארכיון אחת מכילה שתי קבוצות של מספרים, והמסמך שמעמיד אותן זו לצד זו הוא הבולטין לאבטחת בינה מלאכותית מאוגוסט 2026 של Information-technology Promotion Agency של יפן, שפורסם ב-7 בספטמבר ומסכם את שני המחקרים ברשומה אחת מיום 6 באוגוסט. המחקר השני הוא של Checkmarx: הוא הוזמן על ידי Checkmarx ובוצע על ידי איליה קבאנוב, מנכ"ל The Weather Report, שהריץ מחדש שני מדדים שפורסמו על ארבעה מודלים בסוכני שורת הפקודה שלהם — Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro ו-Gemini 3.5 Flash. הסקירה שכתב קבאנוב מתוארכת ל-6 ביולי 2026, הפוסט של Checkmarx ל-26 ביולי, והסיקור בתעשייה הופיע בין השניים. המדד ברמת המאגר, SusVibes, כולל 200 משימות תכונה במאגרי קוד פתוח גדולים, שכל אחת מהן נבנתה סביב פגיעות שאדם כבר מצא ותיקן; הסוכן מתבקש ליישם את התכונה, והצלחה מחייבת לשחזר את ההגנה של האדם בלי שהיא הוצגה לו.

התוצאות: הצלחה פונקציונלית של 83–95%, עלייה מ-44–61% בדור אחד קודם, אך הצלחה מאובטחת ותפקודית של רק 24–36%. בין 65% ל-75% מהטלאים שעבדו שיחזרו את החולשה שבני האדם הסירו — הביטוי של Checkmarx לכך הוא CVE זומבי, מפני שלפגם שהוחזר אין ייעוץ ואין גרסה לעדכן. הדוגמה ש-Checkmarx מציינת היא CVE-2023-29159, פגיעת path traversal בפריימוורק Starlette של Python, שנמצאה ותוקנה ב-2023 ונבנתה מחדש על ידי סוכן ב-2026.

אמצעי המיתון מאלפים באותה מידה כמו הכותרת. הוראה כללית לפעול לפי שיטות האבטחה המומלצות הוסיפה 1 עד 8 נקודות. מאמץ חשיבה רב יותר לא הוסיף אבטחה וחצה את מספר הפתרונות העובדים. שלב של מידול איומים לפני הקידוד הגיע ל־43–49% מאובטחים ותפקודיים; סקירת אבטחה בדיעבד הגיעה ל־47–56%, בערך פי שניים ופי שניים וחצי מעלויות הטוקנים בהתאמה. אפילו הזרוע הטובה ביותר השאירה כמחצית מהמשימות לא מאובטחות, ובכישלונות הסוכנים לעיתים ציינו את ההגנה הנכונה בהערות שלהם ובכל זאת שלחו את הקוד הפגיע.

גם קבאנוב וגם Checkmarx מסתייגים מן הנתון של 65–75%: המשימות נבחרו משום שבניית התכונה בדרך הטבעית מחזירה את הפגם, ולכן השיעור בקוד רגיל כנראה נמוך יותר — תוך שהם טוענים שמאגרי קוד אמיתיים מלאים בדיוק בתכונות כאלה, ומשם מגיעים CVEs מלכתחילה.

אין לחבר את שני המחקרים יחד. האחד שואל אם סוכן יכול לכתוב תיקון לבאג שצוין בשמו וכבר תוקן. האחר שואל אם סוכן שמיישם תכונה יימנע מלשחזר באג שאיש לא סיפר לו עליו. 26.0% ו-24–36% הם שיעורים על מכנים שונים, ואף אחד מהם אינו שיעור לתיקון באמצעות AI באופן כללי.

Trail of Bits: הכותרת מודדת את התצורה הלא נכונה

ב-15 בספטמבר 2026, שישה שבועות לאחר שחרור 1Password, פרסמו ארבעה חוקרים מ-Trail of Bits — אניש נאיק, דן גואידו, בנג'מין סמואלס ומרסלו מורלס — תגובה שטענה שהנתון של 26% אינו מתאר תיקון שגרתי. טיעוניהם, במספרים שלהם: שתי הנחיות מורות לסוכנים ליישם את התיקון הלא נכון, והנחיות אלו מהוות 22% מהנתונים; מצב הערכה אחד מונע מהסוכנים לבנות או להריץ קוד, והוא מהווה 36%; שש הפרצות נבחרו משום שהתיקונים שלהן היו מורכבים, עם תוצאות לכל יעד שנעות בין 3% ל-60% וטעות תקן שלא נחשפה של כתשע נקודות בממוצע ששת היעדים; ושתי המודלים רצו בברירות המחדל שלהם ולא במאמץ מרבי.

הם גם תוקפים את שיטת ההערכה. כלל העצירה וקריטריוני ההערכה סותרים זה את זה, הם טוענים; שינויים מכוונים בהתנהגות נענשו כרגרסיות ב-8% מהכרעות ActiveMQ; והשופט האוטומטי הסכים עם סוקרים אנושיים לגבי התוצאה המלאה בת חמשת הכיוונים רק ב-65.9% מהמקרים. הם מציינים את 248 הטלאים של Copy Fail הנושאים את ה-off-by-one הביניים במעלה הזרם, לעומת 24 שהמעריך תפס, ומקרה Chromium שבו המעריך קיבל תיקונים שעדיין הותירו use-after-free בקריאה חוזרת. המספרים האלה הם של 1Password עצמה; המחלוקת היא מה הם מרמזים.

הניתוח החוזר שלהם משאיר רק ניסויים שבהם הסוכנים יכלו להריץ קוד ולא נמסר להם תיקון שגוי, ומשמיט ריצות שנקבע כי התייעצו בתיקון במעלה הזרם. בקבוצת משנה זו, 2,634 מתוך 3,067 תיקונים — 86% — חסמו את הניצול שסופק. הם נזהרים במה שזה אומר: חסימת הניצול שעל הפרק אינה הוכחה לתיקון שלם ונטול רגרסיות. כבסיס אנושי הם מצביעים על 2,265 תיקונים ראשונים ב-236 מהערכות שהם עצמם ערכו מ-2024 עד 2026, ומתוכם 283 (12.5%, רווח סמך של 95% בין 10.5% ל-14.5%) לא הצליחו לפתור את הבעיה באופן מלא. הם גם סופרים 186 בקשות משיכה בתוכנית Patch the Planet שלהם: 126 מוזגו, ומתוכן 33 (26.2%) נזקקו לעדכון בעל השלכות אבטחה. והם מודים במקרה אחד שבו הביקורת של 1Password על התיקון שלהם עצמם הייתה מוצדקת — ב-freenginx, התיקון שלהם והתיקון העצמאי של המתחזק הכניסו את אותה קריסת ניקוי.

השורה התחתונה שלהם חדה: "המגינים לא צריכים להתייחס ברצינות לשיעור הכותרת של 1Password כמדד ליכולת תיקון באמצעות בינה מלאכותית." 1Password לא השיבה להם בשמם. הבלוג מציין שהצוות מקבל בברכה ביקורת על השיטות והממצאים שלו, ועדכון ה-26 באוקטובר מודה שהמגבלות שנבחרו אולי הגבילו יתר על המידה את מה שהכלים יכלו להפיק. הבולטין של IPA היפני, שנושא את 26.0% וה-53.9% ללא הסתייגות, פורסם ב-7 בספטמבר — שמונה ימים לפני ההפרכה.

מה מבוסס, ומה שנוי במחלוקת

• מבוסס: המחקר קיים, עם מחברים בשמות — Axel Mierczuk, Spencer Michaels ו-Keith Hoodlet — מתוארך ל-6 באוגוסט 2026, והנתונים שלו — 6,480 ניסיונות, 400 החרגות ו-6,080 טלאים מדורגים — מופיעים במאמר, בבלוג של 1Password ובתקציר של IPA.

• נקבע: תמהיל התוצאות של 26.0% נקיים, 20.1% משנים התנהגות, 49.3% לא פתורים ו-4.5% נושאים פגם חדש הוא הדירוג של המחברים עצמם, שהופק על ידי שני מאמתי מודלים שהכרעותיהם עברו ממוצע והוצלבו עם סקירה אנושית על מדגם של 1,052 טלאים, עם הסכמה של 65.9% בדירוג החמישה-כיווני.

• נקבע: הרגרסיות הספציפיות — 248 טלאי Copy Fail עם ה-off-by-one הביניים ב-upstream, 783 האיטרציות שהחמיצו את הגנת ה-ESN, תבנית ה-.env ב-Gemini CLI, ההפניה השנייה החסרה ב-Chromium — הן טענות המחברים אודות הנתונים שלהם עצמם, כששיטת הזיהוי מתוארת והגלאי נבדק מול סקירה ידנית על 253 איטרציות.

• נטען: האם 26% היא הצהרה הוגנת של מה שתיקון באמצעות AI יכול לעשות. Trail of Bits אומרת שהמסננים שלה מביאים את אותם תיקונים לחסימת 86% מהניצולים ושהמערך אינו תיקון שגרתי; 1Password אומרת שהיא מקבלת בברכה את הביקורת וש�ייתכן שהאילוצים שלה היו הדוקים מדי. שני הצדדים קוראים את אותם 6,080 תיקונים; המחלוקת היא בשאלה אילו מסננים לגיטימיים, ואף צד לא פרסם שחזור שהצד השני מקבל.

• לא נטען: כי דבר מזה גרם נזק בשטח. הארכיון אינו מתעד נזק ממשי ומסווג את הרשומה בחומרת info. שש הפגיעויות תוקנו במעלה הזרם לפני שהבדיקות הורצו, והטלאים שנבחנו היו מועמדים שנוצרו בקונטיינרים, ולא קוד שמוזג לפרויקטים האלה.

השאלה השימושית בעיני מגן אינה באיזה מחנה להאמין. היא של מה המספר מהווה שיעור: 26% מבאגים קשים בכוונה תחת מידע מעורב בכוונה, או 86% מניסויים ניתנים להרצה שבהם ניצול שסופק נחסם. שני הנתונים מגיעים מאותו מערך נתונים, ואף אחד מהם אינו מפרט רכש. מה ששני הצדדים כן מסכימים עליו הוא ההסתייגות ש-1Password עצמה מדפיסה במאמר — "טלאי שנוצר הוא מועמד, לא הוכחה שהפגיעות תוקנה" — וזה החלק שאינו זקוק להכרעה.