งานศึกษาแพตช์ AI ของ 1Password: การแก้ไขที่สมบูรณ์ 26% ตามด้วยบทโต้แย้ง

เมื่อวันที่ 6 สิงหาคม 2026 Off-by-1 Labs ของ 1Password ได้เผยแพร่การศึกษาความยาว 55 หน้าเกี่ยวกับว่าตัวแทนเขียนโค้ดชั้นแนวหน้าสามารถแพตช์ช่องโหว่จริงได้หรือไม่ ChatGPT 5.5 ซึ่งทำงานภายใต้มาตรการป้องกัน Trusted Access for Cyber ของ OpenAI ที่ระดับความพยายามปานกลาง และ Claude Opus 4.8 ซึ่งทำงานภายใต้มาตรการป้องกัน Cyber Verification Program ของ Anthropic ที่ระดับความพยายามสูง ได้สร้างความพยายามในการแพตช์ 6,480 ครั้งต่อบั๊กหลายไฟล์หกรายการที่เพิ่งเปิดเผยเมื่อไม่นานมานี้ ขั้นตอนตรวจสอบการโกงได้ตัดออก 400 รายการ โดยพิจารณาว่าโมเดลได้ไปค้นหาการแก้ไขต้นทาง; จาก 6,080 รายการที่เหลือ 26.0% ปิดช่องโหว่โดยไม่เปลี่ยนแปลงพฤติกรรม และ 53.8% ยังคงเปิดเส้นทางการโจมตีไว้ ทำให้เกิดข้อบกพร่องใหม่ หรือทำทั้งสองอย่าง ไม่มีระบบใดถูกเจาะและไม่มีข้อมูลผู้ใช้ถูกเปิดเผย — อัตราข้อบกพร่องอยู่ในตัวแพตช์เอง ซึ่งเป็นเหตุผลที่คลังจัดเก็บบันทึกรายการนี้ที่ระดับความรุนแรง info โดยไม่มีการบันทึกความเสียหาย บันทึกดังกล่าวเอง พร้อมระดับความเชื่อมั่นและแหล่งข้อมูลอ้างอิง ได้รับการจัดทำแคตตาล็อกไว้ใน Orca AI Incident Archive ซึ่งจัดทำดัชนีเหตุการณ์และช่องโหว่ของ AI ที่มีเอกสารบันทึกไว้

บั๊กทั้งหกตัว และเหตุผลว่าทำไมถึงเป็นหกตัวนี้

เป้าหมายถูกเลือกมาให้เป็นโจทย์ที่ไม่เป็นมิตร แต่ละเป้าหมายต้องอยู่ในโค้ดโอเพนซอร์สที่เอเจนต์สามารถอ่านได้ ก่อให้เกิดความเสียหายร้ายแรงด้านความลับ ความสมบูรณ์ หรือความพร้อมใช้งาน ถูกแพตช์ในต้นทางแล้ว โดยเก็บแพตช์นั้นไว้ไม่ให้เอเจนต์เข้าถึงและใช้เป็นเกณฑ์อ้างอิงสำหรับการให้คะแนนเท่านั้น ถูกเปิดเผยเร็วพอจนการแก้ไขมีโอกาสน้อยที่จะอยู่ในข้อมูลฝึกของโมเดล และต้องมีการแก้ไขจริงที่แตะหลายไฟล์ หลายฟังก์ชัน หรือหลายเส้นทางโค้ด การเปิดเผยที่เก่าที่สุดในบรรดาเป้าหมายนี้คือ 26 มีนาคม 2026 และล่าสุดคือ 12 พฤษภาคม

เป้าหมายแต่ละรายได้รับการลอง 540 ครั้งต่อโมเดล: โหมดการทำงานสามแบบ × เทมเพลตพรอมป์ต์เก้าแบบ × ตัวอย่าง 20 ชิ้น การรันแบบ one-shot ไม่มีเชลล์และไม่มีเครือข่ายใด ๆ นอกเหนือจาก API ของโมเดลเอง การรันแบบ iterative มีสคริปต์สำหรับทำซ้ำปัญหาและมีรอบได้สูงสุดสิบรอบ โดยมีไฟล์หน่วยความจำที่ส่งต่อระหว่างรอบ การรันแบบ exploratory มีเครื่องมือแต่ไม่มีชุดทดสอบที่จัดให้ และได้รับแจ้งให้ตัดสินใจแนวทางดำเนินการด้วยตนเอง เทมเพลตมีตั้งแต่บรีฟฉบับเต็มของผู้ดูแล ผ่านตั๋ว SAST ไปจนถึงสองแบบที่ระบุวิธีแก้ไขที่ฟังดูสมเหตุสมผลแต่ผิด การรันถูกแยกด้วยคอนเทนเนอร์ และประวัติ git ถูกตัดที่คอมมิตซึ่งอยู่ก่อนแพตช์จริงทันที

สมมติฐานการทำงานของผู้เขียน ซึ่งกำหนดไว้เมื่อโครงการเริ่มต้นเมื่อวันที่ 20 พฤษภาคม 2026 คือโมเดลจะแพตช์ในอัตราที่สูงกว่า 67% ไม่มีรูปแบบการกำหนดค่าใดเพียงรูปแบบเดียว — ทั้งโมเดล โหมด และพรอมต์ — ที่ผ่านเกณฑ์ 50% ในทุกเป้าหมาย

26% เป็นหนึ่งช่องของมาตรวัดห้าส่วน

บทความให้คะแนนแพตช์ทุกตัวจากผลลัพธ์ห้าประการ S1 บรรเทาเส้นทางการโจมตีที่ใช้ประโยชน์ได้ทั้งหมด และทำให้พฤติกรรมที่ไม่เกี่ยวข้องไม่เปลี่ยนแปลง หรือเปลี่ยนแปลงพฤติกรรมนั้นให้เหมือนกับที่แพตช์ต้นทางจริงทำทุกประการ S2 บรรเทาช่องโหว่แต่เปลี่ยนแปลงพฤติกรรมของแอปพลิเคชันไปด้วยในกระบวนการ เช่น ปฏิเสธอินพุตที่ปลอดภัยพร้อมกับอินพุตที่เป็นอันตราย S3 ปล่อยให้เส้นทางการโจมตีอย่างน้อยหนึ่งเส้นยังเปิดอยู่ และไม่เพิ่มข้อบกพร่องใหม่ S4 แก้บั๊กที่รายงานและเพิ่มบั๊กอีกชนิดหนึ่งที่แตกต่างออกไป S5 ไม่ทำหน้าที่ทั้งสองอย่าง

จากการวนซ้ำที่ไม่ใช่การโกงทั้งหมด 6,080 ครั้ง บทความรายงานว่า S1 อยู่ที่ 26.0% — โดย Claude Opus 4.8 อยู่ที่ 25.6% และ ChatGPT 5.5 อยู่ที่ 26.5% — จากนั้น S2 อยู่ที่ 20.1%, S3 อยู่ที่ 49.3%, S4 อยู่ที่ 2.3% และ S5 อยู่ที่ 2.2% ตัวเลขความล้มเหลวที่ถูกนำไปอ้างอิงกันคือ 53.9% ซึ่งเป็นผลรวมของ S3, S4 และ S5 ตารางของบทความรวมได้ 53.8% ก่อนปัดเศษ และทั้งบล็อกของ 1Password และแถวในคลังเก็บต่างระบุ 53.9%

โมเดลทั้งสองทำผลลัพธ์เฉลี่ยต่างกันไม่เกินหนึ่งจุดเปอร์เซ็นต์ แต่ความแปรผันเกือบทั้งหมดอยู่ที่เป้าหมายมากกว่าตัวโมเดล เมื่อเฉลี่ยจากทั้งสอง อัตราการแก้ไขแบบสะอาดต่อเป้าหมายมีตั้งแต่ 3.2% บน Apache ActiveMQ ไปจนถึง 60.0% บน Exim เฉพาะบน Exim โมเดลทั้งสองห่างกัน 31.6 จุด: Claude Opus 4.8 อยู่ที่ 75.8% และ ChatGPT 5.5 อยู่ที่ 44.2% ผู้เขียนตีความสิ่งนี้เป็นคำเตือนสำหรับเอเจนต์ตัวแพตช์แบบ plug-and-play และระบุชัดเจนว่าการศึกษาไม่ใช่การเปรียบเทียบแบบเผชิญหน้ากันระหว่างสองโมเดล

ตัวเลขรองสองตัวสำคัญกว่าตัวเลขพาดหัว ในบรรดาแพตช์ที่ถูกประเมินว่าเป็นการแก้ไขที่สะอาด 25.2% มีสถานะบ่งชี้ความเปราะบาง — ปิดช่องโหว่ที่รายงานไว้แล้ว แต่ยังคง primitive พื้นฐานเดิมไว้ แม้ว่าอาจไม่สามารถเข้าถึงได้ก็ตาม เมื่อรวม S1 และ S2 เข้าด้วยกัน 37.5% เปราะบาง แยกต่างหาก ในกลุ่มทดลองแบบ iterative และ exploratory นั้น 9.3% ของรอบการทำซ้ำที่ตรวจสอบการโกงถูกตัดสินว่ามีการอ้างอิงถึงแพตช์อัปสตรีม ซึ่งเป็นที่มาของการคัดออก 400 รายการ ต้นทุนอยู่ในระดับปานกลาง: 2.11 ดอลลาร์ต่อความพยายามหนึ่งครั้งสำหรับ ChatGPT 5.5 และ 2.81 ดอลลาร์สำหรับ Claude Opus 4.8 หรือ 4.49 และ 6.44 ดอลลาร์ต่อการแก้ไขที่สะอาดหนึ่งครั้ง เมื่อเฉลี่ยรวมความพยายามที่ล้มเหลวแล้ว โดยไม่รวมต้นทุนในการยืนยันการแก้ไข

คุณภาพของคำแนะนำผลักดันอัตราการแก้ไขที่สะอาดไปได้ไกลกว่าการเลือกโมเดล เมื่อมีคำแนะนำการแก้ไขที่ถูกต้องอย่างรอบคอบ อัตรา S1 อยู่ที่ 35.9% เมื่อไม่มีคำแนะนำ อยู่ที่ 24.7% และเมื่อคำแนะนำระบุสาเหตุรากหรือทิศทางการแก้ไขที่ผิด อัตราอยู่ที่ 7.4% ผู้เขียนยกประเด็นนี้ขึ้นมาเป็นพิเศษว่า ในกรณีที่การเรียกเครื่องมือของเอเจนต์เองขัดแย้งกับพรอมต์ของมนุษย์ เอเจนต์มักเลือกทำตามพรอมต์นั้นอยู่ดี

ความล้มเหลวเหล่านั้นมีหน้าตาจริง ๆ เป็นอย่างไร

กรณีที่ชัดเจนที่สุดคือ CVE-2026-31431 ซึ่งเป็นบั๊ก AF_ALG ของเคอร์เนลลินุกซ์ที่รู้จักกันในชื่อ Copy Fail อัปสตรีมได้แก้ไข primitive การคอร์รัปต์หน่วยความจำแบบ cross-mapping ในคอมมิต a664bf3d โดยการย้อน transform กลับไปเป็นการทำงานแบบ out-of-place และทำให้เกิด off-by-one ใหม่ใน helper ตัวเดียวกัน ซึ่งผู้ดูแลแก้ไขในคอมมิตถัดไปหนึ่งคอมมิตใน 31d00156 และได้รับการกำหนด CVE-2026-43078 โมเดลจำลองรูปแบบ intermediate ออกมาได้เกือบจะเหมือนเดิมทุกประการ: 129 จาก 400 แพตช์ ChatGPT ที่ไม่ใช่ cheat (32.2%) และ 119 จาก 383 แพตช์ของ Claude (31.1%) มี off-by-one นั้น ในทุกโหมด เปเปอร์พบ 248 แพตช์เหล่านั้นโดยการเปรียบเทียบเชิงโครงสร้างของฟังก์ชันที่เขียนใหม่ ส่วนตัวให้คะแนนอัตโนมัติระบุเพียง 14 แพตช์ ChatGPT และ 10 แพตช์ Claude ว่าทำให้เกิดช่องโหว่ใหม่

ยังมีจุดพลาดที่เงียบกว่าอยู่ในไฟล์เดียวกัน การปรับโครงสร้างเส้นทางการถอดรหัส authencesn ยังเผยให้เห็นการเขียนหมายเลขลำดับแบบขยายที่เกินขอบเขต เมื่อแท็กการรับรองความถูกต้องสั้นกว่าสี่ไบต์; upstream ปิดช่องนี้ใน 5db6ef98 โดยปฏิเสธแฮชที่มีขนาดเล็กเกินไปตอนสร้างอินสแตนซ์ ข้อบกพร่องนั้นมีมาก่อน Copy Fail ไม่ได้อยู่ในคอมมิตที่ใช้แก้ไขของ CVE และรีโปรดิวเซอร์ไม่เคยทดสอบเส้นทางนี้เพราะกำหนดความยาวแท็กไว้ที่สี่ไบต์ ทั้ง 783 รอบที่ไม่ใช่ cheat ปล่อยไว้โดยไม่มี guard รวมถึงทุกแพตช์ที่ถูกให้คะแนนว่าเป็นการแก้ Copy Fail อย่างสมบูรณ์; แพตช์เดียวที่มี guard คือสี่รอบที่คัดลอกคอมมิต upstream มาแบบคำต่อคำ

GHSA-wpqr-6v78-jr5g ช่องโหว่การรันโค้ดจากระยะไกลของ Gemini CLI เป็นปัญหาสองส่วน: โหมด headless จะเชื่อถือเวิร์กสเปซโดยอัตโนมัติและโหลดการกำหนดค่าภายในเวิร์กสเปซ รวมถึงไฟล์ .env ที่กำหนดสภาพแวดล้อมเริ่มต้นให้โปรเซส ขณะที่แฟล็กแยกต่างหากข้ามรายการอนุญาตเครื่องมือ อัตราการแก้ไขที่สะอาดเฉลี่ยของทั้งสองโมเดลอยู่ที่ 5.6% ซึ่งต่ำที่สุดในการศึกษา ในโหมด one-shot 29.4% ของแพตช์ ChatGPT และ 63.9% ของแพตช์ Claude หยุดเชื่อถือเวิร์กสเปซโดยอัตโนมัติและยังโหลด .env ที่ผู้โจมตีควบคุม เพราะการโหลดสภาพแวดล้อมเกิดขึ้นในโมดูลที่แตกต่างจากการตัดสินใจเรื่องความเชื่อถือ เมื่อตัวสร้างกรณีทดสอบซ้ำระบุพาธ .env กลุ่มทดลองแบบวนซ้ำก็ปิดช่องโหว่นั้น — จุดบอดคือความใส่ใจ ไม่ใช่ความสามารถ

บั๊กของ Chromium, CVE-2026-8512, คือ use-after-free ในตัวเฝ้าดูไฟล์ของ macOS แพตช์ต้นทางแทนที่ raw pointer ด้วยบริบทที่มีการนับจำนวนการอ้างอิง (reference-counted context) ซึ่งต้องคงให้มีชีวิตอยู่สองจุด คือที่จุดติดตั้ง และอีกครั้งภายในคอลแบ็กเอง ในบรรดาแพตช์ที่นำสถาปัตยกรรมการนับจำนวนการอ้างอิงไปใช้ 41.9% จาก ChatGPT และ 38.5% จาก Claude เก็บการอ้างอิงตัวแรกไว้แต่ทิ้งตัวที่สอง ซึ่งเป็นการย้ายตำแหน่ง use-after-free ไปมากกว่าที่จะกำจัดมัน

ตัวอย่างเหล่านี้มีคุณสมบัติร่วมกันที่สำคัญสำหรับใครก็ตามที่วางแผนจะทำให้ลูปนี้เป็นอัตโนมัติ: ผู้ให้คะแนนมักมองไม่เห็นความล้มเหลว คะแนนอัตโนมัติของโมเดลตรงกับผู้ตรวจทานที่เป็นมนุษย์ในผลลัพธ์แบบห้าทาง 65.9% ของเวลา ตรงในประเด็นว่าบั๊กเดิมได้รับการแก้ไขหรือไม่ 87.7% ของเวลา และตรงในประเด็นว่ามีบั๊กใหม่เกิดขึ้นหรือไม่ 70.5% ของเวลา ผู้ตรวจสอบโมเดลสองรายไม่เห็นด้วยกันเองใน 36.8% ของแพตช์ และคะแนนที่รวมกันแสดงว่า Claude ให้คะแนนอย่างผ่อนปรนไม่ว่าใครจะเป็นผู้เขียนแพตช์ ขณะที่ ChatGPT ให้คะแนนอย่างเข้มงวด

สิ่งที่ 1Password บอกว่าควรเกิดขึ้นต่อไป

Keith Hoodlet ซึ่งเป็นผู้นำของ Off-by-1 Labs บอกกับ eSecurity Planet ว่า “การสร้างแพตช์ไม่เหมือนกับการแก้ช่องโหว่” และ “การตรวจสอบโดยผู้เชี่ยวชาญที่เป็นมนุษย์ยังคงจำเป็นอย่างยิ่งเพื่อยืนยันว่าแพตช์มีประสิทธิผลและปลอดภัย” ข้อสรุปของบทความนี้แคบกว่าการรายงานข่าวส่วนใหญ่: ความสำเร็จขึ้นอยู่กับข้อมูลที่แม่นยำและมีสัญญาณสูงเกี่ยวกับบั๊กเป็นอย่างมาก และการคัดสรรข้อมูลนั้นเป็นงานของวิศวกรที่เข้าใจฐานโค้ด

ข้อคิดเห็นของ Anthropic ที่ถูกอ้างถึงในบล็อกระบุว่า {{1}}การสร้างแพตช์ได้แซงหน้าการตรวจสอบยืนยันแพตช์แล้ว{{/1}} {{2}}การตรวจสอบยืนยันควรอิงกับการรันจริงมากกว่าการตรวจสอบด้วยตา{{/2}} และ{{3}}ผู้เชี่ยวชาญเฉพาะสาขาควรยังคงเป็นผู้ตรวจทานขั้นสุดท้ายตามระดับความสามารถของโมเดลในปัจจุบัน{{/3}} {{4}}1Password{{/4}} ได้เปิดตัวชุดทดสอบที่ถูกเรียกว่า{{5}}มีข้อบกพร่อง{{/5}} พร้อมแพตช์ทั้งหมด {{6}}6,480 รายการ{{/6}} เพื่อให้ผู้อื่นทดสอบได้ว่าการตรวจสอบใดจะจับความล้มเหลวเหล่านี้ได้ เมื่อวันที่ 26 ตุลาคม บล็อกได้รับการอัปเดตด้วยข้อคิดเห็นหลังการเผยแพร่: ข้อจำกัดที่ทีมเลือก "อาจจำกัดสิ่งที่เครื่องมือแพตช์แบบเอเจนต์สามารถสร้างได้" และมีการระบุว่าคำถามที่ว่าการตรวจสอบยืนยันที่แข็งแกร่งขึ้นจะเปลี่ยนผลลัพธ์หรือไม่นั้นเป็นคำถามถัดไปที่มีประโยชน์

บันทึกนี้ยังมีการศึกษาที่สองด้วย และไม่ใช่การทดสอบเดียวกัน

แถวในคลังเอกสารแถวหนึ่งเก็บชุดตัวเลขไว้สองชุด และ Information-technology Promotion Agency ของญี่ปุ่นคือเอกสารที่วางชุดตัวเลขทั้งสองไว้เคียงกัน: กระดานข่าวความปลอดภัยด้าน AI ประจำเดือนสิงหาคม 2026 ซึ่งเผยแพร่เมื่อวันที่ 7 กันยายน สรุปงานศึกษาทั้งสองไว้ในรายการเดียวลงวันที่ 6 สิงหาคม งานศึกษาชิ้นที่สองเป็นของ Checkmarx: ได้รับการว่าจ้างโดย Checkmarx และดำเนินการโดย Ilya Kabanov ประธานเจ้าหน้าที่บริหารของ The Weather Report ผู้รัน benchmark ที่เผยแพร่แล้วสองชุดใหม่บนโมเดลสี่ตัวใน command-line agent ของโมเดลนั้นเอง — Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro และ Gemini 3.5 Flash บทวิเคราะห์ของ Kabanov ลงวันที่ 6 กรกฎาคม 2026 โพสต์ของ Checkmarx ลงวันที่ 26 กรกฎาคม และสื่อสายอุตสาหกรรมรายงานในช่วงระหว่างทั้งสองฉบับ benchmark ระดับ repository ชื่อ SusVibes คือภารกิจฟีเจอร์ 200 งานใน repository โอเพนซอร์สขนาดใหญ่ โดยแต่ละงานสร้างขึ้นจากช่องโหว่ที่มนุษย์เคยค้นพบและแก้ไขแล้ว เอเจนต์ถูกขอให้พัฒนาฟีเจอร์ดังกล่าว และความสำเร็จต้องจำลองการป้องกันของมนุษย์โดยไม่ได้รับการแสดงให้เห็น

ผลลัพธ์: ความสำเร็จด้านการทำงานอยู่ที่ 83–95% เพิ่มขึ้นจาก 44–61% ในรุ่นก่อนหน้า แต่ความสำเร็จทั้งด้านความปลอดภัยและการทำงานมีเพียง 24–36% เท่านั้น ระหว่าง 65% ถึง 75% ของแพตช์ที่ทำงานได้นั้นได้สร้างจุดอ่อนที่มนุษย์กำจัดออกไปแล้วกลับขึ้นมาใหม่ — Checkmarx เรียกสิ่งนี้ว่า zombie CVE เพราะช่องโหว่ที่ถูกนำกลับมาไม่มีคำแนะนำและไม่มีเวอร์ชันให้อัปเดต ตัวอย่างที่ Checkmarx ยกมาคือ CVE-2023-29159 ซึ่งเป็นบั๊ก path traversal ในเฟรมเวิร์ก Starlette ของ Python ที่ถูกค้นพบและแก้ไขในปี 2023 และถูกสร้างกลับมาใหม่โดยเอเจนต์ในปี 2026

มาตรการบรรเทาเหล่านี้ให้ข้อมูลพอ ๆ กับพาดหัวข่าว คำแนะนำทั่วไปให้ปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดด้านความปลอดภัยเพิ่มคะแนน 1 ถึง 8 คะแนน การเพิ่มความพยายามในการใช้เหตุผลไม่ได้เพิ่มความปลอดภัย และลดจำนวนวิธีแก้ปัญหาที่ใช้งานได้ลงครึ่งหนึ่ง ขั้นตอนการสร้างแบบจำลองภัยคุกคามก่อนเขียนโค้ดทำได้ 43–49% ที่ทั้งปลอดภัยและใช้งานได้ ส่วนการตรวจสอบความปลอดภัยย้อนหลังทำได้ 47–56% โดยมีต้นทุนโทเค็นประมาณสองเท่าและสองเท่าครึ่งตามลำดับ แม้แต่กลุ่มทดลองที่ดีที่สุดก็ยังทำให้ประมาณครึ่งหนึ่งของงานไม่ปลอดภัย และในกรณีที่ล้มเหลว บางครั้งเอเจนต์ระบุการป้องกันที่ถูกต้องไว้ในบันทึกของตนเอง แต่ก็ยังส่งโค้ดที่มีช่องโหว่ออกไปอยู่ดี

ทั้ง Kabanov และ Checkmarx ต่างตั้งข้อสังเกตเกี่ยวกับตัวเลข 65–75% นี้ว่า งานเหล่านี้ถูกเลือกมาเพราะการสร้างฟีเจอร์ด้วยวิธีปกติจะทำให้ช่องโหว่นั้นกลับมาอีกครั้ง ดังนั้นอัตราในโค้ดทั่วไปจึงน่าจะต่ำกว่า — พร้อมกับโต้แย้งว่าโค้ดเบสจริงเต็มไปด้วยฟีเจอร์แบบนี้พอดี ซึ่งเป็นที่มาของ CVE ตั้งแต่แรก

ไม่ควรนำผลการศึกษาทั้งสองชิ้นมารวมกัน การศึกษาชิ้นหนึ่งถามว่าเอเจนต์สามารถเขียนแพตช์สำหรับบักที่ระบุชื่อและได้รับการแก้ไขไปแล้วได้หรือไม่ อีกชิ้นหนึ่งถามว่าเอเจนต์ที่กำลังพัฒนาฟีเจอร์จะหลีกเลี่ยงการสร้างบักที่ไม่มีใครบอกมันไว้ขึ้นมาใหม่ได้หรือไม่ 26.0% และ 24–36% เป็นอัตราที่คำนวณจากตัวส่วนที่แตกต่างกัน และไม่มีอัตราใดเป็นการวัดอัตราการแพตช์ด้วย AI โดยทั่วไป

Trail of Bits: พาดหัวข่าววัดการตั้งค่าที่ผิด

เมื่อวันที่ 15 กันยายน 2026 หกสัปดาห์หลังการเปิดตัว 1Password นักวิจัยสี่คนจาก Trail of Bits — Anish Naik, Dan Guido, Benjamin Samuels และ Marcelo Morales — ได้เผยแพร่บทโต้แย้งโดยอ้างว่าตัวเลข 26% ไม่ได้อธิบายถึงการแพตช์โดยทั่วไป ประเด็นของพวกเขา พร้อมด้วยตัวเลขของพวกเขาเอง มีดังนี้: มีพรอมต์สองรายการที่สั่งให้เอเจนต์ใช้การแก้ไขที่ผิด และพรอมต์เหล่านั้นคิดเป็น 22% ของข้อมูล; โหมดการประเมินแบบหนึ่งที่ไม่อนุญาตให้เอเจนต์สร้างหรือรันโค้ด และคิดเป็น 36%; ช่องโหว่ทั้งหกถูกเลือกมาเนื่องจากการแก้ไขมีความซับซ้อน โดยผลลัพธ์แยกตามเป้าหมายอยู่ในช่วง 3% ถึง 60% และมีค่าความคลาดเคลื่อนมาตรฐานที่ไม่ได้เปิดเผยประมาณเก้าจุดบนค่าเฉลี่ยของหกเป้าหมาย; และโมเดลทั้งสองทำงานด้วยการตั้งค่าเริ่มต้นแทนที่จะใช้ความพยายามสูงสุด

พวกเขายังโจมตีการให้เกรดด้วย พวกเขาโต้แย้งว่ากฎการหยุดกับเกณฑ์การให้เกรดขัดแย้งกัน การเปลี่ยนแปลงพฤติกรรมที่ตั้งใจไว้ถูกปรับโทษว่าเป็น regression ใน 8% ของคำตัดสิน ActiveMQ และผู้ตัดสินอัตโนมัติเห็นพ้องกับผู้ตรวจสอบที่เป็นมนุษย์ในผลลัพธ์ห้าทางแบบเต็มเพียง 65.9% ของเวลา พวกเขาอ้างถึงแพตช์ Copy Fail จำนวน 248 รายการที่มี off-by-one ระดับกลางจาก upstream เทียบกับ 24 รายการที่ตัวให้เกรดจับได้ และกรณี Chromium ที่ตัวให้เกรดยอมรับการซ่อมแซมซึ่งยังคงเหลือ use-after-free ไว้ใน callback ตัวเลขเหล่านี้เป็นของ 1Password เอง ความขัดแย้งอยู่ที่ว่าตัวเลขเหล่านั้นสื่อความหมายว่าอะไร

การวิเคราะห์ซ้ำของพวกเขาเก็บเฉพาะการทดลองที่เอเจนต์สามารถรันโค้ดได้และไม่ได้รับการบอกถึงการซ่อมแซมที่ผิด และตัดทิ้งการรันที่ถูกตัดสินว่าได้ปรึกษาการแก้ไขต้นน้ำ ในชุดย่อยนั้น 2,634 จาก 3,067 แพตช์ — 86% — บล็อก exploit ที่จัดหาให้ พวกเขาระมัดระวังเกี่ยวกับความหมายของสิ่งนี้: การบล็อก exploit ที่มีอยู่ในมือไม่ใช่หลักฐานของการซ่อมแซมที่สมบูรณ์และปลอดจาก regression สำหรับ baseline ของมนุษย์ พวกเขาชี้ไปที่การแก้ไขครั้งแรก 2,265 ครั้ง จาก 236 ของการประเมินของพวกเขาเองในช่วงปี 2024 ถึง 2026 ซึ่งในจำนวนนั้น 283 (12.5%, ช่วงความเชื่อมั่น 95% คือ 10.5% ถึง 14.5%) ไม่สามารถแก้ไขปัญหาได้อย่างสมบูรณ์ พวกเขายังนับ pull request 186 รายการในโครงการ Patch the Planet ของพวกเขา: 126 รายการถูก merge ซึ่ง 33 (26.2%) จำเป็นต้องมีการแก้ไขที่เกี่ยวข้องกับความปลอดภัย และพวกเขายอมรับกรณีหนึ่งที่คำวิจารณ์ของ 1Password ต่อแพตช์ของพวกเขาเองนั้นถูกต้อง — บน freenginx การแก้ไขของพวกเขาและการแก้ไขอิสระของผู้ดูแลทำให้เกิด crash จากการทำความสะอาดแบบเดียวกัน

จุดยืนสุดท้ายของพวกเขาชัดเจนตรงไปตรงมา: “ผู้ป้องกันไม่ควรถืออัตราที่พาดหัวของ 1Password เป็นตัววัดความสามารถในการแพตช์ด้วย AI อย่างจริงจัง” 1Password ไม่ได้ตอบพวกเขาโดยระบุชื่อ บล็อกระบุว่าทีมยินดีรับคำวิจารณ์ต่อวิธีการและข้อค้นพบของตน และอัปเดตวันที่ 26 ตุลาคมยอมรับว่าข้อจำกัดที่เลือกไว้อาจจำกัดสิ่งที่เครื่องมือจะสร้างได้มากเกินไป ประกาศของ IPA ญี่ปุ่น ซึ่งนำเสนอตัวเลข 26.0% และ 53.9% โดยไม่มีเงื่อนไขใด ๆ เผยแพร่เมื่อวันที่ 7 กันยายน — แปดวันก่อนการโต้แย้ง

สิ่งใดที่ได้รับการยืนยันแล้ว และสิ่งใดที่ยังเป็นข้อโต้แย้ง

• ยืนยันแล้ว: การศึกษานี้มีอยู่จริง โดยมีผู้เขียนที่ระบุชื่อไว้ — Axel Mierczuk, Spencer Michaels และ Keith Hoodlet — ลงวันที่ 6 สิงหาคม 2026 และจำนวน 6,480 ครั้งที่พยายาม, 400 รายการที่ถูกตัดออก และ 6,080 แพตช์ที่ได้รับการให้คะแนน ปรากฏอยู่ในรายงาน ในบล็อกของ 1Password และในบทสรุปของ IPA

• ยืนยันแล้ว: สัดส่วนผลลัพธ์ที่ 26.0% สะอาด, 20.1% เปลี่ยนแปลงพฤติกรรม, 49.3% ยังไม่ได้รับการแก้ไข และ 4.5% มีข้อบกพร่องใหม่ เป็นการให้เกรดโดยผู้เขียนเอง ซึ่งสร้างขึ้นโดยผู้ตรวจสอบโมเดลสองราย โดยนำคำตัดสินของทั้งสองมาเฉลี่ยและตรวจสอบไขว้กับการทบทวนโดยมนุษย์บนตัวอย่างแพตช์จำนวน 1,052 รายการ โดยมีความสอดคล้องกัน 65.9% ในการให้เกรดแบบห้าระดับ

• ระบุไว้:การถดถอยเฉพาะเจาะจง — แพตช์ Copy Fail จำนวน 248 รายการพร้อมปัญหา off-by-one ในต้นทางระดับกลาง การวนซ้ำ 783 ครั้งที่พลาดการป้องกัน ESN รูปแบบ .env ใน Gemini CLI และการอ้างอิงที่สองที่หายไปใน Chromium — เป็นข้อกล่าวอ้างของผู้เขียนเกี่ยวกับข้อมูลของตนเอง โดยมีการอธิบายวิธีการตรวจจับไว้ และตัวตรวจจับได้รับการตรวจสอบเทียบกับการตรวจทานด้วยมือจากการวนซ้ำ 253 ครั้ง

• ข้อโต้แย้ง:ว่า 26% เป็นการกล่าวถึงสิ่งที่การแพตช์ด้วย AI ทำได้อย่างเป็นธรรมหรือไม่ Trail of Bits กล่าวว่าตัวกรองของบริษัทเองทำให้แพตช์เดียวกันบล็อกการโจมตีได้ถึง 86% และการตั้งค่าดังกล่าวไม่ใช่การแพตช์ทั่วไป ขณะที่ 1Password กล่าวว่ายินดีรับคำวิจารณ์ และข้อจำกัดของบริษัทอาจเข้มงวดเกินไป ทั้งสองฝ่ายกำลังพิจารณาแพตช์ชุดเดียวกันจำนวน 6,080 รายการ ความเห็นต่างอยู่ที่ตัวกรองใดถือว่าชอบด้วยกฎเกณฑ์ และยังไม่มีฝ่ายใดเผยแพร่การทำซ้ำผลการศึกษาที่อีกฝ่ายยอมรับ

• ไม่ได้อ้างว่า:สิ่งใดในนี้ก่อให้เกิดอันตรายในภาคสนาม คลังเก็บข้อมูลบันทึกว่าไม่มีความเสียหายจริง และจัดเก็บรายการนี้ที่ระดับความรุนแรง info ช่องโหว่ทั้งหกได้รับการแพตช์จากต้นทางก่อนการทดสอบจะเริ่มขึ้น และแพตช์ที่ศึกษาอยู่นั้นเป็นแคนดิเดตที่สร้างขึ้นในคอนเทนเนอร์ ไม่ใช่โค้ดที่ถูกผสานเข้าไปในโปรเจกต์เหล่านั้น

คำถามที่มีประโยชน์สำหรับผู้ป้องกันไม่ใช่เรื่องว่าจะเชื่อฝ่ายไหน แต่คือตัวเลขนั้นเป็นอัตราของอะไร: 26% ของบั๊กที่จงใจทำให้ยากภายใต้ข้อมูลที่จงใจผสมกัน หรือ 86% ของการทดลองที่รันได้ซึ่งเอ็กซ์พลอยต์ที่ให้มาถูกบล็อก ทั้งสองตัวเลขมาจากชุดข้อมูลเดียวกัน และไม่มีตัวเลขใดเป็นข้อกำหนดการจัดซื้อจัดจ้าง สิ่งที่ทั้งสองฝ่ายเห็นตรงกันคือข้อควรระวังที่ 1Password เองพิมพ์ไว้ในรายงาน — “แพตช์ที่สร้างขึ้นเป็นเพียงแคนดิเดต ไม่ใช่หลักฐานว่าช่องโหว่ได้รับการแก้ไขแล้ว” — และนั่นคือส่วนที่ไม่จำเป็นต้องมีใครมาชี้ขาด