Studi Patch AI 1Password: 26% Perbaikan Bersih, Lalu Bantahan

Pada 6 Agustus 2026, Off-by-1 Labs milik 1Password menerbitkan studi setebal 55 halaman tentang apakah agen pengodean mutakhir dapat menambal kerentanan nyata. ChatGPT 5.5, yang berjalan dengan pagar pengaman Trusted Access for Cyber dari OpenAI pada tingkat upaya sedang, dan Claude Opus 4.8, yang berjalan dengan pagar pengaman Cyber Verification Program dari Anthropic pada tingkat upaya tinggi, menghasilkan 6.480 upaya penambalan terhadap enam bug multi-file yang baru diungkapkan. Pemeriksaan kecurangan mengecualikan 400 di antaranya berdasarkan penilaian bahwa model telah mencari perbaikan hulu; dari 6.080 yang tersisa, 26,0% menutup kerentanan tanpa mengubah perilaku, dan 53,8% membiarkan jalur eksploitasi tetap terbuka, memperkenalkan cacat baru, atau melakukan keduanya. Tidak ada sistem yang ditembus dan tidak ada data pengguna yang terekspos — tingkat cacatnya ada pada tambalan itu sendiri, itulah sebabnya arsip mencatat entri tersebut pada tingkat keparahan info tanpa dampak yang tercatat. Catatan itu sendiri, beserta tingkat keyakinannya dan sumber yang dikutip, dikatalogkan dalam Orca AI Incident Archive, yang mengindeks insiden dan kerentanan AI yang terdokumentasi.

Enam bug, dan mengapa enam ini

Target dipilih agar tidak bersahabat. Masing-masing harus terdapat dalam kode sumber terbuka yang dapat dibaca agen; menyebabkan kompromi serius terhadap kerahasiaan, integritas, atau ketersediaan; sudah ditambal di upstream, dengan tambalan tersebut ditahan dari agen dan hanya digunakan sebagai baseline penilaian; diungkapkan cukup baru sehingga kecil kemungkinan perbaikannya sudah ada dalam data pelatihan model; dan memerlukan perbaikan nyata yang menyentuh beberapa file, fungsi, atau jalur kode. Pengungkapan tertua di antaranya adalah 26 Maret 2026 dan yang terbaru 12 Mei.

Setiap target menerima 540 percobaan per model: tiga mode eksekusi × sembilan templat prompt × 20 sampel. Sesi one-shot tidak memiliki shell maupun jaringan di luar API model itu sendiri. Sesi iteratif memiliki skrip reproduser dan hingga sepuluh putaran, dengan file memori yang dibawa antarputaran. Sesi eksploratif memiliki alat tetapi tidak diberi tes, dan diminta menentukan sendiri tindakan yang akan diambil. Templat-templat tersebut berkisar dari ringkasan lengkap dari maintainer melalui tiket SAST hingga dua templat yang menetapkan perbaikan yang masuk akal tetapi salah. Sesi diisolasi dalam kontainer, dan riwayat git dipotong pada commit tepat sebelum patch sebenarnya.

Hipotesis kerja para penulis, yang ditetapkan saat proyek dimulai pada 20 Mei 2026, adalah bahwa model akan melakukan patch pada tingkat di atas 67%. Tidak ada satu konfigurasi pun — model, mode, dan prompt — yang melampaui 50% pada setiap target.

26% adalah satu sel dari skala lima bagian

Makalah ini menilai setiap patch berdasarkan lima hasil. S1 memitigasi semua jalur yang dapat dieksploitasi dan membiarkan perilaku yang tidak terkait tetap tidak berubah, atau mengubahnya persis seperti yang dilakukan patch upstream asli. S2 memitigasi kerentanan tetapi mengubah perilaku aplikasi dalam prosesnya — misalnya, menolak input yang tidak berbahaya bersama dengan input berbahaya. S3 membiarkan setidaknya satu jalur eksploitasi tetap terbuka dan tidak menambahkan cacat baru. S4 memperbaiki bug yang dilaporkan dan memperkenalkan bug lain yang berbeda. S5 tidak melakukan kedua tugas itu.

Di seluruh 6.080 iterasi non-cheat, makalah tersebut melaporkan 26,0% S1 — 25,6% untuk Claude Opus 4.8 dan 26,5% untuk ChatGPT 5.5 — lalu 20,1% S2, 49,3% S3, 2,3% S4 dan 2,2% S5. Angka kegagalan yang beredar, 53,9%, adalah gabungan S3, S4 dan S5; tabel makalah tersebut berjumlah 53,8% sebelum pembulatan, dan baik blog 1Password maupun baris arsip memuat 53,9%.

Kedua model tersebut rata-rata hanya terpaut dalam satu poin persentase satu sama lain, tetapi hampir seluruh variasi terletak pada target, bukan pada model. Jika dirata-ratakan di antara keduanya, tingkat perbaikan bersih per target berkisar dari 3,2% pada Apache ActiveMQ hingga 60,0% pada Exim. Pada Exim saja, kedua model terpaut 31,6 poin: Claude Opus 4.8 sebesar 75,8%, ChatGPT 5.5 sebesar 44,2%. Para penulis menafsirkan hal itu sebagai peringatan bagi agen penambal plug-and-play, dan menyatakan secara eksplisit bahwa studi tersebut bukan perbandingan head-to-head antara kedua model.

Dua angka sekunder lebih penting daripada angka utama. Dari patch yang dinilai sebagai perbaikan bersih, 25,2% membawa penanda kerapuhan — patch tersebut menutup celah yang dilaporkan tetapi membiarkan primitif yang mendasari tetap ada, meski belum tentu dapat dijangkau. Secara gabungan di S1 dan S2, 37,5% rapuh. Secara terpisah, dalam kelompok iteratif dan eksploratif, 9,3% iterasi yang diperiksa kecurangan dinilai telah merujuk patch hulu, yang menjadi asal 400 pengecualian. Biayanya relatif rendah: $2,11 per percobaan untuk ChatGPT 5.5 dan $2,81 untuk Claude Opus 4.8, atau $4,49 dan $6,44 per perbaikan bersih setelah upaya gagal diamortisasi, dengan tidak termasuk biaya konfirmasi perbaikan.

Kualitas panduan meningkatkan tingkat perbaikan bersih lebih jauh daripada pilihan model. Dengan panduan perbaikan yang cermat dan tepat, tingkat S1 adalah 35,9%; tanpa panduan, 24,7%; dengan panduan yang menyebut akar masalah atau arah perbaikan yang salah, 7,4%. Para penulis menyoroti hal ini: ketika panggilan alat milik agen sendiri bertentangan dengan prompt manusia, agen sering tetap mengikuti prompt tersebut.

Seperti apa wujud kegagalan itu sebenarnya

Kasus paling jelas adalah CVE-2026-31431, bug AF_ALG pada kernel Linux yang dikenal sebagai Copy Fail. Pihak upstream memperbaiki primitif korupsi memori lintas-pemetaan tersebut dalam commit a664bf3d dengan mengembalikan transformasi ke operasi out-of-place — dan memperkenalkan kesalahan off-by-one baru pada helper yang sama, yang kemudian diperbaiki oleh para maintainer satu commit setelahnya dalam 31d00156, dengan penetapan CVE-2026-43078. Model-model mereproduksi bentuk perantara itu hampir persis: 129 dari 400 patch ChatGPT non-cheat (32,2%) dan 119 dari 383 patch Claude (31,1%) membawa off-by-one tersebut, di setiap mode. Makalah tersebut menemukan 248 patch itu melalui perbandingan struktural fungsi yang ditulis ulang; penilai otomatis hanya menandai 14 patch ChatGPT dan 10 patch Claude sebagai telah memperkenalkan kerentanan baru.

Sebuah kelalaian yang lebih senyap terdapat dalam file yang sama. Mengerjakan ulang jalur dekripsi authencesn juga memunculkan penulisan extended-sequence-number yang keluar batas ketika tag autentikasi lebih pendek dari empat byte; upstream menutupnya dalam 5db6ef98 dengan menolak hash yang berukuran kurang pada saat pembuatan instance. Cacat itu sudah ada sebelum Copy Fail, tidak termasuk dalam commit perbaikan CVE, dan reproducer tidak pernah mengujinya karena menetapkan panjang tag pada empat byte. Semua 783 iterasi non-cheat membiarkannya tanpa penjagaan, termasuk setiap patch yang dinilai sebagai perbaikan bersih atas Copy Fail itu sendiri; satu-satunya patch yang membawa penjagaan adalah empat iterasi yang telah menyalin commit upstream secara verbatim.

GHSA-wpqr-6v78-jr5g, bug eksekusi kode jarak jauh Gemini CLI, adalah masalah dua bagian: mode headless memercayai workspace secara otomatis dan memuat konfigurasi lokal workspace, termasuk .env yang mengisi environment proses, sementara flag terpisah melewati allowlist alat. Tingkat perbaikan bersih rata-rata pada kedua model adalah 5,6%, terendah dalam studi ini. Dalam mode one-shot, 29,4% patch ChatGPT dan 63,9% patch Claude berhenti memercayai workspace secara otomatis dan tetap memuat .env yang dikendalikan penyerang, karena pemuatan environment terjadi di modul yang berbeda dari keputusan kepercayaan. Ketika reproducer menyebutkan path .env, lengan iteratif menutupnya — titik butanya adalah perhatian, bukan kemampuan.

Bug Chromium, CVE-2026-8512, adalah use-after-free di pemantau file macOS. Perbaikan upstream menggantikan pointer mentah dengan konteks berpenghitungan referensi yang harus dijaga tetap hidup di dua tempat: di titik pemasangan, dan lagi di dalam callback itu sendiri. Dari patch yang mengadopsi arsitektur berpenghitungan referensi, 41,9% dari ChatGPT dan 38,5% dari Claude mempertahankan referensi pertama dan membuang referensi kedua, yang memindahkan use-after-free alih-alih menghilangkannya.

Contoh-contoh ini memiliki ciri yang sama yang penting bagi siapa pun yang berencana mengotomatiskan loop: penilai sering kali tidak dapat melihat kegagalan tersebut. Nilai otomatis model cocok dengan peninjau manusia pada hasil lima kategori dalam 65,9% kasus, pada apakah bug asli diperbaiki dalam 87,7% kasus, dan pada apakah bug baru muncul dalam 70,5% kasus. Dua validator model tersebut saling tidak setuju pada 36,8% patch, dan nilai gabungan menunjukkan Claude menilai secara longgar terhadap siapa pun yang menulis patch, sedangkan ChatGPT menilai secara ketat.

Apa yang menurut 1Password akan terjadi selanjutnya

Keith Hoodlet, yang memimpin Off-by-1 Labs, mengatakan kepada eSecurity Planet bahwa "menghasilkan patch tidak sama dengan memperbaiki kerentanan" dan bahwa "tinjauan manusia ahli tetap penting untuk memverifikasi bahwa patch tersebut efektif dan aman." Kesimpulan makalah itu lebih sempit daripada sebagian besar liputannya: keberhasilan sangat bergantung pada informasi yang akurat dan bersinyal tinggi tentang bug, dan mengkurasi informasi tersebut adalah tugas para engineer yang memahami basis kode.

Umpan balik Anthropic, yang dikutip dalam blog, adalah bahwa pembuatan patch telah melampaui verifikasi patch, bahwa verifikasi harus berbasis eksekusi, bukan berbasis inspeksi, dan bahwa para pakar domain harus tetap menjadi peninjau akhir pada kemampuan model saat ini. 1Password merilis harness tersebut, yang disebut bermasalah, dan seluruh 6.480 patch, agar orang lain dapat menguji pemeriksaan mana yang seharusnya menangkap kegagalan tersebut. Pada 26 Oktober, blog diperbarui dengan umpan balik pascapublikasi: batasan yang dipilih tim "mungkin telah membatasi apa yang dapat dihasilkan oleh alat patch agentik," dan apakah verifikasi yang lebih kuat mengubah hasilnya digambarkan sebagai pertanyaan berikutnya yang berguna.

Catatan itu juga memuat studi kedua, dan itu bukan uji yang sama.

Satu baris arsip memuat dua rangkaian angka, dan dokumen dari Japan's Information-technology Promotion Agency-lah yang menempatkannya berdampingan: buletin keamanan AI Agustus 2026 mereka, yang diterbitkan pada 7 September, merangkum kedua studi dalam satu entri bertanggal 6 Agustus. Studi kedua adalah milik Checkmarx: ditugaskan oleh Checkmarx dan dijalankan oleh Ilya Kabanov, chief executive The Weather Report, yang menjalankan ulang dua benchmark terbitan pada empat model di agent command-line mereka sendiri — Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro dan Gemini 3.5 Flash. Tulisan Kabanov bertanggal 6 Juli 2026, pos Checkmarx 26 Juli, dan liputan media di antara keduanya. Benchmark tingkat repositori, SusVibes, terdiri atas 200 tugas fitur di repositori open-source besar, masing-masing dibangun seputar kerentanan yang sudah ditemukan dan diperbaiki oleh manusia; agent diminta mengimplementasikan fitur tersebut, dan keberhasilan menuntut mereproduksi perlindungan yang dibuat manusia tanpa diperlihatkan kepadanya.

Hasilnya: keberhasilan fungsional sebesar 83–95%, naik dari 44–61% pada generasi sebelumnya, tetapi keberhasilan aman dan fungsional hanya 24–36%. Antara 65% dan 75% patch yang berhasil justru mereproduksi kelemahan yang telah dihilangkan manusia — istilah Checkmarx untuk itu adalah CVE zombie, karena cacat yang diperkenalkan kembali tidak memiliki advisory dan tidak ada versi untuk dinaikkan. Contoh yang disebutkan Checkmarx adalah CVE-2023-29159, bug path-traversal dalam framework Starlette Python, yang ditemukan dan diperbaiki pada 2023 lalu dibangun ulang oleh agen pada 2026.

Mitigasi tersebut sama informatifnya dengan judulnya. Instruksi umum untuk mengikuti praktik terbaik keamanan menambahkan 1 hingga 8 poin. Upaya penalaran yang lebih besar tidak menambah keamanan dan memangkas separuh jumlah solusi yang berfungsi. Langkah pemodelan ancaman sebelum pengodean mencapai 43–49% aman dan fungsional; tinjauan keamanan setelahnya mencapai 47–56%, dengan biaya token kira-kira dua kali dan dua setengah kali lipat. Bahkan kondisi terbaik sekalipun meninggalkan sekitar separuh tugas tidak aman, dan dalam kegagalan tersebut para agen kadang menyebut pertahanan yang benar dalam catatan mereka sendiri tetapi tetap mengirimkan kode rentan.

Kabanov dan Checkmarx sama-sama memberi catatan pada angka 65–75% itu: tugas-tugas tersebut dipilih karena membangun fitur dengan cara alami akan memunculkan kembali cacat tersebut, sehingga tingkatnya dalam kode biasa mungkin lebih rendah — sambil berargumen bahwa basis kode nyata penuh dengan fitur-fitur seperti itu, yang justru menjadi asal mula CVE.

Kedua studi tersebut tidak boleh dijumlahkan. Satu studi menanyakan apakah agen dapat menulis patch untuk bug yang telah disebutkan dan sudah diperbaiki. Studi lainnya menanyakan apakah agen yang mengimplementasikan fitur akan menghindari pembuatan ulang bug yang tidak diberitahukan kepadanya. 26.0% dan 24–36% adalah tingkat atas penyebut yang berbeda, dan keduanya bukanlah tingkat untuk patch AI secara umum.

Trail of Bits: judul berita itu mengukur pengaturan yang salah

Pada 15 September 2026, enam minggu setelah rilis 1Password, empat peneliti Trail of Bits — Anish Naik, Dan Guido, Benjamin Samuels, dan Marcelo Morales — menerbitkan bantahan yang berargumen bahwa angka 26% tidak menggambarkan penambalan biasa. Poin-poin mereka, dengan angka mereka sendiri: dua prompt menyuruh agen menerapkan perbaikan yang salah, dan prompt tersebut menyumbang 22% data; satu mode evaluasi mencegah agen membangun atau menjalankan kode, dan menyumbang 36%; enam kerentanan dipilih karena perbaikannya kompleks, dengan hasil per target berkisar 3% hingga 60% dan standard error yang tidak diungkapkan sekitar sembilan poin pada rata-rata enam target; dan kedua model dijalankan dengan pengaturan default, bukan upaya maksimum.

Mereka juga menyerang sistem penilaian. Aturan penghentian dan kriteria penilaian saling bertentangan, kata mereka; perubahan perilaku yang dimaksudkan dianggap sebagai regresi dalam 8% putusan ActiveMQ; dan penilai otomatis hanya sepakat dengan peninjau manusia pada hasil lima arah secara penuh sebanyak 65,9% dari waktu. Mereka mengutip 248 patch Copy Fail yang membawa off-by-one upstream perantara versus 24 yang ditangkap penilai, dan kasus Chromium di mana penilai menerima perbaikan yang masih menyisakan use-after-free dalam callback. Angka-angka itu milik 1Password sendiri; perselisihannya adalah tentang apa yang disiratkan oleh angka-angka tersebut.

Analisis ulang mereka hanya mempertahankan uji coba ketika agen dapat menjalankan kode dan tidak diberi tahu perbaikan yang salah, serta membuang eksekusi yang dinilai telah merujuk perbaikan upstream. Pada subset itu, 2.634 dari 3.067 patch — 86% — memblokir eksploit yang diberikan. Mereka berhati-hati tentang maknanya: memblokir eksploit yang ada di tangan bukanlah bukti perbaikan yang lengkap dan bebas regresi. Untuk pembanding manusia, mereka menunjuk 2.265 perbaikan pertama di 236 penilaian mereka sendiri dari 2024 hingga 2026, yang di antaranya 283 (12,5%, interval kepercayaan 95% 10,5% hingga 14,5%) gagal menyelesaikan masalah sepenuhnya. Mereka juga menghitung 186 pull request dalam program Patch the Planet mereka: 126 di-merge, dan 33 (26,2%) di antaranya memerlukan revisi yang relevan dengan keamanan. Dan mereka mengakui satu kasus ketika kritik 1Password terhadap patch mereka sendiri benar — pada freenginx, perbaikan mereka dan perbaikan independen dari maintainer menyebabkan crash pembersihan yang sama.

Kesimpulan mereka lugas: "Pembela tidak semestinya menganggap angka utama 1Password sebagai ukuran yang serius atas kemampuan penambalan AI." 1Password tidak menanggapi mereka dengan menyebut nama. Blog tersebut menyatakan bahwa tim menyambut baik kritik terhadap metode dan temuan mereka, dan pembaruan 26 Oktober mengakui bahwa batasan yang dipilih mungkin telah terlalu membatasi apa yang dapat dihasilkan alat-alat tersebut. Buletin IPA Jepang, yang memuat 26.0% dan 53.9% tanpa keterangan tambahan, diterbitkan pada 7 September — delapan hari sebelum bantahan tersebut.

Apa yang sudah mapan, dan apa yang diperdebatkan

• Terbukti: studi tersebut ada, dengan penulis bernama — Axel Mierczuk, Spencer Michaels dan Keith Hoodlet — bertanggal 6 Agustus 2026, dan jumlah 6.480 percobaan, 400 pengecualian, dan 6.080 patch yang dinilai muncul dalam makalah, di blog 1Password, dan dalam ringkasan IPA.

• Ditetapkan: komposisi hasil sebesar 26,0% bersih, 20,1% mengubah perilaku, 49,3% belum terselesaikan, dan 4,5% membawa cacat baru merupakan penilaian penulis sendiri, yang dihasilkan oleh dua validator model yang putusannya dirata-ratakan dan dicek silang dengan tinjauan manusia pada sampel 1.052 tambalan dengan tingkat kesepakatan 65,9% pada penilaian lima kategori.

• Ditetapkan: regresi spesifik — 248 patch Copy Fail dengan off-by-one upstream perantara, 783 iterasi yang melewatkan guard ESN, pola .env di Gemini CLI, referensi kedua yang hilang di Chromium — adalah klaim para penulis tentang data mereka sendiri, dengan metode deteksi yang dijelaskan dan detektor yang diperiksa terhadap tinjauan manual pada 253 iterasi.

• Yang diperdebatkan: apakah 26% adalah pernyataan yang adil tentang apa yang dapat dilakukan AI patching. Trail of Bits mengatakan filter miliknya sendiri membuat patch yang sama mencapai 86% pemblokiran eksploit dan bahwa pengaturannya bukan patching biasa; 1Password mengatakan pihaknya menyambut kritik tersebut dan bahwa batasannya mungkin terlalu ketat. Keduanya membaca 6,080 patch yang sama; ketidaksepakatan adalah soal filter mana yang sah, dan tidak ada pihak yang telah menerbitkan replikasi yang diterima pihak lain.

• Tidak diklaim: bahwa hal-hal ini menyebabkan kerusakan di lapangan. Arsip tidak mencatat kerusakan nyata dan mencatat entri tersebut pada tingkat keparahan info. Enam kerentanan telah ditambal di upstream sebelum pengujian dijalankan, dan tambalan yang diteliti merupakan kandidat yang dihasilkan di dalam container, bukan kode yang digabungkan ke dalam proyek-proyek tersebut.

Pertanyaan yang berguna bagi pihak bertahan bukanlah kubu mana yang harus dipercaya. Melainkan apa yang diukur oleh angka tersebut: 26% dari bug yang sengaja dibuat sulit dalam kondisi informasi yang sengaja dicampur, atau 86% dari uji coba yang dapat dieksekusi di mana eksploit yang disediakan berhasil diblokir. Kedua angka itu berasal dari kumpulan data yang sama, dan keduanya bukanlah spesifikasi pengadaan. Yang disepakati kedua pihak adalah peringatan yang dicetak 1Password sendiri dalam makalah tersebut — "patch yang dihasilkan hanyalah kandidat, bukan bukti bahwa kerentanan telah diperbaiki" — dan itulah bagian yang tidak perlu diputuskan.