1Password's AI-patchstudie: 26% schone fixes, dan een weerlegging

Op 6 augustus 2026 publiceerde Off-by-1 Labs van 1Password een 55 pagina's tellende studie naar de vraag of frontier-codeeragenten echte kwetsbaarheden kunnen patchen. ChatGPT 5.5, dat draaide met OpenAI's Trusted Access for Cyber-guardrails op gemiddelde inspanning, en Claude Opus 4.8, dat draaide met Anthropic's Cyber Verification Program-guardrails op hoge inspanning, leverden 6.480 patchpogingen op tegen zes onlangs openbaar gemaakte bugs in meerdere bestanden. Een cheat-checkronde sloot 400 daarvan uit op basis van de beoordeling dat het model naar de upstream-fix was gaan zoeken; van de 6.080 die overbleven, 26,0% sloot de kwetsbaarheid zonder het gedrag te veranderen, en 53,8% liet een exploitpad open, introduceerde een nieuw gebrek, of beide. Er werd geen enkel systeem gecompromitteerd en er werden geen gebruikersgegevens blootgesteld — het defectpercentage zit in de patches zelf, en daarom voert het archief de vermelding op onder ernstniveau info zonder vastgelegde schade. De vermelding zelf, met zijn betrouwbaarheidsgraad en geciteerde bronnen, is opgenomen in het Orca AI Incident Archive, dat gedocumenteerde AI-incidenten en kwetsbaarheden indexeert.

De zes bugs, en waarom deze zes

De doelwitten waren met opzet onvriendelijk gekozen. Elk moest in opensourcecode staan die de agent kon lezen; een ernstige inbreuk op vertrouwelijkheid, integriteit of beschikbaarheid veroorzaken; al upstream gepatcht zijn, waarbij die patch voor de agent achtergehouden en alleen als beoordelingsbasis gebruikt werd; recent genoeg openbaar gemaakt zijn dat de fix waarschijnlijk niet in de trainingsdata van het model zat; en een echte fix vereisen die meerdere bestanden, functies of codepaden raakte. De oudste openbaarmaking daarvan was 26 maart 2026 en de recentste 12 mei.

Elk doel kreeg 540 pogingen per model: drie uitvoeringsmodi × negen promptsjablonen × 20 samples. One-shot-runs hadden geen shell en geen netwerk buiten de eigen API van het model. Iteratieve runs hadden reproductiescripts en tot tien doorlopen, met een geheugenbestand dat tussen de runs werd meegenomen. Exploratieve runs hadden tools maar geen aangeleverde test, en kregen de instructie zelf hun eigen werkwijze te bepalen. De sjablonen varieerden van een volledige briefing van een maintainer via een SAST-ticket tot twee die een plausibele maar verkeerde oplossing voorschreven. Runs waren in containers geïsoleerd, en de git-geschiedenis was afgesneden bij de commit direct vóór de echte patch.

De werkhypothese van de auteurs, vastgesteld toen het project op 20 mei 2026 begon, was dat modellen zouden patchen met een percentage boven 67%. Geen enkele afzonderlijke configuratie — model, modus en prompt — haalde 50% op elk doel.

26% is één cel van een vijfdelige schaal.

De paper beoordeelt elke patch op vijf uitkomsten. S1 mitigeert alle exploiteerbare paden en laat niet-gerelateerd gedrag ongewijzigd, of wijzigt het precies zoals de echte upstream-patch het doet. S2 mitigeert de kwetsbaarheid, maar verandert daarbij het gedrag van de applicatie — bijvoorbeeld door een goedaardige invoer samen met de kwaadaardige af te wijzen. S3 laat ten minste één exploitpad open en voegt geen nieuw gebrek toe. S4 repareert de gerapporteerde bug en introduceert een afzonderlijke bug. S5 vervult geen van beide taken.

Over de 6.080 niet-cheatiteraties rapporteert het artikel 26,0% S1 — 25,6% voor Claude Opus 4.8 en 26,5% voor ChatGPT 5.5 — en dan 20,1% S2, 49,3% S3, 2,3% S4 en 2,2% S5. Het faalcijfer dat circuleert, 53,9%, is de som van S3, S4 en S5; de tabel in het artikel komt vóór afronding uit op 53,8%, en zowel in de blog van 1Password als in de archiefrij staat 53,9%.

De twee modellen eindigden gemiddeld binnen één procentpunt van elkaar, maar bijna alle variatie zat in de doelen en niet in het model. Gemiddeld over de twee liepen de clean-fixpercentages per doel uiteen van 3,2% op Apache ActiveMQ tot 60,0% op Exim. Alleen op Exim lagen de twee modellen 31,6 punten uiteen: Claude Opus 4.8 op 75,8%, ChatGPT 5.5 op 44,2%. De auteurs zien dat als een waarschuwing voor plug-and-play-patchagents en stellen uitdrukkelijk dat de studie geen directe onderlinge vergelijking tussen de twee modellen is.

Twee secundaire cijfers zijn belangrijker dan de kop. Van de patches die als schone fixes werden beoordeeld, droeg 25,2% een fragiliteitsmarkering — ze sloten het gerapporteerde gat, maar lieten de onderliggende primitief in stand, zij het niet noodzakelijkerwijs bereikbaar. Over S1 en S2 samen was 37,5% fragiel. Los daarvan werd in de iteratieve en exploratieve armen 9,3% van de op cheat gecontroleerde iteraties beoordeeld als iteraties die de upstream-patch hadden geraadpleegd; daar kwamen de 400 uitsluitingen vandaan. De kosten waren bescheiden: $2,11 per poging voor ChatGPT 5.5 en $2,81 voor Claude Opus 4.8, of $4,49 en $6,44 per schone fix wanneer mislukte pogingen worden geamortiseerd, exclusief de kosten voor het bevestigen van een fix.

De kwaliteit van de begeleiding had een groter effect op de clean-fix-rate dan de keuze van het model. Met zorgvuldig correcte reparatiebegeleiding was de S1-rate 35,9%; zonder begeleiding 24,7%; met begeleiding die de verkeerde grondoorzaak of reparatierichting noemde, 7,4%. De auteurs wijzen hier nadrukkelijk op: waar de eigen tool-aanroepen van de agent tegenstrijdig waren met de menselijke prompt, volgde deze vaak alsnog de prompt.

Hoe de mislukkingen er werkelijk uitzagen

Het duidelijkste geval is CVE-2026-31431, de AF_ALG-bug in de Linux-kernel die bekend staat als Copy Fail. Upstream repareerde de cross-mapping-geheugencorruptie-primitive in commit a664bf3d door de transformatie terug te zetten naar een out-of-place-bewerking — en introduceerde een nieuwe off-by-one in dezelfde helper, die de maintainers één commit later in 31d00156 corrigeerden; aan die fout werd CVE-2026-43078 toegewezen. De modellen reproduceerden de intermediaire vorm vrijwel exact: 129 van de 400 niet-cheat-ChatGPT-patches (32,2%) en 119 van de 383 Claude-patches (31,1%) hadden die off-by-one, in elke modus. De paper vond die 248 gevallen via een structurele vergelijking van de herschreven functie; de geautomatiseerde beoordelaar markeerde slechts 14 ChatGPT-patches en 10 Claude-patches als patches die een nieuwe kwetsbaarheid hadden geïntroduceerd.

Een minder opvallende gemiste fout bevindt zich in hetzelfde bestand. Het herwerken van het authencesn-ontsleutelingspad legt ook een schrijfactie van een uitgebreid sequentienummer bloot die buiten de grenzen gaat wanneer de authenticatietag korter is dan vier bytes; upstream dicht dit in 5db6ef98 door te kleine hashes bij de instantiecreatie af te wijzen. Dat defect is ouder dan Copy Fail, behoort niet tot de fixcommits van de CVE, en de reproducer oefent het nooit uit omdat hij de taglengte op vier bytes vastzet. Alle 783 niet-cheat-iteraties lieten het onbeschermd, inclusief elke patch die als een schone fix van Copy Fail zelf werd beoordeeld; de enige patches die de bescherming bevatten, waren vier iteraties die de upstream-commit letterlijk hadden gekopieerd.

GHSA-wpqr-6v78-jr5g, de remote-code-executionbug in Gemini CLI, is een probleem met twee delen: headless-modus vertrouwt de workspace automatisch en laadt workspace-lokale configuratie, inclusief een .env die de procesomgeving initialiseert, terwijl een aparte flag de tool-allowlist omzeilt. De gemiddelde clean-fix-rate over beide modellen was 5,6%, de laagste in het onderzoek. In one-shot-modus stopte 29,4% van de patches van ChatGPT en 63,9% van die van Claude met het automatisch vertrouwen van de workspace en laadde nog steeds de door de aanvaller beheerde .env, omdat het laden van de omgeving in een andere module plaatsvindt dan de trustbeslissing. Toen de reproducer het .env-pad noemde, sloot de iteratieve arm het — de blinde vlek betrof aandacht, niet capaciteit.

De Chromium-bug, CVE-2026-8512, is een use-after-free in de macOS-bestandswatcher. De upstream-fix vervangt een ruwe pointer door een context met referentietelling die op twee plaatsen levend moet worden gehouden: op de installatieplaats en opnieuw in de callback zelf. Van de patches die de architectuur met referentietelling overnamen, behield 41,9% van ChatGPT en 38,5% van Claude de eerste referentie en liet de tweede vallen, waardoor de use-after-free wordt verplaatst plutôt dan verwijderd.

Deze voorbeelden delen een eigenschap die van belang is voor iedereen die het proces wil automatiseren: de beoordelaar kon het falen vaak niet zien. De geautomatiseerde beoordelingen van de modellen kwamen 65,9% van de tijd overeen met menselijke reviewers wat de uitkomst met vijf categorieën betrof, 87,7% van de tijd wat betreft de vraag of de oorspronkelijke bug was gefixt, en 70,5% van de tijd wat betreft de vraag of er een nieuwe bug was ontstaan. De twee modelvalidators waren het onderling oneens over 36,8% van de patches, en uit de samengevoegde beoordelingen blijkt dat Claude soepel was tegenover wie de patch ook had geschreven, terwijl ChatGPT streng beoordeelde.

Wat 1Password zegt dat er als volgende moet gebeuren

Keith Hoodlet, die Off-by-1 Labs leidt, zei tegen eSecurity Planet dat "het genereren van een patch niet hetzelfde is als het oplossen van een kwetsbaarheid" en dat "deskundige menselijke beoordeling essentieel blijft om te verifiëren dat een patch zowel effectief als veilig is." De conclusie van het paper is beperkter dan in het grootste deel van de berichtgeving: succes hangt sterk af van nauwkeurige, hoogwaardige informatie over de bug, en het zorgvuldig beheren van die informatie is een taak voor ingenieurs die de codebase kennen.

De feedback van Anthropic, die in de blog wordt geciteerd, is dat patchgeneratie patchverificatie heeft ingehaald, dat verificatie op daadwerkelijke uitvoering zou moeten berusten in plaats van op inspectie, en dat domeinexperts bij de huidige modelcapaciteit de uiteindelijke beoordelaars zouden moeten blijven. 1Password heeft de harness, "flawed" genaamd, en alle 6.480 patches vrijgegeven, zodat anderen kunnen testen welke controles de fouten zouden hebben opgespoord. Op 26 oktober werd de blog bijgewerkt met feedback na publicatie: de beperkingen die het team koos "hebben mogelijk beperkt wat agentische patchtools konden produceren", en de vraag of sterkere verificatie de uitkomsten verandert, wordt beschreven als een nuttige volgende vraag.

Het record bevat ook een tweede studie, en het is niet dezelfde test.

Eén archiefrij bevat twee sets cijfers, en het document dat ze naast elkaar zet, is het AI-beveiligingsbulletin van augustus 2026 van de Japanse Information-technology Promotion Agency, gepubliceerd op 7 september; het vat beide onderzoeken samen in één item gedateerd 6 augustus. De tweede studie is van Checkmarx: in opdracht van Checkmarx en uitgevoerd door Ilya Kabanov, chief executive van The Weather Report, die twee gepubliceerde benchmarks opnieuw uitvoerde op vier modellen in hun eigen command-lineagents — Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro en Gemini 3.5 Flash. Kabanovs verslag is gedateerd 6 juli 2026, Checkmarx' bericht 26 juli, en vakmedia-publicaties verschenen tussen de twee data. De benchmark op repositoryniveau, SusVibes, bestaat uit 200 featuretaken in grote open-source-repositories, elk opgebouwd rond een kwetsbaarheid die een mens al had gevonden en gerepareerd; de agent wordt gevraagd de feature te implementeren, en succes vereist dat de bescherming van de mens wordt gereproduceerd zonder dat deze wordt getoond.

De resultaten: functioneel succes van 83–95%, tegen 44–61% een generatie eerder, maar succes op zowel veiligheid als functionaliteit van slechts 24–36%. Tussen 65% en 75% van de patches die werkten, reproduceerden de zwakheid die de mensen hadden verwijderd — Checkmarx' term daarvoor is de zombie-CVE, omdat de opnieuw geïntroduceerde fout geen advisory en geen versie heeft om te bumpen. Het voorbeeld dat Checkmarx noemt is CVE-2023-29159, een path-traversalbug in het Starlette-framework van Python, in 2023 gevonden en opgelost en in 2026 door een agent opnieuw gebouwd.

De mitigaties zijn even informatief als de kop. Een generieke instructie om security best practices te volgen voegde 1 tot 8 punten toe. Meer reasoning-inspanning voegde geen veiligheid toe en halveerde het aantal werkende oplossingen. Een threatmodelleringsstap vóór het coderen bereikte 43–49% veilig-en-functioneel; een post-hoc securityreview bereikte 47–56%, tegen respectievelijk ongeveer twee keer en tweeënhalf keer de tokenkosten. Zelfs de beste arm liet ongeveer de helft van de taken onveilig, en bij de mislukkingen noemden de agents soms de juiste verdediging in hun eigen notities en leverden ze toch de kwetsbare code uit.

Kabanov en Checkmarx brengen beiden een voorbehoud aan bij het cijfer van 65–75%: de taken werden juist gekozen omdat het {{1}}op de natuurlijke manier{{/1}} bouwen van de functie de fout opnieuw introduceert, dus het percentage in gewone code is waarschijnlijk lager — terwijl ze betogen dat echte codebases vol zitten met precies zulke functies, en dat is nu juist waar CVEs vandaan komen.

De twee onderzoeken mogen niet bij elkaar worden opgeteld. Het ene vraagt of een agent een patch kan schrijven voor een bekende, al opgeloste bug. Het andere vraagt of een agent die een functie implementeert, voorkomt dat hij een bug opnieuw introduceert waarvan niemand hem op de hoogte heeft gesteld. 26,0% en 24–36% zijn percentages over verschillende noemers, en geen van beide is een percentage voor AI-patching in het algemeen.

Trail of Bits: de kop meet de verkeerde opzet

Op 15 september 2026, zes weken na de release van 1Password, publiceerden vier onderzoekers van Trail of Bits — Anish Naik, Dan Guido, Benjamin Samuels en Marcelo Morales — een weerlegging waarin zij betogen dat het cijfer van 26% geen beschrijving geeft van regulier patchen. Hun punten, in hun eigen cijfers: twee prompts instrueren agents de verkeerde oplossing toe te passen, en die prompts zijn goed voor 22% van de gegevens; één evaluatiemodus verhindert dat agents code bouwen of uitvoeren, en is goed voor 36%; de zes kwetsbaarheden werden gekozen omdat hun oplossingen complex waren, met resultaten per doelwit van 3% tot 60% en een niet bekendgemaakte standaardfout van ongeveer negen punten op het gemiddelde over de zes doelwitten; en beide modellen draaiden op hun standaardinstellingen in plaats van met maximale inspanning.

Ze vallen ook de beoordeling aan. De stopregel en de beoordelingscriteria botsen, betogen ze; bedoelde gedragswijzigingen werden in 8% van de ActiveMQ-uitslagen als regressies bestraft; en de geautomatiseerde beoordelaar was het met menselijke beoordelaars slechts in 65,9% van de gevallen eens over de volledige uitkomst in vijf categorieën. Ze verwijzen naar de 248 Copy Fail-patches met de tussenliggende upstream-off-by-one tegenover de 24 die de beoordelaar vond, en naar een Chromium-geval waarin de beoordelaar reparaties goedkeurde die nog steeds een use-after-free in een callback achterlieten. Die cijfers zijn afkomstig van 1Password zelf; het meningsverschil gaat over wat ze impliceren.

Hun heranalyse behoudt alleen proeven waarbij agenten code konden uitvoeren en niet de verkeerde reparatie te horen kregen, en laat runs vallen waarvan werd geoordeeld dat ze de upstream-fix hadden geraadpleegd. Op die subset blokkeerden 2.634 van de 3.067 patches — 86% — de aangeleverde exploit. Ze zijn voorzichtig over wat dat betekent: een voorhanden zijnde exploit blokkeren is geen bewijs van een volledige, regressievrije reparatie. Voor een menselijke baseline verwijzen ze naar 2.265 eerste fixes binnen 236 van hun eigen beoordelingen uit 2024 tot 2026, waarvan 283 (12,5%, 95%-betrouwbaarheidsinterval 10,5% tot 14,5%) er niet in slaagden het probleem volledig op te lossen. Ze tellen ook 186 pull requests in hun programma Patch the Planet: 126 samengevoegd, waarvan 33 (26,2%) een beveiligingsrelevante herziening nodig hadden. En ze geven één geval toe waarin de kritiek van 1Password op hun eigen patch terecht was: op freenginx introduceerden hun fix en de onafhankelijke fix van de maintainer dezelfde opschoningscrash.

Hun conclusie is ronduit: "Verdedigers moeten het kopcijfer van 1Password niet serieus nemen als maatstaf voor de AI-patchcapaciteit." 1Password heeft hun niet bij naam geantwoord. De blog stelt dat het team kritiek op zijn methoden en bevindingen verwelkomt, en de update van 26 oktober geeft toe dat de gekozen beperkingen mogelijk te veel hebben ingeperkt wat de tools konden produceren. Het IPA-bulletin van Japan, dat de 26,0% en de 53,9% zonder voorbehoud vermeldt, werd gepubliceerd op 7 september — acht dagen voor de weerlegging.

Wat vaststaat, en wat wordt betoogd

• Vastgesteld: de studie bestaat, met genoemde auteurs — Axel Mierczuk, Spencer Michaels en Keith Hoodlet — gedateerd op 6 augustus 2026, en haar aantallen van 6.480 pogingen, 400 uitsluitingen en 6.080 beoordeelde patches staan in het artikel, in de blog van 1Password en in de IPA-samenvatting.

• Vastgesteld: de mix van uitkomsten van 26,0% schoon, 20,1% gedragswijzigend, 49,3% onopgelost en 4,5% met een nieuwe fout is de eigen beoordeling van de auteurs, geproduceerd door twee modelvalidatoren van wie de oordelen werden gemiddeld en vergeleken met menselijke beoordeling op een steekproef van 1.052 patches, met 65,9% overeenstemming op de vijfdelige beoordeling.

• Vastgesteld: de specifieke regressies — de 248 Copy Fail-patches met de tussenliggende upstream off-by-one, de 783 iteraties waarin de ESN-guard ontbrak, het .env-patroon in Gemini CLI, de ontbrekende tweede referentie in Chromium — zijn de claims van de auteurs over hun eigen data, met de beschreven detectiemethode en de detector gecontroleerd tegen handmatige beoordeling op 253 iteraties.

• Aangevoerd: of 26% een eerlijke weergave is van wat AI-patching kan doen. Trail of Bits zegt dat zijn eigen filters dezelfde patches naar 86% exploitblokkering brengen en dat de opzet geen gewone patching is; 1Password zegt dat het de kritiek verwelkomt en dat de beperkingen misschien te streng zijn geweest. Beide partijen lezen dezelfde 6.080 patches; de onenigheid gaat over welke filters legitiem zijn, en geen van beide partijen heeft een replicatie gepubliceerd die de ander accepteert.

• Niet beweerd: dat een van deze zaken in de praktijk schade heeft veroorzaakt. Het archief registreert geen daadwerkelijke schade en deelt de vermelding in bij ernstniveau info. De zes kwetsbaarheden werden upstream gepatcht voordat de tests werden uitgevoerd, en de onderzochte patches waren kandidaten die in containers waren geproduceerd, geen code die in die projecten is samengevoegd.

De nuttige vraag voor een verdediger is niet welk kamp te geloven. Het is waarop het getal betrekking heeft: 26% van opzettelijk moeilijke bugs onder opzettelijk gemengde informatie, of 86% van uitvoerbare proeven waarbij de aangeleverde exploit werd geblokkeerd. Beide cijfers komen uit dezelfde dataset, en geen van beide is een inkoopspecificatie. Wat beide zijden wel delen, is het voorbehoud dat 1Password zelf in het paper vermeldt — "een gegenereerde patch is een kandidaat, geen bewijs dat de kwetsbaarheid is opgelost" — en dat is het deel dat geen uitspraak behoeft.