1Passwords AI-patchstudie: 26 % rena korrigeringar – sedan ett genmäle

Den 6 augusti 2026 publicerade 1Password:s Off-by-1 Labs en 55-sidig studie av huruvida frontier-kodningsagenter kan patcha verkliga sårbarheter. ChatGPT 5.5, som kördes med OpenAI:s Trusted Access for Cyber-skyddsräcken på medelhög insats, och Claude Opus 4.8, som kördes med Anthropics Cyber Verification Program-skyddsräcken på hög insats, producerade 6 480 patchförsök mot sex nyligen avslöjade flerfiliga buggar. En fuskontroll uteslöt 400 av dem eftersom man bedömde att modellen hade letat efter uppströmsfixen; av de 6 080 som återstod, 26,0 % stängde sårbarheten utan att ändra beteendet, och 53,8 % lämnade en exploateringsväg öppen, införde en ny svaghet eller gjorde båda. Inget system utsattes för intrång och ingen användardata exponerades – felfrekvensen ligger i själva patcharna, vilket är varför arkivet registrerar posten med allvarlighetsgraden info och utan registrerad skada. Själva posten, med sin konfidensgrad och citerade källor, är katalogiserad i Orca AI Incident Archive, som indexerar dokumenterade AI-incidenter och sårbarheter.

De sex buggarna, och varför just dessa sex

Målen valdes ut för att vara fientliga. Var och en måste finnas i öppen källkod som agenten kunde läsa; orsaka en allvarlig kompromettering av konfidentialitet, integritet eller tillgänglighet; redan vara patchad uppströms, med patchen undanhållen från agenten och endast använd som bedömningsbaslinje; ha avslöjats så nyligen att rättelsen sannolikt inte fanns i modellens träningsdata; och kräva en verklig rättelse som berörde flera filer, funktioner eller kodvägar. Det äldsta avslöjandet bland dem daterades till 26 mars 2026 och det senaste till 12 maj.

Varje mål fick 540 försök per modell: tre körningslägen × nio promptmallar × 20 prover. Engångskörningar hade inget shell och inget nätverk utöver modellens eget API. Iterativa körningar hade reproduceringsskript och upp till tio pass, med en minnesfil som följde med mellan dem. Utforskande körningar hade verktyg men inget tillhandahållet test och instruerades att själva besluta om sitt handlingssätt. Mallarna spände från en underhållares fullständiga instruktion via ett SAST-ärende till två som föreskrev en rimlig men felaktig lösning. Körningarna var containerisolerade, och git-historiken skars av vid commiten omedelbart före den verkliga patchen.

Författarnas arbetshypotes, som fastställdes när projektet började den 20 maj 2026, var att modellerna skulle patcha i en takt över 67 %. Ingen enskild konfiguration – modell, läge och prompt – passerade 50 % på alla mål.

26 % är en cell i en femdelad skala

Artikeln bedömer varje patch utifrån fem utfall. S1 mildrar alla exploaterbara vägar och lämnar orelaterat beteende oförändrat, eller ändrar det exakt som den riktiga upstream-patchen gör. S2 mildrar sårbarheten men ändrar applikationens beteende under processen – till exempel avvisar en godartad indata tillsammans med den skadliga. S3 lämnar minst en exploaterbar väg öppen och lägger inte till någon ny brist. S4 rättar den rapporterade buggen och introducerar en separat sådan. S5 utför ingen av uppgifterna.

Över de 6 080 icke-fusk-iterationerna rapporterar artikeln 26,0 % S1 – 25,6 % för Claude Opus 4.8 och 26,5 % för ChatGPT 5.5 – sedan 20,1 % S2, 49,3 % S3, 2,3 % S4 och 2,2 % S5. Den felprocent som sprids, 53,9 %, är S3, S4 och S5 sammanlagt; artikelns tabell summerar till 53,8 % före avrundning, och både 1Password-bloggen och arkivraden anger 53,9 %.

De två modellerna slutade i genomsnitt inom en procentenhet från varandra, men nästan all variation låg i målen snarare än i modellen. Sett till genomsnittet för de två löpte andelen rena fixar per mål från 3,2 % för Apache ActiveMQ till 60,0 % för Exim. Bara för Exim skilde sig de två modellerna med 31,6 procentenheter: Claude Opus 4.8 på 75,8 %, ChatGPT 5.5 på 44,2 %. Författarna tolkar detta som en varning för plug-and-play-patchagenter och anger uttryckligen att studien inte är en direkt jämförelse mellan de två modellerna.

Två sekundära siffror är viktigare än huvudsiffran. Av de patchar som bedömdes som rena fixar hade 25,2 % en fragilitetsflagga – de stängde det rapporterade hålet men lämnade den underliggande primitiven på plats, dock inte nödvändigtvis nåbar. Sammantaget för S1 och S2 var 37,5 % fragila. Separat bedömdes 9,3 % av de fuskkontrollerade iterationerna i de iterativa och explorativa armarna ha konsulterat upstream-patchen, vilket är varifrån de 400 exkluderingarna kom. Kostnaden var måttlig: 2,11 USD per försök för ChatGPT 5.5 och 2,81 USD för Claude Opus 4.8, eller 4,49 USD och 6,44 USD per ren fix när kostnaden för misslyckade försök fördelas, exklusive kostnaden för att bekräfta en fix.

Vägledningens kvalitet påverkade andelen rena rättningar mer än valet av modell gjorde. Med noggrant korrekt reparationsvägledning var S1-andelen 35,9 %; utan vägledning 24,7 %; med vägledning som angav fel rotorsak eller fel åtgärdsriktning 7,4 %. Författarna lyfter särskilt fram detta: när agentens egna verktygsanrop motsade den mänskliga prompten följde den ofta prompten ändå.

Hur misslyckandena faktiskt såg ut

Det tydligaste fallet är CVE-2026-31431, Linuxkärnans AF_ALG-bugg som kallas Copy Fail. Uppströms korrigerade primitivet för minneskorruption via korsmappning i commit a664bf3d genom att återställa transformen till out-of-place-operation — och införde en ny off-by-one i samma hjälpfunktion, vilken underhållarna korrigerade en commit senare i 31d00156, tilldelad CVE-2026-43078. Modellerna återskapade den mellanliggande formen nästan exakt: 129 av 400 icke-fuskpatchar från ChatGPT (32,2 %) och 119 av 383 Claude-patchar (31,1 %) innehöll den off-by-one, i alla lägen. Artikeln hittade dessa 248 genom strukturell jämförelse av den omskrivna funktionen; det automatiska bedömningsverktyget flaggade endast 14 ChatGPT-patchar och 10 Claude-patchar för att ha infört en ny sårbarhet.

En tystare miss finns i samma fil. Omarbetning av authencesn-dekrypteringsvägen blottar också en skrivning av utökat sekvensnummer som går utanför gränserna när autentiseringstaggen är kortare än fyra byte; upstream stänger detta i 5db6ef98 genom att avvisa för små hashar vid instansskapande. Den defekten är äldre än Copy Fail, ingår inte bland CVE:ns fixcommits, och reproduceraren utövar den aldrig eftersom den låser tagglängden till fyra byte. Alla 783 icke-fusk-iterationer lämnade den oskyddad, inklusive varje patch som bedömdes som en ren fix av Copy Fail själv; de enda patchar som hade skyddet var fyra iterationer som hade kopierat upstream-committen ordagrant.

GHSA-wpqr-6v78-jr5g, fjärrkörningsbuggen i Gemini CLI, är ett tvådelat problem: headless-läget litar automatiskt på arbetsytan och laddar lokal konfiguration i arbetsytan, inklusive en .env som initierar processens miljö, medan en separat flagga kringgår verktygets tillåtelselista. Den genomsnittliga andelen rena fixar över båda modellerna var 5,6 %, den lägsta i studien. I one-shot-läge, 29,4 % av ChatGPT:s patchar och 63,9 % av Claudes upphörde att automatiskt lita på arbetsytan och laddade fortfarande den angriparkontrollerade .env, eftersom miljöinläsningen sker i en annan modul än förtroendebeslutet. När reproduceraren angav .env-sökvägen täppte den iterativa armen igen den — blindfläcken handlade om uppmärksamhet, inte förmåga.

Chromium-buggen, CVE-2026-8512, är en use-after-free i macOS-filbevakaren. Uppströmsfixen ersätter en rå pekare med en referensräknad kontext som måste hållas levande på två ställen: vid installationsplatsen och igen i själva återanropet. Av de patcher som antog den referensräknade arkitekturen behöll 41,9 % från ChatGPT och 38,5 % från Claude den första referensen och släppte den andra, vilket flyttar use-after-free i stället för att eliminera den.

Dessa exempel delar en egenskap som är viktig för alla som planerar att automatisera loopen: bedömaren kunde ofta inte se felet. Modellernas automatiska betyg överensstämde med mänskliga granskare vad gäller femvägsutfallet 65,9 % av gångerna, huruvida den ursprungliga buggen var åtgärdad 87,7 % av gångerna och huruvida en ny bugg hade uppstått 70,5 % av gångerna. De två modellvaliderarna var oense med varandra om 36,8 % av patcharna, och de sammanslagna betygen visar att Claude bedömde den som skrev patchen milt medan ChatGPT bedömde strikt.

Vad 1Password säger ska ske härnäst

Keith Hoodlet, som leder Off-by-1 Labs, sade till eSecurity Planet att "att generera en patch inte är samma sak som att åtgärda en sårbarhet" och att "expertgranskning av människor fortfarande är avgörande för att verifiera att en patch både är effektiv och säker." Artikelns slutsats är snävare än större delen av rapporteringen: framgång beror starkt på korrekt information med hög signalstyrka om buggen, och att kuratera den informationen är ett jobb för ingenjörer som känner till kodbasen.

Anthropics återkoppling, som citeras i blogginlägget, är att patchgenerering har gått förbi patchverifiering, att verifiering bör vara grundad i exekvering snarare än inspektion, och att domänexperter bör förbli de slutliga granskarna vid nuvarande modellkapacitet. 1Password släppte ramverket, kallat flawed, och alla 6 480 patchar, så att andra kan testa vilka kontroller som skulle ha fångat felen. Den 26 oktober uppdaterades blogginlägget med återkoppling efter publiceringen: de begränsningar som teamet valde "kan ha begränsat vad agentbaserade patchverktyg kunde producera", och huruvida starkare verifiering ändrar resultaten beskrivs som en användbar nästa fråga.

Posten innehåller även en andra studie, och det är inte samma test.

En arkivrad rymmer två uppsättningar siffror, och Japans Information-technology Promotion Agency är dokumentet som ställer dem sida vid sida: dess AI-säkerhetsbulletin från augusti 2026, publicerad den 7 september, sammanfattar båda studierna i en enda post daterad den 6 augusti. Den andra studien är Checkmarx-studien: den beställdes av Checkmarx och utfördes av Ilya Kabanov, vd för The Weather Report, som återkörde två publicerade benchmarktester på fyra modeller i deras egna kommandoradsagenter – Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro och Gemini 3.5 Flash. Kabanovs sammanställning är daterad den 6 juli 2026, Checkmarx inlägg den 26 juli, och branschrapporteringen publicerades mellan de två. Benchmarken på repositorienivå, SusVibes, består av 200 funktionsuppgifter i stora öppna källkodsrepositorier; varje uppgift är byggd kring en sårbarhet som en människa redan hade hittat och åtgärdat. Agenten får i uppgift att implementera funktionen, och framgång kräver att den återskapar människans skydd utan att ha fått se det.

Resultaten: funktionell framgång på 83–95 %, upp från 44–61 % en generation tidigare, men säker och funktionell framgång på endast 24–36 %. Mellan 65 % och 75 % av de patchar som fungerade återinförde svagheten som människorna hade borttagit – Checkmarx kallar det zombie-CVE, eftersom det återinförda felet saknar säkerhetsmeddelande och ingen version att uppgradera. Checkmarx exempel är CVE-2023-29159, ett path-traversal-fel i Pythons Starlette-ramverk, som hittades och åtgärdades 2023 och återuppbyggdes av en agent 2026.

Åtgärderna är lika informativa som huvudresultatet. En generisk instruktion att följa säkerhetsbästa praxis tillförde 1 till 8 poäng. Mer resonemangsinsats tillförde ingen säkerhet och halverade antalet fungerande lösningar. Ett hotmodelleringssteg före kodning nådde 43–49 % säkra och fungerande; en efterhandsgranskning av säkerheten nådde 47–56 %, till ungefär två respektive två och en halv gånger tokenkostnaden. Även den bästa experimentarmen lämnade ungefär hälften av uppgifterna osäkra, och i misslyckandena nämnde agenterna ibland det korrekta försvaret i sina egna anteckningar och levererade ändå den sårbara koden.

Både Kabanov och Checkmarx har ett förbehåll för siffran 65–75 %: uppgifterna valdes eftersom att bygga funktionen på det naturliga sättet återinför bristen, så andelen i vanlig kod är förmodligen lägre – samtidigt som de hävdar att verkliga kodbaser är fulla av just sådana funktioner, vilket är precis där CVE:er har sitt ursprung.

De två studierna bör inte slås samman. Den ena frågar om en agent kan skriva en patch för en namngiven bugg som redan är åtgärdad. Den andra frågar om en agent som implementerar en funktion kommer att undvika att återinföra en bugg som ingen har berättat om för den. 26,0 % och 24–36 % är andelar med olika nämnare, och ingen av dem är en andel för AI-patchning i allmänhet.

Trail of Bits: rubriken mäter fel konfiguration

Den 15 september 2026, sex veckor efter 1Password-släppet, publicerade fyra forskare vid Trail of Bits – Anish Naik, Dan Guido, Benjamin Samuels och Marcelo Morales – ett genmäle där de argumenterade att siffran 26 % inte beskriver vanlig patchning. Deras poänger, med deras egna siffror: två promptar instruerar agenterna att tillämpa fel åtgärd, och dessa promptar står för 22 % av datan; ett utvärderingsläge hindrar agenter från att bygga eller köra kod och står för 36 %; de sex sårbarheterna valdes eftersom deras åtgärder var komplexa, med resultat per mål från 3 % till 60 % och ett oredovisat standardfel på cirka nio punkter på genomsnittet för de sex målen; och båda modellerna kördes med standardinställningar i stället för maximal insats.

De angriper också bedömningen. De hävdar att stoppregeln och bedömningskriterierna strider mot varandra; avsedda beteendeändringar bestraffades som regressioner i 8 % av ActiveMQ-bedömningarna; och den automatiska bedömaren var enig med mänskliga granskare om det fullständiga femvägsutfallet bara 65,9 % av gångerna. De hänvisar till de 248 Copy Fail-patcherna som innehöll den mellanliggande upstream-off-by-one, mot de 24 som bedömaren fångade, och ett Chromium-fall där bedömaren accepterade reparationer som fortfarande lämnade en use-after-free i en callback. Siffrorna är 1Passwords egna; oenigheten gäller vad de innebär.

Deras om analys behåller endast försök där agenterna kunde köra kod och inte fick den felaktiga reparationen meddelad, och utesluter körningar som bedömdes ha konsulterat uppströmsfixen. På den delmängden blockerade 2 634 av 3 067 patchar – 86 % – den angivna exploiten. De är noggranna med vad det innebär: att blockera exploiten man har framför sig är inte bevis på en fullständig, regressionsfri reparation. För en mänsklig baslinje hänvisar de till 2 265 första fixar inom 236 av deras egna bedömningar från 2024 till 2026, varav 283 (12,5 %, 95 % konfidensintervall 10,5 % till 14,5 %) inte lyckades lösa problemet fullt ut. De räknar också 186 pull requests i sitt Patch the Planet-program: 126 sammanslagna, varav 33 (26,2 %) behövde en säkerhetsrelevant revidering. Och de erkänner ett fall där 1Passwords kritik av deras egen patch var korrekt – på freenginx introducerade deras fix och underhållarens oberoende fix samma krasch i rensningen.

Deras slutsats är rakt på sak: "Försvarare bör inte ta 1Passwords rubriksiffra på allvar som ett mått på AI:s patchningsförmåga." 1Password svarade dem inte vid namn. Bloggen anger att teamet välkomnar kritik av sina metoder och resultat, och uppdateringen den 26 oktober erkänner att de valda begränsningarna kan ha överbegränsat vad verktygen kunde producera. Japans IPA-bulletin, som innehåller 26,0 % och 53,9 % utan förbehåll, publicerades den 7 september — åtta dagar före vederläggningen.

Vad som är fastställt och vad som argumenteras

• Fastställt: studien finns, med namngivna författare — Axel Mierczuk, Spencer Michaels och Keith Hoodlet — daterad 6 augusti 2026, och dess siffror på 6 480 försök, 400 uteslutningar och 6 080 graderade patchar förekommer i artikeln, i 1Passwords blogg och i IPA-sammanfattningen.

• Etablerat: fördelningen av utfall – 26,0 % rena, 20,1 % beteendeförändrande, 49,3 % olösta och 4,5 % med en ny defekt – är författarnas egen betygsättning, framställd av två modellvaliderare vars bedömningar medelvärdesbildades och korsverifierades mot mänsklig granskning på ett urval på 1 052 patchar, med 65,9 % överensstämmelse i det femgradiga betyget.

• Fastställt: de specifika regressionerna – de 248 Copy Fail-patcharna med den mellanliggande off-by-one i upstream, de 783 iterationerna som saknade ESN-skyddet, .env-mönstret i Gemini CLI, den saknade andra referensen i Chromium – är författarnas påståenden om deras egna data, med detekteringsmetoden beskriven och detektorn kontrollerad mot manuell granskning på 253 iterationer.

• Debatterat: om 26 % är ett rättvisande uttalande om vad AI-patchning kan göra. Trail of Bits säger att företagets egna filter får samma patchar att blockera 86 % av exploateringsförsöken och att upplägget inte är vanlig patchning; 1Password säger att företaget välkomnar kritiken och att dess begränsningar kan ha varit för snäva. Båda läser samma 6 080 patchar; oenigheten gäller vilka filter som är legitima, och ingen av parterna har publicerat en replikering som den andra accepterar.

• Inte påstått: att något av detta orsakade skada i fält. Arkivet registrerar ingen verklig skada och arkiverar posten med allvarlighetsgraden info. De sex sårbarheterna patchades uppströms innan testerna kördes, och patcharna som studerades var kandidater som producerats i containrar, inte kod som sammanfogats i dessa projekt.

Den användbara frågan för en försvarare är inte vilket läger man ska tro på. Det är vad siffran är en andel av: 26 % av avsiktligt svåra buggar under avsiktligt blandad information, eller 86 % av körbara försök där den medföljande exploiten blockerades. Båda siffrorna kommer från samma datamängd, och ingen av dem är en inköpsspecifikation. Vad de två sidorna däremot är eniga om är det förbehåll som 1Password självt skriver i rapporten – "en genererad patch är en kandidat, inte ett bevis på att sårbarheten är åtgärdad" – och det är den delen som inte behöver avgöras.