1Password의 AI 패치 연구: 26% 깔끔한 수정, 그리고 반박

2026년 8월 6일, 1Password의 Off-by-1 Labs는 프런티어 코딩 에이전트가 실제 취약점을 패치할 수 있는지에 관한 55페이지 분량의 연구를 발표했습니다. OpenAI의 Trusted Access for Cyber 가드레일을 적용하고 중간 수준 노력으로 실행된 ChatGPT 5.5와, Anthropic의 Cyber Verification Program 가드레일을 적용하고 높은 수준 노력으로 실행된 Claude Opus 4.8은 최근 공개된 6개의 다중 파일 버그를 대상으로 6,480건의 패치 시도를 생성했습니다. 부정행위 검사 단계에서는 모델이 상위 수정본을 찾으려 한 것으로 판단하여 그중 400건을 제외했으며, 남은 6,080건 중 26.0%는 동작을 변경하지 않고 취약점을 해결했고, 53.8%는 익스플로이트 경로를 열어둔 상태로 남기거나 새로운 결함을 도입했거나, 아니면 둘 다를 초래했습니다. 어떤 시스템도 침해되지 않았고 사용자 데이터도 노출되지 않았습니다. 결함 비율은 패치 자체에 있는데, 그렇기 때문에 아카이브는 이 항목을 기록된 피해 없이 info 등급으로 분류합니다. 신뢰도 등급과 인용 출처를 포함한 기록 자체는 문서화된 AI 사건 및 취약점을 인덱싱하는 Orca AI Incident Archive에 카탈로그로 등재되어 있습니다.

여섯 가지 버그, 그리고 왜 이 여섯 가지인가

목표들은 비우호적으로 선정되었다. 각 목표는 에이전트가 읽을 수 있는 오픈소스 코드에 존재해야 했고, 심각한 기밀성·무결성·가용성 침해를 일으켜야 했으며, 이미 업스트림에서 패치되었되 그 패치가 에이전트에게 제공되지 않고 오직 채점 기준으로만 사용되어야 했고, 최근에 공개되어 수정 사항이 모델의 학습 데이터에 포함되어 있을 가능성이 낮아야 했으며, 여러 파일·함수·코드 경로를 건드리는 실제 수정이 필요해야 했다. 그중 가장 오래된 공개는 2026년 3월 26일이었고 가장 최근은 5월 12일이었다.

모든 대상은 모델당 540회의 시도를 받았다: 3가지 실행 모드 × 9가지 프롬프트 템플릿 × 20개 샘플. 원샷 실행에는 셸이 없었고 모델 자체의 API 외에는 네트워크가 없었다. 반복 실행에는 재현 스크립트가 있었고 최대 10회의 패스가 있었으며, 그 사이에 메모리 파일이 전달되었다. 탐색 실행에는 도구가 있었지만 제공된 테스트는 없었고, 스스로 행동 방침을 결정하라는 지시를 받았다. 템플릿은 메인테이너의 전체 브리핑부터 SAST 티켓, 그리고 그럴듯하지만 잘못된 수정을 규정한 두 가지에 이르기까지 다양했다. 실행은 컨테이너로 격리되었고, git 이력은 실제 패치 직전 커밋에서 잘렸다.

저자들의 작업 가설은 프로젝트가 2026년 5월 20일에 시작될 때 확정되었으며, 모델들이 67%를 초과하는 비율로 패치할 것이라는 것이었다. 모델, 모드, 프롬프트로 이루어진 어떤 단일 구성도 모든 대상에서 50%를 넘지 못했다.

26%는 5단계 척도의 한 칸입니다.

논문은 모든 패치를 다섯 가지 결과 기준으로 평가한다. S1은 악용 가능한 모든 경로를 완화하고 관련 없는 동작은 변경하지 않거나, 실제 업스트림 패치가 하는 것과 정확히 동일하게 변경한다. S2는 취약점을 완화하지만 그 과정에서 애플리케이션 동작을 변경한다. 예를 들어 악성 입력과 함께 정상 입력도 거부한다. S3은 적어도 하나의 악용 경로를 열린 상태로 남기고 새로운 결함을 추가하지 않는다. S4는 보고된 버그를 수정하고 별개의 결함을 도입한다. S5는 어느 쪽도 해내지 못한다.

6,080회의 비(非)치트 반복 실행 전반에 걸쳐, 논문은 S1 26.0% — Claude Opus 4.8의 경우 25.6%, ChatGPT 5.5의 경우 26.5% — 를 보고하며, 이어서 S2 20.1%, S3 49.3%, S4 2.3%, S5 2.2%를 보고한다. 회자되는 실패 수치인 53.9%는 S3, S4, S5를 합한 것이며, 논문의 표에서는 반올림 전 기준 53.8%가 되고, 1Password의 블로그와 아카이브 행 모두 53.9%를 기재하고 있다.

두 모델은 평균적으로 서로 1퍼센트포인트 이내의 차이로 끝났지만, 변동의 거의 전부는 모델보다는 대상에서 비롯됐습니다. 두 모델을 평균했을 때 대상별 clean-fix 비율은 Apache ActiveMQ의 3.2%에서 Exim의 60.0%까지였습니다. Exim만 보면 두 모델은 31.6포인트 차이였습니다: Claude Opus 4.8은 75.8%, ChatGPT 5.5는 44.2%였습니다. 저자들은 이를 플러그 앤 플레이 패처 에이전트에 대한 경고로 해석하며, 이 연구는 두 모델 간의 직접 비교가 아니라고 명시합니다.

부차적인 수치 두 개가 대표 수치보다 더 중요하다. 깔끔한 수정으로 평가된 패치 중 25.2%가 취약성 플래그를 달고 있었다. 이들은 보고된 구멍은 막았지만 근본 프리미티브는 그대로 남겼으며, 반드시 도달 가능한 것은 아니었다. S1과 S2를 합치면 37.5%가 취약했다. 별도로, 반복형 및 탐색형 실험군에서는 부정행위 검사를 거친 반복 중 9.3%가 업스트림 패치를 참조한 것으로 판정되었고, 400건의 제외는 여기서 비롯되었다. 비용은 크지 않았다. ChatGPT 5.5는 시도당 2.11달러, Claude Opus 4.8은 2.81달러였으며, 실패한 시도까지 비용을 배분해 계산하면 깔끔한 수정당 각각 4.49달러와 6.44달러였다. 이때 수정 확인 비용은 제외했다.

가이던스 품질은 모델 선택보다 clean-fix 비율을 더 크게 끌어올렸다. 세심하게 정확한 수정 가이던스를 적용했을 때 S1 비율은 35.9%였고, 가이던스가 없을 때는 24.7%, 잘못된 근본 원인이나 수정 방향을 제시한 가이던스에서는 7.4%였다. 저자들은 이 점을 특히 강조한다. 에이전트 자체의 도구 호출이 사람의 프롬프트와 모순되는 경우에도, 에이전트는 종종 프롬프트를 그대로 따랐다는 것이다.

실패는 실제로 어떤 모습이었는지

가장 명확한 사례는 Copy Fail로 알려진 Linux 커널 AF_ALG 버그인 CVE-2026-31431입니다. 업스트림은 커밋 a664bf3d에서 변환을 out-of-place 연산으로 되돌려 크로스 매핑 메모리 손상 프리미티브를 수정했지만, 같은 헬퍼에 새로운 off-by-one을 도입했으며, 메인테이너들은 한 커밋 뒤인 31d00156에서 이를 수정했고 여기에 CVE-2026-43078이 할당되었습니다. 모델들은 중간 형태를 거의 정확히 재현했습니다: 400개의 non-cheat ChatGPT 패치 중 129개(32.2%)와 383개의 Claude 패치 중 119개(31.1%)가 모든 모드에서 해당 off-by-one을 포함했습니다. 논문은 재작성된 함수의 구조적 비교를 통해 해당 248개를 찾아냈습니다; 자동 채점기는 14개의 ChatGPT 패치와 10개의 Claude 패치만이 새로운 취약점을 도입한 것으로 표시했습니다.

같은 파일 안에는 더 눈에 띄지 않는 누락이 하나 더 있습니다. authencesn 복호화 경로를 다시 작업하면 인증 태그가 4바이트보다 짧을 때 범위를 벗어나는 확장 시퀀스 번호 쓰기 또한 드러납니다. 업스트림은 5db6ef98에서 인스턴스 생성 시 크기가 부족한 해시를 거부함으로써 이 문제를 막습니다. 이 결함은 Copy Fail보다 먼저 존재했고 CVE의 수정 커밋에 포함되지 않으며, 재현기는 태그 길이를 4바이트로 고정하기 때문에 이 결함을 전혀 자극하지 않습니다. 치트가 아닌 783개 이터레이션 모두 이 결함을 보호하지 않은 채 남겨 두었으며, 여기에는 Copy Fail 자체를 깔끔한 수정으로 평가받은 모든 패치가 포함됩니다. 가드를 갖춘 패치는 업스트림 커밋을 그대로 복사한 네 개의 이터레이션뿐이었습니다.

GHSA-wpqr-6v78-jr5g, Gemini CLI 원격 코드 실행 버그는 두 부분으로 이루어진 문제입니다. 헤드리스 모드는 작업 공간을 자동으로 신뢰하고 프로세스 환경을 초기화하는 .env를 포함한 작업 공간 로컬 구성을 로드하는 한편, 별도의 플래그는 도구 허용 목록을 우회합니다. 두 모델 모두에서 평균 정상 수정률은 5.6%로, 연구에서 가장 낮았습니다. 원샷 모드에서는 ChatGPT 패치의 29.4%와 Claude 패치의 63.9%가 작업 공간 자동 신뢰를 중단했지만 여전히 공격자가 제어하는 .env를 로드했습니다, 환경 로딩이 신뢰 결정과 다른 모듈에서 이루어지기 때문입니다. 재현기가 .env 경로를 지정했을 때 반복 실행 부문은 이를 차단했습니다. 사각지대는 역량이 아니라 주의력이었습니다.

Chromium 버그인 CVE-2026-8512는 macOS 파일 감시기에서 발생하는 use-after-free입니다. 업스트림 수정은 원시 포인터를 참조 카운트된 컨텍스트로 교체하는데, 이 컨텍스트는 두 곳에서 활성 상태로 유지되어야 합니다. 설치 지점과 콜백 내부에서 다시 한 번입니다. 참조 카운트 아키텍처를 채택한 패치 중 ChatGPT의 41.9%와 Claude의 38.5%는 첫 번째 참조를 유지하고 두 번째 참조를 빠뜨렸으며, 이는 use-after-free를 제거하기보다 위치만 이동시킵니다.

이 예시들은 루프 자동화를 계획하는 누구에게나 중요한 속성을 공유합니다: 채점자는 실패를 확인하지 못하는 경우가 많았습니다. 모델의 자동 채점은 5가지 결과 판정에서 65.9%, 원래 버그가 수정되었는지 여부에서 87.7%, 새 버그가 나타났는지 여부에서 70.5%의 경우 인간 검토자와 일치했습니다. 두 모델 검증자는 패치의 36.8%에서 서로 의견이 달랐고, 통합 점수는 Claude가 패치 작성자가 누구든 관대하게 채점한 반면 ChatGPT는 엄격하게 채점했음을 보여줍니다.

1Password가 다음에 일어나야 한다고 말하는 것

Off-by-1 Labs를 이끄는 Keith Hoodlet는 eSecurity Planet에 "패치를 생성하는 것은 취약점을 수정하는 것과 같지 않다"며 "패치가 효과적이고 안전한지 검증하려면 전문가의 인적 검토가 여전히 필수적"이라고 말했다. 이 논문의 결론은 대부분의 보도보다 더 좁은 범위를 다룬다. 성공은 버그에 관한 정확하고 신호가 강한 정보에 크게 좌우되며, 그 정보를 선별하고 정리하는 일은 코드베이스를 아는 엔지니어의 몫이다.

블로그에서 인용된 Anthropic의 피드백은 패치 생성이 패치 검증을 앞질렀으며, 검증은 검사 기반이 아니라 실행에 근거해야 하고, 현재 모델 성능 수준에서는 도메인 전문가가 최종 검토자로 남아야 한다는 것입니다. 1Password는 flawed라는 이름의 하네스와 6,480개의 패치 전부를 공개하여, 다른 이들이 어떤 검사가 실패를 잡아냈을지 시험해 볼 수 있게 했습니다. 10월 26일 블로그는 게시 후 피드백을 반영해 업데이트되었습니다. 팀이 선택한 제약은 "에이전트 패치 도구가 생산할 수 있는 것을 제한했을 수 있으며," 더 강력한 검증이 결과를 바꾸는지는 유용한 다음 질문으로 설명됩니다.

그 기록에는 두 번째 연구도 담겨 있으며, 그것은 같은 검사가 아니다.

한 아카이브 행에는 두 세트의 수치가 담겨 있으며, 일본 정보기술진흥기구의 문서가 이 둘을 나란히 제시한다. 9월 7일 발표된 2026년 8월 AI 보안 게시판은 8월 6일자 단일 항목에서 두 연구를 모두 요약한다. 두 번째 연구는 Checkmarx의 것으로, Checkmarx가 의뢰하고 The Weather Report의 최고경영자인 일리야 카바노프가 수행했으며, 그는 공개된 두 벤치마크를 네 모델 — Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro, Gemini 3.5 Flash — 에 대해 각 모델 자체의 명령줄 에이전트에서 다시 실행했다. 카바노프의 글은 2026년 7월 6일자이고, Checkmarx의 게시물은 7월 26일자이며, 업계 보도는 두 날짜 사이에 이어졌다. 저장소 수준 벤치마크인 SusVibes는 대규모 오픈소스 저장소에서 200개의 기능 구현 과제로 구성되며, 각 과제는 사람이 이미 발견하고 수정한 취약점을 중심으로 설계되었다. 에이전트는 해당 기능을 구현하라는 요청을 받으며, 성공하려면 사람이 적용한 보호 조치를 보지 않은 상태에서 그대로 재현해야 한다.

그 결과는 다음과 같다: 기능적 성공률은 83–95%로, 한 세대 전의 44–61%에서 상승했지만, 보안과 기능을 모두 충족한 성공률은 24–36%에 불과했다. 작동한 패치 중 65%에서 75%가 인간이 제거했던 취약점을 다시 재현했다. Checkmarx는 이를 '좀비 CVE'라고 부르는데, 재도입된 결함에는 보안 권고도, 올려야 할 버전도 없기 때문이다. Checkmarx가 든 예시는 CVE-2023-29159로, Python의 Starlette 프레임워크에서 발견된 경로 탐색(path-traversal) 버그로, 2023년에 발견되어 수정되었지만 2026년에 에이전트가 이를 다시 만들어냈다.

완화 조치들은 표제만큼이나 시사하는 바가 크다. 보안 모범 사례를 따르라는 일반적인 지시는 1~8점을 더했다. 추론 노력을 더 들였지만 보안은 전혀 개선되지 않았고, 작동하는 해결책의 수는 절반으로 줄었다. 코딩 전 위협 모델링 단계를 거친 경우 보안과 기능을 모두 충족한 비율은 43–49%에 도달했고, 코딩 후 보안 검토는 47–56%에 도달했으며, 토큰 비용은 각각 약 2배와 2.5배였다. 가장 좋은 실험군조차도 약 절반의 작업을 안전하지 않은 상태로 남겼고, 실패 사례에서는 에이전트가 자체 노트에 올바른 방어법을 언급하고도 결국 취약한 코드를 출하했다.

Kabanov와 Checkmarx는 모두 65–75%라는 수치에 단서를 붙입니다. 이 과제들은 기능을 자연스러운 방식으로 구축하면 결함이 다시 도입되도록 선택되었기 때문에, 일반적인 코드에서의 비율은 아마 더 낮을 것입니다. 그러면서도 이들은 실제 코드베이스에는 바로 그러한 기능들이 가득하며, 애초에 CVE가 비롯되는 곳이 바로 그곳이라고 주장합니다.

두 연구를 합쳐서는 안 된다. 하나는 에이전트가 이름이 지정된, 이미 수정된 버그에 대한 패치를 작성할 수 있는지를 묻는다. 다른 하나는 기능을 구현하는 에이전트가 누구도 알려주지 않은 버그를 다시 만들어내지 않는지를 묻는다. 26.0%와 24–36%는 서로 다른 분모를 기준으로 한 비율이며, 둘 중 어느 것도 일반적인 AI 패치 작업에서의 비율이 아니다.

Trail of Bits: 헤드라인은 잘못된 설정을 측정한다

2026년 9월 15일, 1Password 릴리스로부터 6주 후, Trail of Bits의 연구자 네 명 — Anish Naik, Dan Guido, Benjamin Samuels, Marcelo Morales — 은 26%라는 수치가 일반적인 패치 작업을 설명하지 않는다고 주장하는 반론을 발표했다. 그들이 제시한 숫자 기준으로 한 요점은 다음과 같다. 두 개의 프롬프트가 에이전트에게 잘못된 수정을 적용하라고 지시하며, 그 프롬프트는 데이터의 22%를 차지한다. 한 가지 평가 모드는 에이전트가 코드를 빌드하거나 실행하는 것을 막으며, 36%를 차지한다. 여섯 개의 취약점은 수정이 복잡했기 때문에 선택되었고, 대상별 결과는 3%에서 60%이며, 여섯 대상 평균에 대해 약 9포인트의 공개되지 않은 표준 오차가 있다. 그리고 두 모델 모두 최대 노력이 아닌 기본 설정으로 실행되었다.

그들은 채점 방식도 비판한다. 정지 규칙과 채점 기준이 충돌한다고 주장하며, ActiveMQ 판정의 8%에서 의도된 동작 변경이 회귀로 간주되어 감점됐고, 자동 심사자는 전체 5개 범주 결과에서 인간 검토자와 65.9%만 일치했다고 말한다. 이들은 중간 업스트림 오프바이원(off-by-one) 결함이 남아 있는 248개의 Copy Fail 패치를 채점자가 잡아낸 24개와 대조하고, 채점자가 콜백에 여전히 use-after-free(사용 후 해제)를 남긴 수정을 승인한 Chromium 사례도 인용한다. 이 수치들은 1Password 자체의 것이며, 논쟁은 그 수치가 무엇을 의미하는지를 두고 벌어진다.

그들의 재분석은 에이전트가 코드를 실행할 수 있었고 잘못된 수리를 안내받지 않은 시험만 유지하며, 업스트림 수정을 참조한 것으로 판단된 실행은 제외합니다. 해당 하위 집합에서 3,067개의 패치 중 2,634개 — 86% — 가 제공된 익스플로잇을 차단했습니다. 그들은 이것이 무엇을 의미하는지 신중하게 봅니다: 당장 주어진 익스플로잇을 차단하는 것이 완전하고 회귀 없는 수리의 증거는 아닙니다. 인간 기준선으로 그들은 2024년부터 2026년까지 자체 평가 236건에 걸친 2,265개의 첫 수정을 지목하며, 그중 283개(12.5%, 95% 신뢰 구간 10.5%에서 14.5%)가 문제를 완전히 해결하지 못했습니다. 그들은 또한 Patch the Planet 프로그램의 풀 리퀘스트 186개를 집계합니다: 126개가 병합되었고, 그중 33개(26.2%)가 보안 관련 수정이 필요했습니다. 그리고 그들은 1Password가 자체 패치에 대해 한 비판이 옳았던 사례를 하나 인정합니다 — freenginx에서 그들의 수정과 유지관리자의 독립적인 수정이 동일한 정리 크래시를 도입했습니다.

그들의 결론은 단호하다: “Defenders는 1Password의 대표 수치를 AI 패치 능력의 척도로 진지하게 받아들여서는 안 된다.” 1Password는 이들에게 실명으로 답변하지 않았다. 블로그는 해당 팀이 자사 방법과 결과에 대한 비판을 환영한다고 밝히고, 10월 26일 업데이트에서는 선택된 제약 조건이 도구가 산출할 수 있는 결과를 과도하게 제약했을 수 있음을 인정한다. 26.0%와 53.9%를 아무 단서 없이 실은 일본 IPA 게시물은 9월 7일에 발행되었다 — 반박보다 8일 앞선 시점이었다.

무엇이 확립되었고, 무엇이 주장되는가

• 확인된 사실: 해당 연구가 존재하며, 저자로 Axel Mierczuk, Spencer Michaels, Keith Hoodlet이 명시되어 있고, 날짜는 2026년 8월 6일이며, 6,480건의 시도, 400건의 제외, 6,080건의 평가된 패치라는 수치가 논문과 1Password 블로그, IPA 요약에 나타납니다.

• 확립된 사항: 26.0%는 깨끗함, 20.1%는 동작 변경, 49.3%는 미해결, 4.5%는 새로운 결함 포함이라는 결과 구성은 저자들 자체의 등급 평가로, 두 모델 검증자의 판정을 평균 내고 1,052개 패치 표본에 대한 인간 검토와 교차 검증하여 산출되었으며, 5단계 등급에 대한 일치도는 65.9%입니다.

• 확립된 내용: 특정 회귀들 — 중간 업스트림 오프바이원(off-by-one)이 있는 248개의 Copy Fail 패치, ESN 가드가 빠진 783회의 반복, Gemini CLI의 .env 패턴, Chromium에서 누락된 두 번째 참조 — 은 저자들이 자신들의 데이터에 관해 내린 주장이며, 탐지 방법이 설명되어 있고 탐지기는 253회의 반복에 대한 수동 검토와 대조하여 확인되었습니다.

• 논쟁: AI 패치가 할 수 있는 일에 대해 26%가 공정한 표현인지 여부. Trail of Bits는 자사 필터가 동일한 패치를 86%의 익스플로잇 차단으로 이끌며 그 설정은 일반적인 패치가 아니라고 말한다. 1Password는 비판을 환영하며 자사 제약이 너무 엄격했을 수 있다고 말한다. 양측 모두 동일한 6,080개의 패치를 검토하고 있다. 불일치는 어느 필터가 정당한가에 대한 것이며, 어느 쪽도 상대가 인정하는 재현 결과를 공개하지 않았다.

• Not claimed: 이 중 어느 것도 현장에서 피해를 초래했다는 주장은 하지 않습니다. 아카이브에는 실제 피해가 기록되어 있지 않으며, 해당 항목은 info 등급으로 분류되어 있습니다. 여섯 건의 취약점은 테스트가 실행되기 전에 업스트림에서 패치되었으며, 연구 대상이 된 패치들은 컨테이너에서 생성된 후보일 뿐 해당 프로젝트에 병합된 코드가 아니었습니다.

방어자에게 유용한 질문은 어느 진영을 믿을 것인가가 아니다. 그것은 그 수치가 무엇의 비율인가이다: 의도적으로 어려운 버그 중 의도적으로 뒤섞인 정보 아래에서 26%인가, 아니면 제공된 익스플로잇이 차단된 실행 가능한 시험의 86%인가. 두 수치는 같은 데이터셋에서 나왔고, 어느 것도 조달 사양이 아니다. 양측이 동의하는 것은 1Password가 논문에 직접 적은 단서 — "생성된 패치는 후보일 뿐, 취약점이 수정되었다는 증거는 아니다" — 이며, 바로 이 부분은 판정이 필요 없다.