경계점 탈옥: AISI가 쿼리당 1비트로 두 프론티어 AI 필터를 뚫은 방법

2026년 2월 17일 영국 AI 보안 연구소(UK AI Security Institute)는 Boundary Point Jailbreaking을 발표했다. 이는 각 질의가 차단되었는지 여부만 통보받으면서 배포된 가장 강력한 AI 방어 체계 두 가지를 우회하는 방법을 학습한 자동화 기법이다. 이 기법은 유해한 요청 앞에 배치되는 적대적 접두사를 최적화하며, 덜 난독화된 대상들로 구성된 커리큘럼과 분류기 결정 경계에서의 "경계점" 탐색을 사용한다. Claude Sonnet 4.5를 보호하는 Anthropic의 Constitutional Classifiers를 상대로, 이 기법은 처음 보는 생물학적 오용 질문에 대한 평균 루브릭 점수를 0%에서 25.5%로 끌어올렸으며, 비용은 약 330달러와 660,000회의 질의였다. GPT-5용 OpenAI 입력 분류기를 상대로는 약 210달러로 75.6%에 도달했다. 어떤 시스템도 침해되지 않았고 어떤 사람도 피해를 입지 않았다: AI Incident Archive는 이를 중간 심각도, 신뢰도 등급 A, 이의 제기 없음의 연구 기록으로 분류한다. 기록 자체, 인용 목록, 그리고 그 주변에 제출된 연구 항목들은 Orca AI Incident Archive에 보관되어 있으며, 이 아카이브는 AISI 게시물과 arXiv 논문을 모두 직접 연결한다.

공격이 최적화하는 것과, 공격이 볼 수 있도록 허용되는 것

논문은 블랙박스 LLM의 경계점 탈옥, 저자는 Xander Davies, Giorgi Giglemiani, Edmund Lau, Eric Winsor, Geoffrey Irving, Yarin Gal이며 — 2026년 2월 16일 arXiv에 게시되고 이틀 뒤 수정되었으며, 그 사이가 되는 날 AISI가 발표했다. 이 논문의 기여는 새로운 탈옥 문자열이 아니라, 의도적으로 극도로 제한된 정보 예산 아래에서 그러한 문자열을 찾기 위한 탐색 절차다.

저자들이 설명하는 대로, 이전의 자동화 공격들은 화이트박스 또는 그레이박스 접근에 의존했습니다. 즉 분류기 점수, 그래디언트, 또는 누군가 이미 작성해 둔 탈옥 라이브러리 같은 것입니다. BPJ는 API 접근 권한과 쿼리당 단 하나의 비트, 즉 플래그가 지정되었는지 여부만 가진 공격자를 가정합니다. 그 비트가 전체 목표 신호이며, 이 방법의 모든 구성 요소는 그 비트로부터 순위 정보를 짜내기 위해 존재합니다.

• 최적화 대상은 접두사입니다. 길이가 제한된 토큰 시퀀스가 유해한 대상 앞에 연결되며, 탐색은 한 번에 하나의 토큰을 대체, 삽입 또는 삭제하여 이를 변형합니다. 접두사는 한 번 최적화된 후, 튜닝된 적 없는 질문들에 적용됩니다. 그 전이가 바로 "universal"이라는 단어가 가리키는 것입니다.

• 커리큘럼은 하나의 어려운 목표를 사다리로 바꿉니다. 유해 문자열의 문자는 잡음 문자로 무작위로 대체되며, 난이도는 손상된 비율로 매개변수화됩니다. 손상 정도가 높으면 분류기는 거의 무의미한 입력을 보게 되어 통과시키기 쉽습니다. 공격이 성공함에 따라 손상은 단계적으로 줄어들어, 결국 원래의 유해 문자열이 수정 없이 통과될 때까지 이어집니다.

• 경계 지점이 바로 순위를 가르는 비결입니다. 각 후보 타깃에 대해 이 방법은 잡음이 섞인 변형들을 샘플링하고, 후보 접두사들의 집단이 스스로와 불일치하는 경우—일부는 표시되고 일부는 그렇지 않은 경우—만을 남깁니다. 모두가 해결하는 타깃이나 아무도 해결하지 못하는 타깃은 어떤 접두사가 더 나은지에 대해 아무것도 말해주지 않으므로 버려집니다. 바로 이 부분이 쿼리당 1비트로 충분하게 만드는 요소입니다.

• 검색 자체가 엘리트주의적 진화 루프이다. 부모 접두사를 하나 고르고, 토큰 하나를 변이시키고, 현재 경계점 중 몇 개를 해결하는지로 자식을 점수화하고, 현역 중 최소 하나를 이긴다면 유지한다.

소거 실험은 경계점 선택이 실제로 효과를 내고 있음을 보여주는 가장 명확한 증거다. BPJ는 무작위 평가 세트를 사용한 동일한 커리큘럼보다 약 5배 빠르게 수렴했으며, 무작위 접두사를 사용하는 best-of-N 기준선은 예산 내에서 전혀 수렴하지 못했다. 저자들은 또한 저렴한 프롬프트 기반 GPT-4.1-nano 분류기에 대해 파이프라인을 실행하여 단일 HarmBench 질문에서 최적화하고 이를 다섯 가지 질문에 걸쳐 반복했으며(각 실행은 약 25,000~30,000개 쿼리), 그 결과 생성된 접두사가 원래 질문의 범주 밖에 있는 주제를 포함해 전체 HarmBench 세트로 전이된다는 점을 확인했다.

두 가지 목표, 그리고 그 백분율이 실제로 측정하는 것

프런티어 테스트에서는 Claude Sonnet 4.5(claude-sonnet-4-5-202509292025년 11월 27일 기준)를 Constitutional Classifiers 뒤에 두고, 그리고 gpt-5를 OpenAI의 입력 분류기(2025년 11월 6–7일 기준) 뒤에 두었다. 두 경우 모두 저자들은 제품을 통해 쿼리를 보내고 응답이 거부 또는 플래그로 돌아오는지 확인함으로써 분류기에 간접적으로 도달했다.

그 설정은 숫자를 해석하는 데 중요하다. "점수"는 이분법적 성공/실패가 아니다. 점수는 질문별로 답변에 특정 기술적 세부 사항이 포함되는지 점검하는 루브릭으로 계산되며, 보고된 평균은 빈 출력을 제외한다. Max@50은 단일 질문에 대한 50회 시도 중 최고 점수다. 따라서 25.5% 평균은 "네 번의 공격 중 한 번 성공"이 아니라, 실제로 생성된 답변들의 평균 루브릭 품질이다.

방어 측 자체의 이력에 비추어 봐도 이 결과는 여전히 극명하다. Constitutional Classifiers는 이전에 30만 건이 넘는 채팅 상호작용 전반에서 3,700시간 이상의 인간 레드팀 테스트를 견뎌냈고, 그동안 인간이 주도해 완전히 성공한 범용 탈옥은 단 하나만 발견됐다. Anthropic은 AISI에 BPJ가 자사의 버그 바운티 프로그램에 기술된 범용 탈옥 기준을 충족했을 것이라고 밝혔다.

GPT-5 입력 분류기는 동일한 공격에서 훨씬 덜 버텼습니다. 평균 75.6%, 50회 중 최선의 경우 94.3%였던 반면, Constitutional Classifiers는 25.5%와 39.9%였고, 접두사에 기본적인 유도 프롬프트를 추가로 적용하자 68%와 80.4%로 상승했습니다.

두 회사는 AISI가 인용한 대로 결과를 각자의 말로 설명했습니다. Anthropic은 BPJ가 Constitutional Classifiers 환경에서 성공한 것으로 자사가 알고 있는 최초의 완전 자동화된 블랙박스 공격임을 확인했습니다. OpenAI는 이것이 인간이 제공한 시드 공격에 의존하지 않고 GPT-5의 입력 분류기를 상대로 성공한 것으로 자사가 알고 있는 최초의 자동화 공격임을 확인했습니다. 두 성명은 각 회사가 아는 범위로 한정되어 있으며, 어느 회사도 이를 독립적인 권고문으로 발표하지 않았습니다.

중요한 건 비율이 아니라 비용이다.

25.5%의 평균이라면 대부분의 탈옥(jailbreak) 논문에서는 별다를 것 없는 수치일 것이다. 이 기록을 아카이브의 이정표적 항목으로 만드는 것은 역량과 예산의 비율이다. 200~300달러, 그리고 두 타깃 전반에 걸쳐 약 150만 건의 질의 — 사람이 개입할 필요 없이 무인으로 실행되는 공격에 대한 것이다.

BPJ 이전에는 분류기 기반 방어의 작동 전제가 보편적 탈옥을 찾으려면 숙련된 사람의 지속적인 노력이 필요하다는 것이었고, 3,700시간이라는 수치는 그 전제를 가장 명확하게 보여주는 진술이었다. BPJ는 레드 팀을 단일 불리언 값을 읽고 이를 개선하는 탐색 루프로 대체한다. 방어는 여전히 대부분의 경우 작동하지만, 그것을 공격하는 경제성은 달라졌다.

두 연구소 모두 가장 강력한 해석에 반박했으며, AISI는 그들의 반박을 게시물에서 묻어두지 않고 그대로 전한다. Anthropic은 BPJ에 수개월의 연구개발 노력이 필요했다고 지적했고, Constitutional Classifiers는 더 작은 쿼리 예산으로 작업하고 공격 개발에 시간을 덜 투자하며 그 방법의 세부 사항을 구현하는 데 어려움을 겪을 저숙련 행위자에 저항하도록 설계되었다고 언급했다. 그것은 BPJ가 작동하는지에 관한 주장이 아니라 누가 BPJ를 재현할 수 있는지에 관한 주장이다.

왜 방어 측은 여러 대화에 걸쳐 따져야 하는가

AISI 게시물에서 가장 중대한 대목은 성공률이 아니다. 그것은 BPJ가 "개별 상호작용에서는 방어하기 어렵지만 최적화 과정에서는 많은 플래그를 발생시킨다"는 관찰이며, 따라서 효과적인 방어에는 단일 상호작용 방법을 배치 수준 모니터링으로 보완해야 한다는 점이다.

비대칭성은 우연이 아니라 구조적이다. 대화별 분류기는 한 번에 하나의 입력에 대해 판단을 내려야 하며, 결정 경계 근처에 놓이도록 선택된 접두사는 바로 그 판단을 약간 틀리게 만들기 위해 특별히 선택된다. 배치 수준 모니터링은 다른 대상을 본다. 바로 트래픽이다. 660,000개의 쿼리를 소비하는 최적화 실행은 그 과정에서 엄청난 수의 플래그를 촉발할 수밖에 없으며, 그러한 플래그는 단일 대화가 결정적이지 않더라도 눈에 띈다.

OpenAI가 AISI에 남긴 자체 논평은 이 주장의 실용적 판본이다. 그것은 BPJ의 개발과 실행이 금지와 같은 집행 조치의 대상이 되지 않는 계정에서 이루어졌으며, 표준 계정에서는 반복적인 플래그가 계정 정지로 이어질 가능성이 높다고 지적했다. OpenAI는 이를 AISI가 권장하는 바로 그 배치 수준 모니터링의 사례라고 설명했다. 이 공격을 잡아낼 수 있었던 통제는 더 나은 분류기가 아니라 계정 수준의 통제였다.

저자들이 말하는, 이 공격이 할 수 없는 것

BPJ는 모델이 아니라 입력 분류기를 공격합니다. 두 프론티어 설정 모두에서 저자들은 주 모델 자체의 거부를 통과하기 위해 사람이 찾아낸 단순한 탈옥을 사용했습니다. 따라서 측정된 점수는 분류기가 무력화된 뒤 모델이 여전히 답변할 의사가 있는 경우 어떤 일이 일어나는지를 설명합니다. 논문 어디에도 BPJ가 모델의 거부 훈련을 직접 무력화한다는 내용은 없습니다.

• 은밀하지 않습니다. 저자들은 BPJ 공격이 다수의 분류기 플래그를 유발하며, 현실적인 조건에서는 이로 인해 차단될 수 있다고 분명히 밝힙니다.

• 쿼리를 많이 소모합니다. 공개된 실행에는 66만 건과 80만 건의 쿼리가 소요됩니다. 이는 가벼운 사용에 실질적인 장벽이며, 트래픽을 지켜보는 누구에게나 뚜렷한 신호입니다.

• 이는 거의 결정론적인 분류기를 가정합니다. 저자들은 매우 확률적인 분류기를 사용하는 설정을 명시적으로 고려하지 않습니다.

• 이 방법은 일부가 공개되지 않았다. 확산 위험을 제한하기 위해 논문은 중요한 알고리즘 세부 사항을 추상화하고 공격 문자열이나 코드를 공개하지 않는다. 이는 정당화할 수 있는 선택이며, 동시에 이 결과가 출판물만으로는 독립적으로 재현될 수 없는 이유이기도 하다.

그에 대해 무엇이 이루어졌고, 무엇이 확립되지 않았는가

AISI는 발표 전에 두 회사와 결과를 공유했으며, 두 회사 모두 연구소와 협력해 공격을 재현했고, 두 회사 모두 BPJ 맞춤형 완화 조치를 개발했다고 밝혔다. 논문에 따르면 해당 공개는 발표 최소 6주 전에 이루어졌다. 이 게시물은 해당 완화 조치의 기술적 세부 사항을 밝히지 않으며, 언제 배포되었는지 또는 어떻게 검증되었는지도 언급하지 않는다.

그것은 또한 이 글에서 확인할 수 있는 범위의 한계이기도 하다. 기록의 신뢰도 등급 A는 문서화의 품질을 반영할 뿐, 해당 공격에 대한 독립적인 테스트를 반영하는 것은 아니다: 1차 문서는 두 개이며, 둘 다 같은 조직에서 나왔다. Anthropic과 OpenAI의 확인은 이 글이 직접 읽을 수 있었던 문서가 아니라 AISI의 설명을 통해 기록에 도달한다. AISI 외부의 보도는 블로그 게시물을 되풀이할 뿐이다 — It Does What Now?와 Resultsense의 업계 기사는 독립적인 테스트 없이 수치를 반복하며 — 이 글을 위한 검색에서는 그 결과에 관한 독자적인 주류 언론 보도를 찾지 못했다.

기록상 BPJ가 테스트 외의 실제 운영 시스템에 사용된 사례는 없으며, 아카이브에도 실제 피해 기록은 없다. 이 논문은 동료 심사를 거친 출판물이 아니라 arXiv 프리프린트다. 이러한 "최초" 주장은 이를 제기한 연구소들이 "자신들이 아는 한 최초"라고 신중하게 범위를 한정한 것이므로, 절대적인 주장이 아니라 그런 의미로 읽어야 한다.

또 하나의 한계는 과대해석하기 쉽다. 공격 대상은 2025년 11월 당시의 구성이었고, AISI의 게시물은 자신이 공격한 두 방어 체계보다 새로운 방어 체계를 언급하지 않는다. BPJ-specific 완화책 이후 Constitutional Classifiers와 OpenAI의 입력 필터링이 어떤 모습인지는 이 기록이 말해 주지 않으며, 블로그도 논문도 이후의 방어 체계가 동일한 접두사에 여전히 취약하다고 주장하지 않는다.

오래 유효한 발견은 방어를 어디에 둘지에 관한 것이다. 한 번에 한 대화만 판단하는 분류기는 수십만 번의 시도를 허용하는 공격자에게는 잘못된 형태다. 왜냐하면 공격 자체의 탐색 과정이 단서를 제공하기 때문이다. 메시지가 아니라 배치를 주시하라는 AISI의 권고는 공격의 역학에서 나오며, BPJ 자체가 다시 사용되든 아니든 유효하다.