Constitutional Classifiers++: 1,736시간의 레드팀 테스트에서 범용 탈옥 없음

Anthropic은 2026년 1월 9일자 연구 게시물과 2026년 1월 8일 arXiv에 제출된 29명 저자 논문에서 Claude용 탈옥 방어 체계 2세대인 Constitutional Classifiers++를 공개했다. 이 설계는 모델 자체의 내부 활성화에 선형 프로브를 적용해, 프롬프트 맥락에서 모든 응답을 읽는 더 무거운 분류기 앞단에 둔다. Anthropic은 Claude Sonnet 4.5 트래픽을 대상으로 한 한 달간의 섀도 배포에서 쿼리의 0.05%를 거부했고, 생산 시스템이 비교 측정 대상이었던 단일 상호작용 분류기의 약 40분의 1 연산량을 사용했으며, 1,736시간의 인간 레드팀 작업에서도 보편적 탈옥이 나오지 않았다고 보고한다. 피해는 없었고 공격이 있었다고 주장되지도 않는다. 이는 침해가 공개된 것이 아니라 방어 체계가 설명되고 측정된 사례다. 아카이브는 이 사건을 2026년 1월 30일의 일 단위 정밀도 날짜, 신뢰도 등급 A, 기록된 피해 없음이라는 거버넌스 기록으로 분류해, 나머지 AI 안전 항목들과 함께 Orca AI Incident Archive.

아카이브의 날짜는 발행일이 아닙니다.

인용된 두 출처는 서로 일치하며 — 이것이 아카이브의 A 등급 근거입니다 — 그러나 어느 것도 2026년 1월 30일자로 되어 있지 않습니다. 연구 게시물 "Next-generation Constitutional Classifiers: More efficient protection against universal jailbreaks"는 페이지 메타데이터에 2026년 1월 9일이라는 게시 타임스탬프를 담고 있습니다. 논문 "Constitutional Classifiers++: Efficient Production-Grade Defenses against Universal Jailbreaks"는 2026년 1월 8일 05:16 UTC에 제출되었고 이후 arXiv에서 개정되지 않았습니다. 아카이브가 인용한 버전인 2601.04603v1이 유일한 버전입니다. 여기서 1월 30일이라는 날짜는 두 문서 중 어느 것의 날짜가 아니라, 아카이브 자체의 일 단위 정밀도 기록으로 보고됩니다.

그것이 중요한 이유는 아카이브의 한 줄 요약에 독자가 되풀이할 가능성이 큰 세 가지 수치, 즉 40배, 0.05%, 1,700시간 이상이 담겨 있는데, 각각은 요약의 표현이 암시하는 것과 다른 기준선을 기준으로 측정되기 때문이다. 이 글의 나머지는 그 기준선들이 무엇인지에 관한 것이다.

세 가지 변경 사항, 중첩됨

Constitutional Classifiers는 2025년 2월, 허용되는 콘텐츠와 금지되는 콘텐츠를 담은 문서화된 "헌법"에서 생성된 합성 데이터로 훈련된 한 쌍의 필터로 도입되었습니다. 그 첫 세대는 별도의 입력 분류기와 출력 전용 분류기를 운영했으며, Anthropic 자체 게시물은 이를 방어되지 않은 모델에서 탈옥 성공률을 86%에서 4.4%로 낮춘 것으로 평가합니다. 즉 공격의 약 95%를 차단하면서 23.7%의 추가 연산 비용과 무해한 질의에 대한 거부율 0.38% 상승을 대가로 치렀습니다.

논문은 그 쌍이 어떻게 분해될 수 있는지 보여 주는 것으로 시작한다. 두 가지 공격 유형이 효과가 있었다. 재구성 공격은 유해한 요청을 무해해 보이는 조각들에 흩어 놓는다. 논문의 예시는 코드베이스 전반에 분산된 함수들의 반환값 안에 질문을 심은 뒤, 모델에게 그것을 다시 조립하라고 지시한다. 그래서 입력 필터는 완전한 요청을 결코 보지 못한다. 출력 난독화 공격은 모델이 치환 암호나 은유로 답하게 만들어, 출력만 검사하는 분류기가 무해한 내용을 읽게 한다. 논문의 예시에서는 모델이 염산 제조를 "태양의 불"과 "바다의 선물"의 결합으로 묘사하는데, 분류기는 그 수수께끼가 무엇으로 해독되는지 전혀 알지 못한다. 출력만으로는 입력 없이 해석할 수 없기 때문에, 교환의 한쪽만 읽는 필터는 그 유해성을 볼 수 없다.

세 가지 변경 사항이 이어지며, 이 논문은 그것들을 결합하기 전에 각각을 개별적으로 평가한다.

• 분류기 교체. 단일 분류기는 입력 맥락에서 모델의 출력을 읽고, 토큰이 생성되는 대로 배치 단위로 점수를 매기며, 프롬프트 캐싱 덕분에 재실행 비용이 감당할 만한 수준이다. 인간 레드팀 결과, 탈옥 시도당 고위험 취약점은 이중 분류기 설계보다 2.2배 적었지만, 이제 Haiku 크기의 모델이 전체 대화를 평가하므로 컴퓨팅 비용은 약 50% 더 들었다.

• 캐스케이드. 가벼운 1단계 분류기가 모든 트래픽을 선별하고, 플래그가 지정된 것만 비용이 많이 드는 2단계로 에스컬레이션한다. 이 설계는 모델이 아니라 아키텍처의 속성을 활용한다. 플래그가 지정된 교환은 거부되지 않고 에스컬레이션되므로, 저렴한 단계에는 높은 오탐률이 허용되며, 이는 더 약하고 저렴한 모델이 이를 실행할 수 있음을 의미한다. Anthropic은 자체 레드팀팅 데이터셋에서 추출한 예시의 대다수가 플래그되도록 1단계 임계값을 설정했으며, 추론 파이프라인 변경과 모델 업데이트를 통해 단일 교환 분류기 대비 컴퓨팅이 5.4배 감소했다고 보고한다. 전체 트래픽의 약 10%가 2단계에 도달하며, 1단계가 전체 비용의 약 77%를 차지한다.

• 선형 활성화 프로브. 세 번째 변경은 모델이 이미 수행한 연산을 재사용한다. 선형 프로브는 토큰이 샘플링될 때 모든 레이어에서 잔차 스트림 활성화를 읽으므로 한계 비용이 거의 0이다 — 논문은 27B 모델의 전 레이어 프로브를 토큰당 약 377K FLOPs로 제시하는데, 이는 4B 모델의 단일 순전파에 약 8B가 드는 것과 대비된다. 훈련에서 중요했던 두 가지 세부 사항이 드러났다: 훈련 중 16토큰 슬라이딩 윈도우에 걸쳐 로짓을 평균내어 단일 허위 활성화가 시퀀스를 플래그하지 못하게 하는 것, 그리고 확신 있는 거짓 양성에 확신 있는 참 음성보다 훨씬 더 큰 페널티를 주는 소프트맥스 가중 손실이다. 약 7,000개의 레드팀 교환으로 구성된 정적 세트에서 최고의 프로브는 초소형 외부 분류기를 능가했고 Haiku 4.5 분류기에 거의 필적했다. 외부 분류기와 앙상블했을 때는 어느 쪽 단독보다 더 나은 성능을 보였으며, 논문의 설명이 흥미로운 부분이다: 프로브의 오류는 두 분류기의 오류가 서로 상관하는 정도보다 분류기의 오류와 덜 상관하므로, 프로브는 "외부 분류기가 사용하는 신호를 보완하는 신호를 활용하는 것으로 보인다".

생산 시스템, 그 자체의 숫자로

출시된 것은 앞의 두 가지를 결합한 것입니다. Claude Sonnet 4.5의 활성화값에 대한 선형 프로브가 생성 중 모든 교환을 검사하고, 그 점수가 임계값을 넘으면 해당 교환은 Claude Haiku 4.5를 미세 조정한 2단계 분류기로 전달됩니다. 에스컬레이션된 교환의 경우 두 점수는 프로브 0.55 대 분류기 0.45의 비율로 혼합됩니다. 프로브는 프로덕션 트래픽의 약 5.5%를 에스컬레이션했습니다.

Anthropic은 2025년 12월 1일부터 2026년 1월 1일까지 Claude Sonnet 4.5 프로덕션 트래픽에서 섀도 배포를 통해 이를 평가했습니다. 거부된 쿼리의 비율인 플래그 비율은 0.05%로, 1세대 작업이 보고한 0.38%와 대비됩니다. 블로그 게시물에서 회사는 이를 원래 분류기 대비 87% 감소라고 설명하고, 별도로 이 시스템이 "Claude Opus 4.0 트래픽에 적용할 경우 약 1%의 컴퓨트 오버헤드를 추가한다"고 밝혔습니다.

그 두 문장 안에는 세 가지 주의할 점이 있으며, 그중 어느 것도 Anthropic이 숨긴 것이 아닙니다 — 다만 숫자가 옮겨 다닐 때 쉽게 놓칠 뿐입니다.

첫째, 거부율 비교는 1세대에 대해 발표된 수치인 0.38%를 기준으로 한다. 논문 자체의 표 1에는 Anthropic이 이전 세대 시스템을 재구현한 것의 실제 서비스 거부율이 배포 후 첫 주에 측정된 0.073%로 나와 있다. 두 수치 모두 Anthropic의 것이지만 서로 다른 것을 측정한다. 한쪽은 무해한 질의에 대한 거부 증가율이고, 다른 쪽은 실제 서비스 질의 중 거부된 비율이며, 87%라는 주장은 둘 중 더 큰 값에서 계산된 것이다.

둘째, 배포된 시스템의 거부율은 논문에서 가장 낮지 않다. 표 1은 단일 교환 분류기에 대해 0.038%, 프로브가 없는 2단계 캐스케이드에 대해 0.036%를 제시하는데, 프로덕션 시스템은 0.050%이다. 이 시스템은 거부율이 아니라 연산량과 견고성에서 우수하며, 논문 자체의 표가 그렇게 말하고 있다.

셋째, 1% 컴퓨트 수치와 40배 수치는 같은 측정값이 아니다. 40배는 논문 3절의 단일 교환 분류기를 기준으로 한 것으로, 그 시스템 자체도 이전 세대보다 약 50% 더 비쌌다. 모든 것을 100.0으로 마지막 세대 시스템에 지수화한 논문의 표 1은 해당 교환 분류기에 150.0, 2단계 캐스케이드에 27.8, 프로덕션 시스템에 3.5를 제시한다. 중간 설계가 아니라 이전 세대와 비교해 읽으면, 이 표는 약 29배 감소를 시사한다. 블로그의 ~1%는 또 다른 세 번째 기준이다. Claude Opus 4.0 트래픽에서 측정한 절대 오버헤드 수치로, 1세대의 23.7%와 나란히 놓은 것이다.

1,736시간의 레드팀 활동이 입증하는 것

견고성 주장은 특정 정의에 기대고 있으며, 바로 그 정의에 논증의 핵심이 있다. Anthropic의 레드팀에게는 여덟 개의 고정된 CBRN 표적 질문에 대해 상세한 답변을 끌어내는 전략을 구축하라는 요청이 주어졌다. 응답은 LLM 루브릭이 안전장치가 없는 모델의 답변 상세도의 최소 절반으로 평가할 경우 유해한 것으로 간주되며, "고위험 취약점"은 여덟 개 중 다섯 개를 초과하여 성공하는 공격이다. 이 문헌에서 보편적 탈옥이란 표적 집합의 대부분에 걸쳐 작동하는 전략, 즉 누군가가 우연히 답 하나를 얻는 것이 아니라 낯선 사람에게 조리법을 건넬 수 있게 해주는 것을 뜻한다.

프로덕션 시스템은 약 198,000회의 시도에 걸쳐 추정 1,736 누적 시간의 레드팀을 수행했으며, 이 시간은 5분 단위 버킷의 API 로그에서 추정되었다. 고위험 취약점 하나가 발견되었고, 발견률은 쿼리 1,000건당 0.005였으며, 발견하는 데 30시간이 걸렸다 — 논문에 있는 어떤 시스템보다 가장 긴 최소 발견 시간이다. 방어되지 않은 모델의 절반 디테일로 여덟 가지 목표 질문 전부에 답한 공격은 없었다. 비교 행은 논문 자체의 이전 세대 재구현으로, 695,000개 쿼리에서 13개의 고위험 취약점, 즉 1,000건당 0.01871의 비율이며, 모든 목표 질문에 절반 디테일로 답한 네 개의 탈옥을 포함하고 평균 27시간 만에 발견되었다.

그 결과에 관해 분명히 짚어 둘 만한 두 가지 한계가 있다. 첫째는 논문 자체의 각주에 있으며, 탐침 시스템에 앞서 진행된 2단계 캐스케이드를 설명하는 절에 붙어 있다: "우리 포상 프로그램 밖에서 활동하는 전문가 수준의 레드팀원들은 그럼에도 이 시스템에 대한 보편적 탈옥을 발견할 수 있었지만, 이에는 상당한 노력과 자동화 도구가 필요했다." 최종 생산 시스템은 그 각주의 대상이 아니었지만, 이 각주는 Anthropic의 포상 기준이 단호한 공격자들이 할 수 있는 일의 상한선은 아니라는 점을 보여준다. 둘째는 블로그 게시물에서 Anthropic 스스로 내린 결론이다: "현재 시장에 나와 있는 어떤 AI 시스템도 완벽하게 견고한 방어를 갖추지 못했다." 2026년 1월 21일 이번 발표를 분석한 독립 연구 기관인 Montana Research Foundation은 같은 점을 더 날카롭게 표현했다. 8개 질문 기준은 "방어자가 선택한 기준"이며, Anthropic이 스스로 지목한 두 공격 유형은 "그것을 깎아낼 뿐 완전히 넘어서지는 못한다"는 것이다.

여전히 무엇이 통과되는가

Anthropic은 두 가지 잔여 공격 유형을 명명하며, 이를 해결했다고 주장하지 않는다. 요청을 문맥 전반에 분산시키는 재구성 공격과 답변을 완곡어법, 은유, 코드로 위장하는 출력 난독화는 1세대를 무너뜨린 것과 동일한 기법이며, 교환 분류기는 이를 더 어렵게 만들 뿐 불가능하게 만들지는 않는다. 논문은 공격 자체의 비용도 기록한다. GPQA Diamond에서 Claude Opus 4는 수정 없이 74.2%, 한 분산 공격에서는 32.3%, 다른 공격에서는 49%를 기록했다. 저자들은 이러한 변동성을 "우려스럽다"고 부르며, 문제에 투자하는 적대자는 모델의 능력을 더 많이 보존하면서도 통과할 수 있는 공격을 찾아낼 가능성이 높다고 추론한다.

후속 연구는 두 가지 출발점을 모두 진지하게 다루었으며, 그 연구는 발표 자체와는 달리 Anthropic으로부터 독립적이다.

• 경계점 탈옥은 2026년 2월 16일 arXiv에 제출된 UK AI Security Institute와 옥스퍼드 OATML 연구진의 논문으로, 쿼리당 단 1비트—플래그 처리 여부—만 필요로 하는 완전한 블랙박스 자동 공격을 설명하며, 이를 "Constitutional Classifiers에 대한 범용 탈옥을 개발하는 데 성공한 최초의 완전 자동화 공격 알고리즘"이라고 보고한다. 이 공격의 대상은 2025년 11월 27일 기준 Claude Sonnet 4.5를 보호하던 분류기였으며, 논문은 이 분류기를 프로브 캐스케이드가 아니라 2025년 1세대 연구에 연결해 인용한다. 논문은 또한 프로브 기반 분류기가 "텍스트 기반 분류기보다 이런 유형의 공격에 더 잘 견딜 수 있다"는 Anthropic의 예비 연구 결과와, 공격 문자열로 훈련하면 탐지가 향상된다는 점을 전한다.

• Trojan-Speak는 2026년 3월 30일 Anthropic Fellows Program과 Virginia Tech의 저자들이 제출한 것으로, 분류기가 읽을 수 없는 인코딩을 모델에 가르치는 적대적 미세 조정이라는 다른 방향에서 공격합니다. 버그 바운티 세트의 CBRN 질문에서 14B 매개변수 이상 모델의 경우 99% 이상의 분류기 회피율을 5% 미만의 능력 손실로 보고합니다. 또한 프로브 우선 캐스케이드에서도 최종 차단 결정을 내리는 것은 여전히 "LLM 분류기"라고 지적하며, 활성화 프로브가 인코딩 공격에 대한 견고성을 상당히 향상시킨다고 밝힙니다.

두 논문 모두 Anthropic이 자사 배포를 위해 발표한 수치에 이의를 제기하지 않는다. 두 논문 모두 캐스케이드를 넘어서야 할 대상으로 본다. 이는 해당 발표가 다른 곳에서 받은 것보다 더 면밀한 검토다. 게시 기간 동안 뉴스 색인을 검색해도 1월 9일 게시물을 다룬 주류 언론 보도는 나오지 않았으며, 이 두 논문을 제외하면 이 기사를 위해 찾은 유일한 독립 분석은 2026년 1월 21일 발표된 몬태나 연구재단의 분석뿐이다.

왜 아카이브가 이것을 거버넌스로 분류하는가

이 기록의 종류는 정책이고 유형 태그는 GOV이며 심각도는 info인데, 분류기 아키텍처에 관한 논문치고는 이상하게 읽힌다. 실제로 무엇이 기록되고 있는지 보기 전까지는. 희생자도, 공개 기한도, 필터가 점수 매기는 쿼리의 주체들 외에 영향을 받는 인구도 없다. 문서에 담긴 것은 한 공급업체가 아키텍처와 배포 측정, 레드팀 프로토콜을 다른 사람이 산술을 검증할 수 있을 만큼 상세히 공개한 것이며, 감사의 글에서는 이전 버전을 레드팀한 외부 조직들을 명시한다: UK AISI, US CAISI, FAR.AI, 그리고 바운티 운영은 HackerOne이 맡았다.

거버넌스 관점의 관심사는 비용 곡선이다. 모든 쿼리 가격에 25센트를 더하는 안전장치는 제품팀이 끄는 문제를 두고 논쟁하게 되는 안전장치다. Montana 분석은 바로 이 점을 지적하며, 23.7%에서는 안전팀이 이를 켜야 하는 이유를 정당화해야 했고, 약 1%에서는 "제품팀이 이를 꺼야 하는 이유를 정당화해야 한다"고 쓴다. 이 수치가 Anthropic 자체 스택 밖에서도 유지되는지가 현재의 핵심 질문이며, 같은 분석은 그 검증 기준을 이렇게 제시한다. 프로브는 활성화를 읽고, 활성화는 모델별로 다르며, "그렇지 않다면 그것은 Anthropic의 결과다".

기록에 포함되지 않은 것은 시스템이 프로덕션에서 실패했다는 어떤 증거이다. 인용된 두 문서 어디에도 사고, 우회, 사용자 피해는 나타나지 않으며, 아카이브는 실제 피해를 null로 기록한다. 1월 30일이라는 제출일은 출처에서 여전히 설명되지 않으며, 그 문서가 설명하는 작업은 2026년 1월 8일과 9일자로 되어 있다.