사이버 모델이란 무엇인가? 그 범주, 그리고 그것이 실제로 바꾸는 것

매주 세 가지 제품이 "사이버 모델"이라 불리지만, 이들은 거의 공통점이 없다. 하나는 학습 데이터에 보안 코퍼스가 포함된 범용 모델이다. 하나는 샌드박스와 퍼저, 재시도를 제공하는 루프로 감싼 평범한 모델이다. 하나는 검증 양식 뒤에 숨어 있는, 다른 모두의 모델과 똑같은 모델이다. 이 중 첫 번째만이 실제로 다른 모델이다. 나머지 둘은 제품적 결정이며 — 경우에 따라서는 좋은 결정이기도 하다 — 같은 문구로 마케팅되기 때문에 이 범주는 비교를 어렵게 만든다. 세 가지 중 무엇을 측정했는지 밝히지 않은 벤치마크 표는 그것을 밝힌 표와 비교할 수 없으며, 대부분의 표는 밝히지 않는다. 이 글은 그 구분에 관한 안내서이자, 진정으로 첫 번째 범주에 속하는 소수의 모델에 관한 것이며, 보안 팀이 그 답을 가지고 무엇을 해야 하는지에 관한 것이다. 또한 AI incident archive에 기록된 400건의 에이전트 사건 뒤에 깔려 있는 범주적 관점이기도 하며, 여기서는 "문제는 모델이었나, 배포였나"라는 질문이 끊임없이 등장한다.

그 표현이 다루는 세 가지 사항

운영상 중요한 차이부터 시작하겠습니다. 공급업체가 그 물건을 만들었을 때 무엇이 달라졌는지입니다.

보안을 위한 학습은 가중치가 변경되었다는 뜻입니다. 보안 코퍼스가 학습 데이터 혼합에 포함되었고, 기본 모델은 흔히 이미 강력했던 범용 모델이며, 결과 모델은 보안 지식이 병목인 작업에서 측정 가능할 만큼 다릅니다 — 크래시를 읽고, 메모리 레이아웃을 추론하며, 큰 diff 전반에서 취약한 패턴을 인식하는 작업 말입니다. 이 그룹의 모델은 보통 CyberGym이나 CyberSecEval 같은 보안 특화 벤치마크를 기준으로 보고되며, 오픈 웨이트이거나 API 전용일 수 있습니다.

하네스로 감싸인 것은 루프가 바뀌었고 모델은 바뀌지 않았다는 뜻이다. 공급업체는 샌드박스, 도구, 재시도 로직, 플래너, 어쩌면 퍼저까지 추가했고, 시스템이 잘 엔지니어링되어 있기 때문에 보안 작업에서 좋은 성능을 내는 시스템을 구축했다. 이것은 정당하고 종종 과소평가되는 제품이다. 또한 점수가 모호해지는 범주이기도 한데, 그 숫자는 모델에 못지않게 하네스에 속하기 때문이다 — 그리고 하네스는 독립적으로 교체할 수 있는 것이 아니다.

접근 제한은 문이 바뀌었다는 뜻이다. 모델은 공개 모델과 동일할 수 있다. 다른 점은 사용을 제한하는 조건 아래 승인된 업무를 수행하는 검증된 기업이어야 한다는 것이다. 이것은 정책 상품이며 방어 가능한 것이지만, 그것으로부터 어떤 역량 주장도 도출되지 않는다. 잘못된 손에 있으면 위험하고 올바른 손에 있으면 안전한 모델은 더 유능해진 것이 아니라 더 통제된 것이 된다.

실질적인 결과는 이렇다. 어떤 모델이 "사이버 모델"이라는 설명을 읽게 될 때, 다음 질문은 그 세 가지 중 어느 것인가이다. 그 답이 당신이 역량을 사는 것인지, 엔지니어링을 사는 것인지, 아니면 허가를 사는 것인지를 결정하기 때문이다. 그리고 그것들은 각기 다른 가격과 서로 다른 실패 방식을 지닌다.

카테고리가 애초에 존재하는 이유

보안 작업은 일반 모델이 일관성 없이 보여 주는 두 가지 속성에 유난히 민감합니다. 하나는 읽히도록 작성되지 않은 코드에 대한 장문맥 추론이고, 다른 하나는 공격을 유용할 만큼 충분히 자세히 설명하려는 의지입니다. 첫 번째는 역량 문제이며, 이 그룹의 모델들이 수십만 또는 수백만 토큰의 컨텍스트 창을 내세우는 경향이 있는 이유입니다. 두 번째는 안전 문제이며, 이 범주가 접근 제어와 얽혀 있는 이유입니다.

코드베이스에 대해 잘 추론하지만 작동하는 개념 증명(PoC) 작성을 거부하는 모델은 트리아지에 쓸모없다. 왜냐하면 개념 증명이 곧 증거이기 때문이다. 개념 증명을 자유롭게 작성하는 모델은 방어자에게 유용하고, 방어자가 아닌 사람에게도 똑같이 유용하다. 사이버 튜닝된 모델은 사실상 그 긴장을 해소하려는 시도다. 그 좁히는 방식은 누가 물을 수 있는지를 좁히는 쪽이지 무엇에 답할 수 있는지를 좁히는 것이 아니다 — 이는 일관된 설계이지만, 강제가 가중치 변경이 아니라 검증 과정이기 때문에 모델 계층에서 강제하기는 어렵다.

역량이 실제로 논의되는 곳

사이버용으로 튜닝된 모델이 내세우는 장점은 구체적이고 확인 가능해서, 보통 형용사로 논쟁하는 이 분야에서는 상쾌한 일이다. 반복적으로 등장하는 것은 전체 저장소나 감사 추적을 한 번에 긴 컨텍스트로 흡수하는 것, 파이프라인 사용을 위한 구조화된 출력, 자동화 워크플로 안에 들어갈 만큼 안정적인 도구 또는 함수 호출이다. 이는 모델에 대한 주장인 동시에 엔지니어링에 대한 주장이며, 한나절이면 자체 코퍼스로 검증할 수 있다.

평가 진영은 이제 자체적인 제도와 기관을 갖추게 되었다. Wiz Research는 파운데이션 모델과 표준 하네스로 구성된 AI 에이전트를 실제 사이버보안 과제 전반에서 평가하는 Cyber Model Arena를 운영하며, 모델 품질을 효율성과 대비해 보고한다. 즉 k회의 독립적 시도에 걸쳐 해결당 비용, 시간 또는 단계 수에 대해 성공률을 도표화한다. 이러한 프레이밍은 그대로 받아들일 가치가 있다. 왜냐하면 그것은 가공되지 않은 통과율이 숨기는 것을 포착하기 때문이다. 두 에이전트가 해결당 비용은 크게 다르면서도 동일한 성공률에 도달할 수 있으며, 비용이 많이 드는 쪽은 종종 재시도에 예산을 쓴 에이전트이기 때문이다.

그 구성이 무엇을 함의하는지 주목하라. 그것은 모델이 아니라 에이전트의 벤치마크다 — 파운데이션 모델에 하네스를 더한 것 — 이는 바로 그 범주가 지닌 모호성이다. 그 아레나는 정의에서 하네스를 명시함으로써 이 점에 대해 정직하다. 대부분의 출시 게시물은 그렇지 않다.

접근 게이트, 그리고 그것이 해당 카테고리의 진정한 경계인 이유

사이버 튜닝 모델이 실제로 어떻게 제공되는지를 보면, 검증 게이트가 어떤 벤치마크 수치보다도 더 본질적입니다. 왜냐하면 그것이 누가 평가를 실행할 수 있는지를 결정하기 때문입니다. 패턴은 일관됩니다. 기업 인증 단계, 승인된 보안 업무로 사용을 제한하는 약관, 그리고 접근이 기록되는 허용 사용 정책이 그것입니다.

그 패턴에 있는 두 가지 설계 세부 사항은 사이버 모델을 절대 구매하지 않더라도 차용할 가치가 있습니다. 첫 번째는 자기 입증이 아닌 비즈니스 검증, 왜냐하면 체크박스는 책임 메커니즘이 아니기 때문입니다. 두 번째는 게이트를 런타임 제어 장치와 함께 배치하는 것 — 모델을 보유한 동일한 게이트웨이가 방화벽, 가드레일, 로깅도 보유하므로 권한 부여와 강제 적용이 한곳에 있게 됩니다. 트래픽과 다른 시스템에 있는 검증 게이트는 감사할 수 없는 게이트입니다.

우리 자체 사이버 계층도 그 형태를 따릅니다. 공격 작업을 위한 모델, 방어 작업을 위한 게이트웨이 제어, 그리고 둘 모두 앞단의 검증입니다. 이는 또한 "이 모델을 그냥 호출할 수 있나요"에 대한 정직한 답이기도 합니다. 공격 계층의 경우, 답은 접근 권한이 API 요청의 필드가 아니라 누군가가 당신에 대해 내리는 결정이라는 것입니다.

어떤 사이버 모델이 있으며, 어떻게 구분하나요

그 모집단은 머릿속에 담을 수 있을 만큼 작고, 벤더가 아니라 위의 세 범주로 나뉩니다.

• 진정으로 사이버 튜닝된 모델입니다. 보안 중심 데이터로 학습되었으며, 일반적으로 CyberGym이나 CyberSecEval에서 보고되고, 크래시 판독 및 패치 작성 작업에서 측정 가능한 차이를 보입니다. 일부는 오픈 웨이트여서 로컬 평가가 가능하고, 일부는 검증 중인 API 전용입니다.

• 보안 행동 특성이 강한 범용 모델입니다. 해당 작업에 맞게 튜닝되지 않았음에도 불구하고 그 작업을 잘 수행하는 프런티어 모델입니다. 방어자에게 종종 올바른 선택이 되는데, 같은 모델이 나머지 업무도 함께 처리하기 때문입니다.

• 에이전트 제품. 모델에 샌드박스, 퍼저, 플래너 같은 보안 특화 루프를 결합해 하나의 시스템으로 판매하는 것입니다. 이런 제품은 모델 벤치마크가 아니라 해결 건당 비용과 루프가 실패할 때 어떻게 작동하는지로 평가해야 합니다.

• 위 항목의 게이트 적용 버전. 동일한 모델, 제한된 액세스. 게이트는 사용할 수 있는 사람을 바꿀 뿐, 모델이 할 수 있는 일은 바꾸지 않습니다.

보안 팀에게 실제로 중요한 비교는 좀처럼 모델 대 모델이 아니다. 중요한 것은 여러분이 해야 하는 작업이 지식 기반인지, 아니면 루프 기반인지의 여부다. 감사 보고서를 읽고 익스플로잇 체인을 추론하는 일은 지식 기반이므로 튜닝된 모델에 유리하다. 6시간 동안 퍼저를 돌리며 크래시를 분류하는 일은 루프 기반이므로 좋은 엔지니어링에 유리하다. 대부분의 실제 프로그램은 둘 다 필요로 한다. 그래서 유용한 조달 질문은 "어느 모델이 더 높은 점수를 받는가"가 아니라 "이 두 가지 작업 중 어느 것을 위해 구매하는가"이다.

입양하기 전에 무엇을 물어봐야 할까요?

다섯 가지 질문이 카테고리 결정과 마케팅 결정을 구분합니다.

• 무엇이 바뀌었나 — 가중치, 루프, 아니면 접근? 공급업체는 한 문장으로 답할 수 있어야 합니다. 답이 "루프"라면, 제품을 제품으로서 평가하세요.

• 어떤 벤치마크를, 누가, 어떤 하네스에서 실행했는가? 하네스가 빠진 CyberGym 수치는 재현할 수 없는 구성에 관한 수치일 뿐이다.

• 통과율이 아니라, 건당 해결 비용은 얼마인가? Wiz의 관점이 옳습니다. 성공률이 같은 두 에이전트라도 같은 구매는 아닙니다.

• 게이트에서 실패하면 어떻게 되나요? 검증된 접근에 의존하는 모든 배포는 오탐(false negative) 시 어떤 일이 일어나는지 알려야 합니다. 왜냐하면 여러분의 엔지니어들이 바로 그 오탐의 대상이 될 테니까요.

• 무엇을 할 수 없나요? 방어 전용 변형들은 자신의 한계를 스스로 문서화하며, 그 문서화 자체가 하나의 기능입니다 — 공격으로 전환될 수 없는 모델은 전환될 수 있는 모델과는 다른 위험 객체입니다.

해당 카테고리는 실재하고, 기능 차이도 실재하며, 대부분의 혼란은 세 가지 서로 다른 제품이 같은 이름을 공유하는 데서 비롯된다. 가중치와 루프와 도어를 분리하고 나면, 비교 표는 더 이상 모순되지 않고 서로 다른 것을 다루기 시작한다 — 이는 보안 팀이 그 표를 가지고 의사 결정을 내릴 수 있는 유일한 조건이다.