Kimi K3.1 Pro, 자체 사이버 역량을 9.5점 낮췄다. 다른 두 연구소는 다르게 선택했다

Moonshot은 10월 24일 연구소들이 보통 하지 않는 일을 했다. 출시할 수 있었던 모델보다 성능이 낮은 모델을 출시하고, 그 정확한 비용을 공개했다. xdev-bench-hard의 pass@3에서 회사의 사이버 위험 감소 조치 없이 훈련된 체크포인트는 90.5%를 기록한다. 호출 가능한 모델인 Kimi K3.1 Pro는 81.0%를 기록한다. 이 9.5포인트 격차는 중간 훈련과 강화 학습에서 사이버 관련 데이터를 제거한 대가이며, 세 프런티어 연구소가 올해 역량을 위해 무엇을 기꺼이 맞바꿀 수 있는지에 관해 내놓은 가장 명확한 입장 표명이다.

이제 모든 주요 연구소에는 사이버 정책이 있다. 이들은 의도보다는 메커니즘에서 차이가 나며, 그 메커니즘이 API를 호출할 때 실제로 무엇을 얻는지를 결정한다. Moonshot은 가중치에서 해당 기능을 제거한다. Anthropic은 요청을 다른 모델로 리디렉션한다. OpenAI는 위험 등급을 기준으로 접근을 통제한다. 보안 팀, 또는 업무가 공격용 도구와 맞닿는 사람이라면, 이 세 가지 접근 방식은 서로 다른 세 가지 종류의 놀라움을 낳는다.

Moonshot이 제거한 것과 유지한 것

출시 자료는 이례적으로 구체적이다. 사이버 관련 데이터는 중간 학습과 강화 학습 단계 모두에서 제거된 반면, 일반 코딩 작업은 유지되었다. 회사가 밝힌 원칙은 사이버 역량의 절대적 최전선을 확장할 오픈 가중치를 공개하지 않는 것이며, 출시된 모델의 공격 역량은 "설계상 우리 파이프라인이 생산할 수 있는 것보다 낮고" 최전선 독점 모델들이 적어도 3개월 동안 공개적으로 제공해 온 것보다 뒤처진다고 설명한다.

그 정책에서 두 가지 세부 사항은 헤드라인 숫자보다 더 중요하다.

첫째는 그 감소가 시장이 아니라 Moonshot 자체 파이프라인을 기준으로 한 것이다. 81.0%로 상한이 설정된 모델은 같은 벤치마크에서 Kimi K3의 33.3%를 큰 격차로 웃돌고, GLM-5.3의 57.1%도 웃돈다. 이 상한은 프런티어 모델을 아래로 이동시킬 뿐, 범주에서 벗어나게 하지는 않는다.

두 번째는 Moonshot이 오픈 웨이트에서 사용 가능한 사이버 능력을 "점진적으로 높이겠다"고 말한다는 점입니다. 이는 고정된 선이 아니라 일정표입니다. 오늘의 상한을 가정한 평가는 다음 릴리스에서도 유효하지 않을 수 있으며, 자체 호스팅 사본은 해당 출시일 당시 존재했던 상한을 그대로 물려받습니다.

벤치마크가 실제로 요구하는 것

Moonshot의 문서는 평가를 판단하기에 충분히 자세히 설명합니다. xdev-bench-hard는 Linux 커널, Node.js, JavaScriptCore, Exim 및 VirGL을 포함한 소프트웨어에서 최근 공개된 취약점으로 구축되었으며, 완화 조치가 활성화되어 있습니다. 각 작업은 취약한 소스, 짧은 버그 힌트, 컴파일된 바이너리를 제공합니다. 에이전트는 익스플로잇을 개발하고, 별도의 샌드박스에서 임의 코드 실행을 달성하고, 비밀 문자열을 추출해야 하므로 결과를 자동으로 검증할 수 있습니다. 채점은 무작위 하위 집합에 대한 pass@3이며, 하드 타임아웃과 출력 토큰 제한이 없습니다.

그것은 까다롭고 범위가 좁은 테스트입니다. 즉, 모델이 알려진 취약점이 있는 바이너리를 동작하는 익스플로이트로 바꿀 수 있는지를 측정하는 것이지, 스캐너를 작성하거나 경고를 분류할 수 있는지를 측정하는 것이 아닙니다. 따라서 안전 완화가 적용되지 않은 체크포인트와 출시된 모델 사이의 9.5점 차이는 실제 역량 차이를 실제로 측정한 결과이며 — 그 수치가 대부분의 팀이 모델로 실제 수행하는 방어 작업에 대해서는 거의 말해주지 않는다는 점을 상기시켜 줍니다.

Anthropic의 대안: 능력은 유지하고 답변은 바꾼다

Claude Opus 5.5에 대한 Anthropic의 접근 방식은 서빙 측 라우팅입니다. 문서에 따르면 대부분의 사이버 관련 작업은 Claude Opus 4.8로 재라우팅될 수 있으며, 생물학 및 프런티어 모델 개발 작업은 Claude Opus 5로 폴백될 수 있습니다. 호출자에게 오류가 반환되지는 않으며, 응답은 단지 다른 모델에서 나옵니다. 최고 역량 등급인 Claude Mythos 5.1은 Cyber Verification Program과 같은 프로그램을 통해 검증된 조직에서만 사용할 수 있습니다.

이 트레이드오프는 Moonshot의 것과 정반대다. 최전선 역량은 존재하고 제공된다 — 검증된 고객에게, 다른 모델 id로 — 반면 검증되지 않은 호출자는 조용히 구형 모델의 답변을 받는다. 검증된 조직 내부의 보안 팀에게 이것은 세 가지 중 가장 강력한 옵션이다. 그 외부에 있는 누구에게든, 이것은 정확히 그들이 최전선을 가장 원했던 작업에서 조용히 다른 무언가로 답하는 모델이다.

OpenAI의 접근 방식: 출시 전에 결정하라

GPT-6 Astra는 회사의 Preparedness Framework에 따라 "critical" 등급을 받은 첫 OpenAI 모델이었는데, 이는 이 모델이 새로운 보안 취약점을 독자적으로 찾아낼 수 있기 때문입니다. 출시는 단계적으로 진행되었습니다 — 얼리 액세스 파트너, 그다음 구독 티어, 그다음 API — 그리고 최고 위험 역량은 프롬프트 필터링이 아니라 등급에 의해 제한됩니다. 접근 권한은 요청이 이루어지기 전에 계정 수준에서 결정됩니다.

그것은 조용한 우회 전환보다 더 깔끔하고, 두 대안 중 어느 쪽보다도 느립니다. 또한 “이 모델을 내 보안 업무에 사용할 수 있는가”에 대한 답을 미리 알 수 있게 해 주며, 이는 조달 문서를 작성해야 하는 구매자에게 나름의 가치가 있습니다.

세 가지 전략이 평가에 미치는 영향

보안 과제에서 모델을 평가하면, 그 메커니즘들이 측정을 서로 다르게 왜곡하며, 그 왜곡들은 상쇄되지 않는다.

• Moonshot의 상한은 가중치 안에 있습니다. API에서 실행한 벤치마크와 자체 호스팅 사본에서 실행한 벤치마크는 서로 일치해야 하며, 둘 다 해당 카테고리에서 의도적으로 더 나쁜 모델을 측정합니다. 그 수치는 정직하고 재현 가능합니다.

• Anthropic의 라우팅은 서빙 스택 내부에 있습니다. 동일한 요청이라도 세이프가드를 트리거하는지 여부에 따라 품질이 달라질 수 있으며, 벤더가 공개한 벤치마크 수치는 귀하의 계정이 받는 라우팅을 반영하지 않을 수 있습니다. Opus 5.5의 벤치마크 표를 다룬 저희 보도에서도 반대 방향에서 같은 문제를 지적했습니다. Terminal-Bench에 대한 독립 기관 Artificial Analysis의 수치는 59.6%였고, Anthropic의 수치는 66.4%였는데, 이는 서버 측 세이프가드 라우팅이 포함된 구성에서 나온 것입니다.

• OpenAI의 게이팅은 모델 외부에 있습니다. 일단 접근 권한을 얻게 되면 모델은 벤치마크에서 측정된 대로 동작합니다. 반대로 권한이 없다면 비교 자체를 실행할 수 없습니다.

보안 팀이 이 사안에서 얻어야 할 교훈

신뢰도 순으로 정리한 세 가지 실용적 결론.

먼저, "사이버 역량"은 더 이상 모델 카드에서 읽어낼 수 있는 속성이 아니다. 그것은 당신이 받는 가중치, 당신의 계정이 트리거하는 라우팅, 그리고 당신이 속한 검증 프로그램의 함수다. 이 세 가지를 모두 명시하지 않는 평가는 다른 무언가를 측정하고 있는 것이다.

둘째, 하는 일이 방어적이라면 — 트리아지, 패치 작성, 탐지 엔지니어링 — 역량 상한은 들리는 것보다 비용이 적습니다. 9.5점은 적대적이고 익스플로잇에 인접한 행동에 집중되어 있습니다. 방어 작업이 주로 필요로 하는 모델의 일반 코딩과 도구 사용 능력은 바로 포스트트레이닝 실행에서 개선하는 데 집중한 부분입니다. Moonshot은 같은 릴리스에서 Kimi Code Bench 3.0 장기 호라이즌이 55.95%에서 61.2%로 상승했다고 보고합니다.

셋째, 상한선은 움직이고 있다. Moonshot은 자사 상한을 인상하겠다고 밝혔고, Anthropic의 검증 프로그램은 확대되고 있으며, OpenAI의 등급은 모델마다 달라진다. 10월의 배포 결정을 이끌었던 정책이 1월에는 틀린 것이 될 수 있다. 이는 접근 문서를 일회성 관문으로 취급하기보다 모든 모델 업그레이드 때마다 다시 읽어야 한다는 근거다.

Kimi K3.1 Pro는 OrcaRouter를 통해 백만 입력 토큰당 $2.00, 백만 출력 토큰당 $10.00에 호출할 수 있으며, 최종 상태는 다른 곳과 같습니다. 상한은 가중치에 있지, 특정 제공자가 요청을 처리하는 방식에 있는 것이 아닙니다. 워크로드가 실제로 어떤 모델이 응답했는지 아는 데 달려 있다면, 그것은 기능입니다. 프런티어의 공격 능력 상한에 달려 있다면, 검증 프로그램 없이 그것을 제공할 시장의 API는 없습니다.