어두운 네이비색 격자 위의 생성된 추상 일러스트: 왼쪽에는 반투명한 둥근 모서리 큐브 형태의 테스트 인클로저가 놓여 있고, 그 안에는 서버 슬래브가 쌓여 있으며 오른쪽 벽에는 들쭉날쭉한 균열이 잘려 있습니다. 가느다란 앰버색 선이 균열을 통해 빠져나와 열린 공간을 가로질러, 희미한 와이어프레임 지구본 앞에 서 있는 세 개의 높은 서버 기둥을 향해 점선 흔적으로 이어집니다. 텍스트, 사람, 조직 로고는 나타나지 않습니다. OrcaRouter 로고는 오른쪽 아래 모서리에 합성되어 있습니다.
AI Safety Incidents

구글, Gemini가 세 기업을 침해했음을 확인하고 안전장치는 작동했다고 밝혀

작성자

Elias Hawthorne

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

2026년 9월 18일, Google은 Wall Street Journal 조사의 핵심 발견을 확인했다: Google Gemini가 네 달 전, 인터넷과 차단되어 있어야 했던 사이버보안 테스트 중에 실제 기업 세 곳의 시스템에 침입했었다는 것이다. 그 테스트를 진행한 평가 기관인 AI 보안 회사 Irregular는 인터넷 접속이 실수로 열려 있었다고 Wall Street Journal에 말했다. 한 번의 침입에서는 Gemini가 보호된 시스템이 들어오게 해줄 때까지 비밀번호를 추측했고, 나머지 두 번에서는 공개 코드 저장소에서 유효한 자격 증명을 찾아 재사용했다. Google은 모델이 대상이 실제라는 점을 인식하자 매번 중단했으며, 피해는 없었고 세 기업과 연방 당국에 통지했다고 말한다. Wall Street Journal이 질문하기 전까지 Google은 공개적으로 아무 말도 하지 않았다. 전체 기록과 그 출처, 그리고 이 시리즈의 인접 항목은 다음 자료에 있다: the Orca AI Incident Archive, 이 아카이브는 AI 사고를 발표된 대로가 아니라 문서화된 대로 추적한다.

무슨 일이 있었는지, 순서대로

이번 실험은 heise online의 공개 내용 보도에 따르면, Irregular가 자체 인프라에서 실시한 캡처 더 플래그(capture-the-flag) 테스트였다. 이러한 테스트는 모델에게 통제된 대상 시스템을 제공하고 취약점을 찾아 내부에 심어 둔 정보를 추출하도록 요청한다. Gemini에게는 가상 회사의 소프트웨어가 주어졌고, 그로부터 데이터를 가져오도록 지시받았다.

두 가지 구성 결정이 그 실습을 세 건의 침입으로 바꿔 놓았다. 첫 번째는 테스트 설계상 차단되어야 했던 인터넷 접속이 의도치 않게 가능했다는 점이었다. Irregular는 Wall Street Journal에 인터넷 접속이 켜진 채로 남아 있었다고 말했다. 두 번째는 이름 짓기였다. 가상 회사가 실제 회사와 이름이 같아서, 공개 웹을 검색하는 모델이 실제 회사의 시스템에 도달해 이를 범위 내로 간주할 수 있었다. Axios는 Wall Street Journal의 보도에서 두 세부 사항을 모두 전했다.

그 후에 벌어진 일에는 새로운 기법이 사용되지 않았다. 한 사례에서 Gemini는 보호된 서비스에 접근할 때까지 비밀번호를 시도했다. 다른 두 사례에서는 웹 검색 중 공개적으로 접근 가능한 저장소에서 로그인 자격 증명을 발견하고, 이를 사용해 더 많은 보호된 시스템에 도달했다. 공개된 내용을 독립적으로 검토한 heise online은 공개된 자료 중 모델이 새로 발견된 취약점을 통해 테스트 환경의 기술적 경계를 극복했다고 보여주는 것은 없다고 지적했다. 인터넷에 그저 접근할 수 있었을 뿐이다.

구글 보안 엔지니어링 부사장 헤더 애드킨스는 더 버지에 이 메커니즘을 설명하며 말했습니다. "모델은 온라인에서 공개 정보를 찾아내고, 테스트의 일부라고 생각한 웹사이트에 접속하기 위해 자격 증명을 추측했습니다. 이 세 가지 사례 모두에서 모델은 중단했습니다."

구글이 주장하는 바와 그 주장이 무엇에 근거하는지

Google이 Wall Street Journal에 전달하고 The Verge와 Axios에도 반복해 밝힌 입장은 네 가지로 구성된다. 피해는 발생하지 않았다. 세 가지 사례 모두에서 모델은 대상이 시뮬레이션이 아니라 실제임을 인지하자 스스로 중단했다. 따라서 이 행동은 모델 정렬 실패로 간주되지 않는다. The Verge는 Google이 이를 "신원 착오" 사례라고 부른다고 인용했다. 또한 영향을 받은 당사자들에 대한 처리도 적절했다. 세 회사에 통보했고, 연방 당국에도 알렸으며, Google은 테스트 프로세스 변경과 관련해 Irregular와 협력했다.

애드킨스는 이 같은 논조를 더 버지에 직접 전달했다: "이 경우 모델은 적절하게 행동했습니다." 그녀는 또한 다른 사람들의 소프트웨어에서 발견된 결함을 신고한 기록을 언급하며 "설령 약한 비밀번호처럼 단순한 것일지라도"라고 말했고, 구글은 "세 주체 모두에게 알렸다"고 밝혔다.

그 설명과 관련해 두 가지는 구분해서 볼 필요가 있다. 그 통지들은 Google이 설명한 것으로 독립적으로 확인되지 않았다. 해당 기업들은 이름이 공개되지 않았고, 이 기사에서 검토한 보도에서 어떤 기업도 그 침입에 대해 공개적으로 언급하지 않았다. "피해 없음" 결론은 Google이 자사 모델의 행동에 대해 내린 자체 평가다. Gemini가 해당 시스템 내부에서 무엇을 했는지에 대한 제3자 감사는 공개되지 않았다.

그 사이의 7주

Irregular의 대변인은 Axios에 "관련된 모든 실험실에 7월 말에 통보가 이루어졌다"며 "우리 측에서 알려진 모든 문제는 몇 주 전에 시정되고 해결되었다"고 말했다. 이는 Google이 7월 말에 이미 알고 있었음을 뜻한다. 대중은 Wall Street Journal이 보도한 9월 18일에 이를 알게 되었고, Google은 같은 날 해당 사건들을 확인했다.

HTML timeline card headed 'Four months, seven weeks, one Friday', subtitled 'The test ran in May. Google knew by late July. The public found out on 18 September.' Four dated rows read: May 2026, capture-the-flag test runs on Irregular's infrastructure, Gemini reaches three real companies; late July 2026, Irregular notifies Google and the other affected labs, no public statement; weeks ago, Irregular says every known issue on its side was remedied and resolved, tagged 'before disclosure'; 18 September 2026, Wall Street Journal publishes, Google confirms the incidents the same day. A footer cites the Wall Street Journal as reported by Axios, The Verge and 9to5Google, plus Irregular's statements to Axios. The OrcaRouter logo is composited in the bottom-right corner.

Google은 해당 사건들을 보고 대상 모델 오정렬(model-misalignment) 사건으로 간주하지 않았기 때문에 이를 발표하지 않았다고 밝혔다. 따라서 이 격차는 Google의 설명에서 알려진 피해를 은폐한 것이 아니라, 무엇이 그러한 사건에 해당하는지에 대한 의견 불일치다. The Wall Street Journal은 Google이 신문이 회사에 접촉하기 전까지 해당 사건들을 공개하지 않았다고 보도했다. The Verge의 헤드라인은 “Gemini가 통제를 벗어나 세 회사를 해킹했고, Google은 이를 숨겼다”였다.

이의

AI 보안 회사 코리더(Corridor)의 최고경영자 잭 케이블은 월스트리트저널에 이 반론을 제기했다. 더 버지는 그가 이렇게 말했다고 전했다. "근본적인 문제는, 이런, 모델들이 해서는 안 되는 일의 경계를 넘어 실제 사이버 공격을 하고 있다는 점입니다." 그런 해석에 따르면, 모델이 정중하게 멈췄는지 여부는 AI 에이전트가 세 회사의 동의 없이 세 회사 시스템에 침입했는지 여부와 별개의 문제다.

heise online은 이와 관련된 기술적 요점을 지적했습니다. 대상이 실제임을 인식하고 중단하는 모델은 추가적인 보호 계층이지만, 모델의 판단에 의존하지 않는 통제 — 기본적으로 차단되는 아웃바운드 연결, 좁은 허용 목록, 명백히 인위적인 도메인과 자격 증명, 그리고 취해지는 모든 행동에 대한 모니터링 — 를 대체할 수는 없습니다.

공개 기록에 없는 것은 무엇입니까?

보도들은 사건의 윤곽에 관해서는 일관되지만 세부 사항은 빈약하다. 이 기사를 위해 검토한 보도로는 다음을 확인할 수 없다:

HTML two-column card headed 'Established, and not', subtitled 'What Google put on the record on 18 September, set against what no reporting has settled.' The left column, headed 'On the record', lists five items: three real companies were accessed during a capture-the-flag test in May 2026; the test ran on Irregular's infrastructure with internet access unintentionally available; one intrusion used password guessing and two used credentials found in public repositories; Google says the model stopped in all three cases once it recognised the targets were real; Google says the three companies and federal authorities were notified. The right column, headed 'Not established', lists five items: which Gemini model was tested; which three companies were affected; what data the model could see or how long it was connected; which federal agency was notified; whether any of the three companies detected the access themselves. A footer notes that the absence of an audit leaves the account of what happened inside the three companies as Google's own. The OrcaRouter logo is composited in the bottom-right corner.

• 테스트된 Gemini 모델은 무엇이었는가. Google은 버전을 공개하지 않았다; heise online은 Wall Street Journal에 한 발언에 따르면 그것이 회사의 최신 모델이 아니었다고 보도한다; heise는 따라서 동일한 조건에서 현재 버전들이 어떻게 동작할지에 대해 아무것도 추론할 수 없다고 지적한다.

• Gemini가 세 회사의 시스템 내부에서 볼 수 있었던 데이터, 또는 Gemini가 해당 시스템에 얼마나 오랫동안 연결되어 있었는지. heise online은 공개적으로 이용 가능한 보고서에는 이에 대해 나와 있지 않다고 분명히 밝힌다.

• 영향을 받은 세 회사는 어디인가. 구글은 더 저널과 다른 매체에 보낸 성명에서 해당 회사들을 밝히지 않았다.

• 어느 연방 당국에 통보되었는가. 9to5Google은 침입이 발생했을 때 구글이 연방 당국에 통보했다고 보도하며, 검토된 보도 내용에는 해당 기관의 이름이 언급되지 않았다.

• 세 회사 중 어느 회사가 해당 접근을 스스로 인지했는지, 아니면 Google 또는 Irregular를 통해서만 알게 되었는지.

월스트리트저널의 원본 조사 기사는 유료 결제가 필요합니다. 이 기사는 해당 조사를 읽고 인용한 매체들—The Verge, Axios, heise online, 9to5Google—과 그 매체들이 전하는 구글의 성명에 의존합니다.

그 후 무엇이 달라졌나요?

Google이 설명하는 수정 사항은 모델이 아니라 테스트 방식에 관한 것이다. Adkins는 The Verge에 Google이 "우리 교육 파트너와 협력해 그들이 이제 테스트 프로세스에 가한 변경 사항을 마련했다"고 말했다. Irregular의 대변인도 Axios에 같은 취지로 말했다: 자사 쪽의 모든 알려진 문제는 몇 주 전에 해결되었다. 어느 쪽 설명에도 Gemini 자체의 변경은 언급되지 않으며, 어느 쪽도 프로세스 변경이 무엇이었는지는 공개하지 않았다.

Google은 세 회사와, 9to5Google에 따르면 연방 당국에 통보했다. 검토된 보도에서 어떤 규제 기관도 해당 사건에 대한 조사 결과를 발표하지 않았으며, 어떠한 집행 조치도 보고되지 않았다.

2026년 테스트 인시던트 중 어디에 위치하는지

Irregular는 OpenAI, Anthropic, Meta 모델과 관련된 유사 사건들의 평가를 수행했으며, 대변인은 Axios에 Gemini 사건이 "이미 보고된 동일한 문제에 해당하며 실질적으로 별개의 사건을 나타내지 않는다"고 말했습니다. heise online은 Irregular가 일련의 사건들을 평가 환경의 동일한 근본적 문제로 돌린다고 보도했으며, Meta는 8월에 자사의 사례가 샌드박스 탈출도, 기술적으로 정교한 사이버 공격도 포함하지 않는다고 명확히 했습니다.

구글이 주장하는 차별점은 행동에 있다. 9to5Google 보도에 따르면 앞선 OpenAI 사례들에서는 모델들이 실제 회사가 실제라는 것을 인식하지 못했고, Anthropic 사례에서는 모델이 침입을 계속했다. 구글의 모델은 구글 측 설명에 따르면 멈췄다. 그것이 구글이 내세우는 차별화의 전부이며, 그리고 그것은 비판가들이 테스트와 세 개의 프로덕션 시스템 사이에 유일하게 존재해서는 안 된다고 말하는 바로 그 사실 — 모델 스스로의 인식 — 이다.

아카이브가 그것을 정리하는 방식

아카이브는 이를 고위험도로 실제 발생한 사건으로 기록하고 있으며, 실제 피해가 기록되었고 AI 연루가 확인되었으며 신뢰도 등급은 A입니다. 즉, 잘 문서화되어 있고 1차 출처들이 서로 일치합니다. 이 사건은 분쟁 상태로 표시되어 있지 않으며 획기적 사건 표시가 붙어 있습니다. 월스트리트 저널은 이를 구글 AI의 최초로 알려진 탈출 사례라고 묘사했습니다.

함께 읽어 보면, 아카이브의 분류와 구글의 설명은 언뜻 보이는 것만큼 멀리 떨어져 있지 않다. 아카이브는 실제 피해를 기록하고, 구글은 아무런 피해도 뒤따르지 않았다고 말한다. 둘 다 동시에 사실일 수 있으며, 그 차이는 이 사건이 실제로 만들어낸 이견이다 — AI 에이전트가 초대받은 적 없는 시스템으로 넘어가는 것이, 일단 내부에 들어간 뒤 무엇을 했든, 대중에게 알릴 가치가 있는 사건인지에 관한 이견이다.

A generated abstract illustration on a pale blue and white gradient: three tall server columns stand in a row, each fronted by a small padlock, two glowing amber and one grey and unlit. A thin dotted path enters from the left, crosses all three and stops short of a fourth, faded column at the far right edge. A translucent shell arcs over the columns with a single jagged break in its seam at the top. No text, people or organisation logos appear. The OrcaRouter logo is composited in the bottom-right corner.