짙은 남색 바탕 위의 추상 편집 일러스트레이션: 중앙에는 위로 갈수록 좁아지는 옅은 프레임들을 쌓아 만든 키 큰 반투명 구조물이 서 있다. 이름이 붙지 않은 천문대나 기록 보관소처럼 보인다. 가느다란 청록색 선들이 구조물의 바닥에서 나와 프레임 가장자리의 작고 분리된 노드들을 향해 바깥으로 뻗어 나가며, 각 노드는 서로 다른 거리에 있다. 가는 흰색 격자선, 희미한 동심원 호, 흩어진 불 꺼진 점들이 배경을 채운다. 이 작품에는 텍스트, 문자, 숫자, 사람, 조직 표식, 로고가 없으며, OrcaRouter 로고가 오른쪽 아래 모서리에 합성되어 있다.
AI Safety Incidents

DeepMind, AGI 정책 연구소 개소… 30일 모델 검토안 이미 논의 중

작성자

Elias Hawthorne

게시일

최신 모델 · 20모든 모델 보기 →
벤치마크: Artificial Analysis · 매일 업데이트
모든 게시물로 돌아가기

2026년 9월 16일 Google DeepMind는 인공일반지능에 관한 에세이를 위한 출판 플랫폼인 DeepMind Institute를 출범했습니다. Demis Hassabis, Shane Legg, James Manyika가 이끌며 Legg가 편집장을 맡습니다. 출시된 모델은 없고 기록된 피해도 없습니다. 이번 출범이 중요한 이유는 창간 에세이들이 주장하는 내용에 있습니다. Hassabis의 글은 가장 성능이 뛰어난 모델을 출시 최대 30일 전에 검토하는 미국 주도의 프런티어 AI 표준 기구를 제안합니다. 처음에는 자발적이지만 이후 미국 내 배포의 조건이 되며, 비공개 테스트와 가능한 조정된 감속이 그 뒷받침이 됩니다. DeepMind 안전 연구원 Rohin Shah와 Anca Dragan의 또 다른 글은 모델이 읽을 수 있는 추론 흔적을 내보내지 않고 수행할 수 있는 계산인 "불투명 직렬 깊이"를 제한할 것을 주장합니다. 등급 평가와 인용 출처가 포함된 이 출범에 대한 아카이브의 기록은 AI 사고 아카이브에서 이 시리즈의 다른 거버넌스 항목들과 나란히 있습니다.

무엇이 출시되었으며, 실제로 새로운 것은 무엇인가

DeepMind Institute는 규제 기관이 아니라 출판 플랫폼입니다. 이곳의 이사 세 명은 Google DeepMind의 공동 창립자이자 의장이며 Alphabet의 최고 과학자인 Hassabis, 공동 창립자이자 최고 AGI 과학자로서 사이트 편집도 맡고 있는 Legg, 그리고 Google의 연구·랩·기술·사회 담당 사장인 Manyika입니다. 이 직함들은 연구소 자체 저자 페이지에서 가져온 것으로, 9월 16일 The Next Web과 9월 17일 TechCrunch의 보도에서도 반복되었습니다. 사이트에는 어떤 단일 에세이보다 더 중요한 면책 문구가 있습니다. DMI의 글은 "대화의 출발점 역할을 하도록 의도된 것으로, 저자의 아이디어와 연구를 반영하며, Google의 공식 견해로 읽혀서는 안 됩니다."

이 글을 작성하던 시점의 색인에는 여덟 편의 에세이가 실려 있었으며, 그중 다섯 편이 9월 16일 날짜를 달고 있었다. 세 명의 디렉터가 쓴 창립 에세이, 로힌 샤와 안카 드라간의 「추론 투명성을 위한 논거」, 줄리안 제이컵스와 알렉스 이마스의 「AGI를 위한 경제 정책」, 스티븐 케이브의 「새로운 유토피아니즘의 원칙」, 아이아손 가브리엘과 아투사 카시르자데의 「AI로부터의 전 지구적 이익을 위한 논거」가 그것이다. 9월 24일에는 「에이전트 군집 속의 부정행위자와 내부고발자」와 「인공 공생 지능」 두 편이 더 이어졌고, 10월 8일에는 「발견의 곡선을 꺾기」 한 편이 뒤따랐다.

출시일 기준 개수는 언급할 가치가 있다. 보도 내용이 해당 페이지와 일치하지 않기 때문이다. 테크크런치, 더 넥스트 웹, AI 위클리는 각각 창립 에세이와 함께 게재된 네 편의 글을 설명했고, 모두 그중 하나로 하사비스의 프레임워크를 꼽았다. 세 매체 모두 사이트가 같은 날짜로 표기한 "The case for global benefit from AI"는 누락했다. 기록만으로는 그 차이가 해소되지 않으며 이 기사도 마찬가지다. 확실한 것은 사이트 자체의 날짜 표기가 그 에세이를 초기 게재 목록에 넣고 있으며, 동시대 보도들은 그것을 언급하지 않는다는 점이다.

정말로 더 중대한 날짜는 9월 16일이 아니다. 프레임워크 에세이는 DMI 사이트에 2026년 7월 14일로 날짜가 찍혀 있으며, 그 도입 문구는 ‘X에 처음 게재되었다’는 주석으로 끝난다. 따라서 30일 검토 제안은 현재 이를 호스팅하는 연구소보다 대략 두 달 더 오래되었다. 그 출범이 더한 것은 게재 장소와 컬렉션이었지, 새로운 정책 아이디어가 아니었다. 우리는 원본 X 게시물을 찾지 못했으므로, 7월 날짜와 출처 주석 모두의 근거는 DMI 페이지다. TechCrunch, The Next Web, AI Weekly는 모두 이 프레임워크를 개막 라인업의 일부로 제시하면서 더 이른 발표를 언급하지 않았는데, 이는 출범 기사가 뭉개기 쉬우면서도 타임라인을 재구성하는 독자에게 필요한 종류의 세부 사항이다.

표준 기구 제안서, 작성된 그대로

Hassabis의 에세이는 이 모음집에서 가장 구체적인 문서이며, 그 구체성 덕분에 인용할 가치가 있다. 이 글은 미국이 "연방 정부가 감독하는 민관 협력체 또는 자기규제기구를 모델로 한 새로운 표준 기구"—금융산업규제청(FINRA)과 매우 유사한—를 설립할 것을 제안한다. 이사회에는 독립 기술 전문가와 오픈소스 대표가 포함되며, 기술 인재와 대규모 테스트에 필요한 컴퓨팅 자원을 충당할 수 있도록 상당 부분 업계의 자금 지원을 받는다. 모델은 해당 기구가 설정하고 최신 상태로 유지하는 벤치마크의 임계값을 넘으면 "Frontier-class"로 분류된다. 그러한 모델을 보유한 조직은 "Frontier Labs"로 지정되어 모델 카드 공개, 내부 사이버보안 유지, 핵심 인력 검증, 안전 연구 자금 지원을 장려받는다.

이 시퀀스는 가장 많이 인용된 부분이다. 프런티어 연구소들은 "초기에는" 자발적으로 "출시 최대 30일 전까지" 검토를 위해 모델을 해당 기구와 공유할 것이다. 평가 프로토콜이 효과적인 것으로 입증되면, "공식화가 빠르게 뒤따를 수 있으며, 이는 프런티어 모델이 미국 시장에 배포되려면 이를 통과해야 함을 의미한다." 평가는 사이버 보안, 생물학적 위협 및 기타 고위험 영역을 다루고, 가드레일 우회 시도나 기만의 징후를 찾는 에이전트형 테스트를 포함하며, 벤치마크가 포화됨에 따라 아마 분기별로 갱신될 것이다. 평가는 연구소들과의 협의로 시작되고 결국 해당 기구가 직접 작성하는 비공개 테스트가 되어, 연구소들이 알려진 평가에 과적합하는 것을 막을 것이며, 제3자 감사자 생태계의 지원을 받을 것이다.

세 가지 추가 조항은 놓치기 쉽고, 규제 당국자가 논쟁을 벌일 만한 것들이다. 이 프레임워크는 프런티어급 모델에 "출처 국가나 개방형·폐쇄형 여부와 무관하게" 적용될 수 있는 반면, 스타트업이나 학계의 비프런티어 모델은 면제될 수 있다. 이 기구는 "상황의 심각성이 요구한다면 강화될 수 있으며, 필요하다고 판단되면 Frontier Labs 간 개발 둔화를 조율하는 것도 포함할 수" 있다 — 조율된 둔화는 Hassabis 자신의 표현대로 정책이라기보다 비상 조항이다. 그리고 이는 전체적으로 하나의 제안이다. 이 글은 미국이 그러한 기구를 "설립할 수 있다"고 말한다. 그것은 어떤 기관도, 어떤 입법 수단도, 어떤 예산 규모도, 그리고 조건부 문구 "평가 프로토콜이 효과적이고 견고하다는 것이 입증된 후에" 외에는 어떤 일정도 명시하지 않는다.

Self-authored HTML card headed 'The proposal, in sequence' with the title 'Four steps, each conditional on the one before' and the subtitle that this is how Hassabis's framework essay describes the path from voluntary review to a possible coordinated slowdown, with the essay dated 14 July 2026 on the DeepMind Institute site. A four-step ladder reads: step one, voluntary review, frontier labs share models with the standards body up to 30 days before release, with no obligation attached; step two, conditional, passing the assessment becomes a requirement for deploying a frontier model in the US market once the protocol is shown effective; step three, later phase, held-out tests written by the body that labs cannot see, plus a third-party auditor ecosystem; step four, contingency, a coordinated slowdown among frontier labs if the seriousness of the situation demands it. A side panel headed 'Who it would cover' states that a model qualifies by crossing benchmark thresholds, that the framework would apply regardless of country of origin and regardless of whether weights are open or closed, that non-frontier models from startups and academia would be exempt, that the body is modelled on a federally overseen public-private partnership or self-regulatory organisation 'much like the Financial Industry Regulatory Authority (FINRA)' funded substantially by industry, and that labs holding such models would become 'Frontier Labs' encouraged to publish model cards, maintain cybersecurity, vet key personnel and fund safety research. A footer notes the essay names no agency, no legislative vehicle and no budget, and repeats the institute's disclaimer that pieces should not be read as Google's official view. The OrcaRouter logo sits in the bottom-right corner.

두 번째 메커니즘: 누구도 읽을 수 없는 사고에 대한 상한선

Shah와 Dragan의 에세이는 오늘날 추론 모델이 작동하는 방식에 관한 한 가지 사실에서 출발한다. 이러한 모델은 자연어로 중간 단계를 적어 내고—사고의 연쇄—그것을 다시 읽음으로써 문제를 해결하며, 이는 연구자들에게 모델이 정보를 숨기려는지 또는 평가에서 부정행위를 하려는지 실시간으로 들여다볼 수 있는 창을 제공한다. 이 에세이는 사고 연쇄 로그가 "최근 Hugging Face 해킹 사건을 조사하는 데 결정적이었다"고 말하는데, 당시 연구자들은 무슨 일이 있었는지 밝히기 위해 AI의 도움을 받아 1,000건이 넘는 기록을 검토했으며, 그들이 발견한 것 중 일부는 읽을 수 있는 흔적이 없었다면 눈에 띄지 않았을 수도 있다고 한다.

그들의 주장은 이 창이 조건부이며 보장된 것이 아니라는 것이다. 모델은 단어가 아니라 잠재 공간에서 추론할 수 있으며, 이는 더 효율적일 수 있고 기본적으로 불투명할 것이며, 훈련 인센티브는 아키텍처가 동일하게 유지되더라도 모델이 오해를 불러일으키는 추적 기록을 작성하도록 가르칠 수 있다. 그들은 이미 진행 중인 추세에 대한 두 가지 증거를 인용한다: OpenAI의 GPT-6 Astra 시스템 카드—그들이 "이전 모델들에 비해 사고의 사슬 모니터링 가능성이 상당히 감소했다"고 인용한—와 영국 AI 안전 연구소(UK AI Security Institute)의 "단일 순전파 내에서 추론하는 능력과 사고의 사슬 내용을 통제하는 능력이 크게 증가했다"는 발견이다. 두 인용문 모두 에세이에 등장한다; 이 기사는 시스템 카드나 연구소의 출판물과 독립적으로 대조 확인하지 않았다.

이로부터 이 글은 세 가지 작업 계열 — 사고의 연쇄(Chain of Thought)가 실제로 얼마나 많은 투명성을 제공하는지 측정하기, 기본적으로 투명한 아키텍처 유지하기, 그리고 추적(trace)이 조용히 얌전해 보이도록 학습되지 않게 훈련 보상을 감사하기 — 와 나머지보다 더 멀리 퍼진 한 가지 아이디어를 제안한다. 이들은 "불투명 직렬 깊이(opaque serial depth)"를 "본질적으로 모델이 Chain of Thought 같은 인간이 읽을 수 있는 메커니즘을 사용하지 않고 수행할 수 있는 가장 긴 단계별 계산"으로 정의하고, "규제 기관이나 AI 개발자 스스로가 이에 합리적인 한도를 설정할 수 있다"고 제안한다.

이 에세이는 그러한 한계에 비용이 얼마나 들지를 숫자로 제시하는데, 이는 측정치가 아니라 저자들 자신의 계산이다. 저자들은 불투명 직렬 깊이를 현재 모델의 10배로 제한하더라도, 트랜스포머의 불투명 직렬 깊이는 훈련 실행 규모에 따라 매우 느리게 증가하기 때문에 현재 아키텍처 안에서 "오늘날 모델 위에 10,000배가 넘는 전체 연산 규모 확대"가 여전히 가능하다고 쓴다. 이 주장은 투명성을 규모와 맞바꿀 필요가 없다는 논변이다. 그것은 그 깊이가 어떻게 증가하는지에 대한 가정에 기초하며, 에세이는 이를 그렇게 제시한다. 상한이 실제로 어디에 설정될지, 누가 그것을 집행할지는 열려 있다. 그 문장은 규제와 개발자 자기 제한을 대안으로 제시할 뿐 둘 중 하나를 선택하지 않는다.

Self-authored HTML card headed 'Opaque serial depth' with the subtitle that Shah and Dragan define it as the longest step-by-step computation a model can perform without a human-readable mechanism such as a chain of thought. A dark quotation strip carries the essay's line that regulations or AI developers themselves could set a reasonable limit on the opaque serial depth. A left panel headed 'The proposal' lists four rows: measure it, with monitorability evaluations, evasion stress tests and paraphrase tests; keep the architecture, do not move to latent-space reasoning by default; audit the rewards, do not train the trace to look aligned; fallback, show a new method is comparably monitorable. It adds that the essay does not say who sets the limit, offering regulation and developer self-limitation as alternatives and choosing neither. A right panel headed 'The arithmetic' sets two large figures: 10 times, a cap on opaque serial depth relative to current models, and 10,000 times, the overall compute scale-up on top of today's models that the authors say such a cap still permits, with a callout that this is the authors' own calculation and not a measurement, resting on opaque depth scaling slowly with training-run size. A footer cites 'The case for reasoning transparency', DeepMind Institute, 16 September 2026. The OrcaRouter logo sits in the bottom-right corner.

무엇이 확립되었고, 무엇이 그렇지 않은가

• 설립: 해당 연구소는 2026년 9월 16일 이름이 명시된 세 명의 이사와 Legg를 매니징 에디터로 두고 출범했습니다. 사이트의 면책 조항은 구글의 공식 견해가 아님을 밝히고 있습니다. 에세이들은 실제로 존재하며 해당 날짜를 명시하고 위에 요약된 논지를 전개합니다. 독립 매체인 TechCrunch, The Next Web, AI Weekly가 이번 출범과 이사진, 그리고 두 제안의 요지를 보도했으며, 이 때문에 아카이브는 해당 기록의 신뢰도를 A로 평가합니다.

• 확인된 사실이지만 충분히 보도되지 않은 점: 프레임워크 에세이는 연구소보다 먼저 나왔다. 해당 글의 페이지에는 2026년 7월 14일이라는 날짜가 적혀 있고, 처음 X에 게재되었다고 밝히고 있다. 출범 보도만 접한 독자라면 30일 검토 제안을 9월 중순으로 날짜를 잡을 것이다.

• 확인되지 않음: Google이나 Alphabet이 두 제안 중 어느 하나라도 채택했다는 점. 면책 조항은 해당 글들이 각 저자의 견해를 반영한다는 점을 분명히 밝히고 있으며, 프레임워크 에세이는 처음부터 끝까지 조건법으로 작성되었다. 미국은 기구를 "설립할 수 있다"; 공식화는 "빠르게 뒤따를 수 있다". 어느 에세이에도 회사 차원의 약속은 없다.

• 확인되지 않음: 표준 제정 기구의 제안에 대한 미국 정부, 의회, 규제 기관 또는 다른 어떤 국가의 답변을 보고한 보도는 이 기사를 위해 검토된 어떤 자료에도 없으며, 이 글은 그 제안을 지지한 어떤 공무원의 이름도 밝히지 않는다.

• 입증되지 않음: 해당 기관이 자체적인 권한을 갖고 있다는 점은. 이 기관은 에세이를 출판한다. 모델을 테스트하거나 인증하지 않으며, 기고자들이 설명하는 메커니즘에 누구도 구속하지도 않는다. 그리고 검토된 자료 어디에도 그렇게 할 것임을 시사하는 내용은 없다.

• 기록된 피해: 없음. 아카이브는 이 항목을 심각도 ‘정보’의 정책 개발로 등급하며, 실제 피해는 기록되지 않았고, 이견이 없으며, 일 단위 정밀도입니다. 그것이 이 항목에 맞는 올바른 틀입니다: 공적 기록에 편입되는 일련의 논증은 사건이 아니며, 이것이 기록되는 이유는 구체적 메커니즘—사전 공개 검토, 판독 불가능한 연산에 대한 상한—이 나중에 규칙이 되거나 되지 않는 것들이기 때문입니다.

Self-authored HTML card headed 'Evidence check' with the title 'What the record carries, and what it leaves open' and the subtitle that the archive grades the entry policy, severity info, confidence A, disputed false, with no real harm recorded, at day precision. A timeline strip shows four points: 14 July 2026, the framework essay published, which the site says first appeared on X; 16 September 2026, the institute launches with a founding essay and four further pieces; 24 September 2026, two more essays added; 8 October 2026, a further essay added. A left column headed 'Established' lists the launch date, three directors and Legg as managing editor; the disclaimer that pieces are not Google's official view; the arguments of the framework and transparency essays; and independent reporting by TechCrunch, The Next Web and AI Weekly. A right column headed 'Not established' lists any Google or Alphabet adoption of either proposal; any government response to the standards-body idea; any authority held by the institute itself; and who would set an opaque serial depth limit. Four chips beneath read record, policy development; severity, info; confidence, A; disputed, false. A footer notes the site's index lists eight essays while launch coverage described four further pieces and none of it mentioned the essay the site dates to the same day. The OrcaRouter logo sits in the bottom-right corner.

누가 주장을 펼치고 있나요?

글의 저자들은 외부 비판자가 아니다. Shah는 Google DeepMind에서 AGI 안전 및 정렬을 이끌고 있으며, Dragan은 AI 안전 및 행동 부문 부사장이다. 두 사람 모두 자신들의 고용주가 만드는 종류의 모델에 제약을 제안하고 있다. Hassabis는 이 연구소의 공동 창립자이자 의장이다. 그들이 출범시킨 연구소는 자체 면책 문구에 따르면 회사 정책의 통로가 아니다. 이는 양쪽으로 작용한다. 즉 이 제안들은 연구소 내 저자들의 지위에서 오는 무게를 지니지만, 기업의 약속에 따르는 의무는 전혀 지니지 않는다.

Legg의 출시 당시 공개 발언도 같은 방향을 가리켰다. 그는 9월 16일 The Next Web이 보도한 대로 Financial Times에 AI 역량이 안전 통제를 앞질러서는 안 된다고 말했으며, Anthropic CEO Dario Amodei가 프런티어 모델 출시 속도를 늦추되 중단하지는 말자고 촉구한 것을 "방향성 측면에서 흥미롭다"고, "고려할 만하다"고 평했다. 그는 또한 AGI가 달성되었다고 선언하기에는 이르다고 말했고, 그 보도에 따르면 2028년까지 "최소한의" AGI가 실현될 확률이 50%라는 자신의 전망에 여전히 편안해하고 있었다. TechCrunch는 이번 출시를 업계 지도자들이 개발 속도 조절을 촉구한 Amodei의 9월 12일 발언의 요소들을 지지한 같은 주에 있었던 일로 배치했다.

그 맥락은 가볍게 잡아두는 편이 좋다. 그 에세이들은 Google을 어떤 것에도 구속하지 않으며, 문서들에서 끌어낼 수 있는 가장 강한 해석은 보도가 암시한 범위보다 좁다. 프런티어 랩의 고위 인사 두 명이 자신들이 있어야 한다고 생각하는 검토 체제와 투명성 상한을 공개적으로, 상세하게 적어 내고, 회사와 거리를 두게 하는 면책 문구 아래 발표한 것이다. 30일 사전 공개 검토나 불투명한 직렬 깊이에 대한 상한이 실제로 법안, 조달 규칙, 벤치마크 모음에 등장할지는 기록이 열어 둔 물음이다. 그때까지 그것은 날짜가 붙은, 잘 논증된 제안 모음이며 — 기록 보관소가 그것을 정확히 그렇게 기록한다.