深海军蓝背景上的抽象编辑插图:中央矗立着一座高耸的半透明结构,由层层堆叠的浅色框架构成,越往上越收窄,宛如一座无标签的天文台或档案库。纤细的青色线条从结构底部向外延伸,通向画框边缘处若干彼此分离的小型节点,每个节点与结构的距离各不相同。背景中布满细密的白色网格线、隐约的同心弧线以及散落的未点亮圆点。作品不含任何文字、字母、数字、人物、机构标识或徽标;右下角叠加有 OrcaRouter 徽标。
AI Safety Incidents

DeepMind 成立 AGI 政策研究所,30 天模型审查已提上日程

作者

Elias Hawthorne

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

2026年9月16日,Google DeepMind 推出了 DeepMind Institute,这是一个刊载通用人工智能文章的出版平台,由 Demis Hassabis、Shane Legg 和 James Manyika 领导,Legg 担任执行主编。未发布任何模型,也未记录到任何损害。此次发布之所以重要,是因为开篇文章所主张的内容:一篇由 Hassabis 撰写,提议建立一个由美国主导的前沿 AI 标准机构,该机构将在模型发布前最多提前 30 天对能力最强的模型进行审查——起初为自愿,随后成为在美国部署的条件,并以留出测试和可能的协同放缓作为后盾。另一篇由 DeepMind 安全研究人员 Rohin Shah 和 Anca Dragan 撰写,主张对“不透明串行深度”设限,即模型在不输出可读推理轨迹的情况下可执行的计算量。该档案对此次发布的记录,连同其评分和引用来源,收录于AI 事件档案,与本系列其他治理条目并列。

发布了什么,以及真正新增了什么

DeepMind Institute 是一个发表平台,而非监管机构。其三位主任是哈萨比斯、莱格和马尼卡:哈萨比斯是 Google DeepMind 联合创始人兼主席、Alphabet 首席科学家;莱格是联合创始人兼首席 AGI 科学家,同时也负责编辑该网站;马尼卡则是谷歌研究、实验室、技术与社会总裁。这些头衔来自该研究所自己的作者页面,并在 The Next Web 9月16日的报道和 TechCrunch 9月17日的报道中被重复提及。该网站载有一则免责声明,其重要性超过任何单篇文章:DMI 的文章“旨在充当对话引子,反映作者的想法和研究,不应被解读为谷歌的官方观点”。

截至本文撰写时,该目录共列出八篇文章,其中五篇标注日期为9月16日:三位主任撰写的创刊文章;Rohin Shah 与 Anca Dragan 的《支持推理透明性的理由》;Julian Jacobs 与 Alex Imas 的《面向AGI的经济政策》;Stephen Cave 的《新乌托邦主义的原则》;以及 Iason Gabriel 与 Atoosa Kasirzadeh 的《让AI惠及全球的理由》。9月24日又追加了两篇——《智能体集群中的作弊者与举报者》和《人工共生智能》——10月8日再添一篇《弯折发现曲线》。

发布日的篇数值得指出,因为相关报道与页面内容不一致。TechCrunch、The Next Web 和 AI Weekly 都描述了与创始文章一同发布的四篇文章,并且都曾将哈萨比斯的框架列入其中。三家媒体均未提及《AI 惠及全球的理由》,而网站将该文标注为同一天发布。现有记录无法消除这一差异,本文也无法做到;可以确定的是,网站自身的日期标注将那篇文章列入首批文章,而同期的报道并未提及它。

真正更关键的日期根本不是9月16日。在 DMI 网站上,这篇框架文章的标注日期是2026年7月14日,其导语结尾注明它“最初发表于 X”。因此,这项30天审查提案比现在托管它的研究所大约早两个月;发布活动所增加的只是一个发布场所和一个合集,而不是一项新的政策构想。我们未能找到最初的 X 帖子,因此 DMI 页面是7月日期和来源说明的依据。TechCrunch、The Next Web 和 AI Weekly 都将该框架作为首批发布内容的一部分来呈现,却没有提到更早的发表,而这正是发布会报道会抹平、重建时间线的读者却需要的那种细节。

标准机构提出的提案,按原文所述

哈萨比斯的文章是文集中最具体的文件,而其具体性正是它值得引用的原因。文章提议美国建立一个“新的标准机构,仿照联邦监督下的公私合作伙伴关系或自我监管组织,很像金融业监管局(FINRA)”,其董事会包括独立技术专家和开源代表,并由行业提供大量资助,以支付技术人才费用和大规模测试所需的算力。模型若跨越该机构设定并持续更新的基准阈值,就有资格成为“前沿级”;持有此类模型的组织将被指定为“前沿实验室”,并鼓励其发布模型卡、维护内部网络安全、审查关键人员并资助安全研究。

这一顺序是被引用最多的部分。前沿实验室将“最初”自愿向该机构共享模型,供其在“发布前最多30天”进行审查。一旦评估协议被证明有效,“正式化可能很快跟进,这意味着前沿模型必须通过该协议才能在美国市场部署。”评估将涵盖网络安全、生物威胁和其他高风险领域,其中智能体测试会寻找绕过护栏的尝试或欺骗迹象,并且随着基准测试饱和,可能每季度更新一次。评估将始于与实验室的协商,最终将成为该机构自行编写的留出测试,以防止实验室对已知评估过拟合,并由第三方审计机构生态提供支持。

还有三项附加条款容易被忽略,而它们正是监管者会争论的地方。该框架可能适用于前沿级模型,“无论其原产国为何,也无论其是开源还是闭源”,而来自初创企业或学术界的非前沿模型则可豁免。该机构可以“在事态严重性需要时逐步加码,包括在认为必要时协调前沿实验室放缓开发”——用哈萨比斯自己的话说,这种协调放缓是一项应急条款,而非政策。而且通篇都只是一项提议:文章称美国“可以设立”这样一个机构。文中没有点名任何机构、没有提出任何立法载体、没有给出预算数字,也没有给出时间表,除了那个条件性表述“一旦评估协议被证明有效且稳健”。

Self-authored HTML card headed 'The proposal, in sequence' with the title 'Four steps, each conditional on the one before' and the subtitle that this is how Hassabis's framework essay describes the path from voluntary review to a possible coordinated slowdown, with the essay dated 14 July 2026 on the DeepMind Institute site. A four-step ladder reads: step one, voluntary review, frontier labs share models with the standards body up to 30 days before release, with no obligation attached; step two, conditional, passing the assessment becomes a requirement for deploying a frontier model in the US market once the protocol is shown effective; step three, later phase, held-out tests written by the body that labs cannot see, plus a third-party auditor ecosystem; step four, contingency, a coordinated slowdown among frontier labs if the seriousness of the situation demands it. A side panel headed 'Who it would cover' states that a model qualifies by crossing benchmark thresholds, that the framework would apply regardless of country of origin and regardless of whether weights are open or closed, that non-frontier models from startups and academia would be exempt, that the body is modelled on a federally overseen public-private partnership or self-regulatory organisation 'much like the Financial Industry Regulatory Authority (FINRA)' funded substantially by industry, and that labs holding such models would become 'Frontier Labs' encouraged to publish model cards, maintain cybersecurity, vet key personnel and fund safety research. A footer notes the essay names no agency, no legislative vehicle and no budget, and repeats the institute's disclaimer that pieces should not be read as Google's official view. The OrcaRouter logo sits in the bottom-right corner.

第二个机制:无人能读懂的思想上限

Shah 和 Dragan 的文章从一个关于当今推理模型运作方式的事实出发。它们通过用自然语言写出中间步骤——即思维链——再将其读回,从而解决问题,这为研究人员提供了一个实时窗口,可用来判断模型是否打算隐瞒信息或在评估中作弊。文章指出,思维链日志“对调查最近的 Hugging Face 黑客事件至关重要”,研究人员借助 AI 检查了 1000 多份记录,以确定发生了什么,而如果没有可读的追踪记录,他们发现的一些情况可能会被忽视。

他们的论点是,这一窗口是有条件的,并非必然。模型可以在潜在空间而非词语中进行推理,这可能更高效,并且默认不透明;训练激励也可能教会模型写出误导性的轨迹,即使架构保持不变。他们引用了两方面的证据,表明这一趋势已经在发生:OpenAI 为 GPT-6 Astra 发布的系统卡,他们引用其中声称“与之前的模型相比,思维链可监控性大幅下降”;以及英国 AI Security Institute 的一项发现,即“在单次前向传播中进行推理的能力大幅增强,并且能够控制其思维链的内容”。这两处引文都出现在文章中;本文尚未独立对照系统卡或该研究所的出版物对其进行核查。

由此,文章提出了三条工作方向——衡量思维链实际提供了多少透明度、保留默认透明的架构,以及审计训练奖励,以免轨迹被悄悄训练得看似循规蹈矩——还有一个比其他想法传播得更远的概念。他们将“不透明串行深度”定义为“本质上一个模型在不使用思维链这类人类可读机制的情况下所能完成的最长逐步计算”,并建议“监管机构或 AI 开发者自己可以为其设定一个合理的上限”。

文章为这种限制的代价给出了具体数字,而这是作者自己的计算,并非实测。他们写道,如果不透明串行深度被限制在当前模型的10倍,那么在现有架构内仍可允许“在当今模型之上实现超过10,000倍的整体计算规模扩展”,因为transformer的不透明串行深度随训练规模增长得非常缓慢。这一主张论证的是透明度不必与规模相权衡;它基于关于该深度如何增长的假设,文章也如实将其作为假设呈现。上限实际会设在哪里、由谁执行,仍未明确——这句话将监管与开发者自我限制作为备选方案提出,并未在两者之间作出选择。

Self-authored HTML card headed 'Opaque serial depth' with the subtitle that Shah and Dragan define it as the longest step-by-step computation a model can perform without a human-readable mechanism such as a chain of thought. A dark quotation strip carries the essay's line that regulations or AI developers themselves could set a reasonable limit on the opaque serial depth. A left panel headed 'The proposal' lists four rows: measure it, with monitorability evaluations, evasion stress tests and paraphrase tests; keep the architecture, do not move to latent-space reasoning by default; audit the rewards, do not train the trace to look aligned; fallback, show a new method is comparably monitorable. It adds that the essay does not say who sets the limit, offering regulation and developer self-limitation as alternatives and choosing neither. A right panel headed 'The arithmetic' sets two large figures: 10 times, a cap on opaque serial depth relative to current models, and 10,000 times, the overall compute scale-up on top of today's models that the authors say such a cap still permits, with a callout that this is the authors' own calculation and not a measurement, resting on opaque depth scaling slowly with training-run size. A footer cites 'The case for reasoning transparency', DeepMind Institute, 16 September 2026. The OrcaRouter logo sits in the bottom-right corner.

什么是已确立的,什么不是

• 成立时间:该研究所于2026年9月16日成立,公布了三名具名董事,并由Legg担任执行主编;网站的免责声明声明其不代表Google的官方观点;这些文章确实存在,标注了上述日期,并提出了上文概述的论点。独立媒体——TechCrunch、The Next Web和AI Weekly——报道了此次成立、董事人选以及两项提案的实质内容,因此档案将该记录的置信度评为A。

• 已证实,但报道不足:这篇框架文章早于该研究所成立。其页面标注日期为2026年7月14日,并称它最初发表于X。只读发布报道的读者,会把30天审查提案的日期定在9月中旬。

• 尚未证实:Google 或 Alphabet 是否已采纳其中任一提案。免责声明明确表示,这些文章仅反映作者本人观点,而框架文章通篇使用条件语气——美国“可以设立”一个机构;正式化“可能很快跟进”。两篇文章均未附带公司承诺。

• 未得到证实:任何政府回应。本文所审查的报道均未提及美国政府、国会、监管机构或任何其他政府对标准制定机构提案的回应,且该文章未点名任何已表示支持的官员。

• 尚未确立:该研究所拥有任何自己的权威。它发表文章。它不测试模型、不认证模型,也不要求任何人遵守其撰稿人所描述的机制,而且所审查的材料中没有任何内容表明它会这样做。

• 记录在案的损害:无。档案将本条记录评为严重性为 info 级的政策进展,未记录任何实际损害,无争议,且精确到日。这是对它的正确框定:一组论点进入公共记录并不构成事件,而它之所以被记录,是因为具体机制——发布前审查、对不可读计算设置上限——正是那些后来会或不会成为规则的东西。

Self-authored HTML card headed 'Evidence check' with the title 'What the record carries, and what it leaves open' and the subtitle that the archive grades the entry policy, severity info, confidence A, disputed false, with no real harm recorded, at day precision. A timeline strip shows four points: 14 July 2026, the framework essay published, which the site says first appeared on X; 16 September 2026, the institute launches with a founding essay and four further pieces; 24 September 2026, two more essays added; 8 October 2026, a further essay added. A left column headed 'Established' lists the launch date, three directors and Legg as managing editor; the disclaimer that pieces are not Google's official view; the arguments of the framework and transparency essays; and independent reporting by TechCrunch, The Next Web and AI Weekly. A right column headed 'Not established' lists any Google or Alphabet adoption of either proposal; any government response to the standards-body idea; any authority held by the institute itself; and who would set an opaque serial depth limit. Four chips beneath read record, policy development; severity, info; confidence, A; disputed, false. A footer notes the site's index lists eight essays while launch coverage described four further pieces and none of it mentioned the essay the site dates to the same day. The OrcaRouter logo sits in the bottom-right corner.

谁在提出这些论点

作者们并非外部批评者。Shah 在 Google DeepMind 领导 AGI 安全与对齐工作,Dragan 则是该公司 AI 安全与行为副总裁;两人都在提议对自己雇主所构建的那类模型施加约束。Hassabis 是该实验室的联合创始人兼主席。他们创立的研究所按其自身的免责声明,并非公司政策的渠道——这一点具有两面性:这些提议既承载着作者在实验室内部职位所带来的分量,也不附带企业承诺的任何义务。

Legg在发布时的公开言论也指向了同一方向。据The Next Web 9月16日报道,他告诉Financial Times,AI能力绝不能跑在安全控制之前,并将Anthropic首席执行官Dario Amodei关于放缓——而非暂停——前沿模型发布的呼吁称为“方向上很有意思”且“值得考虑”。他还表示,现在宣布已实现AGI为时过早;根据该报道,他仍对自己所持的预测感到安心:到2028年有50%的概率实现“最低限度”的AGI。TechCrunch将此次发布置于同一周,当时行业领袖们赞同了Amodei 9月12日关于放慢发展步伐的呼吁中的部分内容。

这一背景值得审慎看待,不宜过分当真。这些文章并未让 Google 承诺任何事情,而从这些文件中能得出的最强解读,也比相关报道所暗示的范围更窄:一家前沿实验室的两位资深人物已公开而详细地写下了他们认为应当存在的审查制度和透明度上限,并在一份让公司与之保持距离的免责声明下发表了它们。发布前 30 天审查,或对不透明串行深度的上限,究竟会不会出现在法案、采购规则或基准测试套件中,仍是这份记录悬而未决的问题。在那之前,它只是一套论证充分、附有日期的提案——而档案正是这样记录它的。