深藏青底色上的抽象編輯插畫:中央矗立著一座高聳的半透明結構,由層層堆疊的淡色框架構成,隨高度遞升而逐漸收窄,宛如一座沒有標示的天文台或檔案庫。纖細的青色線條自結構底部延伸而出,向外通往畫面邊緣散布的細小獨立節點,每個節點距離遠近不一。細緻的白色網格線、隱約的同心弧線與散落的未點亮圓點佈滿背景。作品不含任何文字、字母、數字、人物、組織標記或標誌;OrcaRouter 標誌則合成於右下角。
AI Safety Incidents

DeepMind 成立 AGI 政策研究所,30 天模型審查已擺上檯面

作者

Elias Hawthorne

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

2026年9月16日,Google DeepMind 推出了 DeepMind Institute,這是一個發表人工通用智慧論文的出版平台,由 Demis Hassabis、Shane Legg 和 James Manyika 領導,並由 Legg 擔任總編輯。沒有發布任何模型,也沒有記錄到任何危害。這次發布之所以重要,在於開篇論文的主張:Hassabis 的一篇提出由美國主導的前沿 AI 標準機構,該機構將在模型發布前最多 30 天審查能力最強的模型——起初為自願性質,之後則成為在美國部署的條件,背後配合留出測試以及可能的協調減速。另一篇由 DeepMind 安全研究員 Rohin Shah 和 Anca Dragan 撰寫,主張限制「不透明序列深度」,也就是模型在不輸出可讀推理軌跡的情況下所能執行的運算量。該檔案庫對這次發布的記錄,連同其評分與引用來源,收錄於AI 事故檔案中,與本系列其他治理條目並列。

發布了什麼,以及實際上新增了什麼

DeepMind Institute 是出版平台,並非監管機構。其三位董事分別是 Hassabis、Legg 與 Manyika:Hassabis 是 Google DeepMind 共同創辦人暨董事長,也是 Alphabet 首席科學家;Legg 是共同創辦人暨首席 AGI 科學家,同時負責編輯該網站;Manyika 則是 Google 研究、實驗室、技術與社會總裁。這些頭銜出自該研究所自家的作者頁面,並在 The Next Web 9 月 16 日與 TechCrunch 9 月 17 日的報導中重複提及。該網站載有一則比任何單篇文章都更重要的免責聲明:DMI 的文章「旨在作為引發對話的起點,反映作者的想法與研究,不應被解讀為 Google 的官方觀點。」

截至本文撰寫時,該索引列出八篇文章,其中五篇標註為 9 月 16 日:三位董事撰寫的創始文章;Rohin Shah 與 Anca Dragan 的〈支持推理透明度的理由〉;Julian Jacobs 與 Alex Imas 的〈AGI 的經濟政策〉;Stephen Cave 的〈新烏托邦主義的原則〉;以及 Iason Gabriel 與 Atoosa Kasirzadeh 的〈支持 AI 帶來全球利益的理由〉。9 月 24 日又刊出兩篇——〈代理群體中的作弊者與吹哨者〉與〈人工共生智慧〉——10 月 8 日再刊出一篇〈扭轉發現曲線〉。

發布當天的計數值得特別指出,因為相關報導與網站頁面不一致。TechCrunch、The Next Web 和 AI Weekly 都描述了與創始文章一同發布的四篇作品,且都將 Hassabis 的框架列在其中。三家都漏掉了〈The case for global benefit from AI〉,而網站將該文標註為同一天。紀錄無法解決這項差異,本文也不能;可以確定的是,網站自身的日期標記將那篇文章列入首發批次,而當時的報導並未提及它。

更具關鍵意義的日期根本就不是9月16日。該框架文章在 DMI 網站上標註的日期是 2026 年 7 月 14 日,而其引言結尾註明它「最初發表於 X」。因此,這項為期30天的審查提案比現在主辦它的機構大約早了兩個月;發布所增添的是一個發表場所與一個文集,而不是新的政策構想。我們未能找到原始的 X 貼文,因此 DMI 頁面是七月日期與來源註記這兩者的依據。TechCrunch、The Next Web 和 AI Weekly 都把該框架作為首發內容的一部分來呈現,卻未提及更早的發表;這正是發布報導會抹平、而重建時間線的讀者所需要的細節。

標準機構的提案,依原文所寫

哈薩比斯的文章是這本文集中最具體的文件,而它的具體性正是它值得引述的原因。文章提議美國設立「一個新的標準機構,仿照由聯邦監督的公私合夥或自律組織,類似金融業監管局(FINRA)」,其董事會包含獨立技術專家和開源代表,並由產業提供大量資金,以支付技術人才及大規模測試所需的算力。模型若能跨過該機構設定並持續更新的基準門檻,便會符合「前沿級」資格;持有此類模型的組織將被指定為「前沿實驗室」,並被鼓勵發布模型卡、維持內部網路安全、審查關鍵人員以及資助安全研究。

這套流程是最常被引述的部分。前沿實驗室將「最初」自願與該機構分享模型,供其在「發布前最多 30 天」審查。一旦評估協議被證明有效,「正式化可能很快跟進,這意味著前沿模型必須通過該協議,才能在美國市場部署。」評估將涵蓋網路安全、生物威脅及其他高風險領域,並以代理式測試尋找繞過護欄的嘗試或欺騙跡象,且隨著基準飽和,或許每季更新。評估將從與實驗室協商開始,最終成為該機構自行編寫的保留測試,以防止實驗室對已知評估過度擬合,並由第三方稽核員生態系提供支持。

還有三項條款容易被忽略,而這些正是監管機構會爭論的條款。該框架可適用於前沿級模型,「無論其原產國為何,也無論其為開放或封閉」,而來自新創公司或學術界的非前沿模型則可豁免。該機構可以「在情況的嚴重性有所要求時逐步收緊,包括在認為必要時協調 Frontier Labs 之間的開發放緩」——在 Hassabis 自己的表述中,這種協調放緩是一項應變條款,而非政策。而且整篇始終只是提案:文章說美國「可以設立」這樣一個機構。它沒有點名任何機構、任何立法途徑、任何預算數字,也沒有提出任何時間表,除了有條件的「一旦評估協議被證明有效且穩健」之外。

Self-authored HTML card headed 'The proposal, in sequence' with the title 'Four steps, each conditional on the one before' and the subtitle that this is how Hassabis's framework essay describes the path from voluntary review to a possible coordinated slowdown, with the essay dated 14 July 2026 on the DeepMind Institute site. A four-step ladder reads: step one, voluntary review, frontier labs share models with the standards body up to 30 days before release, with no obligation attached; step two, conditional, passing the assessment becomes a requirement for deploying a frontier model in the US market once the protocol is shown effective; step three, later phase, held-out tests written by the body that labs cannot see, plus a third-party auditor ecosystem; step four, contingency, a coordinated slowdown among frontier labs if the seriousness of the situation demands it. A side panel headed 'Who it would cover' states that a model qualifies by crossing benchmark thresholds, that the framework would apply regardless of country of origin and regardless of whether weights are open or closed, that non-frontier models from startups and academia would be exempt, that the body is modelled on a federally overseen public-private partnership or self-regulatory organisation 'much like the Financial Industry Regulatory Authority (FINRA)' funded substantially by industry, and that labs holding such models would become 'Frontier Labs' encouraged to publish model cards, maintain cybersecurity, vet key personnel and fund safety research. A footer notes the essay names no agency, no legislative vehicle and no budget, and repeats the institute's disclaimer that pieces should not be read as Google's official view. The OrcaRouter logo sits in the bottom-right corner.

第二個機制:無人能讀懂的思考上限

Shah 與 Dragan 的文章從一個關於當今推理模型運作方式的事實談起。它們透過用自然語言寫出中間步驟——一條思維鏈——再將它讀回,藉此解決問題,這讓研究人員得以即時觀察模型是否打算隱藏資訊或在評估中作弊。文章指出,思維鏈紀錄「對於調查近期的 Hugging Face 駭客事件至關重要」,研究人員在 AI 協助下檢視了超過 1,000 份逐字稿,以釐清事情的來龍去脈,而且若沒有可讀的痕跡,他們發現的部分內容可能不會被注意到。

他們的論點是,這個窗口是有條件的,並非必然。模型可能在潛在空間中而非以文字進行推理,這或許更有效率,且預設會是不透明的;而訓練誘因可以教會模型寫出誤導性的推理軌跡,即使架構維持不變。他們引用兩項證據,證明這個趨勢已經正在發生:OpenAI 為 GPT-6 Astra 發布的系統卡,他們引用其中說法稱「與先前模型相比,思維鏈的可監測性大幅下降」;以及英國人工智慧安全研究所的一項發現:「在單次前向傳遞中推理的能力大幅提升,以及控制其思維鏈內容的能力」。兩段引文都出現在該文章中;本文尚未獨立對照系統卡或該研究所的出版品核實這些引文。

從這裡出發,文章提出三條工作方向——衡量思維鏈實際上能提供多少透明度、維持預設即透明的架構,以及稽核訓練獎勵,以免軌跡被悄悄訓練成看起來乖巧順從——還有一個比其他構想走得更遠的想法。他們將「不透明序列深度」定義為「本質上,是模型在不需使用思維鏈(Chain of Thought)這類人類可讀機制的情況下,所能完成的最長逐步計算」,並建議「監管機構或 AI 開發者本身可以對它設定合理的上限」。

這篇文章為這樣的上限會付出多少代價給出了一個數字,而那是作者自己的計算,並非實測。他們寫道,若不透明串行深度被限制在現行模型的 10 倍,在現行架構內仍可容許「在今日模型之上將整體運算規模擴增超過 10,000 倍」,因為 transformer 的不透明串行深度會隨著訓練規模的增大而極其緩慢地增長。這項主張是在論證透明度不必與規模相互取捨;它建立在關於該深度如何增長的假設之上,而文章也如此呈現。實際上上限會設在哪裡、由誰來執行,則仍懸而未決——該句提出監管與開發者自我限制作為替代方案,並未在兩者之間作出選擇。

Self-authored HTML card headed 'Opaque serial depth' with the subtitle that Shah and Dragan define it as the longest step-by-step computation a model can perform without a human-readable mechanism such as a chain of thought. A dark quotation strip carries the essay's line that regulations or AI developers themselves could set a reasonable limit on the opaque serial depth. A left panel headed 'The proposal' lists four rows: measure it, with monitorability evaluations, evasion stress tests and paraphrase tests; keep the architecture, do not move to latent-space reasoning by default; audit the rewards, do not train the trace to look aligned; fallback, show a new method is comparably monitorable. It adds that the essay does not say who sets the limit, offering regulation and developer self-limitation as alternatives and choosing neither. A right panel headed 'The arithmetic' sets two large figures: 10 times, a cap on opaque serial depth relative to current models, and 10,000 times, the overall compute scale-up on top of today's models that the authors say such a cap still permits, with a callout that this is the authors' own calculation and not a measurement, resting on opaque depth scaling slowly with training-run size. A footer cites 'The case for reasoning transparency', DeepMind Institute, 16 September 2026. The OrcaRouter logo sits in the bottom-right corner.

什麼是已經確立的,什麼不是

• 成立:該研究所於 2026 年 9 月 16 日成立,設有三名具名董事,並由 Legg 擔任總編輯;該網站的免責聲明指出,其不代表 Google 的官方觀點;這些文章確實存在,標示上述日期,並提出上文概述的論點。獨立媒體——TechCrunch、The Next Web 與 AI Weekly——報導了成立消息、董事名單,以及兩項提案的實質內容,因此檔案將該紀錄評為可信度 A。

• 已確立,但報導不足:該框架文章早於該研究院。其頁面標註日期為2026年7月14日,並稱其最初發表於X。若讀者僅依據發布報導,會將30天審查提案的日期定為九月中旬。

• 尚未確立:Google 或 Alphabet 已採納其中任何一項提案。免責聲明明確指出,這些文章僅反映其作者的觀點,而該框架文章通篇以條件語氣撰寫——美國「可能建立」一個機構;正式化「可能很快隨之而來」。兩篇文章均未附帶任何公司承諾。

• 未經證實:任何政府回應。本文所審閱的所有報導均未提及美國政府、國會、監管機構或任何其他國家對該標準制定機構提案作出回覆,且文章未指名任何支持該提案的官員。

• 尚未確立:該機構本身具有任何權威。它發表文章。它不測試模型、不認證模型,也不要求任何人遵循其撰稿人所描述的機制;而經審閱的材料中,沒有任何內容顯示它會這麼做。

• 已記錄的損害:無。檔案將此條目標記為嚴重程度為「資訊」的政策發展,未記錄任何實際損害,且無爭議,日期精確度為日。這正是其正確的定位框架:一批進入公共紀錄的論點並非一起事件,而之所以仍將其登錄,是因為具體機制——發佈前審查、對不可讀運算設定上限——正是日後會成為規則、或不會成為規則的事物。

Self-authored HTML card headed 'Evidence check' with the title 'What the record carries, and what it leaves open' and the subtitle that the archive grades the entry policy, severity info, confidence A, disputed false, with no real harm recorded, at day precision. A timeline strip shows four points: 14 July 2026, the framework essay published, which the site says first appeared on X; 16 September 2026, the institute launches with a founding essay and four further pieces; 24 September 2026, two more essays added; 8 October 2026, a further essay added. A left column headed 'Established' lists the launch date, three directors and Legg as managing editor; the disclaimer that pieces are not Google's official view; the arguments of the framework and transparency essays; and independent reporting by TechCrunch, The Next Web and AI Weekly. A right column headed 'Not established' lists any Google or Alphabet adoption of either proposal; any government response to the standards-body idea; any authority held by the institute itself; and who would set an opaque serial depth limit. Four chips beneath read record, policy development; severity, info; confidence, A; disputed, false. A footer notes the site's index lists eight essays while launch coverage described four further pieces and none of it mentioned the essay the site dates to the same day. The OrcaRouter logo sits in the bottom-right corner.

是誰在提出這些論點?

作者並非外部批評者。Shah 在 Google DeepMind 領導 AGI 安全與對齊,Dragan 則是該公司的 AI 安全與行為副總裁;兩人都在對自家雇主所建構的那類模型提出限制。Hassabis 是該實驗室的共同創辦人兼主席。他們創立的機構,按其自身的免責聲明,並非公司政策的管道——這有利也有弊:這些提案承載著作者在實驗室內職位的份量,卻不帶有任何企業承諾的義務。

Legg 在發布之際的公開評論也指向同一方向。他向《Financial Times》表示——正如 The Next Web 於 9 月 16 日所報導——AI 能力絕不能凌駕於安全管控之上,並稱 Anthropic 執行長 Dario Amodei 呼籲放慢——而非暫停——前沿模型發布節奏的說法「方向上很有意思」且「值得考慮」。他也表示,宣稱 AGI 已然達成還為時過早;根據該報導,他仍對自己「2028 年前有 50% 機率出現『最低限度』AGI」的預測感到安心。TechCrunch 將此次發布置於同一週,當時業界領袖認同 Amodei 於 9 月 12 日呼籲控制發展步調的部分主張。

那段脈絡值得審慎看待。這些文章並未讓 Google 作出任何承諾,而從文件中可作出的最強解讀,也比報導所暗示的範圍更窄:某個前沿實驗室的兩位資深人物已公開且詳細寫下他們認為應存在的審查制度與透明度上限,並在一份讓公司保持距離的免責聲明下發表。30 天發布前審查,或對不透明序列深度設上限,是否終將出現在法案、採購規則或基準測試套件中,仍是紀錄留下的未解問題。在那之前,它只是一套論證充分、附有日期的提案——而這正是檔案庫登錄它的方式。