深いネイビーの地に描かれた抽象的なエディトリアルイラスト:中央には高く半透明の構造物が立ち、淡い色の枠を積み重ねてできており、上へ行くほど細くなっている。ラベルのない天文台か記録保管庫のようだ。細いシアンの線が構造物の基部から外へ伸び、フレームの縁にある小さく切り離されたノードへと向かう。各ノードはそれぞれ異なる距離にある。細い白いグリッド線、かすかな同心円弧、そして灯りのない点の散らばりが背景を満たしている。作品には文字、アルファベット、数字、人物、組織の印、ロゴは一切含まれていない。OrcaRouterのロゴが右下隅に合成されている。
AI Safety Incidents

DeepMindがAGI政策研究所を開設、30日間のモデル審査もすでに議題に

著者

Elias Hawthorne

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

2026年9月16日、Google DeepMindはDeepMind Instituteを立ち上げた。これは人工汎用知能に関する論考を掲載する出版プラットフォームで、Demis Hassabis、Shane Legg、James Manyikaが率い、Leggがマネージングエディターを務める。モデルはリリースされず、被害も記録されていない。この立ち上げが重要なのは、冒頭の論考が主張する内容による。Hassabisによる一本は、米国主導のフロンティアAI標準化団体を提案しており、この団体は最も高性能なモデルをリリースの最大30日前までに審査する——当初は任意で、その後は米国内で展開する条件となり、その背景には非公開のテストと、協調的な減速の可能性がある。もう一本は、DeepMindの安全性研究者Rohin ShahとAnca Draganによるもので、「不透明な直列深度」——モデルが読み取り可能な推論トレースを出力せずに実行できる計算——に上限を設けることを主張している。この立ち上げに関するアーカイブの記録は、評価と引用元とともに、AIインシデントアーカイブの中に、本シリーズの他のガバナンス項目と並んで収められている。

何がローンチされ、実際に何が新しいのか

DeepMind Instituteは出版・発表の場であり、規制機関ではない。その3人のディレクターは、Google DeepMindの共同創業者兼会長でAlphabetの最高科学責任者(チーフサイエンティスト)であるHassabis、共同創業者兼最高AGI科学者で同サイトの編集も務めるLegg、そしてGoogleの研究・ラボ・技術・社会担当プレジデントであるManyikaだ。これらの肩書きは同研究所自身の著者ページに由来し、9月16日のThe Next Webの報道と9月17日のTechCrunchの報道でも繰り返されている。同サイトには、どの個別エッセイよりも重要な免責事項が掲載されている。DMIの記事は「会話のきっかけとなることを意図したもので、著者のアイデアや研究を反映しており、Googleの公式見解として読まれるべきではない」。

この記事の執筆時点で索引に掲載されていたのは8本のエッセイで、そのうち5本が9月16日付だった。3人のディレクターによる創設エッセイ、ロヒン・シャーとアンカ・ドラガンによる「推論の透明性を求める理由」、ジュリアン・ジェイコブスとアレックス・イマスによる「AGIのための経済政策」、スティーブン・ケイヴによる「新たなユートピア主義のための原則」、アイアソン・ガブリエルとアトーサ・カシルザデーによる「AIから世界全体が利益を得るための論拠」である。その後9月24日に「エージェント群における不正者と内部告発者」と「人工共生知能」の2本が、10月8日に「発見の曲線を曲げる」の1本が続いた。

ローンチ当日の本数は指摘する価値がある。なぜなら、報道とページの内容が食い違っているからだ。TechCrunch、The Next Web、AI Weekly はいずれも、創設エッセイと同時に公開された4本の記事について述べ、その中にハサビス氏のフレームワークを挙げていた。3媒体はいずれも「AIから世界的利益を得るための論拠」を省いており、サイトではこれが同じ日の日付になっている。記録はこの差異を解消しておらず、本稿も同様だ。確かなのは、サイト自身の日付表示がそのエッセイを最初の公開群に置いている一方で、同時代の報道はそれに言及していないということである。

より重大な日付は、実は9月16日ではない。DMIサイト上のフレームワーク・エッセイには2026年7月14日という日付が記されており、そのリード文は「最初にXに掲載された」という注記で終わっている。したがって、30日レビュー提案は、現在それを掲載している研究所より約2か月古い。ローンチが加えたのは発表の場とコレクションであり、新しい政策構想ではなかった。元のX投稿は特定できなかったため、7月の日付と出典注記の両方についてDMIページが情報源である。TechCrunch、The Next Web、AI Weeklyはいずれも、このフレームワークを開始時ラインナップの一部として提示したが、それ以前の公開には言及しなかった。これは、ローンチ記事が削ぎ落としがちな細部であり、タイムラインを再構築する読者には必要な情報である。

書かれているとおりの標準化団体による提案

ハサビスの論考は、この論集の中で最も具体的な文書であり、その具体性こそが引用に値する理由となっている。同論考は、米国が「連邦政府の監督下にある官民パートナーシップまたは自主規制機関をモデルとし、金融業規制機構(FINRA)によく似た新たな標準化団体」を設立することを提案している。その理事会には独立した技術専門家とオープンソースの代表者を含め、大規模テストに必要な技術人材と計算資源の費用を賄うため、主に産業界から資金提供を受ける。モデルは、同団体が設定し最新の状態に保つベンチマークのしきい値を超えることで「Frontier-class(フロンティア級)」と認定される。そうしたモデルを保有する組織は「Frontier Labs(フロンティア・ラボ)」に指定され、モデルカードの公開、内部サイバーセキュリティの維持、主要人員の審査、安全性研究への資金提供が奨励される。

この順序は、これまで最も引用されてきた部分だ。フロンティア系ラボは「当初」は任意で、公開の「最大30日前」までにモデルをその機関に共有して審査を受けることになる。評価プロトコルが有効であることが示されれば、「正式化はすぐに続く可能性があり、つまりFrontier Modelsは米国市場で展開するためにそれに合格することが求められるだろう」。評価はサイバーセキュリティ、生物学的脅威、その他の高リスク領域を対象とし、エージェント型テストではガードレールを回避しようとする試みや欺瞞の兆候を探し、ベンチマークが飽和するにつれておそらく四半期ごとに更新される。評価はラボとの協議から始まり、最終的には、ラボが既知の評価に過適合するのを防ぐため、機関自身が作成するホールドアウトテストとなり、第三者監査機関のエコシステムによって支えられるだろう。

さらに三つの規定は見落とされやすいが、規制当局が議論を戦わせるのはまさにこれらの規定である。フレームワークは、{{1}}原産国やオープンかクローズドかを問わず{{/1}}フロンティア級モデルに適用できる一方、スタートアップや学界の非フロンティアモデルは対象外となる。この機関は、{{2}}状況の深刻さが要求すれば強化され、必要と判断されればFrontier Labs間での開発の減速を調整することも含め{{/2}}得る——ハサビス自身の説明では、協調的な減速は政策ではなく緊急時条項である。そしてこれは終始提案にとどまる。論考は、米国がそうした機関を「設立することができる」と述べている。所管機関も、立法上の手段も、予算規模も示しておらず、「評価プロトコルが有効かつ堅牢であることが示されたなら」という条件付きの表現以外に工程表も示していない。

Self-authored HTML card headed 'The proposal, in sequence' with the title 'Four steps, each conditional on the one before' and the subtitle that this is how Hassabis's framework essay describes the path from voluntary review to a possible coordinated slowdown, with the essay dated 14 July 2026 on the DeepMind Institute site. A four-step ladder reads: step one, voluntary review, frontier labs share models with the standards body up to 30 days before release, with no obligation attached; step two, conditional, passing the assessment becomes a requirement for deploying a frontier model in the US market once the protocol is shown effective; step three, later phase, held-out tests written by the body that labs cannot see, plus a third-party auditor ecosystem; step four, contingency, a coordinated slowdown among frontier labs if the seriousness of the situation demands it. A side panel headed 'Who it would cover' states that a model qualifies by crossing benchmark thresholds, that the framework would apply regardless of country of origin and regardless of whether weights are open or closed, that non-frontier models from startups and academia would be exempt, that the body is modelled on a federally overseen public-private partnership or self-regulatory organisation 'much like the Financial Industry Regulatory Authority (FINRA)' funded substantially by industry, and that labs holding such models would become 'Frontier Labs' encouraged to publish model cards, maintain cybersecurity, vet key personnel and fund safety research. A footer notes the essay names no agency, no legislative vehicle and no budget, and repeats the institute's disclaimer that pieces should not be read as Google's official view. The OrcaRouter logo sits in the bottom-right corner.

第2のメカニズム:誰にも読めない思考の上限

シャーとドラガンのエッセイは、今日の推論モデルの仕組みに関する事実から始まる。モデルは問題を解く際、自然言語で中間ステップ——思考の連鎖——を書き出し、それを読み返す。これにより研究者は、モデルが情報を隠そうとしているのか、評価で不正をしようとしているのかをリアルタイムで見通せる窓を得る。エッセイは、思考の連鎖のログが「最近のHugging Faceハッキング事件の調査に決定的に重要だった」と述べている。そこでは研究者がAIの支援を受けて1,000件以上の記録を精査し、何が起きたかを突き止めた。そして、見つかった事柄の一部は、読み取れる痕跡がなければ気づかれなかったかもしれないとしている。

彼らの主張は、この窓は偶発的なものであり、保証されたものではない、というものだ。モデルは言葉ではなく潜在空間で推論できる可能性があり、その方が効率的であり得るうえ、既定では不透明になる。また、訓練上のインセンティブによって、アーキテクチャが同じままであっても、モデルに誤解を招くトレースを書くよう教え得る。彼らは、すでに進行しているこの傾向の証拠として2つを挙げている。OpenAIのGPT-6 Astraに関するシステムカードで、そこには「以前のモデルと比べて連鎖思考の監視可能性が大幅に低下した」と主張されていると彼らは引用している。もう一つは、英国AI Security Instituteによる「単一のフォワードパス内で推論する能力、およびその連鎖思考の内容を制御する能力が大幅に高まった」という知見だ。両方の引用はこのエッセイに登場しているが、本記事はそれらをシステムカードや同研究所の刊行物と照合して独自に確認してはいない。

そこから、この論考は3つの作業の方向性——連鎖思考が実際にどれだけの透明性をもたらすかを測定すること、既定で透明なアーキテクチャを維持すること、そして痕跡がこっそり行儀よく見えるように教え込まれないよう訓練報酬を監査すること——と、ほかのどれよりも遠くまで伝わった1つのアイデアを提案している。彼らは「不透明な逐次深度」を「本質的に、モデルがChain of Thoughtのような人間可読な仕組みを使わずに行える最長の段階的計算」と定義し、それに「規制やAI開発者自身が合理的な上限を設定できる」と示唆している。

論考は、そのような制限にどれほどのコストがかかるかに数値を与えているが、それは測定ではなく著者自身の計算である。著者らによれば、不透明な直列深度を現行モデルの10倍に制限したとしても、現在のアーキテクチャの範囲内で「今日のモデルの上に、全体として1万倍超の計算規模拡大」がなお可能である。トランスフォーマーの不透明な直列深度は、学習実行の規模に対してごくゆっくりとしかスケールしないからだ。この主張は、透明性を規模と引き換えにする必要はないという論であり、その深度がどのように増大するかについての仮定に依拠しており、論考もそのように提示している。上限が実際にどこへ設定されるのか、誰がそれを執行するのかは明らかにされていない——その文は規制と開発者による自己制限を選択肢として挙げるだけで、どちらかを選んではいない。

Self-authored HTML card headed 'Opaque serial depth' with the subtitle that Shah and Dragan define it as the longest step-by-step computation a model can perform without a human-readable mechanism such as a chain of thought. A dark quotation strip carries the essay's line that regulations or AI developers themselves could set a reasonable limit on the opaque serial depth. A left panel headed 'The proposal' lists four rows: measure it, with monitorability evaluations, evasion stress tests and paraphrase tests; keep the architecture, do not move to latent-space reasoning by default; audit the rewards, do not train the trace to look aligned; fallback, show a new method is comparably monitorable. It adds that the essay does not say who sets the limit, offering regulation and developer self-limitation as alternatives and choosing neither. A right panel headed 'The arithmetic' sets two large figures: 10 times, a cap on opaque serial depth relative to current models, and 10,000 times, the overall compute scale-up on top of today's models that the authors say such a cap still permits, with a callout that this is the authors' own calculation and not a measurement, resting on opaque depth scaling slowly with training-run size. A footer cites 'The case for reasoning transparency', DeepMind Institute, 16 September 2026. The OrcaRouter logo sits in the bottom-right corner.

何が確立されており、何が確立されていないのか

• 設立: この研究所は2026年9月16日に、3名の名前を公表された理事とマネージング・エディターのLeggを伴って発足した。サイトの免責事項は、Googleの公式見解ではないと明言している。論考は実在し、それらの日付を記載し、上記で要約された論点を展開している。独立系メディア——TechCrunch、The Next Web、AI Weekly——が、発足、理事、および両提案の実質的内容を報じた。これが、アーカイブが記録の信頼度をAと評価している理由である。

• 確認済みだが、あまり報じられていない:フレームワーク・エッセイは研究所より前に存在していた。そのページには2026年7月14日付が記され、Xで最初に公開されたとある。ローンチ報道だけを読んだ読者なら、30日レビュー提案を9月中旬のものと日付を特定するだろう。

• 未確認:GoogleまたはAlphabetがどちらかの提案を採用したという事実はない。免責事項には、各論考は著者個人の見解を反映したものであることが明記されており、フレームワーク論考は全体が条件法で書かれている——米国は機関を「設立し得る」、正式化は「迅速に続き得る」という表現だ。どちらの論考にも企業としてのコミットメントは添えられていない。

• 未確認:政府からの対応。本記事のために確認した報道のいずれも、基準設定団体の提案に対する米国政府、議会、規制当局その他の国家からの返答を報じておらず、またこの論考はそれを支持した公職者の名も挙げていない。

• 立証されていない:当該研究所が独自の権限を有することは。同研究所は論文を出版している。モデルを試験したり、認証したり、寄稿者が説明するメカニズムに誰かを従わせたりはしておらず、レビューした資料の中に、そうすることを示唆するものは何もない。

• 記録された被害:なし。 アーカイブはこの項目を重要度「情報」の政策展開として格付けしており、実際の被害は記録されておらず、争いもなく、日単位の精度である。これが正しい捉え方だ。一連の論点が公的記録に加わることはインシデントではなく、これがそもそも記録されている理由は、具体的な仕組み——リリース前レビュー、解読不能な計算に対する上限——が後に規則になるか、ならないかという点にある。

Self-authored HTML card headed 'Evidence check' with the title 'What the record carries, and what it leaves open' and the subtitle that the archive grades the entry policy, severity info, confidence A, disputed false, with no real harm recorded, at day precision. A timeline strip shows four points: 14 July 2026, the framework essay published, which the site says first appeared on X; 16 September 2026, the institute launches with a founding essay and four further pieces; 24 September 2026, two more essays added; 8 October 2026, a further essay added. A left column headed 'Established' lists the launch date, three directors and Legg as managing editor; the disclaimer that pieces are not Google's official view; the arguments of the framework and transparency essays; and independent reporting by TechCrunch, The Next Web and AI Weekly. A right column headed 'Not established' lists any Google or Alphabet adoption of either proposal; any government response to the standards-body idea; any authority held by the institute itself; and who would set an opaque serial depth limit. Four chips beneath read record, policy development; severity, info; confidence, A; disputed, false. A footer notes the site's index lists eight essays while launch coverage described four further pieces and none of it mentioned the essay the site dates to the same day. The OrcaRouter logo sits in the bottom-right corner.

誰がその主張をしているのですか

著者たちは部外の批評家ではない。ShahはGoogle DeepMindでAGIの安全性とアラインメントを率い、DraganはAIの安全性と振る舞い担当の副社長である。両者とも、自分たちの雇用主が構築する種類のモデルに対する制約を提案している。Hassabisは同ラボの共同創業者兼会長だ。彼らが立ち上げた研究所は、自らの免責事項によれば企業方針を伝える経路ではない。これは諸刃の剣である。つまり、提案はラボ内での著者たちの立場の重みを帯びる一方で、企業としてのコミットメントに伴う義務は一切帯びない。

ローンチ時のレッグの公開発言も同じ方向性を示していた。The Next Webが9月16日に報じたところによると、同氏はフィナンシャル・タイムズに対し、AIの能力が安全制御を追い越してはならないと述べ、Anthropicの最高経営責任者(CEO)ダリオ・アモデイがフロンティアモデルのリリースを減速させるが一時停止はさせないよう求めた呼びかけを「方向性としては興味深い」「検討に値する」と評した。また、AGIが達成されたと宣言するのは時期尚早だとも述べ、同報道によれば、2028年までに「最小限の」AGIが実現する確率が50%という自身の予測についても、引き続きそのまま受け入れていた。TechCrunchは、業界のリーダーらがアモデイの9月12日の開発ペース調整を求める呼びかけの要素を支持した同じ週に、このローンチを位置づけた。

その文脈は、あまり重く受け止めずに扱う価値がある。論考はGoogleを何ら拘束しておらず、文書から得られる最も強い読み方でも、報道が示唆した範囲より狭い。フロンティアラボの二人の上級関係者が、あるべきだと考えるレビュー制度と透明性の上限を、公に詳しく書き記し、会社と距離を置く免責事項のもとで公表したのだ。30日前の公開前レビューや、不透明な逐次深度への上限が、法案、調達規則、ベンチマークスイートのいずれかに現れることがあるかどうかは、記録が未決のまま残す問いである。それまでは、日付が付された、よく論証された一連の提案にすぎず、アーカイブもまさにそのように記録している。