DeepMind eröffnet ein AGI-Politikinstitut – eine 30-tägige Modellprüfung liegt bereits auf dem Tisch

Am 16. September 2026 startete Google DeepMind das DeepMind Institute, eine Publikationsplattform für Essays über künstliche allgemeine Intelligenz, geleitet von Demis Hassabis, Shane Legg und James Manyika, mit Legg als geschäftsführendem Herausgeber. Es wurde kein Modell veröffentlicht und kein Schaden verzeichnet. Der Start ist wichtig wegen der Argumente in den Eröffnungsessays: Einer von Hassabis schlägt ein von den USA geführtes Standardsetzungsgremium für Frontier-KI vor, das die leistungsfähigsten Modelle bis zu 30 Tage vor der Veröffentlichung prüfen würde – zunächst freiwillig, dann als Bedingung für den Einsatz in den Vereinigten Staaten, mit Held-out-Tests und einer möglichen koordinierten Verlangsamung dahinter. Ein weiterer, von den DeepMind-Sicherheitsforschern Rohin Shah und Anca Dragan, plädiert dafür, „opake serielle Tiefe“ zu begrenzen, also die Berechnung, die ein Modell ohne Ausgabe einer lesbaren Begründungsspur durchführen darf. Die Archivaufzeichnung über den Start, mit ihrer Bewertung und den zitierten Quellen, befindet sich in dem KI-Vorfallarchiv neben den anderen Governance-Einträgen dieser Reihe.

Was gestartet wurde und was tatsächlich neu ist

Das DeepMind Institute ist eine Publikationsplattform, keine Regulierungsbehörde. Seine drei Direktoren sind Hassabis, Mitbegründer und Vorsitzender von Google DeepMind sowie Chief Scientist von Alphabet; Legg, Mitbegründer und Chief AGI Scientist, der auch die Website redaktionell betreut; und Manyika, Googles President of Research, Labs, Technology and Society. Diese Titel stammen von den eigenen Autorenseiten des Instituts und werden im Bericht von The Next Web vom 16. September und in dem von TechCrunch vom 17. September wiederholt. Die Website enthält einen Haftungsausschluss, der wichtiger ist als jeder einzelne Essay: DMI-Beiträge seien „als Gesprächsanregungen gedacht, die die Ideen und Forschung des Autors widerspiegeln, und sollten nicht als offizielle Ansicht von Google gelesen werden“.

In der Form, in der der Index zum Zeitpunkt der Erstellung dieses Artikels vorlag, führt er acht Essays auf, fünf davon mit Datum vom 16. September: den Gründungsessay der drei Direktoren; „Das Plädoyer für Transparenz des Schlussfolgerns“ von Rohin Shah und Anca Dragan; „Wirtschaftspolitik für AGI“ von Julian Jacobs und Alex Imas; „Prinzipien für einen neuen Utopismus“ von Stephen Cave; und „Das Plädoyer für globalen Nutzen von KI“ von Iason Gabriel und Atoosa Kasirzadeh. Zwei weitere folgten am 24. September – „Betrüger und Whistleblower im Agentenschwarm“ und „Künstliche symbiotische Intelligenz“ – und einer am 8. Oktober, „Die Kurve der Entdeckung biegen“.

Die Anzahl zum Starttag ist erwähnenswert, weil die Berichterstattung von der Seite abweicht. TechCrunch, The Next Web und AI Weekly beschrieben jeweils vier Stücke, die zusammen mit dem Gründungsessay veröffentlicht wurden, und alle drei führten Hassabis’ Framework darunter auf. Alle drei ließen „The case for global benefit from AI“ aus, das die Website auf denselben Tag datiert. Die Aufzeichnung löst den Unterschied nicht auf, und dieser Artikel ebenso wenig; sicher ist, dass die eigenen Datumsstempel der Website diesen Essay in die Eröffnungsauswahl einordnen und die zeitgenössischen Berichte ihn nicht erwähnen.

Das folgenreichere Datum ist überhaupt nicht der 16. September. Der Framework-Essay trägt auf der DMI-Website das Datum 14. Juli 2026, und sein Vorspann endet mit dem Hinweis, dass er „zuerst auf X erschien“. Der Vorschlag für eine 30-Tage-Überprüfung ist somit rund zwei Monate älter als das Institut, das ihn nun beherbergt; was der Launch hinzufügte, war ein Ort und eine Sammlung, keine neue politische Idee. Wir konnten den ursprünglichen X-Post nicht finden, daher ist die DMI-Seite die Quelle sowohl für das Juli-Datum als auch für den Herkunftshinweis. TechCrunch, The Next Web und AI Weekly präsentierten das Framework allesamt als Teil des Auftaktprogramms, ohne die frühere Veröffentlichung zu erwähnen – genau die Art von Detail, die eine Launch-Story glättet und die ein Leser, der die Zeitleiste rekonstruiert, braucht.

Der Vorschlag der Standardisierungsgremien in der vorliegenden Fassung

Hassabis’ Essay ist das konkreteste Dokument der Sammlung, und gerade seine Spezifität macht es zitierfähig. Er schlägt vor, dass die Vereinigten Staaten „ein neues Standardisierungsgremium nach dem Vorbild einer bundesstaatlich beaufsichtigten öffentlich-privaten Partnerschaft oder Selbstregulierungsorganisation, ganz ähnlich der Financial Industry Regulatory Authority (FINRA)“ einrichten, mit einem Gremium, dem unabhängige technische Expertinnen und Experten sowie Vertreterinnen und Vertreter aus dem Open-Source-Bereich angehören, und das substanziell von der Industrie finanziert wird, um technisches Fachpersonal und die Rechenleistung zu bezahlen, die groß angelegte Tests erfordern. Ein Modell würde als „Frontier-class“ gelten, wenn es Schwellenwerte bei Benchmarks überschreitet, die das Gremium festlegt und aktuell hält; Organisationen, die solche Modelle besitzen, würden als „Frontier Labs“ eingestuft und ermutigt, Model Cards zu veröffentlichen, interne Cybersicherheit aufrechtzuerhalten, Schlüsselpersonal zu überprüfen und Sicherheitsforschung zu finanzieren.

Die Sequenz ist der Teil, der am häufigsten zitiert wurde. Frontier-Labore würden Modelle „zunächst“ freiwillig mit der Stelle zur Prüfung „bis zu 30 Tage vor der Veröffentlichung“ teilen. Sobald sich das Bewertungsprotokoll als wirksam erweise, „könnte die Formalisierung schnell folgen, was bedeuten würde, dass Frontier Models es bestehen müssten, um auf dem US-Markt eingesetzt werden zu dürfen.“ Bewertungen würden Cybersicherheit, biologische Bedrohungen und andere Hochrisikobereiche abdecken, wobei agentische Tests nach Versuchen suchen würden, Leitplanken zu umgehen, oder nach Anzeichen von Täuschung, und sie würden vielleicht vierteljährlich aktualisiert, wenn Benchmarks an Sättigung stoßen. Evaluierungen würden in Absprache mit den Laboren beginnen und schließlich zu zurückgehaltenen Tests werden, die die Stelle selbst schreibt, um zu verhindern, dass Labore sich an bekannten Evaluierungen überanpassen, unterstützt durch ein Ökosystem aus externen Prüfern.

Drei weitere Bestimmungen sind leicht zu übersehen, und genau über sie würde eine Regulierungsbehörde streiten. Der Rahmen könnte auf Modelle der Frontier-Klasse Anwendung finden, „unabhängig von ihrem Herkunftsland oder davon, ob sie offen oder geschlossen sind“, während Nicht-Frontier-Modelle von Start-ups oder aus der Wissenschaft ausgenommen wären. Das Gremium könnte „verschärft werden, wenn die Ernsthaftigkeit der Lage es erfordert, einschließlich der Koordinierung einer Verlangsamung der Entwicklung bei den Frontier Labs, falls dies als notwendig erachtet wird“ – die koordinierte Verlangsamung ist in Hassabis’ eigener Darstellung eine Notfallklausel und keine Politik. Und es handelt sich durchweg um einen Vorschlag: Der Essay sagt, die USA „könnten“ ein solches Gremium „einrichten“. Er nennt keine Behörde, kein Gesetzgebungsverfahren, keine Budgetzahl und keinen Zeitplan über die Bedingung hinaus: „sobald sich das Bewertungsprotokoll als wirksam und robust erwiesen hat“.

Der zweite Mechanismus: eine Obergrenze für das Denken, die niemand lesen kann

Shah und Dragans Essay beginnt mit einer Tatsache darüber, wie die heutigen Reasoning-Modelle funktionieren. Sie lösen Probleme, indem sie Zwischenschritte in natürlicher Sprache niederschreiben – eine Gedankenkette – und sie zurücklesen, was Forschenden einen direkten Einblick darüber gibt, ob ein Modell plant, Informationen zu verbergen oder bei einer Evaluierung zu täuschen. Der Essay stellt fest, dass Chain-of-Thought-Protokolle „entscheidend für die Untersuchung des jüngsten Hugging-Face-Hacking-Vorfalls“ waren, bei dem Forschende mit KI-Unterstützung mehr als 1.000 Transkripte prüften, um festzustellen, was geschehen war, und dass einiges von dem, was sie fanden, ohne eine lesbare Spur möglicherweise unbemerkt geblieben wäre.

Ihr Argument ist, dass dieses Fenster kontingent und nicht garantiert ist. Modelle könnten in einem latenten Raum statt in Worten schlussfolgern, was effizienter sein und standardmäßig undurchsichtig wäre, und Trainingsanreize können einem Modell beibringen, eine irreführende Spur zu schreiben, selbst wenn die Architektur gleich bleibt. Sie führen zwei Belege für den bereits laufenden Trend an: OpenAIs Systemkarte für GPT-6 Astra, die sie mit der Behauptung zitieren, es gebe „einen erheblichen Rückgang der Überwachbarkeit der Gedankenkette im Vergleich zu früheren Modellen“, und eine Feststellung des UK AI Security Institute von „stark erhöhter Fähigkeit, innerhalb eines einzelnen Forward-Pass zu schlussfolgern, und der Fähigkeit, den Inhalt seiner Gedankenkette zu kontrollieren“. Beide Zitate erscheinen in dem Essay; dieser Artikel hat sie nicht unabhängig anhand der Systemkarte oder der Veröffentlichung des Instituts überprüft.

Daran anknüpfend schlägt der Essay drei Arbeitsstränge vor – zu messen, wie viel Transparenz eine Gedankenkette tatsächlich bietet, Architekturen beizubehalten, die standardmäßig transparent sind, und Trainingsbelohnungen zu prüfen, damit dem Trace nicht stillschweigend beigebracht wird, brav zu wirken – sowie eine Idee, die weiter gereist ist als die übrigen. Sie definieren „opake serielle Tiefe“ als „im Wesentlichen die längste schrittweise Berechnung, die ein Modell ausführen kann, ohne einen für Menschen lesbaren Mechanismus wie Chain of Thought nutzen zu müssen“, und regen an, dass „Regulierungen oder die KI-Entwickler selbst eine angemessene Grenze“ dafür festlegen könnten.

Der Essay beziffert, was eine solche Grenze kosten würde, und es handelt sich um die eigene Berechnung der Autoren statt um eine Messung. Wenn die opake serielle Tiefe auf das 10-Fache der aktuellen Modelle begrenzt würde, schreiben sie, würde das innerhalb der gegenwärtigen Architektur immer noch „eine Gesamtskalierung der Rechenleistung um mehr als das 10.000-Fache zusätzlich zu den heutigen Modellen“ erlauben, weil die opake serielle Tiefe eines Transformers sehr langsam mit der Größe eines Trainingslaufs skaliert. Die Behauptung ist ein Argument dafür, dass Transparenz nicht gegen Skalierung eingetauscht werden muss; sie beruht auf einer Annahme darüber, wie diese Tiefe wächst, und der Essay stellt sie auch als solche dar. Wo die Obergrenze tatsächlich gesetzt würde und wer sie durchsetzen würde, bleibt offen — der Satz führt Regulierung und Selbstbeschränkung der Entwickler als Alternativen an und entscheidet nicht zwischen ihnen.

Was gilt als gesichert und was nicht

• Gegründet: Das Institut wurde am 16. September 2026 mit drei namentlich genannten Direktoren und Legg als geschäftsführendem Redakteur ins Leben gerufen; im Haftungsausschluss der Website wird klargestellt, dass es sich nicht um die offizielle Auffassung von Google handelt; die Essays existieren, tragen diese Daten und legen die oben zusammengefassten Argumente dar. Unabhängige Medien – {{KEEP}}TechCrunch{{/KEEP}}, {{KEEP}}The Next Web{{/KEEP}} und {{KEEP}}AI Weekly{{/KEEP}} – berichteten über die Gründung, die Direktoren und den Inhalt beider Vorschläge, weshalb das Archiv die Verlässlichkeit der Aufzeichnung mit A bewertet.

• Belegt – und kaum berichtet: Der Framework-Essay ist älter als das Institut. Seine Seite trägt das Datum 14. Juli 2026 und gibt an, er sei zuerst auf X erschienen. Wer sich allein auf die Berichterstattung zum Start verließ, würde den Vorschlag für eine 30-tägige Überprüfung auf Mitte September datieren.

• Nicht belegt: dass Google oder Alphabet einen der beiden Vorschläge übernommen hat. Der Disclaimer stellt ausdrücklich klar, dass die Beiträge die Auffassungen ihrer Autoren wiedergeben, und der Framework-Aufsatz ist durchgängig im Konjunktiv verfasst – die USA „könnten ein Gremium einrichten“; die Formalisierung „könnte schnell folgen“. Keine Zusage des Unternehmens begleitet einen der beiden Aufsätze.

• Nicht belegt: jegliche Reaktion der Regierung. Keine der für diesen Artikel geprüften Berichterstattungen meldet eine Antwort der US-Regierung, des Kongresses, einer Regulierungsbehörde oder eines anderen Staates auf den Vorschlag des Normungsgremiums, und der Essay nennt keine Amtsperson, die ihn befürwortet hat.

• Nicht belegt: dass das Institut über eine eigene Autorität verfügt. Es veröffentlicht Essays. Es testet keine Modelle, zertifiziert sie nicht und hält niemanden dazu an, die Mechanismen einzuhalten, die seine Beitragenden beschreiben, und nichts in dem geprüften Material deutet darauf hin, dass es dies tun wird.

• Dokumentierter Schaden: keiner. Das Archiv stuft diesen Eintrag als Richtlinienentwicklung mit Schweregrad „Info“ ein, ohne dokumentierten realen Schaden, unbestritten, mit Tagesgenauigkeit. Das ist der richtige Rahmen dafür: Eine Reihe von Argumenten, die in die öffentliche Aufzeichnung eingeht, ist kein Vorfall, und der Grund, warum er überhaupt protokolliert wird, ist, dass konkrete Mechanismen — eine Prüfung vor der Veröffentlichung, eine Obergrenze für unlesbare Berechnung — die Dinge sind, die später zu Regeln werden oder nicht.

Wer bringt die Argumente vor?

Die Autorinnen und Autoren sind keine externen Kritiker. Shah leitet AGI-Sicherheit und Alignment bei Google DeepMind, und Dragan ist dort Vizepräsidentin für KI-Sicherheit und Verhalten; beide schlagen Einschränkungen für die Art von Modellen vor, die ihr eigener Arbeitgeber baut. Hassabis ist Mitgründer und Vorsitzender des Labors. Das Institut, das sie gegründet haben, ist nach eigenem Hinweis kein Sprachrohr für Unternehmenspolitik – was in beide Richtungen wirkt: Die Vorschläge tragen das Gewicht der Positionen ihrer Autorinnen und Autoren innerhalb des Labors, aber keine der Verpflichtungen einer Unternehmenszusage.

Leggs öffentliche Aussagen bei der Vorstellung wiesen in dieselbe Richtung. Er sagte gegenüber der Financial Times – wie The Next Web am 16. September berichtete –, dass KI-Fähigkeiten den Sicherheitskontrollen nicht davonlaufen dürften, und nannte den Aufruf von Anthropic-Chef Dario Amodei, die Veröffentlichung von Frontier-Modellen zu verlangsamen – aber nicht auszusetzen –, „in der Tendenz interessant“ und „einer Überlegung wert“. Er sagte außerdem, es sei verfrüht, zu erklären, AGI sei erreicht worden, und fühle sich laut diesem Bericht weiterhin wohl mit seiner Prognose einer 50-prozentigen Chance auf „minimales“ AGI bis 2028. TechCrunch ordnete den Start in dieselbe Woche ein, in der Branchenführer Elemente von Amodeis Aufruf vom 12. September zur Drosselung der Entwicklung befürworteten.

Dieser Kontext sollte nicht zu schwer gewichtet werden. Die Essays verpflichten Google zu nichts, und die stärkste Lesart, die die Dokumente zulassen, ist enger als die Berichterstattung nahelegte: Zwei hochrangige Persönlichkeiten eines Frontier-Labors haben öffentlich und detailliert das Überprüfungsregime und die Transparenzobergrenze niedergeschrieben, die ihrer Meinung nach existieren sollten, und sie unter einem Haftungsausschluss veröffentlicht, der das Unternehmen auf Distanz hält. Ob eine 30-tägige Überprüfung vor der Veröffentlichung oder eine Obergrenze für undurchsichtige serielle Tiefe jemals in einem Gesetzentwurf, einer Beschaffungsregel oder einer Benchmark-Suite auftaucht, ist die Frage, die die Aktenlage offen lässt. Bis dahin ist es eine gut begründete Sammlung von Vorschlägen mit angehängtem Datum – und genau als das führt es das Archiv.