Abstrakt redaktionell illustration på ett djupt marinfält: en hög genomskinlig struktur står i mitten, byggd av staplade bleka ramar som smalnar av uppåt, som ett omärkt observatorium eller arkivvalv. Tunna cyanfärgade linjer utgår från strukturens bas och löper utåt till små fristående noder vid ramens kanter, där varje nod ligger på olika avstånd. Fina vita rutnätslinjer, svaga koncentriska bågar och en spridning av släckta punkter fyller bakgrunden. Konstverket innehåller ingen text, inga bokstäver, inga siffror, inga människor, inga organisationsmärken och inga logotyper; OrcaRouter-logotypen är inkomponerad i det nedre högra hörnet.
AI Safety Incidents

DeepMind öppnar ett AGI-policyinstitut, med en 30-dagars modellgranskning redan på bordet

Författare

Elias Hawthorne

Publiceringsdatum

Senaste modellerna · 20Visa alla modeller →
Benchmarks: Artificial Analysis · uppdateras dagligen
Tillbaka till alla inlägg

Den 16 september 2026 lanserade Google DeepMind DeepMind Institute, en publiceringsplattform för essäer om artificiell allmän intelligens, under ledning av Demis Hassabis, Shane Legg och James Manyika, med Legg som chefredaktör. Ingen modell släpptes och ingen skada registrerades. Lanseringen är viktig på grund av vad de inledande essäerna argumenterar för: en av Hassabis föreslår ett USA-lett standardiseringsorgan för frontier-AI som skulle granska de mest kapabla modellerna upp till 30 dagar före lansering – frivilligt till en början, därefter ett villkor för att få driftsätta i USA, med undanhållna tester och en möjlig samordnad inbromsning bakom sig. En annan, av DeepMind-säkerhetsforskarna Rohin Shah och Anca Dragan, argumenterar för att sätta ett tak för "ogenomskinligt seriellt djup", den beräkning en modell får utföra utan att avge ett läsbart resonemangsspår. Arkivets dokumentation av lanseringen, med dess bedömning och citerade källor, finns i AI-incidentarkivet tillsammans med de övriga styrningsposterna i den här serien.

Vad lanserades, och vad är faktiskt nytt?

The DeepMind Institute är en publikationsplattform, inte en reglerande myndighet. Dess tre direktörer är Hassabis, medgrundare och ordförande för Google DeepMind samt chefsforskare vid Alphabet; Legg, medgrundare och chefsforskare för AGI, som också redigerar webbplatsen; och Manyika, Googles president för forskning, labb, teknik och samhälle. Dessa titlar kommer från institutets egna författarsidor och upprepas i The Next Web:s rapport från 16 september och TechCrunchs från 17 september. Webbplatsen har en friskrivning som spelar större roll än någon enskild essä: DMI-texter är ”avsedda att fungera som samtalsstartare, spegla författarens idéer och forskning och bör inte läsas som Googles officiella hållning.”

När den här artikeln skrevs listade indexet åtta essäer, varav fem var daterade den 16 september: den grundande essän av de tre direktörerna; "Argumentet för transparens i resonemang" av Rohin Shah och Anca Dragan; "Ekonomisk politik för AGI" av Julian Jacobs och Alex Imas; "Principer för en ny utopism" av Stephen Cave; och "Argumentet för global nytta av AI" av Iason Gabriel och Atoosa Kasirzadeh. Två till följde den 24 september – "Fuskare och visselblåsare i agentsvärmen" och "Artificiell symbiotisk intelligens" – och en den 8 oktober, "Böja kurvan för upptäckter".

Antalet på lanseringsdagen är värt att uppmärksamma eftersom rapporteringen inte stämmer överens med sidan. TechCrunch, The Next Web och AI Weekly beskrev var och en fyra texter som publicerades tillsammans med den grundande essän och tog var och en upp Hassabis ramverk bland dem. Alla tre utelämnade "The case for global benefit from AI", som webbplatsen daterar till samma dag. Underlaget löser inte skillnaden, och det gör inte den här artikeln heller; vad som är säkert är att webbplatsens egna datumstämplar placerar den essän i den inledande uppsättningen och att de samtida rapporterna inte nämner den.

Det datum som väger tyngre är inte alls 16 september. Essän om ramverket är daterad 14 juli 2026 på DMI:s webbplats, och dess ingress slutar med notisen att den "först publicerades på X". Förslaget om 30-dagarsöversynen är därför ungefär två månader äldre än institutet som nu är värd för det; det lanseringen tillförde var en arena och en samling, inte en ny politisk idé. Vi hittade inte det ursprungliga X-inlägget, så DMI-sidan är källan till både julidatumet och härkomstnotisen. TechCrunch, The Next Web och AI Weekly presenterade alla ramverket som en del av det inledande utbudet utan att nämna den tidigare publiceringen, vilket är precis den sorts detalj som en lanseringsartikel slätar över men som en läsare som rekonstruerar tidslinjen behöver.

Standardiseringsorganets förslag, så som det är skrivet

Hassabis essä är det mest konkreta dokumentet i samlingen, och dess specificitet är det som gör den citerbar. Den föreslår att USA inrättar "ett nytt standardiseringsorgan modellerat efter ett federalt övervakat offentligt-privat partnerskap eller en självreglerande organisation, ungefär som Financial Industry Regulatory Authority (FINRA)", med en styrelse som inkluderar oberoende tekniska experter och representanter för öppen källkod, finansierat till stor del av industrin för att betala för teknisk kompetens och den datorkraft som storskalig testning kräver. En modell skulle kvalificera sig som "Frontier-class" genom att överskrida tröskelvärden för benchmarks som organet fastställer och håller aktuella; organisationer som har sådana modeller skulle betecknas "Frontier Labs" och uppmuntras att publicera modellkort, upprätthålla intern cybersäkerhet, granska nyckelpersonal och finansiera säkerhetsforskning.

Själva sekvensen är den del som har citerats mest. Frontier-labb skulle ”inledningsvis” dela modeller med organet för granskning ”upp till 30 dagar före lansering”, frivilligt. När bedömningsprotokollet har visat sig vara effektivt, ”skulle en formalisering snabbt kunna följa, vilket innebär att Frontier Models skulle behöva klara det för att få driftsättas på den amerikanska marknaden.” Bedömningarna skulle omfatta cybersäkerhet, biologiska hot och andra högriskområden, med agentiska tester som letar efter försök att kringgå skyddsräcken eller tecken på vilseledande, och de skulle uppdateras kanske kvartalsvis i takt med att benchmarks mättas. Utvärderingarna skulle inledas i samråd med labben och så småningom bli undanhållna tester som organet självt skriver, för att hindra labb från att överanpassa sig till kända utvärderingar, med stöd av ett ekosystem av tredjepartsrevisorer.

Ytterligare tre bestämmelser är lätta att missa och är de som en tillsynsmyndighet skulle tvista om. Ramverket skulle kunna tillämpas på modeller i frontlinjeklass ”oavsett deras ursprungsland eller om de är öppna eller stängda”, medan icke-frontlinjemodeller från startupföretag eller akademin skulle undantas. Organet skulle kunna ”trappas upp om situationens allvar kräver det, inklusive att samordna en nedtrappning av utvecklingen bland Frontier Labs om det anses nödvändigt” – den samordnade nedtrappningen är, med Hassabis egna ord, en nödfallsklausul snarare än en policy. Och det är genomgående ett förslag: essän säger att USA ”skulle kunna inrätta” ett sådant organ. Det anger ingen myndighet, inget lagstiftningsinstrument, inget budgetbelopp och ingen tidsplan bortom det villkorade ”när bedömningsprotokollet har visat sig vara effektivt och robust”.

Self-authored HTML card headed 'The proposal, in sequence' with the title 'Four steps, each conditional on the one before' and the subtitle that this is how Hassabis's framework essay describes the path from voluntary review to a possible coordinated slowdown, with the essay dated 14 July 2026 on the DeepMind Institute site. A four-step ladder reads: step one, voluntary review, frontier labs share models with the standards body up to 30 days before release, with no obligation attached; step two, conditional, passing the assessment becomes a requirement for deploying a frontier model in the US market once the protocol is shown effective; step three, later phase, held-out tests written by the body that labs cannot see, plus a third-party auditor ecosystem; step four, contingency, a coordinated slowdown among frontier labs if the seriousness of the situation demands it. A side panel headed 'Who it would cover' states that a model qualifies by crossing benchmark thresholds, that the framework would apply regardless of country of origin and regardless of whether weights are open or closed, that non-frontier models from startups and academia would be exempt, that the body is modelled on a federally overseen public-private partnership or self-regulatory organisation 'much like the Financial Industry Regulatory Authority (FINRA)' funded substantially by industry, and that labs holding such models would become 'Frontier Labs' encouraged to publish model cards, maintain cybersecurity, vet key personnel and fund safety research. A footer notes the essay names no agency, no legislative vehicle and no budget, and repeats the institute's disclaimer that pieces should not be read as Google's official view. The OrcaRouter logo sits in the bottom-right corner.

Den andra mekanismen: ett tak för tänkande som ingen kan läsa

Shahs och Dragans essä utgår från ett faktum om hur dagens resonerande modeller fungerar. De löser problem genom att skriva ut mellanliggande steg i naturligt språk – en tankekedja – och läsa tillbaka den, vilket ger forskare ett levande fönster in i huruvida en modell planerar att dölja information eller fuska i en utvärdering. Essän anger att loggar över tankekedjor var "avgörande för att utreda den nyligen inträffade hackingincidenten hos Hugging Face", där forskare granskade mer än 1 000 transkript med AI-stöd för att fastställa vad som hade hänt, och att en del av det de hittade kan ha gått obemärkt förbi utan ett läsbart spår.

Deras argument är att detta fönster är villkorat, inte garanterat. Modeller skulle kunna resonera i ett latent rum i stället för i ord, vilket kan vara effektivare och som standard skulle vara ogenomträngligt, och träningsincitament kan lära en modell att skriva ett vilseledande spår även när arkitekturen förblir densamma. De åberopar två bevis för att trenden redan pågår: OpenAI:s systemkort för GPT-6 Astra, som de citerar för påståendet "en betydande minskning av övervakbarheten hos tankekedjor jämfört med tidigare modeller", och en slutsats från UK AI Security Institute om "kraftigt ökad förmåga att resonera inom en enda forward-pass, och förmåga att styra innehållet i sin tankekedja". Båda citaten förekommer i essän; den här artikeln har inte självständigt kontrollerat dem mot systemkortet eller institutets publikation.

Därifrån föreslår essän tre arbetslinjer – att mäta hur mycket transparens en tankekedja faktiskt ger, att behålla arkitekturer som är transparenta som standard och att granska träningsbelöningar så att spåret inte i tysthet lärs att se välartat ut – samt en idé som har färdats längre än de övriga. De definierar ”ogenomskinligt seriellt djup” som ”i huvudsak den längsta steg-för-steg-beräkning en modell kan utföra utan att behöva använda en människoläsbar mekanism som Chain of Thought”, och föreslår att ”regleringar eller AI-utvecklare själva skulle kunna sätta en rimlig gräns” för den.

Essän sätter en siffra på vad en sådan gräns skulle kosta, och det är författarnas egen beräkning snarare än en mätning. Om det opaka seriella djupet begränsades till tio gånger det hos nuvarande modeller, skriver de, skulle det fortfarande tillåta "en övergripande uppskalning av beräkningskapaciteten med mer än 10 000 gånger ovanpå dagens modeller" inom den nuvarande arkitekturen, eftersom en transformers opaka seriella djup skalar mycket långsamt med storleken på en träningskörning. Påståendet är ett argument för att transparens inte behöver bytas mot skala; det vilar på ett antagande om hur det djupet växer, och essän presenterar det som just ett sådant antagande. Var taket faktiskt skulle sättas, och vem som skulle upprätthålla det, lämnas öppet — meningen erbjuder reglering och utvecklarnas självbegränsning som alternativ och väljer inte mellan dem.

Self-authored HTML card headed 'Opaque serial depth' with the subtitle that Shah and Dragan define it as the longest step-by-step computation a model can perform without a human-readable mechanism such as a chain of thought. A dark quotation strip carries the essay's line that regulations or AI developers themselves could set a reasonable limit on the opaque serial depth. A left panel headed 'The proposal' lists four rows: measure it, with monitorability evaluations, evasion stress tests and paraphrase tests; keep the architecture, do not move to latent-space reasoning by default; audit the rewards, do not train the trace to look aligned; fallback, show a new method is comparably monitorable. It adds that the essay does not say who sets the limit, offering regulation and developer self-limitation as alternatives and choosing neither. A right panel headed 'The arithmetic' sets two large figures: 10 times, a cap on opaque serial depth relative to current models, and 10,000 times, the overall compute scale-up on top of today's models that the authors say such a cap still permits, with a callout that this is the authors' own calculation and not a measurement, resting on opaque depth scaling slowly with training-run size. A footer cites 'The case for reasoning transparency', DeepMind Institute, 16 September 2026. The OrcaRouter logo sits in the bottom-right corner.

Vad som är fastställt, och vad som inte är det

• Grundat: institutet lanserades den 16 september 2026 med tre namngivna direktörer och Legg som redaktionschef; webbplatsens ansvarsfriskrivning anger att den inte företräder Googles officiella ståndpunkt; essäerna finns, är daterade till dessa datum och framför de argument som sammanfattas ovan. Oberoende medier – TechCrunch, The Next Web och AI Weekly – rapporterade om lanseringen, direktörerna och innehållet i båda förslagen, vilket är anledningen till att arkivet ger uppgiften tillförlitlighetsbetyget A.

• Fastställt, och underrapporterat: ramverksessäen föregår institutet. Dess sida har ett datum den 14 juli 2026 och anger att den först publicerades på X. En läsare som bara tog del av lanseringsrapporteringen skulle datera förslaget om 30-dagarsgranskning till mitten av september.

• Inte fastställt: att Google eller Alphabet har antagit något av förslagen. Ansvarsfriskrivningen är tydlig med att texterna återspeglar sina författare, och ramverksessäen är genomgående skriven i konditionalis – USA "skulle kunna inrätta" ett organ; formalisering "skulle snabbt kunna följa". Ingen företagsutfästelse åtföljer någon av essäerna.

• Ej fastställt: något regeringssvar. Ingen av den rapportering som granskats för den här artikeln rapporterar något svar från USA:s regering, kongressen, en tillsynsmyndighet eller någon annan stat på standardiseringsorganets förslag, och essän nämner ingen tjänsteman som har stött det.

• Ej fastställt: att institutet har någon egen befogenhet. Det publicerar essäer. Det testar inte modeller, certifierar dem inte och ställer inte någon till svars för de mekanismer som dess bidragsgivare beskriver, och inget i det granskade materialet tyder på att det kommer att göra det.

• Registrerad skada: ingen. Arkivet klassar den här posten som en policyutveckling med allvarlighetsgraden info, utan någon registrerad faktisk skada, ostridigt, med dags precision. Det är den korrekta inramningen för den: en uppsättning argument som förs in i det offentliga registret är inte en incident, och anledningen till att den alls loggas är att konkreta mekanismer – en granskning före lansering, ett tak för oläsbar beräkning – är det som senare blir regler eller inte.

Self-authored HTML card headed 'Evidence check' with the title 'What the record carries, and what it leaves open' and the subtitle that the archive grades the entry policy, severity info, confidence A, disputed false, with no real harm recorded, at day precision. A timeline strip shows four points: 14 July 2026, the framework essay published, which the site says first appeared on X; 16 September 2026, the institute launches with a founding essay and four further pieces; 24 September 2026, two more essays added; 8 October 2026, a further essay added. A left column headed 'Established' lists the launch date, three directors and Legg as managing editor; the disclaimer that pieces are not Google's official view; the arguments of the framework and transparency essays; and independent reporting by TechCrunch, The Next Web and AI Weekly. A right column headed 'Not established' lists any Google or Alphabet adoption of either proposal; any government response to the standards-body idea; any authority held by the institute itself; and who would set an opaque serial depth limit. Four chips beneath read record, policy development; severity, info; confidence, A; disputed, false. A footer notes the site's index lists eight essays while launch coverage described four further pieces and none of it mentioned the essay the site dates to the same day. The OrcaRouter logo sits in the bottom-right corner.

Vem är det som för fram argumenten?

Författarna är inte utomstående kritiker. Shah leder AGI-säkerhet och alignment på Google DeepMind och Dragan är dess vice vd för AI-säkerhet och beteende; båda föreslår begränsningar för den typ av modeller som deras egen arbetsgivare bygger. Hassabis är labbets medgrundare och ordförande. Institutet de lanserade är enligt sin egen friskrivning inte en kanal för företagets policy – vilket har två sidor: förslagen bär tyngden av författarnas ställning inom labbet, men ingen av ett företagsåtagandes förpliktelser.

Leggs offentliga kommentarer vid lanseringen pekade i samma riktning. Han sade till Financial Times, enligt The Next Webs rapport den 16 september, att AI-förmågor inte får springa ifrån säkerhetskontrollerna, och kallade Anthropics vd Dario Amodeis uppmaning att sakta ner – men inte pausa – lanseringarna av frontmodeller för "intressant till sin inriktning" och "värd att överväga". Han sade också att det var för tidigt att förklara att AGI hade uppnåtts, och enligt rapporten var han fortfarande bekväm med sin prognos om 50 procents chans till "minimal" AGI till 2028. TechCrunch placerade lanseringen i samma vecka som branschledare ställde sig bakom delar av Amodeis uppmaning den 12 september att anpassa utvecklingstakten.

Det sammanhanget bör man inte fästa för stor vikt vid. Essäerna förpliktar inte Google till något, och den starkaste tolkning som dokumenten medger är snävare än vad bevakningen antydde: två ledande personer vid ett laboratorium i forskningsfronten har offentligt och i detalj skrivit ned den granskningsordning och det transparenstak som de anser borde finnas, och publicerat dem under en ansvarsfriskrivning som håller företaget på armlängds avstånd. Huruvida en 30-dagars förhandsgranskning före lansering eller ett tak för ogenomträngligt seriellt djup någonsin dyker upp i ett lagförslag, en upphandlingsregel eller en benchmarksvit är den fråga som materialet lämnar öppen. Fram till dess är det en välargumenterad uppsättning förslag med ett datum fäst vid sig – vilket är precis vad arkivet registrerar det som.