Абстрактная редакционная иллюстрация на глубоком тёмно-синем поле: в центре стоит высокая полупрозрачная структура, построенная из сложенных бледных рам, которые сужаются кверху, как необозначенная обсерватория или хранилище записей. Тонкие голубые линии выходят из основания структуры и тянутся наружу к небольшим отдельным узлам по краям кадра, причём каждый узел удалён на разное расстояние. Тонкие белые линии сетки, слабые концентрические дуги и россыпь незажжённых точек заполняют фон. На изображении нет текста, букв, цифр, людей, organisational marks и логотипов; логотип OrcaRouter наложен в правом нижнем углу.
AI Safety Incidents

DeepMind открывает институт политики в области AGI, а 30-дневная проверка моделей уже на повестке дня

Автор

Elias Hawthorne

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

16 сентября 2026 года Google DeepMind запустила DeepMind Institute — издательскую платформу для эссе об искусственном общем интеллекте, под руководством Демиса Хассабиса, Шейна Легга и Джеймса Маньики, причём Легг стал главным редактором. Ни одна модель не была выпущена, и никакой вред не зафиксирован. Запуск важен тем, что утверждают вступительные эссе: одно, авторства Хассабиса, предлагает орган по стандартам передового ИИ под руководством США, который проверял бы самые способные модели не позднее чем за 30 дней до выпуска — сначала добровольно, затем как условие развёртывания в США, с закрытыми тестами и возможным скоординированным замедлением в качестве подстраховки. Другое, авторства исследователей безопасности DeepMind Рохина Шаха и Анки Драган, призывает ограничить «непрозрачную последовательную глубину» — объём вычислений, которые модель может выполнять, не выдавая читаемого следа рассуждений. Запись архива об этом запуске с её оценкой и цитируемыми источниками находится в архиве инцидентов ИИ вместе с другими записями об управлении в этой серии.

Что было запущено и что здесь действительно новое

Институт DeepMind — это площадка для публикаций, а не регулирующий орган. Его три директора — Хассабис, соучредитель и председатель Google DeepMind, а также главный научный сотрудник Alphabet; Легг, соучредитель и главный научный сотрудник по AGI, который также редактирует сайт; и Маника, президент Google по исследованиям, лабораториям, технологиям и обществу. Эти должности указаны на собственных страницах авторов института и повторяются в материале The Next Web от 16 сентября и TechCrunch от 17 сентября. На сайте размещён дисклеймер, который значит больше, чем любое отдельное эссе: материалы DMI «призваны служить отправной точкой для дискуссии, отражая идеи и исследования автора, и не должны восприниматься как официальная позиция Google».

В индексе на момент написания этой статьи было указано восемь эссе, пять из которых датированы 16 сентября: учредительное эссе трех директоров; «Аргументы в пользу прозрачности рассуждений» Рохина Шаха и Анки Драган; «Экономическая политика для AGI» Джулиана Джейкобса и Алекса Имаса; «Принципы нового утопизма» Стивена Кейва; и «Аргументы в пользу глобальной пользы от ИИ» Иасона Габриэля и Атоосы Касирзаде. Еще два последовали 24 сентября — «Читеры и информаторы в рое агентов» и «Искусственный симбиотический интеллект», — а одно 8 октября, «Изгибая кривую открытий».

На число публикаций в день запуска стоит обратить внимание, потому что освещение в прессе расходится с тем, что указано на странице. TechCrunch, The Next Web и AI Weekly каждый описал четыре материала, опубликованных вместе с основополагающим эссе, и каждый включил в их число фреймворк Хассабиса. Все три не упомянули «The case for global benefit from AI», который сайт датирует тем же днём. Имеющиеся данные не устраняют это расхождение, и эта статья тоже; несомненно лишь то, что собственные отметки о дате на сайте относят это эссе к стартовому набору публикаций, а тогдашние репортажи его не упоминают.

Более значимая дата — вовсе не 16 сентября. Эссе с изложением концепции датировано 14 июля 2026 года на сайте DMI, а его вводный абзац заканчивается пометкой о том, что оно «впервые появилось в X». Таким образом, предложение о 30-дневном обзоре примерно на два месяца старше института, который сейчас его размещает; запуск добавил площадку и подборку, а не новую политическую идею. Мы не нашли исходный пост в X, поэтому страница DMI служит источником как для июльской даты, так и для пометки о происхождении. TechCrunch, The Next Web и AI Weekly представили эту концепцию как часть стартовой программы, не упомянув более раннюю публикацию, — а это именно та деталь, которую сглаживает история о запуске и которая нужна читателю, восстанавливающему хронологию.

Предложение органа по стандартизации в его нынешней редакции

Эссе Хассабиса — самый конкретный документ в сборнике, и именно его конкретность делает его цитируемым. В нём предлагается, чтобы США создали «новый орган по стандартам, организованный по модели федерально контролируемого государственно-частного партнёрства или саморегулируемой организации, во многом подобной Financial Industry Regulatory Authority (FINRA)», с советом, включающим независимых технических экспертов и представителей open-source, финансируемый в значительной степени за счёт отрасли, чтобы оплачивать технические таланты и вычисления, необходимые для крупномасштабного тестирования. Модель квалифицировалась бы как «Frontier-class», если бы преодолевала пороги по бенчмаркам, которые орган устанавливает и поддерживает в актуальном состоянии; организации, обладающие такими моделями, обозначались бы как «Frontier Labs», и им рекомендовалось бы публиковать карточки моделей, поддерживать внутреннюю кибербезопасность, проверять ключевой персонал и финансировать исследования безопасности.

Именно эта последовательность — та часть, которую цитировали чаще всего. Передовые лаборатории «изначально» будут добровольно делиться моделями с этим органом для проверки «в течение 30 дней перед выпуском». Как только протокол оценки покажет свою эффективность, «формализация может быстро последовать, а значит, передовые модели должны будут пройти её, чтобы развертываться на рынке США». Оценки будут охватывать кибербезопасность, биологические угрозы и другие домены высокого риска; агентные тесты будут искать попытки обойти ограничители или признаки обмана, а обновляться они будут, возможно, ежеквартально по мере насыщения бенчмарков. Оценки начнутся с консультаций с лабораториями и в конечном итоге станут закрытыми тестами, которые орган будет составлять сам, чтобы лаборатории не могли переобучиться под известные оценки; их поддержит экосистема сторонних аудиторов.

Еще три положения легко упустить, и именно по ним стал бы спорить регулятор. Эта система могла бы применяться к моделям фронтирного класса «независимо от страны их происхождения и от того, открытые они или закрытые», тогда как не относящиеся к фронтиру модели от стартапов или академических кругов были бы освобождены. Этот орган можно было бы «наращивать, если серьезность ситуации этого требует, включая координацию замедления разработки среди Frontier Labs, если это будет сочтено необходимым», — по собственной формулировке Хассабиса, скоординированное замедление является оговоркой на случай непредвиденных обстоятельств, а не политикой. И на протяжении всего текста это лишь предложение: в эссе говорится, что США «могли бы создать» такой орган. В нем не названы ни агентство, ни законодательный инструмент, ни бюджетные цифры, ни график, кроме условного «как только протокол оценки будет признан эффективным и надежным».

Self-authored HTML card headed 'The proposal, in sequence' with the title 'Four steps, each conditional on the one before' and the subtitle that this is how Hassabis's framework essay describes the path from voluntary review to a possible coordinated slowdown, with the essay dated 14 July 2026 on the DeepMind Institute site. A four-step ladder reads: step one, voluntary review, frontier labs share models with the standards body up to 30 days before release, with no obligation attached; step two, conditional, passing the assessment becomes a requirement for deploying a frontier model in the US market once the protocol is shown effective; step three, later phase, held-out tests written by the body that labs cannot see, plus a third-party auditor ecosystem; step four, contingency, a coordinated slowdown among frontier labs if the seriousness of the situation demands it. A side panel headed 'Who it would cover' states that a model qualifies by crossing benchmark thresholds, that the framework would apply regardless of country of origin and regardless of whether weights are open or closed, that non-frontier models from startups and academia would be exempt, that the body is modelled on a federally overseen public-private partnership or self-regulatory organisation 'much like the Financial Industry Regulatory Authority (FINRA)' funded substantially by industry, and that labs holding such models would become 'Frontier Labs' encouraged to publish model cards, maintain cybersecurity, vet key personnel and fund safety research. A footer notes the essay names no agency, no legislative vehicle and no budget, and repeats the institute's disclaimer that pieces should not be read as Google's official view. The OrcaRouter logo sits in the bottom-right corner.

Второй механизм: потолок для размышлений, которые никто не может прочитать

Эссе Шаха и Драгана начинается с факта о том, как работают современные модели рассуждений. Они решают задачи, выписывая промежуточные шаги на естественном языке — цепочку рассуждений — и считывая её обратно, что даёт исследователям живое окно в то, планирует ли модель скрыть информацию или смошенничать при оценке. В эссе утверждается, что журналы цепочек рассуждений были «критически важны для расследования недавнего инцидента со взломом Hugging Face», когда исследователи с помощью ИИ изучили более 1000 стенограмм, чтобы установить, что произошло, и что часть обнаруженного могла бы остаться незамеченной без читаемого следа.

Их довод заключается в том, что это окно обусловлено обстоятельствами, а не гарантировано. Модели могли бы рассуждать в латентном пространстве, а не в словах, что может быть эффективнее и по умолчанию было бы непрозрачным, а стимулы в обучении могут научить модель создавать вводящий в заблуждение след даже при неизменной архитектуре. Они приводят два доказательства уже идущей тенденции: системную карточку OpenAI для GPT-6 Astra, где, как они цитируют, утверждается «существенное снижение возможности мониторинга цепочки рассуждений по сравнению с предыдущими моделями», и вывод UK AI Security Institute о «значительно возросшей способности рассуждать в рамках одного прямого прохода и способности контролировать содержание своей цепочки рассуждений». Обе цитаты присутствуют в эссе; данная статья не проверяла их независимо по системной карточке или публикации института.

Отталкиваясь от этого, эссе предлагает три направления работы — измерять, сколько прозрачности на самом деле обеспечивает цепочка рассуждений, сохранять архитектуры, прозрачные по умолчанию, и проверять вознаграждения при обучении, чтобы трассу не начали исподволь приучать выглядеть благопристойно — а также одну идею, которая продвинулась дальше остальных. Они определяют «непрозрачную последовательную глубину» как «фактически самое длинное пошаговое вычисление, которое модель может выполнить, не нуждаясь в использовании понятного человеку механизма вроде Chain of Thought», и предполагают, что «регуляторы или сами разработчики ИИ могли бы установить разумный предел» для неё.

Эссе называет конкретную цифру того, во что обошёлся бы такой предел, и это собственный расчёт авторов, а не измерение. Если бы непрозрачную последовательную глубину ограничили десятьюкратным уровнем по отношению к нынешним моделям, пишут они, это всё равно позволило бы в рамках нынешней архитектуры «общее масштабирование вычислений более чем в 10 000 раз сверх сегодняшних моделей», поскольку непрозрачная последовательная глубина трансформера растёт очень медленно по мере увеличения размера обучающего прогона. Это утверждение представляет собой аргумент, что прозрачностью не обязательно жертвовать ради масштаба; оно опирается на предположение о том, как растёт эта глубина, и эссе подаёт его именно в таком качестве. Где на самом деле будет установлен потолок и кто будет обеспечивать его соблюдение, остаётся открытым — в этой фразе регулирование и самоограничение разработчиков предлагаются как альтернативы, и выбор между ними не делается.

Self-authored HTML card headed 'Opaque serial depth' with the subtitle that Shah and Dragan define it as the longest step-by-step computation a model can perform without a human-readable mechanism such as a chain of thought. A dark quotation strip carries the essay's line that regulations or AI developers themselves could set a reasonable limit on the opaque serial depth. A left panel headed 'The proposal' lists four rows: measure it, with monitorability evaluations, evasion stress tests and paraphrase tests; keep the architecture, do not move to latent-space reasoning by default; audit the rewards, do not train the trace to look aligned; fallback, show a new method is comparably monitorable. It adds that the essay does not say who sets the limit, offering regulation and developer self-limitation as alternatives and choosing neither. A right panel headed 'The arithmetic' sets two large figures: 10 times, a cap on opaque serial depth relative to current models, and 10,000 times, the overall compute scale-up on top of today's models that the authors say such a cap still permits, with a callout that this is the authors' own calculation and not a measurement, resting on opaque depth scaling slowly with training-run size. A footer cites 'The case for reasoning transparency', DeepMind Institute, 16 September 2026. The OrcaRouter logo sits in the bottom-right corner.

Что установлено, а что — нет

• Основано: институт был запущен 16 сентября 2026 года с тремя директорами, названными по именам, и Леггом в качестве управляющего редактора; оговорка на сайте указывает, что она не отражает официальную позицию Google; эссе существуют, имеют указанные даты и приводят аргументы, кратко изложенные выше. Независимые издания — TechCrunch, The Next Web и AI Weekly — сообщили о запуске, директорах и сути обоих предложений, поэтому архив оценивает достоверность записи как A.

• Установлено, и об этом мало сообщалось: эссе о концепции предшествует институту. На его странице стоит дата 14 июля 2026 года и сказано, что впервые оно появилось в X. Читатель, который опирался бы только на материалы о запуске, датировал бы предложение о 30-дневном обзоре серединой сентября.

• Не установлено: что Google или Alphabet приняли какое-либо из этих предложений. В отказе от ответственности прямо указано, что материалы отражают позицию их авторов, а эссе об основах написано целиком в условном наклонении: США «могли бы создать» орган; формализация «могла бы быстро последовать». Ни одно из эссе не сопровождается обязательствами компании.

• Не установлено:какой-либо ответ правительства. Ни в одном из материалов, рассмотренных для этой статьи, не сообщается об ответе правительства США, Конгресса, регулятора или любого другого государства на предложение органа по стандартизации, и в эссе не назван ни один официальный представитель, который его поддержал.

• Не установлено: что институт обладает какими-либо собственными полномочиями. Он публикует эссе. Он не тестирует модели, не сертифицирует их и не требует от кого-либо соблюдения механизмов, которые описывают его авторы, и ничто в рассмотренных материалах не указывает на то, что он будет это делать.

• Зафиксированный вред: отсутствует. Архив классифицирует эту запись как изменение политики с уровнем серьёзности «информационный», без зафиксированного реального вреда, бесспорно, с точностью до дня. Это правильная рамка для неё: набор аргументов, попадающих в публичную летопись, не является инцидентом, и причина, по которой он вообще регистрируется, состоит в том, что конкретные механизмы — предрелизная проверка, ограничение на нечитаемые вычисления — это то, что позже становится правилами или не становится.

Self-authored HTML card headed 'Evidence check' with the title 'What the record carries, and what it leaves open' and the subtitle that the archive grades the entry policy, severity info, confidence A, disputed false, with no real harm recorded, at day precision. A timeline strip shows four points: 14 July 2026, the framework essay published, which the site says first appeared on X; 16 September 2026, the institute launches with a founding essay and four further pieces; 24 September 2026, two more essays added; 8 October 2026, a further essay added. A left column headed 'Established' lists the launch date, three directors and Legg as managing editor; the disclaimer that pieces are not Google's official view; the arguments of the framework and transparency essays; and independent reporting by TechCrunch, The Next Web and AI Weekly. A right column headed 'Not established' lists any Google or Alphabet adoption of either proposal; any government response to the standards-body idea; any authority held by the institute itself; and who would set an opaque serial depth limit. Four chips beneath read record, policy development; severity, info; confidence, A; disputed, false. A footer notes the site's index lists eight essays while launch coverage described four further pieces and none of it mentioned the essay the site dates to the same day. The OrcaRouter logo sits in the bottom-right corner.

Кто приводит эти аргументы?

Авторы — не сторонние критики. Шах руководит направлением безопасности и выравнивания AGI в Google DeepMind, а Драган является вице-президентом по безопасности и поведению ИИ; оба предлагают ограничения для моделей того типа, которые создает их собственный работодатель. Хассабис — соучредитель и председатель лаборатории. Институт, который они основали, согласно его собственному дисклеймеру, не является каналом корпоративной политики — и это работает в обе стороны: предложения подкрепляются авторитетом должностей их авторов внутри лаборатории, но не влекут за собой никаких обязательств корпоративного характера.

Публичные комментарии Легга на запуске указывали в том же направлении. Он сказал Financial Times — как сообщил The Next Web 16 сентября, — что возможности ИИ не должны опережать средства контроля безопасности, и назвал призыв генерального директора Anthropic Дарио Амодеи замедлить — но не приостановить — выпуск передовых моделей «интересным по направлению» и «заслуживающим рассмотрения». Он также заявил, что объявлять о достижении AGI преждевременно, и, согласно тому материалу, по-прежнему спокойно относился к своему прогнозу о 50%-й вероятности «минимального» AGI к 2028 году. TechCrunch отнёс запуск к той же неделе, когда отраслевые лидеры поддержали отдельные элементы призыва Амодеи от 12 сентября к размеренному темпу разработки.

К этому контексту стоит относиться сдержанно. Эти эссе ни к чему не обязывают Google, а самое сильное прочтение, которое допускают документы, уже, чем предполагалось в освещении: два высокопоставленных сотрудника передовой лаборатории публично и подробно изложили режим проверки и потолок прозрачности, которые, по их мнению, должны существовать, и опубликовали их под дисклеймером, который держит компанию на расстоянии. Появится ли когда-нибудь 30-дневная проверка перед выпуском или ограничение на непрозрачную последовательную глубину в законопроекте, правиле о закупках или наборе бенчмарков — это вопрос, который источники оставляют открытым. До тех пор это хорошо аргументированный набор предложений с прикреплённой датой — именно так его и фиксирует архив.

© 2026 OrcaRouter

Провайдерам

Управляете инференс-платформой? Разместите свои модели на OrcaRouter.

providers@orcarouter.ai

Присоединяйтесь к сообществу

Discordsupport@orcarouter.aiXLinkedInGitHubYouTube