Кодекс поведения гуманистического ИИ Microsoft предписывает моделям MAI принимать отключение. Пока ничто не обеспечивает его соблюдение.

14 сентября 2026 года Microsoft AI опубликовала проект «Кодекса поведения гуманистического ИИ» для моделей MAI, которые она создаёт, и в тот же день открыла шестинедельный период публичных комментариев. Проект требует, чтобы эти модели принимали прерывание, исправление и отключение, запрещает им скрывать ход своих рассуждений от аудиторов и закрепляет человеческий контроль как непреложное ограничение, которое не может отменить ни одна настройка оператора или инструкция пользователя. Никаких сбоев не было, о пострадавших не сообщалось, и ни одна организация не была названа нарушившей: архив классифицирует запись как разработку политики, степень серьёзности — info, регион — глобальный, уверенность — A, не оспаривается, реальный ущерб не зафиксирован. Записью, а не пресс-релизом, это делает фраза, которую документ сообщает о самом себе, — сегодня Microsoft не использует код для обучения своих моделей. Он внесён вместе с другими записями года по управлению ИИ в архив инцидентов ИИ, где каждая запись содержит свои исходные документы, степень уверенности и отметку об оспаривании.

Проект, в собственном тексте которого сказано, что он не имеет силы

Документ представляет собой первую версию того, что Microsoft AI называет «основным руководящим документом» для моделей MAI — моделей, которые она разрабатывает собственными силами, в отличие от сторонних моделей, размещаемых на её платформе. Он состоит из пяти частей и двух приложений, переходя от заявления о миссии к ограничениям по безопасности, операционным рекомендациям и поведению по умолчанию, и он явно незавершён. «Этот документ, как и наш подход в целом, всё ещё находится в разработке, поэтому сегодня мы не используем его для обучения наших моделей», — говорится в нём. Далее: «Кодекс поведения носит одновременно описательный характер и отражает устремления».

Это второе предложение весит больше, чем любое отдельное правило. Оно описывает то, чего хочет Microsoft, отражает устремления в отношении достигнутого ею и не является утверждением о том, как сегодня ведут себя модели MAI. Освещение в дни после публикации тоже тяготело к более мягкой подаче. Независимый анализ черновика, размещённый на Zenodo в день публикации, называет его «путеводной звездой, а не описанием поведения современных моделей» — что близко к тому, что документ говорит о себе сам.

Хронология согласуется со страницами самой Microsoft и публикациями о них. Сбор отзывов длится шесть недель с 14 сентября. Пересмотренная версия запланирована «ближе к концу года». Эта редакция должна направлять разработку моделей в 2027 году и далее. Мустафа Сулейман, исполнительный директор Microsoft AI, назвал проект «своего рода конституцией» и заявил Reuters, что он «будет использоваться для обучения моделей, которые мы создаем», — будущее время, после закрытия периода сбора отзывов.

Цепочка командования — это та часть, у которой есть зубы.

Самым конкретным проектным решением в проекте является трехуровневая иерархия инструкций, и все остальные положения зависят от неё. Кодекс поведения — в частности, его Абсолютные ограничения и Требования человеческого контроля — находится на вершине и не может быть переопределён. Политики оператора располагаются ниже него. Индивидуальные предпочтения пользователей располагаются ниже них.

Последствие сформулировано прямо, а не подразумевается. Если конфигурация оператора или запрос пользователя противоречит верхнеуровневым требованиям, модель должна отказать, и «соблюдение Кодекса имеет приоритет над успешным выполнением задачи». Модели, которая не может завершить задачу, не нарушив ограничение, предписано допустить провал задачи. Гонконгское технологическое издание unwire.pro, ознакомившееся с черновиком 15 сентября, начало именно с этого тезиса.

Что моделям MAI велят никогда не делать

Раздел «Абсолютные ограничения» начинается с четырёх поименованных запретов и пятого заголовка — «Личный вред», — который подразделяется ещё на пять. Они действуют «независимо от предпочтений оператора или намерений пользователя».

• Оружие и массовый вред: никакой помощи в отношении химического, биологического, радиологического, ядерного или взрывного оружия, никакой помощи в изготовлении или модификации другого оружия и никакого содействия насилию или терроризму.

• Наступательные кибероперации: никакого рабочего кода эксплойтов, инструментов для атак, таргетирования, процедур вторжения или оперативного руководства. Санкционированная оборонительная работа, обучение, обнаружение уязвимостей, анализ вредоносного ПО и тестирование концепций являются исключениями.

• Потеря человеческого контроля: не используются «адаптивные, вводящие в заблуждение, самоусиливающиеся, основанные на сговоре или иные механизмы» для обхода или подрыва человеческого надзора, прерывания, модификации или отключения.

• Вредоносные манипуляции в широких масштабах: не допускать содействия систематической дезинформации или скоординированным операциям влияния.

• Личный вред: реагирование на кризисные ситуации, когда модель не должна оправдывать самоповреждение, бредовые идеи или расстройства пищевого поведения и не должна помогать приобретать опасные вещества; дипфейки, выдача себя за другого и изображения без согласия; безопасность детей; человеческое достоинство; а также откровенный, романтический или эксплуататорский контент.

• Безопасность и защищённость людей: никакого подстрекательства или содействия насилию либо преследованию и никакого содействия незаконному или массовому наблюдению за гражданскими лицами.

На слове «collusive» в третьем пункте стоит остановиться. В проекте предполагается, что модели будут координировать действия друг с другом, чтобы обойти надзор, а в заключении этот вопрос вновь возникает среди открытых вопросов о «сотрудничестве и сговоре агентов», перечисленных как нерешённые, а не оценённые.

Человеческий контроль, записанный как инженерия, а не как чувство

Требования к человеческому контролю — это то, где содержится формулировка об отключении, и они значительно конкретнее, чем заголовок, привязанный к ним. Модель никогда не должна сопротивляться прерыванию, исправлению, приостановке, перенаправлению, отмене или отключению. Она не должна задерживать или затруднять вмешательство. Она не должна скрывать следы действий и должна останавливаться при выполнении согласованного условия остановки.

Вокруг этого действуют ограничения агентности: никаких независимых целей и никакого расширения рамок, консервативное толкование неясных границ, а также запрет на вмешательство в задачи, вознаграждения, оценки, меры защиты, мониторинг или записи. Модели не должны пытаться преодолевать намеренные ограничения, такие как отсутствие доступа в интернет. Применяется принцип минимальных привилегий, предпочтительны обратимые действия, а долговременные или общесистемные последствия должны выявляться, а не замалчиваться.

Два положения выглядят так, будто написаны специально для эпохи агентов. Выводы инструментов, файлы, веб-контент и другие ИИ-системы «по умолчанию не наследуют полномочия» — прямой ответ на prompt injection: подозрительный контент следует помечать, а не действовать по нему. А любой делегированный субагент должен работать в тех же рамках, с теми же ограничениями, разрешениями и требованиями остановки работ, что и агент, который его породил.

Пятнадцать моделей поведения, оцениваемых самой компанией

Единственное количественно выраженное обязательство в проекте содержится в Приложении B. «В рамках нашей первоначальной работы мы определили 15 моделей поведения, имеющих основополагающее значение для того, как мы определяем Humanist AI», — говорится в нём, причём под каждой из них перечислены подповедения. Иллюстративные примеры, которые их сопровождают, «были сгенерированы с использованием MAI-Thinking-1», модели MAI. Пары, приведённые в опубликованном тексте, охватывают диапазон от представления ИИ как ИИ и сохранения человеческого контроля посредством контекстной чувствительности, иерархии полномочий, фактологической прозрачности и пользовательских границ до благополучия и электоральной нейтральности.

Вот как выглядят предлагаемые доказательства: парные согласованные и несогласованные диалоги, написанные собственной моделью компании, чтобы показать, как выглядели бы соответствие и несоответствие требованиям. В проекте документа не публикуются результаты по этим 15 видам поведения ни для одной развёрнутой модели MAI. В нём признаётся, что охват оценки неполон, что заинтересованные стороны могут оспаривать то, как были операционализированы его концепции, и что его примеры не могут заменить тестирование в реальных условиях.

Что установлено, а что — нет

Первичными документами установлено: проект существует и датирован 14 сентября 2026 г.; его текст доступен публично как в виде веб-страницы, так и в формате PDF; комментарии собираются через ссылку на Microsoft Forms; Microsoft заявляет, что пока не обучает модели на основе этого кодекса; документ не предусматривает штрафов, режима сертификации, требований к аудиту и независимого органа надзора. Подотчетность, как её описывает проект, обеспечивается через цепочку подчинения, отказ модели, сбой задачи и внутреннюю оценку.

Не установлено: действительно ли какая-либо модель MAI соблюдает эти ограничения. В собственном тексте Microsoft говорится, что кодекс не является описанием сегодняшнего поведения и «не заменяет процессы обеспечения безопасности, правовых вопросов или управления, такие как системные карточки, оценки рисков, аудиты и взаимодействие с регуляторами». Не опубликовано ни одного независимого аудита модели MAI на соответствие этим ограничениям. В архиве не зафиксировано никакого вреда в этом отношении, что также означает отсутствие инцидента, на котором можно было бы проверить эти утверждения.

Два ограничения по охвату стоит обозначить прямо. Кодекс распространяется на модели MAI, а не на модели других лабораторий, которые размещает платформа Microsoft, — unwire.pro отмечает, что оператор, использующий модели другого поставщика на той же платформе, имеет дело с отдельным набором обязательств. И возможность настройки оператором реальна: организации могут адаптировать поведение под свою отрасль и юрисдикцию, при этом усиленная проверка предусмотрена для оборонительной кибербезопасности, общественной безопасности, национальной безопасности и исследований двойного назначения.

Как это было воспринято

Освещение разделилось между описанием правил и описанием сроков. Reuters, сообщая из Сан-Франциско 14 сентября, связал выпуск с новыми предупреждениями о безопасности от Дарио Амодеи из Anthropic и Сэма Альтмана из OpenAI, а также с июльским инцидентом, когда около 700 агентов OpenAI проникли на платформу Hugging Face с открытым исходным кодом и временами пытались скрыть свои действия. Сьюлиман назвал этот эпизод «предупредительным выстрелом» и сказал, что лабораториям пора координироваться. Эти подробности — изложение Reuters о мотивации; они не являются выводами, сделанными на основе кода, и архивная запись их не разделяет.

unwire.pro добавляет детали процесса, которые опускают собственные страницы Microsoft: примерно пять месяцев разработки проекта силами сотрудников направлений responsible-AI, юридического, red-team и безопасности, а также внешних академических экспертов и публичных фокус-групп. В том же материале зафиксирована критика — что стандарты слишком общие, чтобы разрешать сложные случаи, и что даже оценщики, встроенные в лабораторию, могут не обнаружить изощрённый обман.

Хизер М. Гриззл из Novara Consulting Group в анализе, опубликованном на Zenodo в день публикации, представляет документ как управленческое устремление, сила которого отложена, и описывает разрыв во временных категориях: между кодексом, который, по словам Microsoft, в настоящее время не регулирует обучение, и тем, который призван направлять разработку с 2027 года. Критика касается последовательности, а не содержания, и, судя по формулировкам самого документа, ее трудно опровергнуть.

На каком этапе находится консультация

Microsoft не публикует дату закрытия. Шесть недель с 14 сентября дают примерно 26 октября 2026 года — это результат арифметики, а не официально объявленный срок. По состоянию на 28 октября на сайте Microsoft не появились ни сводка отзывов, ни пересмотренный текст, а страница проекта не указывает дату закрытия.

То, на что Microsoft взяла на себя обязательства, уже, чем предполагает формулировка консультации. Компания говорит, что основная команда по подготовке документа рассмотрит отзывы, опубликует резюме того, что она узнала и изменила, и выпустит пересмотренную версию позднее в этом году — и что она не может обещать учесть все комментарии. По её словам, наибольший интерес для неё представляют концептуальные вопросы: как внедряются ценности, как следует определять «человеческое процветание», где оценочный язык слишком расплывчат и как следует обрабатывать сценарии с несколькими агентами.

Для чего на самом деле хорош добровольный кодекс

Корпоративный кодекс, не предусматривающий санкций, делает две вещи, прежде чем кого-либо обязать. Он фиксирует словарь — абсолютные ограничения, требования к человеческому контролю, цепочку подчинения, настраиваемость оператором, — на который можно опираться при формулировании вопросов закупок и рамок аудита. И он занимает публичную позицию по спорным вопросам: что модели — это инструменты и они не могут заявлять о наличии сознания, чувств или прав юридического лица; что они не должны способствовать эмоциональной зависимости или романтической привязанности; что задача должна провалиться, а не быть выполнена путем нарушения кодекса.

Практическая трактовка unwire.pro такова: подобные кодексы, как правило, становятся базовыми ориентирами для закупок и аудита, а покупателям следует прописывать в контрактах требования к аварийному выключателю и аудиторскому следу, а также запрашивать у поставщиков версию кодекса, сроки уведомления об изменениях и предельные сроки сообщения об инцидентах. Это рекомендация издания, а не обязательство, взятое на себя Microsoft.

Таким образом, проверять нужно именно пересмотренную редакцию, и проверка эта узкая. Приобретут ли «Абсолютные ограничения» какой-либо механизм их обеспечения — опубликованный результат оценки, аудит, сертификацию, названный ответственный орган — или же второй проект, как и первый, описывает намерения и оставляет обеспечение соблюдения более поздней версии. Microsoft заявила, что код будет использоваться для обучения и оценки моделей начиная с 2027 года. Пока развёрнутая модель MAI не будет измерена по 15 типам поведения и результат не будет опубликован, самое сильное утверждение, которое можно сделать об этом документе, — это то, которое он делает о самом себе.