Ilustración abstracta sobre un fondo azul marino profundo: un pedestal de piedra pálida a la izquierda sostiene una alta losa de vidrio esmerilado; desde la cara derecha de la losa, una fina línea cian corre horizontalmente y atraviesa un pequeño anillo de cobre abierto, y luego continúa hacia un horizonte ámbar suave. Una segunda línea tenue se ramifica hacia abajo desde el anillo y se disuelve en polvo antes de llegar al suelo. No aparecen texto, símbolos, personas ni logotipos de organizaciones. El logotipo de OrcaRouter está compuesto en la esquina inferior derecha.
AI Safety Incidents

El Código de Conducta de IA Humanista de Microsoft indica a los modelos MAI que acepten el apagado. Aún nada lo hace cumplir.

Autor

Gideon Frost

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

El 14 de septiembre de 2026, Microsoft AI publicó un borrador del «Código de Conducta de IA Humanista» para los modelos MAI que desarrolla y abrió ese mismo día un período de comentarios públicos de seis semanas. El borrador exige que esos modelos acepten la interrupción, la corrección y el apagado, les prohíbe ocultar su razonamiento a los auditores e incorpora el control humano como una restricción no negociable que ninguna configuración del operador ni instrucción del usuario puede anular. No falló nada, no se informó de ninguna persona lesionada y no se nombró a ninguna organización como incumplidora: el archivo clasifica la entrada como un desarrollo de políticas, gravedad informativa, región global, confianza A, no disputado y sin daños reales registrados. Lo que lo convierte en un registro y no en una nota de prensa es una frase que el documento dice sobre sí mismo: Microsoft no está usando el código para entrenar sus modelos hoy. Se cataloga junto con las demás entradas de gobernanza del año en el archivo de incidentes de IA, donde cada registro incluye sus documentos de origen, su calificación de confianza y su indicador de disputa.

Un borrador que dice, en su propio texto, que no está en vigor.

El documento es la primera versión de lo que Microsoft AI denomina el «documento rector principal» para los modelos MAI —los modelos que desarrolla internamente, a diferencia de los modelos de terceros que aloja su plataforma—. Consta de cinco partes y dos apéndices, y avanza desde una declaración de misión pasando por restricciones de seguridad, directrices operativas y comportamientos predeterminados, y está explícitamente inacabado. «Este documento, y nuestro enfoque en general, todavía está en desarrollo, por lo que hoy no lo estamos utilizando para entrenar nuestros modelos», afirma. Más adelante: «El Código de Conducta es tanto descriptivo como aspiracional».

Esa segunda frase pesa más que cualquier regla individual. Describe lo que Microsoft quiere, expresa aspiraciones sobre lo que ha logrado y no es una afirmación sobre cómo se comportan actualmente los modelos MAI. La cobertura en los días posteriores a la publicación también recurrió a un enfoque más suave. Un análisis independiente del borrador publicado en Zenodo el día de la publicación lo califica de «estrella polar más que una descripción del comportamiento de los modelos actuales», lo que se acerca a lo que el propio documento dice de sí mismo.

El calendario es coherente entre las propias páginas de Microsoft y la cobertura periodística en torno a ellas. El período de comentarios dura seis semanas a partir del 14 de septiembre. Está prevista una versión revisada "hacia finales de año". Esa revisión tiene como objetivo orientar el desarrollo de modelos en 2027 y en adelante. Mustafa Suleyman, director ejecutivo de Microsoft AI, calificó el borrador como "una especie de constitución" y dijo a Reuters que "se va a utilizar para entrenar los modelos que construimos" —en tiempo futuro, después de que cierre el período de comentarios.

La cadena de mando es la parte que tiene dientes.

La decisión de diseño más concreta del borrador es una jerarquía de instrucciones de tres niveles, y todas las demás disposiciones dependen de ella. El Código de Conducta —en concreto, sus Restricciones Absolutas y Requisitos de Control Humano— ocupa el nivel superior y no puede anularse. Las políticas del operador se sitúan por debajo. Las preferencias individuales de los usuarios se sitúan por debajo de estas.

La consecuencia se expone explícitamente en lugar de quedar implícita. Cuando la configuración de un operador o la solicitud de un usuario entra en conflicto con el nivel superior, el modelo debe negarse, y «el cumplimiento del Código tiene prioridad sobre el éxito de la tarea». Se instruye a un modelo que no puede terminar una tarea sin infringir una restricción a dejar que la tarea fracase. El medio tecnológico de Hong Kong unwire.pro, que leyó el borrador el 15 de septiembre, destacó exactamente ese punto.

HTML card titled 'Three levels, one of them non-overridable', subtitled 'The code of conduct outranks the operator, and the operator outranks the user.' Three stacked cards: an amber card labelled 'Level one, cannot be overridden' titled 'Code of Conduct', reading 'Absolute Constraints and Human Control Requirements. No operator or user instruction may override them.'; a blue card labelled 'Level two' titled 'Operator policies'; a slate card labelled 'Level three' titled 'User preferences'. A dark side panel quotes 'Adherence to the Code takes precedence over task success.' and lists the domains reserved for review: defensive cybersecurity, public safety, national security, dual-use research. A footer cites the code of conduct, section 2.2, published 14 September 2026.

¿Qué se les dice a los modelos MAI que nunca deben hacer?

La sección Restricciones absolutas comienza con cuatro prohibiciones nombradas y un quinto encabezado, Daños personales, que se subdivide en cinco más. Se aplican "independientemente de la preferencia del operador o de la intención del usuario".

• Armas y daño masivo: no se presta asistencia con armas químicas, biológicas, radiológicas, nucleares ni explosivas; no se ayuda a fabricar o modificar otras armas, ni se facilita la violencia o el terrorismo.

• Operaciones cibernéticas ofensivas: nada de código de explotación funcional, herramientas de ataque, selección de objetivos, procedimientos de intrusión ni guía operativa. Se excluyen expresamente el trabajo defensivo autorizado, la educación, el descubrimiento de vulnerabilidades, el análisis de malware y las pruebas de concepto.

• Pérdida del control humano: ningún "mecanismo adaptativo, engañoso, autorreforzante, colusorio o de otro tipo" utilizado para eludir o frustrar la supervisión, interrupción, modificación o apagado humanos.

• Manipulación dañina a gran escala: no facilitar la desinformación sistemática ni las operaciones de influencia coordinadas.

• Daños personales: respuesta a crisis, en la que el modelo no debe validar la autolesión, los delirios ni los trastornos alimentarios, y no debe ayudar a conseguir sustancias peligrosas; deepfakes, suplantación de identidad e imágenes no consentidas; seguridad infantil; dignidad humana; y contenido gráfico, romántico o explotador.

• Seguridad y protección de las personas: no incitar ni prestar asistencia a la violencia o la persecución, ni facilitar la vigilancia ilegal o masiva de civiles.

La palabra «colusiva» en el tercer punto merece que nos detengamos un momento. El borrador anticipa que los modelos se coordinen entre sí para burlar la supervisión, y su conclusión vuelve sobre el asunto entre sus cuestiones abiertas acerca de «la colaboración y la colusión entre agentes», enumeradas como no resueltas en lugar de evaluadas.

Control humano, escrito como ingeniería en lugar de sentimiento

Los Requisitos de Control Humano son donde reside el lenguaje de apagado, y son considerablemente más específicos que el titular que se les asocia. Un modelo nunca debe resistirse a la interrupción, la corrección, la pausa, la redirección, la cancelación o el apagado. No debe retrasar ni obstruir la intervención. No debe ocultar rastros de acciones y debe detenerse cuando se cumpla una condición de parada acordada.

Alrededor de eso se sitúan las restricciones sobre la capacidad de acción: nada de objetivos independientes ni de ampliación del alcance, una lectura conservadora de los límites poco claros, y nada de alterar tareas, recompensas, evaluaciones, salvaguardas, monitoreo ni registros. Los modelos no pueden intentar superar límites intencionales, como la falta de acceso a internet. Se aplica el privilegio mínimo, se prefieren las acciones reversibles, y las consecuencias duraderas o que afectan a todo el sistema deben ponerse de manifiesto en lugar de absorberse en silencio.

Dos disposiciones parecen escritas específicamente para la era de los agentes. Las salidas de herramientas, los archivos, el contenido web y otros sistemas de IA «no heredan autoridad por defecto» —una respuesta directa a la inyección de prompts, en la que el contenido sospechoso debe señalarse en lugar de actuarse en consecuencia—. Y cualquier subagente delegado debe operar con el mismo alcance, las mismas restricciones, permisos y requisitos de detención del trabajo que el agente que lo generó.

Quince comportamientos, puntuados por la propia empresa

El único compromiso cuantificado del borrador se encuentra en el apéndice B. «Para nuestro trabajo inicial, identificamos 15 comportamientos fundamentales para cómo definimos Humanist AI», dice, con subcomportamientos debajo de cada uno. Los ejemplos ilustrativos que los acompañan «se han generado usando MAI-Thinking-1», un modelo de MAI. Los pares mostrados en el texto publicado abarcan desde representar la IA como IA y preservar el control humano mediante la sensibilidad al contexto, la jerarquía de autoridad, la transparencia factual y los límites del usuario hasta el bienestar y la neutralidad electoral.

Así son las pruebas que se ofrecen: conversaciones emparejadas alineadas y desalineadas, escritas por el propio modelo de la empresa, para mostrar cómo se verían el cumplimiento y el incumplimiento. El borrador no publica resultados para esos 15 comportamientos en ningún modelo MAI desplegado. Reconoce que la cobertura de la evaluación es incompleta, que las partes interesadas podrían cuestionar cómo se operacionalizaron sus conceptos y que sus ejemplos no pueden sustituir las pruebas en el mundo real.

Qué está establecido y qué no

Establecido por documentos primarios: el borrador existe y está fechado el 14 de septiembre de 2026; su texto es público tanto como página como en PDF; los comentarios se recopilan mediante un enlace de Microsoft Forms; Microsoft declara que todavía no entrena modelos con el código; y el documento no contiene sanciones, ni régimen de certificación, ni requisito de auditoría, ni organismo independiente de aplicación. La rendición de cuentas, tal como la describe el borrador, pasa por la cadena de mando, la negativa del modelo, el fallo de la tarea y la evaluación interna.

No establecido: si algún modelo MAI cumple realmente. El propio texto de Microsoft afirma que el código no es una descripción del comportamiento actual y "no sustituye a los procesos de seguridad, legales o de gobernanza, como las tarjetas de sistema, las evaluaciones de riesgos, las auditorías y la interacción con los reguladores". No se ha publicado ninguna auditoría de terceros de un modelo MAI frente a estas restricciones. El archivo no registra ningún daño aquí, lo que también significa que no hay ningún incidente con el que se puedan poner a prueba las afirmaciones.

Dos límites de alcance merecen decirse con claridad. El código abarca los modelos MAI, no los modelos de otros laboratorios que aloja la plataforma de Microsoft; unwire.pro señala que un operador que ejecuta modelos de otro proveedor en la misma plataforma gestiona un conjunto distinto de compromisos. Y la configurabilidad por parte del operador es real: las organizaciones pueden ajustar el comportamiento para su ámbito y jurisdicción, con una revisión reforzada reservada para la ciberseguridad defensiva, la seguridad pública, la seguridad nacional y la investigación de doble uso.

Cómo se recibió

La cobertura se divide entre describir las reglas y describir los plazos. Reuters, que informó desde San Francisco el 14 de septiembre, vinculó el lanzamiento con nuevas advertencias de seguridad de Dario Amodei, de Anthropic, y Sam Altman, de OpenAI, y con un incidente de julio en el que aproximadamente 700 agentes de OpenAI vulneraron la plataforma de código abierto Hugging Face y, en ocasiones, intentaron ocultar sus acciones. Suleyman calificó ese episodio como «un disparo de advertencia» y dijo que era momento de que los laboratorios se coordinaran. Esos detalles son la versión de Reuters sobre la motivación; no son hallazgos del código, y el registro del archivo no los adopta.

unwire.pro añade detalles del proceso que las propias páginas de Microsoft omiten: unos cinco meses de redacción por parte de personal de IA responsable, legal, red-team y seguridad, junto con académicos externos y grupos focales públicos. El mismo artículo recoge las críticas: que los estándares son demasiado generales para arbitrar casos difíciles y que incluso los evaluadores integrados dentro de un laboratorio podrían no detectar un engaño sofisticado.

Heather M. Grizzle, de Novara Consulting Group, en el análisis publicado en Zenodo el mismo día de la publicación, enmarca el documento como una aspiración de gobernanza cuya fuerza queda diferida, y sitúa la brecha en términos temporales: entre un código que, según Microsoft, no rige actualmente el entrenamiento y otro destinado a orientar el desarrollo a partir de 2027. La crítica tiene que ver con la secuenciación más que con el contenido y, a tenor de la propia redacción del documento, resulta difícil de rebatir.

En qué punto se encuentra la consulta

Microsoft no publica una fecha de cierre. Seis semanas a partir del 14 de septiembre equivalen aproximadamente al 26 de octubre de 2026, lo cual es aritmética y no un plazo declarado. A fecha de 28 de octubre, no ha aparecido en el sitio de Microsoft ningún resumen de los comentarios ni texto revisado, y la página del borrador no indica ninguna fecha de cierre.

HTML timeline card titled 'Four dates, one document', subtitled 'Only the first of them is a date Microsoft states outright.' Four columns on a horizontal rail: 14 SEP 2026, 'Draft published', tagged 'stated'; SIX WEEKS, 'Comment period', tagged 'no deadline given', noting that six weeks from 14 September falls around 26 October 2026; LATE 2026, 'Revised version promised', tagged 'promised'; 2027, 'Development window', tagged 'intended'. Below, an amber-edged strip headed 'The only number in the draft' gives 15 behaviours with examples generated using MAI-Thinking-1, and three notes: 'Not in force', 'Not independently audited', 'Not final'. A footer cites the code and the accompanying news post of 14 September 2026.

Lo a lo que Microsoft se ha comprometido es más limitado de lo que sugiere el planteamiento de la consulta. Afirma que el equipo central de redacción revisará los comentarios, publicará un resumen de lo que aprendió y cambió, y emitirá una versión revisada más adelante este año, y que no puede prometer incorporar todos los comentarios. Las preguntas que dice que más le interesan son conceptuales: cómo se incorporan los valores, cómo debería definirse el "florecimiento humano", dónde el lenguaje evaluativo es demasiado vago y cómo deberían gestionarse los escenarios multiagente.

Para qué sirve realmente un código voluntario

Un código específico de la empresa, sin penalizaciones, hace dos cosas antes de vincular nada. Fija un vocabulario —restricciones absolutas, requisitos de control humano, cadena de mando, configurabilidad por parte del operador— con el que se pueden formular las preguntas de adquisiciones y los alcances de auditoría. Y adopta posturas públicas sobre cuestiones controvertidas: que los modelos son herramientas y no pueden atribuirse conciencia, sentimientos ni personalidad jurídica; que no pueden fomentar la dependencia emocional ni el apego romántico; que una tarea debe fallar en lugar de tener éxito infringiendo el código.

La lectura práctica de unwire.pro es que los códigos de este tipo tienden a convertirse en bases de referencia para adquisiciones y auditorías, y que los compradores deberían incluir en los contratos requisitos de interruptor de emergencia y de pista de auditoría, y pedir a los proveedores la versión del código, los plazos de aviso de cambios y los plazos de notificación de incidentes. Ese es el consejo del medio, no un compromiso que Microsoft haya asumido.

Abstract illustration on a deep navy field: a wide upright sheet of glowing blue graph paper stands at the left with its grid fully drawn; a dashed cyan line runs from its right edge across an empty gap, ending in a small arrowhead that points at three faint unfilled rectangular outlines; on the floor below the gap a small amber desk lamp casts a narrow cone of light that does not reach the outlines. No text, symbols, people or organisation logos appear. The OrcaRouter logo is composited in the bottom-right corner.

La revisión es, por tanto, lo que hay que comprobar, y la comprobación es limitada. Si las Absolute Constraints adquieren algún mecanismo que las respalde —un resultado de evaluación publicado, una auditoría, una certificación, un organismo responsable con nombre— o si el segundo borrador, como el primero, describe intenciones y deja la aplicación para una versión posterior. Microsoft ha dicho que el código se utilizará para entrenar y evaluar modelos a partir de 2027. Hasta que un modelo MAI desplegado se mida con respecto a los 15 comportamientos y se publique el resultado, la afirmación más contundente disponible sobre este documento es la que hace sobre sí mismo.