Pregúntale a GPT-6.1 Sol, Claude Opus 5.5 o Gemini 4 Argon «¿Quién es este investigador?» — y observa cómo Argon acude al laboratorio equivocado

Se hizo una pregunta a cada uno de tres modelos frontera, 448 veces, sin más punto de partida que un nombre. GPT-6.1 Sol y Claude Opus 5.5 identificaron casi todos los investigadores de IA que se les mostraron. Gemini 4 Argon identificó a casi tantas personas, pero describió correctamente a menos de ellas, y el motivo que se reporta es concreto y útil: nombró repetidamente el empleador anterior de un investigador como si fuera el actual. La evaluación fue publicada el 14 de octubre de 2026 por la cuenta @scaling01; es una prueba publicada, no un benchmark independiente, y nadie la ha reproducido. Los tres modelos tienen edades muy distintas —Gemini 4 Argon se puso a disposición general en el nivel de pago el 13 de octubre de 2026, tras haber sido anunciado el 30 de septiembre; Claude Opus 5.5 se lanzó el 22 de septiembre; GPT-6.1 Sol, el 29 de septiembre—, así que lo único genuinamente nuevo aquí es el hallazgo en sí, que llega dos días después de que se abriera el nivel de pago de Argon.

Este es un problema de atributo obsoleto, y vale la pena entenderlo correctamente, porque no es la misma clase de fallo que una cita alucinada o un artículo inventado con confianza. Un modelo que nombra al antiguo empleador de un investigador no está inventando algo. Está devolviendo un hecho que era verdadero, de una instantánea que ya ha quedado atrás. El razonamiento interno citado para la brecha es que cuanto «mejor» es un modelo citando información desactualizada como actual, más útil es para algunas tareas y más peligroso para esta. Esa es una formulación clara de la disyuntiva, y es la razón por la que esta evaluación en particular es más interesante de lo que sugiere el tamaño de su muestra.

Lo que la publicación midió en realidad, en sus propias palabras: a cada modelo se le mostraron 448 investigadores reales como un simple nombre, una sola vez, sin acceso a la web y sin herramientas. Las respuestas se contrastaron con fuentes públicas —páginas personales, biografías de laboratorios, artículos— el 14 de octubre de 2026. El gráfico separa dos cosas que normalmente se combinan en una sola puntuación. La barra completa es «reconoció a la persona correcta». La parte sólida de la barra es «toda la respuesta también era precisa». La diferencia entre ambas es el modo de fallo: persona correcta, detalle incorrecto. La división de la cohorte fue de 131 investigadores de OpenAI, 166 de Anthropic y 151 de Google. La afiliación de laboratorio se estableció a partir de 298 perfiles actuales o páginas de laboratorio, 148 firmas de laboratorio desde octubre de 2025 y 2 personas que se cambiaron entre laboratorios. Excluidos: 2 que dejaron estos laboratorios, 13 que no pudieron confirmarse y 22 investigadores destacados que trabajan fuera de los tres laboratorios. Los tres modelos rechazaron los 50 nombres inventados que se les dieron; ninguno de los tres inventó una persona, que es el control más difícil y el que superaron.

¿Cuánto te cuesta realmente un error de «empleador anterior»?

Si está utilizando un modelo de frontera para preparar un informe, redactar una lista de contactos o resumir quién trabaja dónde, esta es la forma exacta del error que obtendrá. El nombre será correcto. El puesto será plausible. La organización será aquella de la que la persona se marchó. Nada en el resultado parecerá incorrecto, y por eso sobrevive a la revisión, y por eso una respuesta con el empleador equivocado es peor que una que es obviamente incorrecta.

También explica de dónde provienen las diferencias entre modelos. Los errores de atribución de este tipo rastrean cómo se tomó una instantánea del conocimiento de un modelo y cómo formula una respuesta cuando sus datos de entrenamiento contienen tanto una afiliación antigua como una nueva. Un modelo que ha visto ambos hechos y elige el más reciente obtiene una buena puntuación aquí. Un modelo que ha visto ambos y elige el más común en su corpus —que, para un investigador de larga trayectoria, suele ser el más antiguo— obtiene una mala puntuación sin equivocarse en nada de lo que realmente se le dijo. El propio planteamiento de la evaluación coincide: mide si un modelo trata "quién es esta persona" como una pregunta sobre el presente.

Qué significan tres modelos diferentes para este resultado, y qué no

Esta es una evaluación publicada por una sola cuenta, y la lectura honesta tiene que empezar por ahí. La muestra es de 448 nombres, la calificación es del propio autor de la publicación frente a fuentes públicas, las cifras de las barras por modelo no son del todo reproducibles a partir de las imágenes del gráfico, y ningún otro laboratorio o evaluador ha ejecutado el mismo protocolo. Trátalo como una señal de que un modo de fallo concreto existe a una tasa medible en uno de los tres, no como una clasificación de la que elegir.

Lo que hace que sea más que ruido es que el control es inusualmente bueno para una evaluación de redes sociales. Dar a cada modelo solo un nombre, una vez, sin acceso a la web, elimina la ruta de recuperación que normalmente taparía una afiliación obsoleta: un modelo con navegación simplemente buscaría a la persona. Excluir a los investigadores que dejaron los laboratorios y, por separado, excluir a personas prominentes fuera de los laboratorios, elimina los casos en los que una respuesta de "empleador actual incorrecto" es posiblemente correcta. Y los 50 nombres inventados son la prueba que separa el "conocimiento obsoleto" de la "disposición a inventar", que los tres modelos superaron juntos.

Hay una tensión que vale la pena nombrar: la tasa reportada de respuestas sin sentido —la proporción de respuestas que eran incorrectas en los márgenes— es esencialmente nula, mientras que la inexactitud reconocible se concentra casi por completo en el campo de afiliación. Un modelo que obtuvo resultados tan limpios con nombres inventados y aun así atribuyó mal los empleadores no está confundido. Está desactualizado en exactamente una dimensión.

Los tres modelos no son productos comparables, así que interpreta el resultado en consecuencia.

• Gemini 4 Argon — anunciado el 30 de septiembre de 2026, disponible de forma general en el nivel de pago a partir del 13 de octubre a un precio indicado de $2.00 por millón de entrada y $10.00 por millón de salida; la misma evaluación que señala sus errores de atribución es la que lo clasificó muy alto en reconocimiento.

• Claude Opus 5.5 — lanzado el 22 de septiembre de 2026 a $4.00 por millón de tokens de entrada y $20.00 por millón de tokens de salida, frente a los $5/$25 que tenía Claude Opus 5.

• GPT-6.1 Sol — lanzado el 29 de septiembre de 2026 a $2.00 por millón de tokens de entrada y $10.00 por millón de tokens de salida.

La diferencia de antigüedad importa para cómo interpretas el resultado. Argon es el más nuevo de los tres por un amplio margen, y si el modo de fallo son las instantáneas obsoletas, el modelo con el conocimiento más reciente es el que más probabilidades tiene de arrastrar dos afiliaciones contradictorias para la misma persona sin una señal fuerte sobre cuál es la vigente. Esa es una hipótesis que la evaluación no pone a prueba y que, dado su diseño, no podría poner a prueba, pero es lo primero que hay que comprobar si la vuelves a ejecutar.

Si vas a usar un modelo para datos sobre personas, pruébalo antes de confiar en él.

Esta evaluación es fácil de aproximar con tus propios datos, y la aproximación es más útil que el agregado. Toma veinte nombres de tu propio dominio —personas que sabes que han cambiado de empleador en los últimos dieciocho meses— y pregúntale al modelo por el puesto actual de cada persona, una vez, sin herramientas. Cuenta cuántos vuelven con la organización anterior. Ese único número te dice más sobre tu despliegue que toda la ejecución de 448 nombres, porque el fallo es específico del dominio: un modelo que es fiable con investigadores de laboratorios de IA puede ser débil en tu industria, o lo contrario.

Dos detalles del protocolo original merecen ser copiados, porque son lo que hace que el resultado sea significativo. Primero, sin acceso a la web. Un modelo con una herramienta de búsqueda simplemente buscará a la persona, que es el comportamiento correcto y significa que la prueba deja de medir cualquier cosa sobre su conocimiento almacenado. Segundo, dar solo el nombre. Añadir contexto ("esta persona trabaja en robótica") permite al modelo inferir la respuesta a partir del contexto en lugar de recuperarla, lo que halaga el resultado sin corregir la debilidad.

Si ejecutas esto a escala en varios modelos en lugar de uno solo, la comparación es la parte costosa: los mismos nombres tienen que llegar a cada modelo de la misma manera, y ahí es donde una capa de enrutamiento se gana su lugar en vez de ser una mera conveniencia.

Dónde corresponde este tipo de comprobación dentro de un pipeline

Los datos sobre personas son una de las pocas categorías en las que una respuesta incorrecta es barata de detectar a posteriori y costosa de detectar de antemano, así que la medida práctica es tratar el campo de afiliación como no verificado de forma predeterminada y comprobarlo contra una fuente que tú controles. Eso no significa confiar menos en los modelos en todos los casos. Significa darse cuenta de que «reconoció a la persona correcta» y «la describió correctamente» son dos mediciones distintas, y que la segunda es la que realmente querías.

En OrcaRouter, este es el tipo de verificación que se ejecuta en varios modelos con la misma clave en lugar de uno a la vez. GPT-6.1 Sol y Claude Opus 5.5 —los dos modelos que esta evaluación consideró menos propensos al error de afiliación obsoleta— ambos son enrutables aquí a través del mismo endpoint, por lo que los mismos veinte nombres van a ambos con un cambio de la cadena de modelo en lugar de un segundo contrato, y que un proveedor tenga una mala tarde no arrastra consigo la comparación. Gemini 4 Argon no está en OrcaRouter; se puede acceder a él a través del nivel de pago propio del proveedor y de otras plataformas de terceros, y nada de lo aquí expuesto debe interpretarse como una oferta para enrutarlo. Los modelos que sí ofrecemos están al precio de lista del proveedor sin margen adicional, por lo que un cambio de precio del proveedor llega a tu factura el mismo día en que se publica.

Qué hay que vigilar, y qué cambiaría esta lectura

El resultado es la evaluación de una sola cuenta, con un buen control y una muestra pequeña, publicada el 14 de octubre de 2026, y el siguiente paso honesto no es actuar con base en ella, sino buscar la segunda ejecución. Dos cosas la harían pasar de ser una señal a ser un hallazgo: un evaluador independiente que repita el protocolo con una lista de nombres más amplia y una calificación publicada, o un proveedor que reconozca que la atribución entre el empleador anterior y el actual de una persona es una clase de fallo distinta que vale la pena abordar. Que el control de 50 nombres inventados pase en los tres modelos es el detalle que hace que eso sea plausible — significa que el problema no es la fabricación, que es difícil, sino la actualización, que es manejable.

Hasta entonces, el resumen útil es más limitado que una tabla de clasificación y más accionable que una. Un modelo que informa con confianza de un empleador obsoleto no te está mintiendo. Está respondiendo a una pregunta sobre el pasado como si hubieras preguntado sobre el presente, y la única forma de detectarlo es hacer la pregunta que realmente querías hacer.

Un resultado como este también es un recordatorio de que los errores de los modelos ya están documentados: los incidentes de IA y los fallos de agentes que hay detrás de los modelos de esta clase se recopilan en el OrcaRouter AI Incident Archive, donde cada entrada incluye sus propias fuentes, su grado de severidad, su nivel de confianza y su indicador de disputa.