Demandez à GPT-6.1 Sol, Claude Opus 5.5 ou Gemini 4 Argon « Qui est ce chercheur ? » — et regardez Argon viser le mauvais laboratoire

Trois modèles de pointe ont été interrogés, une question chacun, 448 fois, sans rien d'autre qu'un nom comme point de départ. GPT-6.1 Sol et Claude Opus 5.5 ont identifié presque tous les chercheurs en IA qui leur étaient présentés. Gemini 4 Argon a identifié à peu près autant de personnes, mais en a décrit correctement un nombre moindre, et la raison rapportée est précise et utile : il a désigné à plusieurs reprises l'ancien employeur d'un chercheur comme son employeur actuel. L'évaluation a été publiée le 14 octobre 2026 par le compte @scaling01 ; il s'agit d'un test publié, pas d'un benchmark indépendant, et personne ne l'a reproduit. Les trois modèles ont des âges très différents — Gemini 4 Argon est devenu généralement disponible sur l'offre payante le 13 octobre 2026, après avoir été annoncé le 30 septembre, Claude Opus 5.5 est sorti le 22 septembre, GPT-6.1 Sol le 29 septembre — de sorte que la seule chose réellement nouvelle ici est la découverte elle-même, qui survient deux jours après l'ouverture de l'offre payante d'Argon.

Il s'agit d'un problème d'attribut périmé, et il vaut la peine de le comprendre correctement, car ce n'est pas la même catégorie d'échec qu'une citation hallucinée ou qu'un article inventé avec assurance. Un modèle qui nomme l'ancien employeur d'un chercheur n'invente pas quelque chose. Il renvoie un fait qui était vrai, à partir d'un instantané qui a évolué depuis. Le raisonnement interne cité pour expliquer cet écart est que plus un modèle est « bon » pour présenter des informations obsolètes comme actuelles, plus il est utile pour certaines tâches et plus il est dangereux pour celle-ci. C'est une formulation limpide du compromis, et c'est la raison pour laquelle cette évaluation particulière est plus intéressante que ne le suggère la taille de son échantillon.

Ce que le post mesurait réellement, dans ses propres mots : 448 chercheurs réels ont été présentés à chaque modèle sous la forme d’un simple nom, une seule fois, sans accès au web ni outils. Les réponses ont été vérifiées par rapport à des sources publiques — pages personnelles, bios de laboratoire, articles — le 14 octobre 2026. Le graphique sépare deux choses qui sont généralement regroupées en un seul score. La barre complète correspond à « a reconnu la bonne personne ». La partie pleine de la barre correspond à « l’ensemble de la réponse était également exact ». L’écart entre les deux est le mode de défaillance : bonne personne, mauvais détail. La répartition de la cohorte était de 131 chercheurs O​penAI, 166 Anthropic, 151 G​oogle. L’affiliation de laboratoire a été établie à partir de 298 profils actuels ou pages de laboratoire, 148 signatures de laboratoire depuis octobre 2025, et 2 personnes ayant changé de laboratoire. Exclus : 2 personnes ayant quitté ces laboratoires, 13 personnes n’ayant pas pu être confirmées, et 22 chercheurs éminents travaillant en dehors des trois laboratoires. Les trois modèles ont rejeté les 50 noms inventés qui leur ont été donnés — aucun des trois n’a inventé de personne, ce qui est le contrôle le plus difficile et celui qu’ils ont réussi.

Ce que vous coûte vraiment une erreur d'« ancien employeur »

Si vous utilisez un modèle de pointe pour préparer une note de synthèse, rédiger une liste de contacts à démarcher ou résumer qui travaille où, voici exactement la forme de l’erreur que vous obtiendrez. Le nom sera correct. Le poste sera plausible. L’organisation sera celle que la personne a quittée. Rien dans le résultat ne semblera erroné, ce qui explique pourquoi cela passe la relecture, et pourquoi une réponse avec le mauvais employeur est pire qu’une réponse manifestement fausse.

Cela explique également d'où viennent les différences entre les modèles. Les erreurs d'attribution de ce type suivent la manière dont les connaissances d'un modèle ont été capturées et la façon dont il formule une réponse lorsque ses données d'entraînement contiennent à la fois une ancienne et une nouvelle affiliation. Un modèle qui a vu les deux faits et choisit le plus récent obtient un bon score ici. Un modèle qui a vu les deux et choisit le plus courant dans son corpus — ce qui, pour un chercheur de longue date, est généralement le plus ancien — obtient un mauvais score sans pour autant se tromper sur quoi que ce soit qui lui a été réellement indiqué. Le cadre de l'évaluation lui-même correspond : il mesure si un modèle traite « qui est cette personne » comme une question sur le présent.

Ce que trois modèles différents signifient pour ce résultat, et ce que cela ne signifie pas

Il s'agit d'une évaluation publiée par un seul compte, et une lecture honnête doit partir de là. L'échantillon comporte 448 noms, la notation est celle de l'auteur du message, comparée à des sources publiques, les chiffres des barres par modèle ne sont pas entièrement reproductibles à partir des images du graphique, et aucun autre laboratoire ni évaluateur n'a exécuté le même protocole. Considérez cela comme le signal qu'un mode de défaillance précis existe à un taux mesurable chez l'un des trois, et non comme un classement sur lequel s'appuyer pour choisir.

Ce qui en fait plus qu’un simple bruit, c’est que le contrôle est inhabituellement bon pour une évaluation de réseaux sociaux. Le fait de ne donner à chaque modèle qu’un nom, une seule fois, sans accès au Web, supprime la voie de récupération qui masquerait normalement une affiliation obsolète — un modèle disposant de la navigation Web se contenterait de rechercher la personne. Exclure les chercheurs qui ont quitté les laboratoires, et exclure séparément les personnalités en vue extérieures aux laboratoires, élimine les cas où une réponse « mauvais employeur actuel » est défendable. Et les 50 noms inventés constituent le test qui sépare les « connaissances obsolètes » de la « volonté d’inventer des choses », que les trois modèles ont réussi ensemble.

Il y a une tension qu’il vaut la peine de nommer : le taux de non-sens rapporté — la proportion de réponses qui étaient fausses à la marge — est pratiquement nul, tandis que l’inexactitude reconnaissable est concentrée presque entièrement dans le champ de l’affiliation. Un modèle qui a obtenu un score aussi net sur des noms inventés et qui a malgré tout mal attribué des employeurs n’est pas confus. Il est périmé sur exactement une dimension.

Les trois modèles ne sont pas des produits comparables, alors interprétez le résultat en conséquence.

• Gemini 4 Argon — annoncé le 30 septembre 2026, en disponibilité générale sur l’offre payante à partir du 13 octobre, à un tarif annoncé de 2,00 $ par million d’entrées et de 10,00 $ par million de sorties ; la même évaluation qui signale ses erreurs d’attribution est celle qui l’a classé parmi les meilleurs en matière de reconnaissance.

• Claude Opus 5.5 — lancé le 22 septembre 2026 à 4,00 $ par million de tokens d'entrée et 20,00 $ par million de tokens de sortie, contre les 5 $/25 $ de Claude Opus 5.

• GPT-6.1 Sol — sorti le 29 septembre 2026 à 2,00 $ par million en entrée et 10,00 $ par million en sortie.

L’écart d’âge compte dans la façon dont vous interprétez le résultat. Argon est le plus récent des trois, et de loin, et si le mode de défaillance est celui d’instantanés périmés, le modèle doté des connaissances les plus récentes est celui qui a le plus de chances de porter deux affiliations contradictoires pour la même personne sans signal fort indiquant laquelle est actuelle. C’est une hypothèse que l’évaluation ne teste pas et ne pourrait pas tester, vu sa conception, mais c’est la première chose à vérifier si vous la relancez.

Si vous comptez utiliser un modèle pour des faits sur les personnes, testez-le avant de lui faire confiance.

Cette évaluation est facile à approximer sur vos propres données, et l'approximation est plus utile que l'agrégat. Prenez vingt noms de votre propre domaine — des personnes dont vous savez qu'elles ont changé d'employeur au cours des dix-huit derniers mois — et demandez au modèle le poste actuel de chaque personne, une fois, sans outils. Comptez combien reviennent avec l'ancienne organisation. Ce seul chiffre vous en dit plus sur votre déploiement que l'ensemble de l'exécution sur 448 noms, car l'échec est spécifique au domaine : un modèle fiable sur les chercheurs en laboratoire d'IA peut être faible dans votre secteur, ou l'inverse.

Deux détails de protocole de l’original valent la peine d’être repris, car ce sont eux qui rendent le résultat significatif. Premièrement, aucun accès au web. Un modèle doté d’un outil de recherche se contentera de rechercher la personne, ce qui est le comportement correct et signifie que le test cesse de mesurer quoi que ce soit concernant ses connaissances stockées. Deuxièmement, ne donner que le nom. Ajouter du contexte (« cette personne travaille en robotique ») permet au modèle de déduire la réponse à partir du contexte plutôt que de la récupérer, ce qui flatte le résultat sans corriger la faiblesse.

Si vous exécutez cela à grande échelle sur plusieurs modèles plutôt qu’un seul, la comparaison est la partie coûteuse — les mêmes noms doivent être transmis à chaque modèle de la même manière, et c’est là qu’une couche de routage mérite sa place plutôt que de n’être qu’une commodité.

Où ce type de vérification a sa place dans un pipeline

Les informations sur les personnes sont l'une des rares catégories où une réponse erronée est peu coûteuse à détecter a posteriori et coûteuse à détecter a priori ; la démarche pratique consiste donc à considérer le champ d'affiliation comme non vérifié par défaut et à le confronter à une source que vous maîtrisez. Cela ne signifie pas faire globalement moins confiance aux modèles. Cela signifie prendre conscience que « a reconnu la bonne personne » et « l'a décrite correctement » sont deux mesures distinctes, et que c'est la seconde que vous vouliez réellement.

Sur OrcaRouter, c'est le genre de vérification qui s'exécute sur plusieurs modèles avec la même clé, plutôt qu'un seul à la fois. GPT-6.1 Sol et Claude Opus 5.5 — les deux modèles que cette évaluation a jugés les moins enclins à commettre l'erreur d'affiliation obsolète — sont tous deux routables ici via le même point de terminaison, de sorte que les mêmes vingt noms sont envoyés aux deux par un simple changement de chaîne de modèle plutôt qu'un second contrat, et qu'un fournisseur qui passe une mauvaise journée ne fait pas tomber la comparaison avec lui. Gemini 4 Argon n'est pas disponible sur OrcaRouter ; il est accessible via l'offre payante du fournisseur lui-même et d'autres plateformes tierces, et rien ici ne doit être interprété comme une offre de le router. Les modèles que nous proposons sont au prix catalogue du fournisseur, sans marge, de sorte qu'un changement de prix du fournisseur se répercute sur votre facture le jour même de sa publication.

Ce qu'il faut surveiller, et ce qui changerait cette lecture

Le résultat est l'évaluation d'un seul compte, avec un bon contrôle et un petit échantillon, publiée le 14 octobre 2026, et la prochaine étape honnête n'est pas d'agir dessus, mais de chercher le second passage. Deux choses feraient passer cela d'un signal à un résultat : un évaluateur indépendant qui répète le protocole avec une liste de noms plus longue et une notation publiée, ou un fournisseur qui reconnaît que l'attribution entre l'employeur précédent et l'employeur actuel d'une personne est une classe de défaillance distincte qu'il vaut la peine de cibler. Le contrôle des 50 noms inventés qui réussit sur les trois modèles est le détail qui rend cela plausible — cela signifie que le problème n'est pas la fabrication, qui est difficile, mais l'actualisation, qui est maîtrisable.

D’ici là, le résumé utile est plus restreint qu’un classement et plus exploitable qu’un classement. Un modèle qui vous annonce avec assurance un employeur obsolète ne vous ment pas. Il répond à une question sur le passé comme si vous aviez posé une question sur le présent, et le seul moyen de le détecter est de poser la question que vous vouliez réellement poser.

Un résultat comme celui-ci rappelle aussi que les erreurs des modèles sont déjà documentées : les incidents d'IA et les défaillances d'agents derrière les modèles de cette classe sont recensés dans l'OrcaRouter AI Incident Archive, où chaque entrée comporte ses propres sources, son niveau de gravité, sa note de confiance et son indicateur de contestation.