向 GPT-6.1 Sol、Claude Opus 5.5 或 Gemini 4 Argon 提问：“这位研究人员是谁？”——然后看看 Argon 如何找错实验室。

三个前沿模型各被问了一个问题，共448次，除了一个名字之外没有任何其他依据。GPT-6.1 Sol和Claude Opus 5.5几乎认出了展示给它们的每一位AI研究员。Gemini 4 Argon认出的人数几乎一样多，但正确描述的人更少，而据报告，其原因既具体又有用：它屡次把某位研究员的前雇主说成其现任雇主。该评估由账号 @scaling01 于2026年10月14日发布；这只是一次已发布的测试，并非独立基准，也没有任何人复现过它。这三个模型的资历差异很大——Gemini 4 Argon 于9月30日发布后，在2026年10月13日于付费档正式开放；Claude Opus 5.5 于9月22日发布，GPT-6.1 Sol 于9月29日发布——因此这里唯一真正新鲜的就是这一发现本身，而它出现在 Argon 付费档开放两天之后。

这是一个陈旧属性问题，值得认真理解，因为它与虚构引文或自信编造的论文不属于同一类失败。一个模型说出某位研究者的前雇主时，并不是在凭空捏造。它返回的是一个曾经为真的事实，只是来自一个已经向前推进的快照。对于这一差距，被援引的内部推理是：一个模型越“擅长”把过时信息当作当前信息来引用，它在某些任务上就越有用，而在这个任务上就越危险。这是对这种权衡的一个简洁表述，也正是这个特定评估比其样本量所暗示的更有趣的原因。

这篇帖子实际测量的内容，用其自己的话说：448 名真实研究人员以仅姓名形式分别向每个模型展示一次，没有网络访问，也没有工具。答案在 2026 年 10 月 14 日对照公开来源——个人主页、实验室简介、论文——进行了核查。图表将通常被合并为一个分数的两件事区分开来。整条柱是“认出了正确的人”。柱的实心部分是“整个答案也准确”。两者之间的差距就是失败模式：人对了，细节错了。队列划分为 131 名 O​penAI 研究人员、166 名 Anthropic、151 名 G​oogle。实验室归属根据 298 个当前个人资料或实验室页面、148 篇自 2025 年 10 月以来的实验室署名，以及 2 名在实验室之间流动的人确定。排除：2 名已离开这些实验室的人、13 名无法确认的人，以及 22 名在这三个实验室之外工作的知名研究人员。三个模型都拒绝了给它们的全部 50 个虚构姓名——三个模型都没有虚构出一个人，这是更难的对照，也是它们通过的那个对照。

一个“前雇主”错误究竟会让你付出多大代价

如果你正在使用前沿模型来准备简报、起草外联名单，或总结谁在哪里工作，那么你将会得到的就是这种确切形态的错误。姓名会是对的。职位会是看似合理的。机构则会是此人已经离开的那一家。输出中没有任何地方会显得不对，这正是它能躲过审阅的原因，也是为什么一个雇主错误的答案比一个明显错误的答案更糟糕。

这也解释了模型之间的差异从何而来。这类归属错误追踪的是模型的知识是如何被快照化的，以及当它的训练数据同时包含一种旧隶属关系和一种新隶属关系时，它如何组织答案。一个同时见过这两个事实并选择较新那个的模型，在这里得分很高。一个同时见过二者、却选择其语料中更常见的那个——对于一位任职时间很长的研究者来说，这通常是较旧的那个——则得分很差，尽管它对自己实际被告知的内容并没有任何错误。评估自身的框架与此相符：它衡量的是模型是否把“这个人是谁”当作一个关于当下的问题来处理。

三种不同模型对这个结果意味着什么，以及不意味着什么

这是一条由某个账号发布的评测，诚实的解读必须从这里开始。样本是448个名称，打分是发帖者依据公开来源自行做出的，各模型的柱状图数值无法完全从图表图像中复现，也没有其他实验室或评估者运行过同一套协议。要把它视为一个信号：这三者之一存在一种可测量的特定失效模式，而不是当作可供选购依据的排名。

让它不只是噪声的，是这种对照对于一项社交媒体评估来说异常严谨。只给每个模型一个名字、仅一次，且没有网络访问，就移除了那条通常会把过时隶属关系掩盖过去的检索路径——一个能浏览网页的模型只需查一下这个人就行。排除已经离开这些实验室的研究人员，并单独排除实验室之外的知名人士，则移除了那些“当前雇主答错”可以说也算正确的案例。而那 50 个虚构名字，则是区分“知识过时”与“愿意编造”的测试，三个模型都一起通过了。

有一个值得点明的张力：所报告的无意义率——即边缘回答中出错的比例——基本上为零，而可识别的不准确却几乎全部集中在所属机构这一字段上。一个在虚构姓名上表现如此干净、却仍然把雇主归属搞错的模型，并不是糊涂了。它恰恰只在一个维度上过时了。

这三款型号并非可比较的产品，因此请相应地解读结果。

• Gemini 4 Argon —— 于2026年9月30日发布，自10月13日起在付费层级全面可用，标价为每百万输入2.00美元、每百万输出10.00美元；指出其归因错误的同一项评估，正是在识别方面将其排名很高的那项评估。

• Claude Opus 5.5 —— 于 2026 年 9 月 22 日发布，定价为每百万输入 4.00 美元、每百万输出 20.00 美元，低于 Claude Opus 5 的 5 美元/25 美元。

• GPT-6.1 Sol — 于 2026 年 9 月 29 日发布，每百万输入 2.00 美元，每百万输出 10.00 美元。

年龄差距会影响你如何解读结果。Argon 是三者中最新的，而且领先幅度很大；如果失效模式是过时快照，那么拥有最新知识的模型最有可能对同一个人携带两个相互冲突的隶属关系，却没有强烈信号表明哪个才是当前的。这是一个该评估没有检验、而且鉴于其设计也不可能检验的假设，但如果你重新运行它，这就是首先要检查的事情。

如果你打算用模型来获取关于人的事实，那么在信任它之前先对它进行测试。

这种评估很容易用你自己的数据做近似，而这种近似比总体结果更有用。从你自己的领域里取二十个名字——你知道他们在过去十八个月里换过雇主——然后针对每个人，只向模型询问一次其当前职位，不使用任何工具。数一数有多少个返回的是旧组织。这一个数字，比整个 448 个名字的那次运行更能说明你的部署情况，因为这种失败是领域特定的：一个在 AI 实验室研究人员身上可靠的模型，在你的行业里可能很弱，反之亦然。

原版中的两个协议细节值得照搬，因为它们才让结果有意义。第一，禁止联网。带有搜索工具的模型会直接去查这个人，这本身是正确的行为，但也意味着这项测试不再能衡量其存储知识的任何方面。第二，只给名字。加入上下文（“这个人从事机器人研究”）会让模型从上下文中推断答案，而不是检索答案，这只会美化结果，却无法弥补这一弱点。

如果你要在多个模型（而不是单个模型）上大规模运行这套流程，那么比较才是开销所在——同一批名称必须以同样的方式送到每个模型，而路由层之所以有其价值、而不只是个便利选项，原因正在于此。

这种检查应该放在流水线的哪个位置

人物事实属于少数几类情况：错误答案在事后很容易被发现，在事前却很难发现，因此务实的做法是默认把所属机构字段视为未经验证，并拿你可控的来源去核对。这并不是说要在所有方面都更不信任模型，而是意味着要意识到，“认对了人”和“把人描述对了”是两种不同的衡量，而你真正想要的其实是后者。

在 OrcaRouter 上，这类检查会跨同一密钥下的多个模型运行，而不是一次只跑一个。GPT-6.1 Sol 和 Claude Opus 5.5——本次评估中发现的、最不容易出现“过时归属”错误的两款模型——在这里都可以经由同一个端点路由访问，所以同一组二十个名称只需改一下模型字符串就能同时发给两者，而无需再签第二份合约；而且某个提供商某个下午状态不佳，也不会连带把这项对比一起拖垮。Gemini 4 Argon 不在 OrcaRouter 上；它可以通过厂商自家的付费层级以及其他第三方平台访问，本文中的任何内容都不应被解读为可为其提供路由的承诺。我们实际提供的模型均按提供商标价执行、不加价，因此厂商一旦调价，公布当天就会反映到你的账单上。

值得关注的事项，以及什么会改变这一解读

这个结果是一个账号的评估，它有一个良好的对照组和一个小样本，发布于2026年10月14日；诚实的下一步不是据此采取行动，而是去寻找第二次运行。有两件事会把它从信号变成发现：一位独立评估者用更大的姓名列表重复该协议并公布评分，或者一家供应商承认，对一个人的前雇主与现任雇主之间的错误归属是一个独特且值得针对的失败类别。包含50个虚构姓名的对照组在全部三个模型上都通过，正是这一细节让这一点显得合理——这意味着问题不是难以处理的捏造，而是可处理的刷新。

在那之前，有用的总结比排行榜更窄，也比排行榜更具可操作性。一个自信地报告过时雇主的模型并不是在骗你。它是在回答一个关于过去的问题，就好像你问的是现在一样；而要识破这一点，唯一的办法就是问出你真正想问的那个问题。

这样的结果也提醒我们，模型出错早已有据可查：这一类模型背后的 AI 事件与智能体故障，都收录在the OrcaRouter AI Incident Archive中，其中每一条记录都附带各自的来源、严重程度、置信度等级以及争议标记。