問 GPT-6.1 Sol、Claude Opus 5.5 或 Gemini 4 Argon「這位研究員是誰？」——然後看 Argon 找錯實驗室

有三個前沿模型各被問了一個問題，共 448 次，而唯一的線索只有一個名字。GPT-6.1 Sol 與 Claude Opus 5.5幾乎認出了所有展示給它們的 AI 研究者。Gemini 4 Argon認出的人數幾乎一樣多，但正確描述的人較少，而據報的原因既具體又實用：它屢次把研究者的前雇主說成是現任雇主。這項評測於 2026 年 10 月 14 日由帳號 @scaling01 發布；這只是一份發布出來的測試，並非獨立基準，也沒有人重現過。這三個模型的資歷差異很大——Gemini 4 Argon 於 2026 年 9 月 30 日發表後，在 10 月 13 日於付費方案正式開放使用；Claude Opus 5.5 於 9 月 22 日推出；GPT-6.1 Sol 於 9 月 29 日推出——所以這裡唯一真正新的東西就是這項發現本身，而它出現的時間點，正好是 Argon 付費方案開放兩天之後。

這是一個過時屬性的問題，值得徹底理解，因為它與幻覺引註或自信捏造出來的論文，並不屬於同一類失敗。一個模型若說出某位研究者以前的雇主，並不是在憑空編造。它傳回的是一項曾經為真、但來自一個已經向前推移的快照的事實。就這道落差所引用的內部推理是：一個模型若越能把過時資訊當成現行資訊來引述，它在某些任務上就越有用，而在這項任務上就越危險。這是對這項取捨的一種簡潔表述，也正是這個特定評估比其樣本數所暗示的更有趣的原因。

這篇文章實際測量了什麼，用它自己的話來說：448 位真實研究者以純名字的形式，各向每個模型展示一次，沒有網路存取，也沒有工具。答案在 2026 年 10 月 14 日對照公開來源——個人頁面、實驗室簡介、論文——進行查核。這張圖表把通常被合併成單一分數的兩件事區分開來。整條長條代表「認出正確的人」。長條的實心部分代表「整個答案也準確無誤」。兩者之間的落差就是失敗模式：人對了，細節錯了。這批研究者的組成是 131 位 OpenAI 研究員、166 位 Anthropic、151 位 Google。實驗室隸屬關係是根據 298 份現行個人檔案或實驗室頁面、148 篇自 2025 年 10 月以來的實驗室署名文章，以及 2 位在實驗室之間流動的人所確認。排除對象：2 位已離開這些實驗室的人、13 位無法確認的人，以及 22 位在這三個實驗室之外工作的知名研究者。三個模型全都拒絕了提供給它們的全部 50 個虛構名字——三者都沒有虛構出人物，這是較難的對照項，而它們通過了。

「前雇主」錯誤實際上會讓你付出多少代價

如果你正使用前沿模型來準備簡報、草擬外聯名單，或彙整誰在哪裡任職，這就是你會得到的那種錯誤的確切樣貌。名字會是對的。職位會看似合理。組織會是那個人已經離開的那一家。輸出內容看起來完全不會有錯，這就是為什麼它能躲過審查，也是為什麼弄錯雇主的答案比明顯錯誤的答案更糟。

它也說明了模型之間的差異從何而來。這類歸因錯誤反映了模型的知識是在何時被快照的，以及當其訓練資料同時包含舊與新的隸屬關係時，它如何措辭回答。一個看過這兩項事實並選擇較新那項的模型，在這裡得分很高。一個看過兩者、卻選擇其語料庫中較常見那項的模型——對一位長期任職的研究者而言，那通常是較舊的那項——得分很低，但對於它實際被告知的事情並沒有說錯。這項評估本身的框架也與此相符：它衡量的是模型是否把「這個人是誰」當作一個關於當下的問題。

三種不同模型對這個結果意味著什麼，以及不意味著什麼

這是由一個帳號發布的一項評估，而誠實的解讀必須從這裡開始。樣本是 448 個名稱，評分是發文者自己對照公開來源所做的，各模型的長條圖數據無法完全從圖表的圖像中重現，而且沒有其他實驗室或評估者執行過相同協定。把它當作一個訊號：某個特定失效模式在其中之一以可測量的比例存在，而不是當作可供挑選的排名。

讓這件事不只是一堆雜訊的，是這項社群媒體評估的對照設計異常嚴謹。只給每個模型一個名字、一次，且不提供網路存取，移除了通常會掩蓋過時隸屬關係的檢索路徑——有瀏覽功能的模型只會直接查這個人。排除已離開實驗室的研究人員，並另行排除實驗室以外的知名人士，移除了「現任雇主答錯」其實說得通的那些情況。而那 50 個捏造的名字，正是區分「過時知識」與「願意胡編亂造」的測試，三個模型都一起通過了。

這裡有個值得指名的矛盾：所回報的胡言亂語率——也就是答案在邊緣地帶出錯的比例——基本上趨近於零，而可辨識的錯誤卻幾乎全集中在所屬機構欄位上。一個在虛構姓名上表現得如此乾淨、卻仍誤判雇主歸屬的模型，並不是混亂。它恰恰只在一個維度上過時了。

這三個型號並非可互相比較的產品，因此請據此解讀結果

• Gemini 4 Argon — 於 2026 年 9 月 30 日宣布，自 10 月 13 日起在付費層級全面提供，標示價格為每百萬輸入 $2.00、每百萬輸出 $10.00；指出其歸因錯誤的同一項評估，正是將它在辨識方面評為高分的那一項。

• Claude Opus 5.5 — 於 2026 年 9 月 22 日推出，每百萬輸入權杖 $4.00、每百萬輸出權杖 $20.00，較 Claude Opus 5 的 $5/$25 下調。

GPT-6.1 Sol — 於 2026 年 9 月 29 日推出，每百萬輸入 token 2.00 美元，每百萬輸出 token 10.00 美元。

年齡差距會影響你如何解讀結果。Argon 是三者之中最新的一個，而且差距很大；如果失效模式是過時的快照，那麼擁有最新知識的模型，最有可能對同一個人同時帶有兩個互相衝突的從屬關係，卻沒有強烈訊號指出哪一個才是現行的。這是評估沒有測試、而且以其設計而言也無法測試的假設，但如果你重新執行它，這會是第一件該檢查的事。

如果你打算用模型來處理人物相關事實，請先測試它，再信任它

這項評估很容易用你自己的資料來粗略估計，而且這種粗略估計比總體彙總結果更有用。從你自己的領域中挑出二十個名字——你知道他們在過去十八個月內換過雇主——然後針對每個人，請模型在不使用工具的情況下回答一次他們目前的職位。數一數有多少個回傳的是舊公司。這個單一數字對你的部署所揭示的資訊，會比整批 448 個名字的測試還多，因為這種失敗是領域特定的：一個在 AI 實驗室研究人員上可靠的模型，可能在你所屬的產業上表現不佳，反之亦然。

原始版本的兩項協定細節值得照搬，因為它們正是讓結果有意義的關鍵。首先，不提供網路存取。配備搜尋工具的模型只會直接查詢這個人，這是正確的做法，也意味著這項測試不再能衡量任何關於其儲存知識的東西。其次，只提供名字。加入脈絡（「這個人從事機器人研究」）會讓模型根據脈絡推論答案，而不是檢索答案，這麼做只會美化結果，卻沒有修正弱點。

如果你是要在多個模型而非單一模型上大規模執行這項工作，比較才是昂貴的部分——相同的名稱必須以相同方式送到每個模型，而這正是路由層證明自己不可或缺、而不只是便利功能的地方。

這類檢查在管線中應該放在哪裡

關於人的事實，是少數幾種錯誤答案事後很容易察覺、事前卻得付出高昂代價才能察覺的類別之一，所以務實的做法，就是把所屬單位欄位預設為未經查證，並拿你能掌控的來源來核對。這並不表示要全面降低對模型的信任，而是要意識到，「認出正確的人」和「正確描述他們」是兩種不同的衡量方式，而第二種才是你真正想要的。

在 OrcaRouter 上，這類檢查是在同一組金鑰上橫跨多個模型執行，而不是一次只測一個。GPT-6.1 Sol 與 Claude Opus 5.5——本次評估中判定最不易出現過時歸屬錯誤的兩個模型——在此都能透過同一個端點進行路由，因此同樣那二十個名稱只要變更模型字串就能同時送給兩者，不必再另簽一份合約；而且就算某家供應商某個下午出狀況，也不會連帶拖垮這項比較。Gemini 4 Argon 並未上架 OrcaRouter；它可透過該廠商自家的付費方案及其他第三方平台存取，此處任何內容都不應解讀為提供路由該模型的要約。我們確實提供的模型，一律以供應商定價供應、不另加價，因此供應商一調價，當天就會反映到你的帳單上。

值得關注的事項，以及什麼會改變這項解讀

結果是某個帳號的評估，具備良好的對照組但樣本很小，發表於 2026 年 10 月 14 日；誠實的下一步不是據此行動，而是尋找第二次執行。有兩件事能讓它從一個訊號變成一個發現：獨立評估者以更大的姓名清單重複該協定，並公開評分；或是供應商承認，一個人先前與目前雇主之間的歸因是一個值得鎖定的獨立失敗類別。50 個虛構姓名的對照組在三個模型上都通過，正是讓這一點顯得可信的細節——這表示問題不是困難的杜撰，而是可處理的更新。

在那之前，有用的摘要比排行榜更聚焦，也比排行榜更可付諸行動。一個自信地回報過時雇主資訊的模型，並不是在對你說謊。它是在回答一個關於過去的問題，彷彿你問的是現在；而要察覺這一點，唯一的方法就是問出你真正想問的問題。

這樣的結果也提醒我們，模型出錯早有紀錄可查：這類模型背後的 AI 事故與代理失誤，都收錄在 the OrcaRouter AI Incident Archive，其中每一筆紀錄都附有自己的來源、嚴重程度、信心評級與爭議標記。