「この研究者は誰？」と GPT-6.1 Sol、Claude Opus 5.5、または Gemini 4 Argon に尋ねてみよう — そして Argon が間違った研究室に手を伸ばすのを見てみよう

3つのフロンティアモデルに、それぞれ1問ずつ、名前だけを手がかりに448回質問した。GPT-6.1 Sol と Claude Opus 5.5は、提示されたほぼすべてのAI研究者を特定した。Gemini 4 Argonもほぼ同数の人物を特定したが、正確に説明できた人数はより少なく、報告されている理由は具体的で有用だ。それは、研究者の元の雇用主を現在の雇用主として繰り返し挙げたというものだ。この評価は2026年10月14日にアカウント @scaling01 によって投稿された。これは投稿された1件のテストであり、独立したベンチマークではなく、誰も再現していない。3つのモデルはリリース時期が大きく異なる。Gemini 4 Argon は9月30日に発表された後、2026年10月13日に有料ティアで一般提供を開始し、Claude Opus 5.5 は9月22日、GPT-6.1 Sol は9月29日にリリースされた。したがって、ここで真に新しいのはこの発見そのものであり、それは Argon の有料ティアが開放されてから2日後に出たものだ。

これはステイル属性問題であり、きちんと理解する価値がある。なぜなら、それは幻覚的な引用や、自信を持ってでっち上げられた論文とは同じ種類の失敗ではないからだ。研究者の以前の雇用主を挙げるモデルは、何かをでっち上げているのではない。それは、真実だった事実を、すでに先へ進んだスナップショットから返しているのだ。この乖離について引用されている内部推論は、モデルが古くなった情報を最新のものとして引用するのが「より」うまいほど、一部のタスクにはより役立ち、このタスクにはより危険になる、というものだ。これはこのトレードオフの明快な定式化であり、この特定の評価がそのサンプルサイズから示唆されるより興味深い理由でもある。

この投稿が実際に測定したのは、それ自身の言葉で言えばこうだ。448人の実在の研究者が、各モデルに一度だけ、裸の名前として提示され、ウェブアクセスもツールもなかった。回答は公開情報源——個人ページ、研究室のプロフィール、論文——と2026年10月14日に照合された。グラフは、通常ひとつのスコアにまとめられてしまう二つのものを分けている。バー全体は「正しい人物を認識した」。バーの塗りつぶされた部分は「回答全体も正確だった」。両者の間の隔たりが失敗モードである。つまり、人物は正しいが、詳細が間違っている。コホートの内訳は、O​penAI研究者131人、Anthropic 166人、G​oogle 151人だった。研究室所属は、298件の現行プロフィールまたは研究室ページ、2025年10月以降の研究室の署名記事148件、研究室間を移動した2人によって確認された。除外：これらの研究室を去った2人、確認できなかった13人、これら3研究室以外で働く著名研究者22人。3モデルはすべて、与えられた50の架空の名前をすべて拒否した——3つのうちどれも人物を捏造しなかった。これはより難しい対照であり、彼らが通過したものである。

「前の雇用主」のミスが実際にあなたにいくらの損害を与えるか

最先端モデルを使ってブリーフィングを準備したり、アプローチ先リストの下書きを作成したり、誰がどこで働いているかを要約したりすると、得られる誤りはまさにこの形です。名前は合っています。役職ももっともらしい。組織は、その人が去った先のものになります。出力のどこも間違っているようには見えない。だからこそレビューを通過してしまい、だからこそ雇用主を誤った回答は、明らかに間違った回答よりも悪いのです。

それはまた、モデル間の違いがどこから来るのかも説明している。この種の帰属エラーは、モデルの知識がどの時点でスナップショットされたか、そして訓練データに古い所属と新しい所属の両方が含まれているときにモデルが回答をどう言い表すかを反映している。両方の事実を見ていて、より新しい方を選ぶモデルはここで高く評価される。両方を見ていて、自分のコーパスでより一般的な方を選ぶモデル――長く在職している研究者の場合、それは通常より古い方だ――は、実際に教えられたことについて何も間違っていないのに低く評価される。評価自体の枠組みもそれと一致している。それは、モデルが「この人は誰か」を現在についての問いとして扱うかどうかを測定している。

3つの異なるモデルがこの結果にとって何を意味するのか、そして何を意味しないのか

これは1つのアカウントによって投稿された1件の評価であり、誠実な読み方はそこから始めなければならない。サンプルは448個の名前で、採点は投稿者自身が公開情報源と照合して行ったものであり、モデルごとの棒グラフの数値はそのチャートの画像から完全には再現できず、他の研究所や評価者が同じプロトコルを実行したこともない。これは、3つのうちの1つに特定の失敗モードが測定可能な割合で存在するというシグナルとして扱うべきであり、そこから選ぶためのランキングとして扱うべきではない。

それを単なるノイズ以上のものにしているのは、この対照がソーシャルメディア評価としては異例なほど優れている点だ。各モデルに名前だけを一度与え、ウェブアクセスなしにするという条件は、通常なら古い所属を覆い隠してしまう検索経路を取り除く——ブラウジングできるモデルなら、その人物を単に調べるだけだろう。ラボを去った研究者を除外し、さらにラボ外の著名人も別途除外することで、「現在の勤務先が間違っている」という答えが一概に間違いとは言えないケースを取り除いている。そして、50個の架空の名前は「古い知識」と「作り話をいとわないこと」を分けるテストであり、3モデルはそろってこれに合格した。

ここで名付けておく価値のある緊張関係がある。報告されているナンセンス率——周辺部で誤っていた回答の割合——はほぼゼロである一方、見て取れる不正確さはほぼ完全に所属欄に集中している。架空の名前に対してそれほどきれいなスコアを出しながら、なお雇用主を誤って割り当てるモデルは、混乱しているのではない。ただ一つの次元において古くなっているだけだ。

3つのモデルは比較可能な製品ではないため、結果はその点を踏まえて読んでください

• Gemini 4 Argon — 2026年9月30日に発表、10月13日から有料ティアで一般提供、公表価格は入力100万トークンあたり$2.00、出力100万トークンあたり$10.00。その帰属エラーを指摘するのと同じ評価が、認識においてこれを高く評価した評価でもある。

• Claude Opus 5.5 — 2026年9月22日に提供開始、入力100万トークンあたり4.00ドル、出力100万トークンあたり20.00ドル。Claude Opus 5 の5ドル/25ドルから値下げ。

• GPT-6.1 Sol — 2026年9月29日リリース、入力100万あたり$2.00、出力100万あたり$10.00。

年齢差は、この結果をどう読むかに影響する。Argon は3つの中で圧倒的に最も新しく、もし故障モードが古いスナップショットだとするなら、最も新しい知識を持つモデルこそ、同じ人物について矛盾する2つの所属情報を、どちらが現在のものかを示す強い信号がないまま保持している可能性が最も高い。これはこの評価が検証しておらず、その設計上検証できなかった仮説だが、再実行するなら最初に確認すべきことだ。

人物に関する事実にモデルを使うつもりなら、信頼する前にテストしよう

この評価は自分のデータ上で簡単に近似でき、その近似は集計結果よりも役に立つ。自分の領域から20人の名前を選ぶ——過去18か月以内に転職したとあなたが知っている人たちだ——そして、各人の現在の役職を、ツールを一切使わずに一度だけモデルに尋ねる。何人について古い所属先が返ってくるかを数える。その1つの数字は、448人分の実行全体よりも、あなたの導入について多くを教えてくれる。なぜなら、失敗は領域に固有だからだ。AIラボの研究者には信頼できるモデルが、あなたの業界には弱いかもしれないし、その逆かもしれない。

元の記述にある2つのプロトコル上の詳細は、そのまま採用する価値がある。それこそが結果を意味あるものにするからだ。第一に、ウェブアクセスなし。検索ツールを持つモデルは、単にその人物を調べてしまう。これは正しい挙動であり、テストがそのモデルの保存された知識について何も測定しなくなることを意味する。第二に、名前だけを与える。文脈（「この人物はロボティクスに従事している」）を加えると、モデルは検索するのではなく文脈から答えを推論できるようになる。これは弱点を修正しないまま結果を良く見せるだけだ。

これを1つのモデルではなく複数のモデルにまたがって大量に実行しているなら、コストがかさむのは比較の部分だ——同じ名前を各モデルに同じように渡さなければならず、まさにそこが、ルーティング層が単なる便利機能ではなく、その役割を果たす場所なのである。

この種のチェックがパイプラインのどこに属するか

人物に関する事実は、誤った回答を事後に検出するのは安くつくが、事前に検出するのは高くつく、数少ないカテゴリの一つだ。だから実用的な対応は、所属フィールドをデフォルトで未検証として扱い、自分が管理する情報源と照合することになる。それは、あらゆる面でモデルをより信頼しなくなるという意味ではない。「正しい人物を認識した」と「その人物を正しく記述した」は別々の測定であり、実際に欲しかったのは後者のほうだ、ということに気づくという意味だ。

OrcaRouter では、この種のチェックは 1 つずつではなく、同じキーで複数のモデルにまたがって実行されます。GPT-6.1 Sol と Claude Opus 5.5 —— 今回の評価で、古い所属情報に起因するエラーを最も起こしにくいと判定された 2 つのモデル —— は、どちらもここでは同じエンドポイント経由でルーティングできます。そのため、同じ 20 件の名前は、2 つ目の契約ではなくモデル文字列を変えるだけで両方に送られ、あるプロバイダーが一時的に調子を崩しても比較がそれに巻き込まれて止まることはありません。Gemini 4 Argon は OrcaRouter 上にはありません。ベンダー自身の有料プランや他のサードパーティプラットフォームを通じてなら利用可能ですが、ここでの記述はそれをルーティングする提案として読まれるべきものではありません。当社が実際に取り扱うモデルはプロバイダーの定価のままで上乗せはないため、ベンダーの価格変更は公表されたその日にあなたの請求に反映されます。

注目すべき点と、この見方を変えるもの

この結果は、良好な対照と小規模サンプルを備えた1つのアカウントによる評価であり、2026年10月14日に投稿された。誠実な次の一歩は、それに基づいて行動することではなく、2回目の実行を探すことだ。それをシグナルから知見へと変えるものは2つある。独立した評価者が、より大きな名前リストと公開された採点を用いてプロトコルを繰り返すことか、あるいはベンダーが、人の前職と現職の雇用主の間の帰属は、狙う価値のある別個の失敗クラスであると認めることだ。50個の架空名からなる対照が3つのモデルすべてで通過したことが、それをもっともらしくする細部である——つまり、問題は難しい捏造ではなく、対処可能な更新だ。

それまでは、役に立つ要約はリーダーボードよりも範囲が狭く、リーダーボードよりも行動に移しやすい。古い勤務先を自信たっぷりに報告するモデルは、あなたに嘘をついているわけではない。それは、あなたが現在について尋ねたかのように、過去についての問いに答えているのだ。そしてそれを見抜く唯一の方法は、本当に意図した質問をすることだ。

このような結果は、モデルの誤りがすでに記録されていることを思い出させるものでもあります。このクラスのモデルに関連するAIインシデントとエージェントの障害は、OrcaRouter AI Incident Archiveに収集されており、各項目にはそれぞれの情報源、深刻度、信頼度グレード、異議申し立てフラグが付いています。