Fragen Sie GPT-6.1 Sol, Claude Opus 5.5 oder Gemini 4 Argon: „Wer ist dieser Forscher?“ — und beobachten Sie, wie Argon nach dem falschen Labor greift

Drei Frontier-Modelle wurden jeweils eine Frage gestellt, 448 Mal, wobei sie nur einen Namen als Ausgangspunkt hatten. GPT-6.1 Sol und Claude Opus 5.5 identifizierten fast jeden KI-Forscher, der ihnen gezeigt wurde. Gemini 4 Argon identifizierte fast ebenso viele Personen, beschrieb aber weniger von ihnen korrekt, und der berichtete Grund ist spezifisch und nützlich: Es nannte wiederholt den ehemaligen Arbeitgeber eines Forschers als dessen aktuellen. Die Bewertung wurde am 14. Oktober 2026 vom Account @scaling01 veröffentlicht; es ist ein veröffentlichter Test, kein unabhängiger Benchmark, und niemand hat ihn reproduziert. Die drei Modelle haben sehr unterschiedliche Alter — Gemini 4 Argon wurde am 13. Oktober 2026 im kostenpflichtigen Tarif allgemein verfügbar, nachdem es am 30. September angekündigt worden war, Claude Opus 5.5 erschien am 22. September, GPT-6.1 Sol am 29. September —, sodass das einzige wirklich Neue hier der Befund selbst ist, der zwei Tage nach dem Start von Argons kostenpflichtigem Tarif kommt.

Dabei handelt es sich um ein Problem veralteter Attribute, und es lohnt sich, es richtig zu verstehen, denn es ist nicht dieselbe Fehlerklasse wie eine halluzinierte Quellenangabe oder eine mit Überzeugung erfundene Arbeit. Ein Modell, das den früheren Arbeitgeber eines Forschers nennt, denkt sich nichts aus. Es gibt eine Tatsache wieder, die wahr war, aus einer Momentaufnahme, die sich weiterentwickelt hat. Die angeführte interne Begründung für die Lücke lautet, dass ein Modell umso nützlicher für manche Aufgaben und umso gefährlicher für diese hier ist, je „besser“ es darin ist, veraltete Informationen als aktuelle anzuführen. Das ist eine saubere Formulierung des Trade-offs, und es ist der Grund, warum diese besondere Evaluation interessanter ist, als ihre Stichprobengröße vermuten lässt.

Was der Beitrag tatsächlich gemessen hat, in seinen eigenen Worten: 448 echte Forschende wurden jedem Modell als bloßer Name gezeigt, einmal, ohne Webzugriff und ohne Tools. Die Antworten wurden anhand öffentlicher Quellen — persönliche Seiten, Labor-Biografien, Papers — am 14. Oktober 2026 überprüft. Das Diagramm trennt zwei Dinge, die normalerweise zu einer Punktzahl zusammengefasst werden. Der volle Balken steht für „die richtige Person erkannt“. Der ausgefüllte Teil des Balkens steht für „die gesamte Antwort war zudem korrekt“. Die Lücke zwischen beiden ist der Fehlermodus: richtige Person, falsches Detail. Die Kohorte teilte sich auf in 131 OpenAI-Forschende, 166 Anthropic-Forschende und 151 Google-Forschende. Die Laborzugehörigkeit wurde anhand von 298 aktuellen Profilen oder Laborseiten, 148 Labor-Autorenzeilen seit Oktober 2025 und 2 Personen, die zwischen Labors wechselten, ermittelt. Ausgeschlossen: 2, die diese Labors verließen, 13, die nicht bestätigt werden konnten, und 22 prominente Forschende, die außerhalb der drei Labors arbeiten. Alle drei Modelle lehnten alle 50 erfundenen Namen ab, die ihnen gegeben wurden — keines der drei erfand eine Person, was die schwierigere Kontrolle ist und diejenige, die sie bestanden haben.

Was dich ein Fehler mit dem „ehemaligen Arbeitgeber" tatsächlich kostet

Wenn Sie ein Frontier-Modell verwenden, um ein Briefing vorzubereiten, eine Outreach-Liste zu entwerfen oder zusammenzufassen, wer wo arbeitet, dann ist dies die genaue Form des Fehlers, den Sie erhalten werden. Der Name wird stimmen. Die Rolle wird plausibel sein. Die Organisation wird die sein, die die Person verlassen hat. Nichts an der Ausgabe wird falsch aussehen, weshalb sie die Überprüfung übersteht und weshalb eine Antwort mit dem falschen Arbeitgeber schlimmer ist als eine offensichtlich falsche.

Es erklärt auch, woher die Unterschiede zwischen Modellen kommen. Zuordnungsfehler dieser Art geben Aufschluss darüber, wie das Wissen eines Modells festgehalten wurde und wie es eine Antwort formuliert, wenn seine Trainingsdaten sowohl eine alte als auch eine neue Zugehörigkeit enthalten. Ein Modell, das beide Fakten gesehen hat und das neuere auswählt, schneidet hier gut ab. Ein Modell, das beide gesehen hat und das in seinem Korpus häufigere auswählt – was bei einer Person mit langer Forschungslaufbahn meist das ältere ist –, schneidet schlecht ab, ohne dass es bei irgendetwas, was ihm tatsächlich mitgeteilt wurde, falsch liegt. Auch die Rahmung der Evaluation selbst passt dazu: Sie misst, ob ein Modell „Wer ist diese Person?“ als eine Frage zur Gegenwart behandelt.

Was drei verschiedene Modelle für dieses Ergebnis bedeuten und was nicht.

Dies ist eine veröffentlichte Bewertung von einem einzigen Account, und die ehrliche Lesart muss dort beginnen. Die Stichprobe umfasst 448 Namen, die Bewertung ist die des Verfassers selbst im Abgleich mit öffentlichen Quellen, die Balkenwerte pro Modell sind aus den Bildern des Diagramms nicht vollständig reproduzierbar, und kein anderes Labor oder anderer Evaluator hat dasselbe Protokoll durchlaufen. Behandle es als Signal dafür, dass ein bestimmter Fehlermodus bei einem der drei mit messbarer Häufigkeit auftritt, nicht als Rangliste, nach der man auswählen sollte.

Was es zu mehr als Rauschen macht, ist, dass die Kontrolle für eine Social-Media-Bewertung ungewöhnlich gut ist. Jedem Modell nur einen Namen zu geben, ein einziges Mal, ohne Webzugriff, entfernt den Retrieval-Pfad, der normalerweise eine veraltete Zugehörigkeit übertünchen würde – ein Modell mit Browsing würde die Person einfach nachschlagen. Forschende auszuschließen, die die Labore verlassen haben, und getrennt davon prominente Personen außerhalb der Labore auszuschließen, entfernt die Fälle, in denen eine Antwort mit dem „falschen aktuellen Arbeitgeber“ vertretbarerweise korrekt ist. Und die 50 erfundenen Namen sind der Test, der „veraltetes Wissen“ von „Bereitschaft, Dinge zu erfinden“ trennt, den die drei Modelle gemeinsam bestanden haben.

Es gibt eine Spannung, die es wert ist, benannt zu werden: Die berichtete Unsinnsrate – der Anteil der Antworten, die am Rand falsch waren – ist praktisch null, während sich die erkennbare Ungenauigkeit fast vollständig auf das Affiliation-Feld konzentriert. Ein Modell, das bei erfundenen Namen so sauber abschnitt und dennoch Arbeitgeber falsch zuordnete, ist nicht verwirrt. Es ist in genau einer Dimension veraltet.

Die drei Modelle sind keine vergleichbaren Produkte, daher sollte das Ergebnis entsprechend interpretiert werden.

• Gemini 4 Argon — angekündigt am 30. September 2026, allgemein verfügbar im kostenpflichtigen Tarif ab dem 13. Oktober zu angegebenen 2,00 US-Dollar pro Million Eingabe und 10,00 US-Dollar pro Million Ausgabe; dieselbe Bewertung, die seine Attributionsfehler kennzeichnet, ist diejenige, die es bei der Erkennung hoch eingestuft hat.

• Claude Opus 5.5 — veröffentlicht am 22. September 2026 für 4,00 $ pro Million Input- und 20,00 $ pro Million Output-Token, ein Rückgang gegenüber den 5 $/25 $, die Claude Opus 5 kostete.

• GPT-6.1 Sol — veröffentlicht am 29. September 2026 für 2,00 $ pro Million Eingabe-Token und 10,00 $ pro Million Ausgabe-Token.

Das Altersgefälle ist wichtig dafür, wie man das Ergebnis liest. Argon ist mit großem Abstand das neueste der drei, und wenn der Fehlermodus in veralteten Snapshots besteht, ist das Modell mit dem aktuellsten Wissen am ehesten dasjenige, das zwei widersprüchliche Zugehörigkeiten für dieselbe Person trägt, ohne ein starkes Signal dafür, welche aktuell ist. Das ist eine Hypothese, die die Evaluation nicht prüft und angesichts ihres Designs auch nicht prüfen könnte, aber es ist das Erste, was man überprüfen sollte, wenn man sie erneut ausführt.

Wenn du ein Modell für Fakten über Personen verwenden willst, teste es, bevor du ihm vertraust.

Diese Evaluation lässt sich mit Ihren eigenen Daten leicht annähern, und die Näherung ist nützlicher als das Aggregat. Nehmen Sie zwanzig Namen aus Ihrem eigenen Bereich – Personen, von denen Sie wissen, dass sie in den letzten achtzehn Monaten den Arbeitgeber gewechselt haben – und fragen Sie das Modell für jede Person einmal nach ihrer aktuellen Rolle, ohne Tools. Zählen Sie, wie viele mit der alten Organisation zurückkommen. Diese eine Zahl sagt Ihnen mehr über Ihren Einsatz als der gesamte Durchlauf mit 448 Namen, denn das Versagen ist domänenspezifisch: Ein Modell, das bei Forschern in KI-Labors zuverlässig ist, kann in Ihrer Branche schwach sein – oder umgekehrt.

Zwei Protokolldetails aus dem Original sind es wert, übernommen zu werden, denn sie machen das Ergebnis erst aussagekräftig. Erstens: kein Webzugriff. Ein Modell mit einem Suchwerkzeug wird die Person einfach nachschlagen, was das richtige Verhalten ist und bedeutet, dass der Test nichts mehr über sein gespeichertes Wissen misst. Zweitens: nur den Namen angeben. Das Hinzufügen von Kontext („diese Person arbeitet an Robotik“) ermöglicht es dem Modell, die Antwort aus dem Kontext abzuleiten, statt sie abzurufen, was das Ergebnis beschönigt, ohne die Schwäche zu beheben.

Wenn Sie dies in großem Umfang über mehrere Modelle statt nur eines laufen lassen, ist der Vergleich der teure Teil – dieselben Namen müssen auf dieselbe Weise an jedes Modell gehen, und genau dort verdient sich eine Routing-Schicht ihren Platz, statt nur eine Bequemlichkeit zu sein.

Wo diese Art von Prüfung in einer Pipeline hingehört

Fakten über Personen sind eine der wenigen Kategorien, in denen eine falsche Antwort im Nachhinein billig zu erkennen und im Voraus teuer zu erkennen ist, deshalb ist der praktische Schritt, das Feld für die Zugehörigkeit standardmäßig als unbestätigt zu behandeln und es anhand einer Quelle zu prüfen, die Sie kontrollieren. Das bedeutet nicht, den Modellen pauschal weniger zu vertrauen. Es bedeutet, zu bemerken, dass „die richtige Person erkannt“ und „sie korrekt beschrieben“ zwei verschiedene Messungen sind und dass die zweite diejenige ist, die Sie eigentlich wollten.

Auf OrcaRouter ist dies die Art von Prüfung, die über mehrere Modelle mit demselben Schlüssel läuft statt einzeln nacheinander. GPT-6.1 Sol und Claude Opus 5.5 — die beiden Modelle, bei denen diese Auswertung die geringste Anfälligkeit für den Fehler der veralteten Zuordnung festgestellt hat — lassen sich hier beide über denselben Endpunkt routen, sodass dieselben zwanzig Namen mit einer geänderten Modellkennung an beide gehen statt über einen zweiten Vertrag, und ein Anbieter mit einem schlechten Tag reißt den Vergleich nicht mit runter. Gemini 4 Argon ist nicht auf OrcaRouter; erreichbar ist es über die eigene kostenpflichtige Stufe des Anbieters und andere Drittplattformen, und nichts hier sollte als Angebot verstanden werden, es zu routen. Die Modelle, die wir führen, gibt es zum Listenpreis des Anbieters ohne Aufschlag, sodass eine Preisänderung eines Anbieters noch am Tag ihrer Veröffentlichung auf Ihrer Rechnung ankommt.

Worauf zu achten ist und was diese Einschätzung ändern würde

Das Ergebnis ist die Evaluierung eines Accounts mit einer guten Kontrolle und einer kleinen Stichprobe, veröffentlicht am 14. Oktober 2026, und der ehrliche nächste Schritt ist nicht, danach zu handeln, sondern nach dem zweiten Durchlauf zu suchen. Zwei Dinge würden es von einem Signal zu einem Befund machen: ein unabhängiger Evaluator, der das Protokoll mit einer größeren Namensliste und veröffentlichter Bewertung wiederholt, oder ein Anbieter, der anerkennt, dass die Zuordnung zwischen dem früheren und dem aktuellen Arbeitgeber einer Person eine eigenständige Fehlerklasse ist, die es wert ist, angegangen zu werden. Dass die Kontrolle mit 50 erfundenen Namen bei allen drei Modellen besteht, ist das Detail, das dies plausibel macht — es bedeutet, dass das Problem nicht die Fabrikation ist, die schwierig ist, sondern die Aktualisierung, die handhabbar ist.

Bis dahin ist die nützliche Zusammenfassung enger gefasst als eine Rangliste und zugleich handlungsorientierter als eine. Ein Modell, das selbstbewusst einen veralteten Arbeitgeber nennt, belügt Sie nicht. Es beantwortet eine Frage über die Vergangenheit, als hätten Sie nach der Gegenwart gefragt, und die einzige Möglichkeit, es zu ertappen, besteht darin, die Frage zu stellen, die Sie eigentlich gemeint haben.

Ein solches Ergebnis ist auch eine Erinnerung daran, dass Modellfehler bereits dokumentiert sind: Die KI-Vorfälle und Agentenfehler hinter Modellen dieser Klasse sind im OrcaRouter AI Incident Archive gesammelt, wo jeder Eintrag seine eigenen Quellen, seinen Schweregrad, seine Vertrauensstufe und eine Kennzeichnung als strittig trägt.