Zapytaj GPT-6.1 Sol, Claude Opus 5.5 lub Gemini 4 Argon: „Kim jest ten badacz?” — i patrz, jak Argon sięga po niewłaściwe laboratorium

Trzy modele frontier zapytano po jednym pytaniu, 448 razy, mając do dyspozycji wyłącznie nazwisko. GPT-6.1 Sol i Claude Opus 5.5 rozpoznały niemal każdego pokazanego im badacza AI. Gemini 4 Argon rozpoznał niemal tyle samo osób, ale mniej z nich opisał poprawnie, a podany powód jest konkretny i użyteczny: wielokrotnie podawał byłego pracodawcę badacza jako jego obecnego. Ewaluację opublikowano 14 października 2026 r. z konta @scaling01; to jeden opublikowany test, a nie niezależny benchmark, i nikt go nie powtórzył. Te trzy modele mają bardzo różny wiek — Gemini 4 Argon wszedł do powszechnej dostępności w płatnym planie 13 października 2026 r., po ogłoszeniu 30 września, Claude Opus 5.5 zadebiutował 22 września, a GPT-6.1 Sol 29 września — więc jedyną naprawdę nową rzeczą jest samo to odkrycie, które pojawia się dwa dni po otwarciu płatnego planu Argona.

To problem nieaktualnego atrybutu i warto go dobrze zrozumieć, ponieważ nie jest to ta sama klasa błędu co halucynowany przypis czy z przekonaniem wymyślona publikacja. Model, który wymienia byłego pracodawcę badacza, niczego nie zmyśla. Zwraca fakt, który był prawdziwy, z migawki, która już się zmieniła. Przytaczane wewnętrzne rozumowanie dotyczące tej luki jest takie, że im „lepszy” jest model w przytaczaniu nieaktualnych informacji jako bieżących, tym bardziej przydaje się w niektórych zadaniach, a tym bardziej jest niebezpieczny w tym konkretnym. To klarowne sformułowanie tego kompromisu i właśnie dlatego ta konkretna ewaluacja jest ciekawsza, niż sugerowałaby jej wielkość próby.

Co ten post faktycznie zmierzył, jego własnymi słowami: 448 prawdziwych badaczy pokazano każdemu modelowi jako samo nazwisko, raz, bez dostępu do internetu i bez narzędzi. Odpowiedzi skonfrontowano z publicznymi źródłami — stronami osobistymi, biogramami laboratoryjnymi, publikacjami — 14 października 2026 r. Wykres rozdziela dwie rzeczy, które zwykle są scalane w jeden wynik. Pełny słupek oznacza „rozpoznał właściwą osobę”. Wypełniona część słupka oznacza „cała odpowiedź również była poprawna”. Luka między nimi to rodzaj błędu: właściwa osoba, zły szczegół. Podział kohorty był następujący: 131 badaczy OpenAI, 166 Anthropic i 151 Google. Przynależność do laboratorium ustalono na podstawie 298 aktualnych profili lub stron laboratoriów, 148 podpisów autorskich z afiliacją laboratoryjną od października 2025 r. oraz 2 osób, które przeniosły się między laboratoriami. Wykluczono: 2 osoby, które odeszły z tych laboratoriów, 13 osób, których nie udało się potwierdzić, i 22 wybitnych badaczy pracujących poza tymi trzema laboratoriami. Wszystkie trzy modele odrzuciły wszystkie 50 wymyślonych nazwisk, które im podano — żaden z tych trzech nie wymyślił osoby, co jest trudniejszym warunkiem kontrolnym i tym, który zaliczyły.

Ile faktycznie kosztuje cię błąd dotyczący „byłego pracodawcy”

Jeśli używasz modelu frontierowego do przygotowania briefingu, sporządzenia listy kontaktów lub podsumowania, kto gdzie pracuje, to jest dokładnie taki kształt błędu, jaki otrzymasz. Imię i nazwisko będą się zgadzać. Rola będzie wiarygodna. Organizacja będzie ta, z której dana osoba odeszła. W wynikach nic nie będzie wyglądać na błędne, dlatego przechodzi to przez weryfikację i dlatego odpowiedź ze złym pracodawcą jest gorsza niż odpowiedź oczywiście błędna.

Wyjaśnia to również, skąd biorą się różnice między modelami. Tego rodzaju błędy atrybucji odzwierciedlają sposób, w jaki utrwalono wiedzę modelu, oraz to, jak formułuje on odpowiedź, gdy jego dane treningowe zawierają zarówno starą, jak i nową przynależność. Model, który widział oba fakty i wybiera nowszy z nich, wypada tu dobrze. Model, który widział oba i wybiera ten częstszy w swoim korpusie — a w przypadku badacza o długim stażu zwykle jest to ten starszy — wypada słabo, nie myląc się co do niczego, co faktycznie mu powiedziano. Sposób ujęcia przyjęty w samej ewaluacji jest zgodny z tym: mierzy ona, czy model traktuje „kim jest ta osoba” jako pytanie o teraźniejszość.

Co oznaczają trzy różne modele dla tego wyniku, a co nie

To jedna opublikowana ocena jednego konta i uczciwa interpretacja musi zacząć się właśnie od tego. Próba obejmuje 448 nazw, oceny pochodzą od autora wpisu i są zestawione ze źródłami publicznymi, wartości słupków dla poszczególnych modeli nie dają się w pełni odtworzyć z obrazów wykresu, a żadne inne laboratorium ani osoba oceniająca nie przeprowadziły tego samego protokołu. Traktuj to jako sygnał, że w jednym z trzech występuje konkretny tryb awarii z mierzalną częstością, a nie jako ranking, na podstawie którego należy wybierać.

To, co sprawia, że to coś więcej niż szum, to fakt, że kontrola jest wyjątkowo dobra jak na ocenę mediów społecznościowych. Podanie każdemu modelowi tylko nazwy, raz, bez dostępu do sieci, usuwa ścieżkę wyszukiwania, która normalnie zamaskowałaby nieaktualną przynależność — model z możliwością przeglądania po prostu odszukałby tę osobę. Wykluczenie badaczy, którzy odeszli z laboratoriów, oraz osobne wykluczenie znanych osób spoza laboratoriów usuwa przypadki, w których odpowiedź „błędny obecny pracodawca” jest w pewnym sensie poprawna. A 50 wymyślonych nazw to test, który oddziela „nieaktualną wiedzę” od „gotowości do wymyślania”, który trzy modele zaliczyły razem.

Jest pewne napięcie, które warto nazwać: zgłaszany wskaźnik nonsensowności — odsetek odpowiedzi, które były błędne na obrzeżach — jest zasadniczo zerowy, podczas gdy dostrzegalna niedokładność koncentruje się niemal wyłącznie w polu afiliacji. Model, który tak czysto wypadł w przypadku wymyślonych nazw, a mimo to błędnie przypisywał pracodawców, nie jest zagubiony. Jest nieaktualny dokładnie w jednym wymiarze.

Te trzy modele nie są porównywalnymi produktami, więc interpretuj wynik odpowiednio.

• Gemini 4 Argon — ogłoszony 30 września 2026, ogólnie dostępny w płatnym planie od 13 października w podanej cenie 2,00 USD za milion tokenów wejściowych i 10,00 USD za milion tokenów wyjściowych; ta sama ewaluacja, która wskazuje jego błędy atrybucji, jest tą, która wysoko oceniła go pod względem rozpoznawania.

• Claude Opus 5.5 — wydany 22 września 2026 r. w cenie 4,00 USD za milion tokenów wejściowych i 20,00 USD za milion tokenów wyjściowych, w porównaniu z 5/25 USD obowiązującymi w Claude Opus 5.

• GPT-6.1 Sol — wydano 29 września 2026 w cenie 2,00 USD za milion tokenów wejściowych i 10,00 USD za milion tokenów wyjściowych.

Różnica wieku ma znaczenie dla tego, jak interpretujesz wynik. Argon jest najnowszy z całej trójki i to zdecydowanie, a jeśli trybem awarii są nieaktualne migawki, to model z najbardziej aktualną wiedzą najprawdopodobniej przechowuje dwie sprzeczne przynależności tej samej osoby, bez silnego sygnału co do tego, która z nich jest aktualna. To hipoteza, której ewaluacja nie testuje i, biorąc pod uwagę jej konstrukcję, nie mogłaby przetestować, ale to pierwsza rzecz do sprawdzenia, jeśli uruchomisz ją ponownie.

Jeśli zamierzasz używać modelu do faktów o ludziach, przetestuj go, zanim mu zaufasz.

Tę ocenę łatwo przybliżyć na własnych danych, a przybliżenie jest bardziej użyteczne niż agregat. Weź dwadzieścia nazwisk z własnej dziedziny — osób, o których wiesz, że w ciągu ostatnich osiemnastu miesięcy zmieniły pracodawcę — i zapytaj model o obecną rolę każdej z nich, raz, bez narzędzi. Policz, w ilu przypadkach model poda starą organizację. Ta jedna liczba mówi ci więcej o twoim wdrożeniu niż cały przebieg na 448 nazwiskach, ponieważ błąd jest specyficzny dla dziedziny: model, który jest niezawodny w przypadku badaczy z laboratoriów AI, może być słaby w twojej branży — albo odwrotnie.

Dwa szczegóły protokołu z oryginału są warte skopiowania, ponieważ to one sprawiają, że wynik jest znaczący. Po pierwsze, brak dostępu do internetu. Model z narzędziem do wyszukiwania po prostu odnajdzie tę osobę, co jest właściwym zachowaniem i sprawia, że test przestaje mierzyć cokolwiek, co dotyczy jego zapisanej wiedzy. Po drugie, podawaj tylko imię i nazwisko. Dodanie kontekstu („ta osoba zajmuje się robotyką”) pozwala modelowi wywnioskować odpowiedź z kontekstu, a nie ją przywołać, co sprawia, że wynik wygląda lepiej, ale nie usuwa słabości.

Jeśli uruchamiasz to masowo na kilku modelach, a nie na jednym, porównanie jest kosztowną częścią — te same nazwy muszą trafiać do każdego modelu w ten sam sposób, i właśnie tam warstwa routingu zasługuje na swoje miejsce, a nie jest jedynie udogodnieniem.

Gdzie tego rodzaju sprawdzenie należy w potoku

Fakty dotyczące osób to jedna z niewielu kategorii, w których błędną odpowiedź można tanio wykryć po fakcie, a drogo przed nim, więc praktycznym posunięciem jest domyślne traktowanie pola przynależności jako niezweryfikowanego i sprawdzanie go w źródle, które kontrolujesz. Nie oznacza to bynajmniej mniejszego zaufania do modeli we wszystkich obszarach. Oznacza zauważenie, że „rozpoznał właściwą osobę” i „opisał ją poprawnie” to dwa różne pomiary, i że tym drugim właśnie jest to, czego naprawdę chciałeś.

W OrcaRouter to rodzaj testu, który przeprowadza się na kilku modelach przy użyciu tego samego klucza, a nie pojedynczo. GPT-6.1 Sol i Claude Opus 5.5 — dwa modele, które w tej ocenie okazały się najmniej podatne na błąd nieaktualnej afiliacji — można tu kierować przez ten sam punkt końcowy, więc te same dwadzieścia nazw trafia do obu po zmianie ciągu modelu, a nie na podstawie drugiej umowy, a zły dzień u dostawcy nie powoduje, że porównanie upada. Gemini 4 Argon nie jest dostępny w OrcaRouter; można się do niego dostać przez własny płatny plan dostawcy i inne platformy zewnętrzne, a nic tutaj nie powinno być odczytywane jako oferta kierowania do niego. Modele, które rzeczywiście obsługujemy, są w cenie katalogowej dostawcy bez marży, więc zmiana ceny dostawcy trafia na Twój rachunek tego samego dnia, w którym zostanie opublikowana.

Na co uważać i co zmieniłoby tę interpretację

Wynik to ocena z jednego konta, z dobrą grupą kontrolną i małą próbą, opublikowana 14 października 2026 r., a uczciwym następnym krokiem nie jest działanie na jej podstawie, lecz poszukanie drugiego przebiegu. Dwie rzeczy przesunęłyby to z sygnału do ustalenia: niezależny ewaluator powtarzający protokół z większą listą nazwisk i opublikowanym sposobem oceniania albo dostawca przyznający, że przypisywanie między poprzednim a obecnym pracodawcą danej osoby to odrębna klasa błędów warta zajęcia się. Kontrola 50 wymyślonych nazwisk, która przeszła we wszystkich trzech modelach, jest szczegółem, który czyni to wiarygodnym — oznacza, że problemem nie jest fabrykowanie, które jest trudne, lecz odświeżanie, które jest wykonalne.

Do tego czasu przydatne podsumowanie jest węższe niż ranking i bardziej praktyczne niż on. Model, który z przekonaniem podaje nieaktualnego pracodawcę, nie okłamuje cię. Odpowiada na pytanie o przeszłość tak, jakbyś zapytał o teraźniejszość, a jedynym sposobem, aby go przyłapać, jest zadanie pytania, które naprawdę miałeś na myśli.

Taki wynik przypomina również, że błędy modeli są już udokumentowane: incydenty AI i awarie agentów dotyczące modeli tej klasy są gromadzone w OrcaRouter AI Incident Archive, gdzie każdy wpis zawiera własne źródła, poziom istotności, stopień pewności i znacznik sporności.