Fråga GPT-6.1 Sol, Claude Opus 5.5 eller Gemini 4 Argon "Vem är den här forskaren?" — och se Argon sträcka sig efter fel labb

Tre frontier-modeller fick en fråga var, 448 gånger, utan något annat än ett namn att utgå från. GPT-6.1 Sol och Claude Opus 5.5 identifierade nästan varje AI-forskare de visades. Gemini 4 Argon identifierade nästan lika många personer men beskrev färre av dem korrekt, och den rapporterade orsaken är specifik och användbar: den angav upprepade gånger en forskares tidigare arbetsgivare som deras nuvarande. Utvärderingen publicerades den 14 oktober 2026 av kontot @scaling01; det är ett publicerat test, inte ett oberoende riktmärke, och ingen har reproducerat det. De tre modellerna har mycket olika ålder — Gemini 4 Argon blev allmänt tillgänglig på betalnivån den 13 oktober 2026 efter att ha tillkännagivits den 30 september, Claude Opus 5.5 släpptes den 22 september, GPT-6.1 Sol den 29 september — så det enda som verkligen är nytt här är själva fyndet, som kommer två dagar efter att Argons betalnivå öppnades.

Det här är ett problem med inaktuella attribut, och det är värt att förstå ordentligt, eftersom det inte är samma typ av fel som en hallucinerad citering eller en självsäkert påhittad artikel. En modell som anger en forskares tidigare arbetsgivare hittar inte på något. Den återger ett faktum som var sant, från en ögonblicksbild som har gått vidare. Det citerade interna resonemanget bakom gapet är att ju "bättre" en modell är på att citera inaktuell information som aktuell, desto mer användbar är den för vissa uppgifter och desto farligare för den här. Det är en ren formulering av avvägningen, och det är anledningen till att just denna utvärdering är mer intressant än vad dess urvalsstorlek antyder.

Vad inlägget faktiskt mätte, med egna ord: 448 riktiga forskare visades för varje modell som bara ett namn, en gång, utan webbåtkomst och utan verktyg. Svaren kontrollerades mot offentliga källor — personliga sidor, labb-bios, artiklar — den 14 oktober 2026. Diagrammet separerar två saker som vanligtvis slås samman till en enda poäng. Den fulla stapeln är "kände igen rätt person." Den solida delen av stapeln är "hela svaret var också korrekt." Gapet mellan de två är felsättet: rätt person, fel detalj. Kohorten fördelade sig på 131 OpenAI-forskare, 166 Anthropic, 151 Google. Labbtillhörighet fastställdes från 298 aktuella profiler eller labbsidor, 148 labb-bylines sedan oktober 2025, och 2 personer som flyttade mellan labb. Uteslutna: 2 som lämnat dessa labb, 13 som inte kunde bekräftas, och 22 framstående forskare som arbetar utanför de tre labben. Alla tre modeller avvisade alla 50 påhittade namn de fick — ingen av de tre hittade på en person, vilket är den svårare kontrollen och den de klarade.

Vad ett fel om "tidigare arbetsgivare" faktiskt kostar dig

Om du använder en frontier-modell för att förbereda en briefing, ta fram en lista för uppsökande kontakter eller sammanfatta vem som arbetar var, är detta den exakta formen av det fel du kommer att få. Namnet kommer att vara rätt. Rollen kommer att vara trovärdig. Organisationen kommer att vara den som personen lämnade. Inget i resultatet kommer att se fel ut, vilket är anledningen till att det överlever granskning, och till att ett svar med fel arbetsgivare är värre än ett uppenbart felaktigt.

Det förklarar också varifrån skillnaderna mellan modeller kommer. Attributionsfel av detta slag följer hur en modells kunskap fångades i en ögonblicksbild och hur den formulerar ett svar när dess träningsdata innehåller både en gammal och en ny tillhörighet. En modell som har sett båda fakta och väljer den nyare får bra resultat här. En modell som har sett båda och väljer den vanligare i sin korpus – vilket för en forskare med lång tjänstetid vanligtvis är den äldre – får dåligt resultat utan att ha fel om något som den faktiskt fick veta. Utvärderingens egen inramning stämmer: den mäter huruvida en modell behandlar "vem är den här personen" som en fråga om nuet.

Vad tre olika modeller innebär för detta resultat, och vad det inte innebär

Detta är en publicerad utvärdering från ett konto, och en ärlig tolkning måste börja där. Urvalet är 448 namn, betygsättningen är inläggsförfattarens egen mot offentliga källor, siffrorna i staplarna per modell går inte att återskapa fullt ut från diagrammets bilder, och ingen annan labb eller utvärderare har kört samma protokoll. Betrakta det som en signal om att ett specifikt felbeteende förekommer i mätbar omfattning hos en av de tre, inte som en rangordning att välja utifrån.

Det som gör att det är mer än brus är att kontrollen är ovanligt bra för en utvärdering av sociala medier. Att ge varje modell bara ett namn, en gång, utan webbåtkomst, tar bort den hämtningsväg som normalt skulle skyla över en föråldrad tillhörighet – en modell med webbläsning skulle helt enkelt söka upp personen. Att utesluta forskare som lämnat labben, och separat utesluta framstående personer utanför labben, tar bort de fall där ett svar med "fel nuvarande arbetsgivare" kan anses vara korrekt. Och de 50 påhittade namnen är testet som skiljer "föråldrad kunskap" från "vilja att hitta på saker", vilket de tre modellerna klarade tillsammans.

Det finns en spänning som är värd att benämna: den rapporterade nonsensfrekvensen – andelen svar som var fel i periferin – är i stort sett obefintlig, medan den igenkännbara felaktigheten nästan helt och hållet är koncentrerad till affiliationsfältet. En modell som presterade så felfritt på påhittade namn och ändå felaktigt tillskrev arbetsgivare är inte förvirrad. Den är föråldrad i exakt en dimension.

De tre modellerna är inte jämförbara produkter, så tolka resultatet därefter

• Gemini 4 Argon – tillkännagavs den 30 september 2026, allmänt tillgänglig i betalnivån från och med den 13 oktober till ett angivet pris av 2,00 USD per miljon indata och 10,00 USD per miljon utdata; samma utvärdering som flaggar dess attributionsfel är den som rankade den högt när det gäller igenkänning.

• Claude Opus 5.5 — släpptes 22 september 2026 för 4,00 USD per miljon indatatokens och 20,00 USD per miljon utdatatokens, ned från 5/25 USD som Claude Opus 5 hade.

• GPT-6.1 Sol — släpptes 29 september 2026 för 2,00 USD per miljon input och 10,00 USD per miljon output.

Åldersskillnaden spelar roll för hur du tolkar resultatet. Argon är den nyaste av de tre med stor marginal, och om felmoden är inaktuella ögonblicksbilder är den modell som har den mest aktuella kunskapen den som med störst sannolikhet bär på två motstridiga tillhörigheter för samma person utan en stark signal om vilken som är aktuell. Det är en hypotes som utvärderingen inte testar och inte skulle kunna testa, med tanke på sin utformning, men det är det första att kontrollera om du kör om den.

Om du ska använda en modell för fakta om människor, testa den innan du litar på den.

Den här utvärderingen är lätt att uppskatta på dina egna data, och uppskattningen är mer användbar än aggregeringen. Ta tjugo namn från din egen domän – personer som du vet har bytt arbetsgivare under de senaste arton månaderna – och be modellen om varje persons nuvarande roll, en gång, utan verktyg. Räkna hur många som kommer tillbaka med den gamla organisationen. Det enskilda numret säger dig mer om din driftsättning än hela körningen med 448 namn gör, eftersom felet är domänspecifikt: en modell som är tillförlitlig för AI-labsforskare kan vara svag för din bransch, eller tvärtom.

Två protokolldetaljer från originalet är värda att kopiera, eftersom de är det som gör resultatet meningsfullt. För det första: ingen webbåtkomst. En modell med ett sökverktyg kommer helt enkelt att slå upp personen, vilket är rätt beteende och innebär att testet slutar mäta något om dess lagrade kunskap. För det andra: ange bara namnet. Att lägga till kontext ("den här personen arbetar med robotik") gör att modellen kan sluta sig till svaret utifrån kontexten i stället för att hämta det, vilket smickrar resultatet utan att åtgärda svagheten.

Om du kör detta i stor skala över flera modeller i stället för en enda är jämförelsen den dyra delen – samma namn måste skickas till varje modell på samma sätt, och det är där ett routningslager förtjänar sin plats i stället för att bara vara en bekvämlighet.

Var den här typen av kontroll hör hemma i en pipeline

Fakta om personer är en av de få kategorier där ett felaktigt svar är billigt att upptäcka i efterhand och dyrt att upptäcka i förväg, så den praktiska åtgärden är att behandla tillhörighetsfältet som overifierat som standard och kontrollera det mot en källa du kontrollerar. Det betyder inte att man litar mindre på modellerna generellt. Det betyder att man lägger märke till att "kände igen rätt person" och "beskrev dem korrekt" är två olika mätningar, och att den andra är den du faktiskt ville ha.

På OrcaRouter är detta den typ av kontroll som körs över flera modeller med samma nyckel i stället för en i taget. GPT-6.1 Sol och Claude Opus 5.5 – de två modeller som den här utvärderingen fann minst benägna att göra felet med inaktuell tillhörighet – kan båda dirigeras här via samma slutpunkt, så samma tjugo namn går till båda med en ändring av modellsträngen i stället för ett andra avtal, och en leverantör som har en dålig eftermiddag drar inte ner jämförelsen med sig. Gemini 4 Argon finns inte på OrcaRouter; den nås via leverantörens egen betalnivå och andra tredjepartsplattformar, och inget här bör läsas som ett erbjudande att dirigera den. De modeller vi faktiskt har är till leverantörens listpris utan påslag, så en prisändring från en leverantör når din faktura samma dag som den publiceras.

Vad man bör hålla utkik efter, och vad som skulle förändra denna tolkning

Resultatet är ett kontos utvärdering med en bra kontroll och ett litet urval, publicerad den 14 oktober 2026, och nästa ärliga steg är inte att agera på den utan att leta efter den andra körningen. Två saker skulle flytta den från en signal till ett fynd: en oberoende utvärderare som upprepar protokollet med en större namnlista och publicerad bedömning, eller en leverantör som erkänner att tillskrivning mellan en persons tidigare och nuvarande arbetsgivare är en distinkt felklass som är värd att rikta in sig på. Kontrollen med de 50 påhittade namnen som passerar i alla tre modellerna är detaljen som gör det rimligt – det betyder att problemet inte är fabricering, vilket är svårt, utan uppdatering, vilket är hanterbart.

Fram till dess är den användbara sammanfattningen snävare än en resultattavla och mer handlingsbar än en. En modell som självsäkert anger en inaktuell arbetsgivare ljuger inte för dig. Den svarar på en fråga om det förflutna som om du hade frågat om nuet, och det enda sättet att upptäcka det är att ställa frågan du faktiskt menade.

Ett resultat som detta är också en påminnelse om att modellmisstag redan är dokumenterade: AI-incidenterna och agentfelen bakom modeller i den här klassen samlas i OrcaRouter AI Incident Archive, där varje post har sina egna källor, allvarlighetsgrad, konfidensbetyg och omtvistad flagga.