Vraag GPT-6.1 Sol, Claude Opus 5.5 of Gemini 4 Argon "Wie is deze onderzoeker?" — en zie hoe Argon naar het verkeerde lab reikt

Aan drie frontiermodellen werd elk één vraag gesteld, 448 keer, met niets anders dan een naam om vanuit te werken. GPT-6.1 Sol en Claude Opus 5.5 identificeerden bijna elke AI-onderzoeker die hun werd getoond. Gemini 4 Argon identificeerde bijna evenveel mensen, maar beschreef er minder correct, en de gerapporteerde reden is specifiek en nuttig: het noemde herhaaldelijk de voormalige werkgever van een onderzoeker als hun huidige. De evaluatie werd op 14 oktober 2026 geplaatst door het account @scaling01; het is één geposte test, geen onafhankelijke benchmark, en niemand heeft die gereproduceerd. De drie modellen hebben heel verschillende leeftijden — Gemini 4 Argon werd algemeen beschikbaar op de betaalde tier op 13 oktober 2026 nadat het op 30 september was aangekondigd, Claude Opus 5.5 verscheen op 22 september, GPT-6.1 Sol op 29 september — dus het enige dat hier echt nieuw is, is de bevinding zelf, die twee dagen na het opengaan van de betaalde tier van Argon komt.

Dit is een probleem van verouderde attributen, en het is de moeite waard om het goed te begrijpen, want het is niet dezelfde categorie fouten als een gehallucineerde citatie of een met stelligheid verzonnen paper. Een model dat de vroegere werkgever van een onderzoeker noemt, verzint niets. Het geeft een feit terug dat waar was, uit een snapshot die inmiddels is doorgeschoven. De aangehaalde interne redenering voor de kloof is dat hoe "beter" een model erin is om verouderde informatie als actueel te citeren, hoe nuttiger het is voor sommige taken en hoe gevaarlijker voor deze taak. Dat is een heldere formulering van de afweging, en het is de reden dat deze specifieke evaluatie interessanter is dan haar steekproefgrootte doet vermoeden.

Wat de post feitelijk mat, in zijn eigen woorden: 448 echte onderzoekers werden aan elk model getoond als een kale naam, één keer, zonder webtoegang en zonder tools. De antwoorden werden gecontroleerd aan de hand van openbare bronnen — persoonlijke pagina's, lab-bio's, papers — op 14 oktober 2026. De grafiek scheidt twee dingen die gewoonlijk in één score worden samengevoegd. De volledige balk is "herkende de juiste persoon". Het gevulde deel van de balk is "het hele antwoord klopte ook". Het verschil tussen beide is de faalmodus: juiste persoon, verkeerd detail. De cohort was verdeeld in 131 O​penAI-onderzoekers, 166 Anthropic, 151 G​oogle. Labaffiliatie werd vastgesteld op basis van 298 huidige profielen of labpagina's, 148 lab-bylines sinds oktober 2025, en 2 personen die tussen labs zijn verhuisd. Uitgesloten: 2 die deze labs hadden verlaten, 13 die niet konden worden bevestigd, en 22 prominente onderzoekers die buiten de drie labs werken. Alle drie de modellen verwierpen alle 50 verzonnen namen die ze kregen — geen van de drie verzon een persoon, wat de moeilijkere controle is en degene die ze doorstonden.

Wat een fout met een "voormalige werkgever" je werkelijk kost

Als je een frontiermodel gebruikt om een briefing voor te bereiden, een outreachlijst op te stellen of samen te vatten wie waar werkt, is dit de precieze vorm van de fout die je zult krijgen. De naam zal kloppen. De rol zal plausibel zijn. Het zal de organisatie zijn die de persoon heeft verlaten. Niets aan de output zal verkeerd lijken, waardoor het de beoordeling overleeft, en waarom een antwoord met de verkeerde werkgever erger is dan een overduidelijk fout antwoord.

Het verklaart ook waar de verschillen tussen modellen vandaan komen. Dit soort attributiefouten hangen samen met hoe de kennis van een model is vastgelegd en hoe het een antwoord formuleert wanneer de trainingsdata zowel een oude als een nieuwe affiliatie bevatten. Een model dat beide feiten heeft gezien en het meest recente kiest, scoort hier goed. Een model dat beide heeft gezien en de meest voorkomende in zijn corpus kiest — wat voor een onderzoeker met een lange staat van dienst meestal de oudere is — scoort slecht zonder dat het ongelijk heeft over iets wat het daadwerkelijk is verteld. De eigen framing van de evaluatie strookt hiermee: er wordt gemeten of een model "wie is deze persoon" behandelt als een vraag over het heden.

Wat drie verschillende modellen betekenen voor dit resultaat, en wat het niet betekent

Dit is één geplaatste evaluatie door één account, en de eerlijke lezing moet daar beginnen. De steekproef bestaat uit 448 namen, de beoordeling is die van de poster zelf, afgezet tegen openbare bronnen, de staafwaarden per model zijn niet volledig reproduceerbaar uit de afbeeldingen van de grafiek, en geen enkel ander lab of evaluator heeft hetzelfde protocol uitgevoerd. Zie het als een signaal dat een specifieke faalmodus in meetbare mate voorkomt bij een van de drie, niet als een ranglijst om uit te kiezen.

Wat het meer dan ruis maakt, is dat de controleopzet ongewoon goed is voor een evaluatie op sociale media. Het elk model slechts één keer een naam geven, zonder internettoegang, haalt het ophaalpad weg dat normaal gesproken een verouderde affiliatie zou verdoezelen — een model met browsefunctionaliteit zou de persoon gewoon opzoeken. Het uitsluiten van onderzoekers die de labs hebben verlaten, en apart daarvan het uitsluiten van prominente personen buiten de labs, haalt de gevallen weg waarin een antwoord als 'verkeerde huidige werkgever' mogelijkerwijs juist is. En de 50 verzonnen namen vormen de test die 'verouderde kennis' scheidt van 'bereid zijn dingen te verzinnen', die de drie modellen samen doorstonden.

Er is een spanning die het benoemen waard is: het gerapporteerde onzinpercentage — het aandeel antwoorden dat aan de randen fout was — is vrijwel nihil, terwijl de herkenbare onnauwkeurigheid zich bijna volledig concentreert in het affiliatieveld. Een model dat zo schoon scoorde op verzonnen namen en toch werkgevers verkeerd toeschreef, is niet in de war. Het is verouderd in precies één dimensie.

De drie modellen zijn geen vergelijkbare producten, dus interpreteer het resultaat in dat licht.

• Gemini 4 Argon — aangekondigd op 30 september 2026, algemeen beschikbaar op het betaalde niveau vanaf 13 oktober tegen een opgegeven prijs van $2,00 per miljoen input en $10,00 per miljoen output; dezelfde evaluatie die zijn attributiefouten signaleert, is degene die het hoog op herkenning rangschikte.

• Claude Opus 5.5 — uitgebracht op 22 september 2026 voor $4,00 per miljoen input en $20,00 per miljoen output, een daling ten opzichte van de $5/$25 die Claude Opus 5 kostte.

• GPT-6.1 Sol — uitgebracht op 29 september 2026 voor $2,00 per miljoen input en $10,00 per miljoen output.

Het leeftijdsverschil is van belang voor hoe je het resultaat interpreteert. Argon is veruit de nieuwste van de drie, en als de faalmodus verouderde snapshots is, is het model met de meest recente kennis het meest waarschijnlijk degene die twee tegenstrijdige affiliaties voor dezelfde persoon met zich meedraagt, zonder een sterk signaal over welke actueel is. Dat is een hypothese die de evaluatie niet toetst en, gezien haar opzet, ook niet zou kunnen toetsen, maar het is het eerste dat je moet controleren als je deze opnieuw uitvoert.

Als je van plan bent een model te gebruiken voor feiten over mensen, test het dan voordat je het vertrouwt.

Deze evaluatie is gemakkelijk te benaderen op je eigen data, en de benadering is nuttiger dan het aggregaat. Neem twintig namen uit je eigen domein — mensen van wie je weet dat ze de afgelopen achttien maanden van werkgever zijn veranderd — en vraag het model voor elke persoon naar hun huidige rol, één keer, zonder tools. Tel hoeveel er met de oude organisatie terugkomen. Dat ene getal zegt je meer over je deployment dan de hele run van 448 namen, omdat de fout domeinspecifiek is: een model dat betrouwbaar is voor AI-labonderzoekers kan zwak zijn in jouw branche, of omgekeerd.

Twee protocoldetails uit het origineel zijn het kopiëren waard, want zij zijn wat het resultaat betekenisvol maakt. Ten eerste: geen internettoegang. Een model met een zoektool zal de persoon simpelweg opzoeken, wat het juiste gedrag is en betekent dat de test niets meer meet over zijn opgeslagen kennis. Ten tweede: geef alleen de naam. Context toevoegen ("deze persoon werkt aan robotica") laat het model het antwoord uit de context afleiden in plaats van het op te halen, wat het resultaat mooier maakt zonder de zwakte te verhelpen.

Als je dit op volume draait over meerdere modellen in plaats van één, is de vergelijking het dure deel — dezelfde namen moeten op dezelfde manier naar elk model gaan, en dat is waar een routeringslaag zijn plaats verdient in plaats van louter een gemak te zijn.

Waar dit soort controle in een pipeline thuishoort

Feiten over personen vormen een van de weinige categorieën waarin een fout antwoord achteraf goedkoop te detecteren is en vooraf duur, dus de praktische aanpak is om het affiliatieveld standaard als niet-geverifieerd te behandelen en het te controleren aan de hand van een bron die je zelf beheert. Dat betekent niet dat je de modellen over de hele linie minder moet vertrouwen. Het betekent wel dat je moet inzien dat "de juiste persoon herkende" en "die persoon correct beschreef" twee verschillende metingen zijn, en dat de tweede degene is die je eigenlijk wilde.

Op OrcaRouter is dit het soort controle dat over meerdere modellen op dezelfde sleutel loopt in plaats van één voor één. GPT-6.1 Sol en Claude Opus 5.5 — de twee modellen die deze evaluatie het minst vatbaar acht voor de fout met verouderde affiliatie — zijn hier beide routeerbaar via hetzelfde endpoint, dus dezelfde twintig namen gaan naar beide met een wijziging van de modelstring in plaats van een tweede contract, en een provider die een slechte middag heeft, haalt de vergelijking niet mee onderuit. Gemini 4 Argon staat niet op OrcaRouter; het is bereikbaar via het eigen betaalde niveau van de leverancier en andere platforms van derden, en niets hier mag worden opgevat als een aanbod om het te routeren. De modellen die wij wel aanbieden, zijn tegen de listprijs van de provider, zonder opslag, dus een prijswijziging van een leverancier bereikt je factuur op dezelfde dag dat die wordt gepubliceerd.

Wat om in de gaten te houden, en wat deze lezing zou veranderen

Het resultaat is de evaluatie van één account, met een goede controle en een kleine steekproef, gepubliceerd op 14 oktober 2026, en de eerlijke volgende stap is niet om erop te handelen, maar om op zoek te gaan naar de tweede run. Twee dingen zouden het van een signaal naar een bevinding tillen: een onafhankelijke evaluator die het protocol herhaalt met een grotere namenlijst en gepubliceerde beoordeling, of een leverancier die erkent dat attributie tussen iemands voormalige en huidige werkgever een aparte faalklasse is die het waard is om aan te pakken. Dat de controle met 50 verzonnen namen bij alle drie de modellen slaagt, is het detail dat dat aannemelijk maakt — het betekent dat het probleem niet fabricatie is, wat moeilijk is, maar refresh, wat beheersbaar is.

Tot die tijd is de nuttige samenvatting beperkter dan een ranglijst en actiegerichter dan die. Een model dat zelfverzekerd een niet meer actuele werkgever meldt, liegt niet tegen je. Het beantwoordt een vraag over het verleden alsof je naar het heden had gevraagd, en de enige manier om het te betrappen is de vraag te stellen die je eigenlijk bedoelde.

Een resultaat als dit is ook een herinnering eraan dat modelfouten al gedocumenteerd zijn: de AI-incidenten en agentfouten achter de modellen in deze klasse zijn verzameld in het OrcaRouter AI Incident Archive, waar elke vermelding zijn eigen bronnen, ernst, betrouwbaarheidsgraad en betwistingsmarkering bevat.