Chiedi a GPT-6.1 Sol, Claude Opus 5.5 o Gemini 4 Argon «Chi è questo ricercatore?» — e guarda Argon puntare al laboratorio sbagliato

A tre modelli di frontiera è stata posta una domanda ciascuno, 448 volte, con nient'altro che un nome da cui partire. GPT-6.1 Sol e Claude Opus 5.5 hanno identificato quasi tutti i ricercatori di IA che sono stati loro mostrati. Gemini 4 Argon ha identificato quasi altrettante persone ma ne ha descritte correttamente meno, e la ragione riportata è specifica e utile: ha ripetutamente indicato il datore di lavoro precedente di un ricercatore come quello attuale. La valutazione è stata pubblicata il 14 ottobre 2026 dall'account @scaling01; si tratta di un singolo test pubblicato, non di un benchmark indipendente, e nessuno lo ha riprodotto. I tre modelli hanno età molto diverse — Gemini 4 Argon è diventato disponibile a livello generale sul piano a pagamento il 13 ottobre 2026 dopo essere stato annunciato il 30 settembre, Claude Opus 5.5 è stato rilasciato il 22 settembre, GPT-6.1 Sol il 29 settembre — quindi l'unica cosa davvero nuova qui è il risultato stesso, che arriva due giorni dopo l'apertura del piano a pagamento di Argon.

Questo è un problema di attributo obsoleto, e vale la pena comprenderlo adeguatamente, perché non è la stessa classe di fallimento di una citazione allucinata o di un articolo inventato con sicurezza. Un modello che nomina l'ex datore di lavoro di un ricercatore non si sta inventando qualcosa. Sta restituendo un fatto che era vero, da uno snapshot che è andato avanti. Il ragionamento interno citato a proposito di questa lacuna è che quanto più un modello è "bravo" a citare informazioni obsolete come attuali, tanto più è utile per alcuni compiti e tanto più pericoloso per questo. Questa è una formulazione limpida del trade-off, ed è il motivo per cui questa particolare valutazione è più interessante di quanto suggerisca la sua dimensione campionaria.

Che cosa ha misurato davvero il post, nelle sue stesse parole: a ciascun modello sono stati mostrati 448 ricercatori reali come semplice nome, una sola volta, senza accesso al web e senza strumenti. Le risposte sono state verificate rispetto a fonti pubbliche — pagine personali, biografie di laboratorio, articoli — il 14 ottobre 2026. Il grafico separa due cose che di solito vengono accorpate in un unico punteggio. La barra completa è «ha riconosciuto la persona giusta». La parte piena della barra è «l'intera risposta era anche accurata». Il divario tra le due è la modalità di errore: persona giusta, dettaglio sbagliato. La suddivisione della coorte era: 131 ricercatori O​penAI, 166 Anthropic, 151 G​oogle. L'affiliazione di laboratorio è stata stabilita da 298 profili attuali o pagine di laboratorio, 148 firme di laboratorio da ottobre 2025 e 2 persone che sono passate da un laboratorio all'altro. Esclusi: 2 che hanno lasciato questi laboratori, 13 che non è stato possibile confermare e 22 ricercatori di spicco che lavorano al di fuori dei tre laboratori. Tutti e tre i modelli hanno rifiutato tutti i 50 nomi inventati che erano stati loro forniti — nessuno dei tre ha inventato una persona, che è il controllo più difficile e quello che hanno superato.

Quanto ti costa davvero un errore su un "ex datore di lavoro"

Se stai usando un modello di frontiera per preparare un briefing, redigere una lista di contatti o riassumere chi lavora dove, questa è la forma esatta dell'errore che otterrai. Il nome sarà corretto. Il ruolo sarà plausibile. L'organizzazione sarà quella che la persona ha lasciato. Nulla nell'output sembrerà sbagliato, ed è per questo che sopravvive alla revisione, e perché una risposta con il datore di lavoro sbagliato è peggio di una palesemente sbagliata.

Spiega anche da dove derivano le differenze tra i modelli. Errori di attribuzione di questo tipo seguono il modo in cui è stata fotografata la conoscenza di un modello e il modo in cui esso formula una risposta quando i suoi dati di addestramento contengono sia un'affiliazione vecchia sia una nuova. Un modello che ha visto entrambi i fatti e sceglie quello più recente ottiene un buon punteggio qui. Un modello che li ha visti entrambi e sceglie quello più comune nel suo corpus — che per un ricercatore di lungo corso è di solito quello più vecchio — ottiene un pessimo punteggio senza essere in errore su nulla di ciò che gli è stato effettivamente detto. Anche l'impostazione stessa della valutazione concorda: misura se un modello tratta "chi è questa persona" come una domanda sul presente.

Che cosa significa avere tre modelli diversi per questo risultato, e che cosa non significa

Questa è una valutazione pubblicata da un solo account, e una lettura onesta deve partire da lì. Il campione è di 448 nomi, la valutazione è quella dell'autore del post rispetto a fonti pubbliche, i valori delle barre per modello non sono del tutto riproducibili dalle immagini del grafico, e nessun altro laboratorio o valutatore ha eseguito lo stesso protocollo. Consideralo un segnale che una specifica modalità di errore esiste a un tasso misurabile in uno dei tre, non come una classifica da cui scegliere.

Ciò che lo rende più che rumore è che il controllo è insolitamente buono per una valutazione sui social media. Dare a ciascun modello solo un nome, una volta, senza accesso al web, elimina il percorso di recupero che normalmente nasconderebbe un'affiliazione obsoleta — un modello con browsing cercherebbe semplicemente la persona. Escludere i ricercatori che hanno lasciato i laboratori, e separatamente escludere persone di spicco al di fuori dei laboratori, rimuove i casi in cui una risposta "datore di lavoro attuale errato" è potenzialmente corretta. E i 50 nomi inventati sono il test che separa la "conoscenza obsoleta" dalla "disponibilità a inventare", che i tre modelli hanno superato insieme.

C'è una tensione che vale la pena nominare: il tasso di assurdità riportato — la proporzione di risposte errate ai margini — è praticamente nullo, mentre l'inesattezza riconoscibile è concentrata quasi interamente nel campo dell'affiliazione. Un modello che ha ottenuto risultati così puliti sui nomi inventati e continua ad attribuire erroneamente i datori di lavoro non è confuso. È obsoleto in esattamente una dimensione.

I tre modelli non sono prodotti comparabili, quindi leggi il risultato di conseguenza.

• Gemini 4 Argon — annunciato il 30 settembre 2026, disponibile a livello generale sul piano a pagamento dal 13 ottobre a un prezzo dichiarato di 2,00 $ per milione di token di input e 10,00 $ per milione di token di output; la stessa valutazione che ne segnala gli errori di attribuzione è quella che lo ha classificato in alto quanto a riconoscimento.

• Claude Opus 5.5 — rilasciato il 22 settembre 2026 a 4,00 $ per milione di token in input e 20,00 $ per milione in output, in calo rispetto ai 5 $/25 $ di Claude Opus 5.

• GPT-6.1 Sol — rilasciato il 29 settembre 2026 a $2,00 per milione di token di input e $10,00 per milione di token di output.

La differenza di età conta per come interpreti il risultato. Argon è il più recente dei tre, e di gran lunga, e se la modalità di errore è costituita da snapshot obsoleti, il modello con le conoscenze più recenti è quello che più probabilmente potrebbe avere due affiliazioni in conflitto per la stessa persona senza un segnale forte su quale sia quella attuale. Questa è un'ipotesi che la valutazione non verifica e non potrebbe, dato il suo design, ma è la prima cosa da controllare se la riesegui.

Se hai intenzione di usare un modello per i fatti sulle persone, mettilo alla prova prima di fidarti.

Questa valutazione è facile da approssimare sui tuoi dati, e l'approssimazione è più utile dell'aggregato. Prendi venti nomi dal tuo dominio — persone che sai aver cambiato datore di lavoro negli ultimi diciotto mesi — e chiedi al modello il ruolo attuale di ciascuna persona, una sola volta, senza strumenti. Conta quante risposte riportano la vecchia organizzazione. Quel singolo numero ti dice di più sul tuo deployment di quanto faccia l'intera esecuzione su 448 nomi, perché il fallimento è specifico del dominio: un modello affidabile sui ricercatori dei laboratori di IA può essere debole nel tuo settore, o viceversa.

Due dettagli del protocollo presenti nell'originale meritano di essere copiati, perché sono ciò che rende significativo il risultato. Primo: nessun accesso al web. Un modello dotato di uno strumento di ricerca cercherà semplicemente la persona, che è il comportamento corretto e significa che il test smette di misurare qualsiasi cosa riguardo alla sua conoscenza immagazzinata. Secondo: indicare solo il nome. Aggiungere contesto ("questa persona lavora nella robotica") consente al modello di dedurre la risposta dal contesto invece di recuperarla, il che abbellisce il risultato senza correggere la debolezza.

Se lo esegui su larga scala su diversi modelli anziché su uno solo, il confronto è la parte costosa — gli stessi nomi devono arrivare a ciascun modello allo stesso modo, ed è qui che un livello di routing si guadagna il suo posto anziché essere una comodità.

Dove va inserito questo tipo di controllo in una pipeline

I fatti sulle persone sono una delle poche categorie in cui una risposta sbagliata è poco costosa da individuare a posteriori e molto costosa da individuare in anticipo, quindi la mossa pratica è trattare il campo dell'affiliazione come non verificato per impostazione predefinita e controllarlo rispetto a una fonte che controlli tu. Questo non significa fidarsi meno dei modelli in generale. Significa accorgersi che "ha riconosciuto la persona giusta" e "l'ha descritta correttamente" sono due misurazioni diverse, e che la seconda è quella che volevi davvero.

Su OrcaRouter questo è il tipo di controllo che viene eseguito su più modelli con la stessa chiave anziché uno alla volta. GPT-6.1 Sol e Claude Opus 5.5 — i due modelli che questa valutazione ha rilevato essere i meno soggetti all'errore di affiliazione obsoleta — sono entrambi instradabili qui attraverso lo stesso endpoint, quindi gli stessi venti nomi arrivano a entrambi con un cambio della stringa del modello anziché con un secondo contratto, e un fornitore che ha un pomeriggio storto non trascina con sé il confronto. Gemini 4 Argon non è su OrcaRouter; è raggiungibile tramite il tier a pagamento del fornitore stesso e altre piattaforme di terze parti, e nulla di quanto qui scritto va inteso come un'offerta per instradarlo. I modelli che gestiamo sono al prezzo di listino del fornitore senza ricarico, quindi una variazione di prezzo del fornitore arriva sulla tua fattura lo stesso giorno in cui viene pubblicata.

Cosa tenere d'occhio, e cosa cambierebbe questa lettura

Il risultato è la valutazione di un solo account, con un buon controllo e un campione piccolo, pubblicata il 14 ottobre 2026, e il passo successivo onesto non è agire su di essa, ma cercare una seconda esecuzione. Due cose la farebbero passare da segnale a riscontro: un valutatore indipendente che ripeta il protocollo con un elenco di nomi più ampio e una valutazione pubblicata, oppure un fornitore che riconosca che l'attribuzione tra l'ex datore di lavoro e quello attuale di una persona è una distinta classe di errore su cui vale la pena intervenire. Il superamento del controllo dei 50 nomi inventati in tutti e tre i modelli è il dettaglio che rende plausibile questo scenario — significa che il problema non è la fabbricazione, che è difficile, ma l'aggiornamento, che è trattabile.

Fino ad allora il riepilogo utile è più ristretto di una classifica e più azionabile di essa. Un modello che riporta con sicurezza un datore di lavoro non più attuale non ti sta mentendo. Sta rispondendo a una domanda sul passato come se tu avessi chiesto del presente, e l'unico modo per coglierlo in fallo è porre la domanda che intendevi davvero.

Un risultato come questo ricorda anche che gli errori dei modelli sono già documentati: gli incidenti AI e i fallimenti degli agenti dietro ai modelli di questa classe sono raccolti nell'Archivio degli incidenti AI di OrcaRouter, dove ogni voce riporta le proprie fonti, la gravità, il grado di confidenza e il flag di contestazione.