Pergunte ao GPT-6.1 Sol, ao Claude Opus 5.5 ou ao Gemini 4 Argon "Quem é este pesquisador?" — e veja o Argon buscar o laboratório errado

Três modelos de fronteira receberam uma pergunta cada, 448 vezes, com nada além de um nome como ponto de partida. GPT-6.1 Sol e Claude Opus 5.5 identificaram quase todos os pesquisadores de IA que lhes foram mostrados. Gemini 4 Argon identificou quase tantas pessoas, mas descreveu corretamente menos delas, e o motivo relatado é específico e útil: ele repetidamente nomeou o antigo empregador de um pesquisador como o atual. A avaliação foi publicada em 14 de outubro de 2026 pela conta @scaling01; é um teste publicado, não um benchmark independente, e ninguém o reproduziu. Os três modelos têm idades muito diferentes — Gemini 4 Argon ficou disponível para o público em geral no plano pago em 13 de outubro de 2026, depois de ser anunciado em 30 de setembro, Claude Opus 5.5 foi lançado em 22 de setembro, GPT-6.1 Sol, em 29 de setembro — então a única coisa genuinamente nova aqui é o próprio achado, que surge dois dias depois de o plano pago do Argon ter sido aberto.

Este é um problema de atributo obsoleto, e vale a pena compreendê-lo adequadamente, porque não é a mesma classe de falha que uma citação alucinada ou um artigo inventado com confiança. Um modelo que nomeia o antigo empregador de um pesquisador não está inventando algo. Está retornando um fato que era verdadeiro, a partir de um instantâneo que já avançou. O raciocínio interno citado para a lacuna é que, quanto "melhor" um modelo for em citar informações desatualizadas como atuais, mais útil ele é para algumas tarefas e mais perigoso para esta. Essa é uma formulação clara do trade-off, e é a razão pela qual esta avaliação em particular é mais interessante do que seu tamanho de amostra sugere.

O que o post realmente mediu, em suas próprias palavras: 448 pesquisadores reais foram mostrados a cada modelo apenas pelo nome, uma vez, sem acesso à web e sem ferramentas. As respostas foram verificadas com base em fontes públicas — páginas pessoais, biografias de laboratório, artigos — em 14 de outubro de 2026. O gráfico separa duas coisas que geralmente são reduzidas a uma única pontuação. A barra completa é “reconheceu a pessoa certa”. A parte sólida da barra é “a resposta inteira também estava correta”. A lacuna entre as duas é o modo de falha: pessoa certa, detalhe errado. A divisão da coorte foi 131 pesquisadores da OpenAI, 166 da Anthropic, 151 do Google. A afiliação de laboratório foi estabelecida a partir de 298 perfis atuais ou páginas de laboratório, 148 assinaturas de laboratório desde outubro de 2025, e 2 pessoas que mudaram entre laboratórios. Excluídos: 2 que deixaram esses laboratórios, 13 que não puderam ser confirmados, e 22 pesquisadores proeminentes que trabalham fora dos três laboratórios. Todos os três modelos rejeitaram todos os 50 nomes inventados que lhes foram dados — nenhum dos três inventou uma pessoa, que é o controle mais difícil e aquele que eles passaram.

O que um erro de "ex-empregador" realmente te custa

Se você está usando um modelo de fronteira para preparar um briefing, elaborar uma lista de prospecção ou resumir quem trabalha onde, este é o formato exato do erro que você vai receber. O nome estará certo. O cargo será plausível. A organização será aquela que a pessoa deixou. Nada na saída parecerá errado, e é por isso que esse erro passa pela revisão e por que uma resposta com o empregador errado é pior do que uma obviamente errada.

Isto também explica de onde vêm as diferenças entre modelos. Erros de atribuição deste tipo acompanham o modo como o conhecimento de um modelo foi capturado num instantâneo e como ele formula uma resposta quando os seus dados de treino contêm uma afiliação antiga e uma nova. Um modelo que viu ambos os factos e escolhe o mais recente obtém uma boa pontuação aqui. Um modelo que viu ambos e escolhe o mais comum no seu corpus — que, para um investigador com longa carreira, costuma ser o mais antigo — obtém uma má pontuação sem estar errado em nada do que lhe foi efetivamente dito. O próprio enquadramento da avaliação corresponde a isso: está a medir se um modelo trata "quem é esta pessoa" como uma pergunta sobre o presente.

O que três modelos diferentes significam para este resultado, e o que não significam

Esta é uma avaliação publicada por uma conta, e a leitura honesta tem de começar por aí. A amostra é de 448 nomes, a atribuição de notas é do próprio autor da postagem em comparação com fontes públicas, os números das barras por modelo não são totalmente reproduzíveis a partir das imagens do gráfico, e nenhum outro laboratório ou avaliador executou o mesmo protocolo. Trate isso como um sinal de que existe um modo de falha específico a uma taxa mensurável em um dos três, e não como um ranking do qual escolher.

O que faz com que isso seja mais do que ruído é que o controle é excepcionalmente bom para uma avaliação de redes sociais. Dar a cada modelo apenas um nome, uma única vez, sem acesso à web, remove o caminho de recuperação que normalmente mascararia uma afiliação desatualizada — um modelo com navegação simplesmente procuraria a pessoa. Excluir pesquisadores que saíram dos laboratórios e excluir separadamente pessoas proeminentes fora dos laboratórios remove os casos em que uma resposta de "empregador atual errado" é discutivelmente correta. E os 50 nomes inventados são o teste que separa "conhecimento desatualizado" de "disposição a inventar coisas", que os três modelos passaram juntos.

Há uma tensão que vale a pena nomear: a taxa relatada de respostas sem sentido — a proporção de respostas que estavam erradas nos limites — é praticamente nula, enquanto a imprecisão reconhecível está concentrada quase inteiramente no campo de afiliação. Um modelo que teve um desempenho tão limpo em nomes inventados e ainda assim atribuiu empregadores incorretamente não está confuso. Ele está desatualizado exatamente em uma dimensão.

Os três modelos não são produtos comparáveis, portanto, leia o resultado com isso em mente.

• Gemini 4 Argon — anunciado em 30 de setembro de 2026, com disponibilidade geral no plano pago a partir de 13 de outubro, a um preço declarado de US$ 2,00 por milhão de entrada e US$ 10,00 por milhão de saída; a mesma avaliação que aponta seus erros de atribuição é a que o classificou muito bem em reconhecimento.

• Claude Opus 5.5 — lançado em 22 de setembro de 2026 a $4,00 por milhão na entrada e $20,00 por milhão na saída, abaixo dos $5/$25 que o Claude Opus 5 cobrava.

• GPT-6.1 Sol — lançado em 29 de setembro de 2026, a US$ 2,00 por milhão de entrada e US$ 10,00 por milhão de saída.

A diferença de idade importa para como você interpreta o resultado. O Argon é o mais novo dos três, por uma ampla margem, e se o modo de falha for snapshots obsoletos, o modelo com o conhecimento mais recente é o que tem maior probabilidade de carregar duas afiliações conflitantes para a mesma pessoa sem um sinal forte sobre qual é a atual. Essa é uma hipótese que a avaliação não testa e não poderia testar, dado seu desenho, mas é a primeira coisa a verificar se você executá-la novamente.

Se você vai usar um modelo para fatos sobre pessoas, teste-o antes de confiar nele.

Esta avaliação é fácil de aproximar nos seus próprios dados, e a aproximação é mais útil do que o agregado. Pegue vinte nomes do seu próprio domínio — pessoas que você sabe que mudaram de empregador nos últimos dezoito meses — e pergunte ao modelo, para cada pessoa, qual é o cargo atual, uma vez, sem ferramentas. Conte quantos retornam com a organização antiga. Esse único número lhe diz mais sobre sua implantação do que toda a execução com 448 nomes, porque a falha é específica do domínio: um modelo confiável para pesquisadores de laboratórios de IA pode ser fraco no seu setor, ou o contrário.

Vale a pena copiar dois detalhes do protocolo original, porque são eles que tornam o resultado significativo. Primeiro, nenhum acesso à web. Um modelo com uma ferramenta de busca simplesmente procurará a pessoa, o que é o comportamento correto e significa que o teste deixa de medir qualquer coisa sobre seu conhecimento armazenado. Segundo, forneça apenas o nome. Adicionar contexto ("esta pessoa trabalha com robótica") permite que o modelo infira a resposta a partir do contexto em vez de recuperá-la, o que favorece o resultado sem corrigir a fraqueza.

Se você estiver executando isso em grande volume em vários modelos em vez de um só, a comparação é a parte cara — os mesmos nomes têm de ir para cada modelo da mesma forma, e é aí que uma camada de roteamento ganha seu lugar, em vez de ser apenas uma conveniência.

Onde esse tipo de verificação se encaixa em um pipeline

Fatos sobre pessoas são uma das poucas categorias em que uma resposta errada é barata de detectar depois do ocorrido e cara de detectar antes, então a atitude prática é tratar o campo de afiliação como não verificado por padrão e conferi-lo com uma fonte sob seu controle. Isso não significa confiar menos nos modelos de modo geral. Significa perceber que "reconheceu a pessoa certa" e "a descreveu corretamente" são duas medições diferentes, e que a segunda é a que você realmente queria.

No OrcaRouter, este é o tipo de verificação que é executada em vários modelos com a mesma chave, em vez de um de cada vez. GPT-6.1 Sol e Claude Opus 5.5 — os dois modelos que esta avaliação considerou menos propensos ao erro de afiliação desatualizada — são ambos encaminháveis aqui através do mesmo endpoint, pelo que os mesmos vinte nomes seguem para ambos com uma alteração da string do modelo em vez de um segundo contrato, e um fornecedor a ter um dia mau não faz cair a comparação com ele. O Gemini 4 Argon não está no OrcaRouter; é acessível através do nível pago do próprio fornecedor e de outras plataformas de terceiros, e nada aqui deve ser interpretado como uma oferta para o encaminhar. Os modelos que disponibilizamos têm o preço de tabela do fornecedor sem margem adicional, pelo que uma alteração de preço de um fornecedor chega à sua fatura no mesmo dia em que é publicada.

O que observar, e o que mudaria esta leitura

O resultado é a avaliação de uma única conta, com um bom controle e uma amostra pequena, publicada em 14 de outubro de 2026, e o próximo passo honesto não é agir com base nela, mas procurar a segunda rodada. Duas coisas a fariam passar de sinal para constatação: um avaliador independente repetindo o protocolo com uma lista de nomes maior e critérios de avaliação publicados, ou um fornecedor reconhecendo que a atribuição entre o antigo e o atual empregador de uma pessoa é uma classe de falha distinta que vale a pena visar. O controle com 50 nomes inventados passando nos três modelos é o detalhe que torna isso plausível — significa que o problema não é a fabricação, que é difícil, mas a atualização, que é tratável.

Até lá, o resumo útil é mais estreito que um ranking e mais acionável que ele. Um modelo que relata com confiança um empregador desatualizado não está mentindo para você. Ele está respondendo a uma pergunta sobre o passado como se você tivesse perguntado sobre o presente, e a única maneira de flagrá-lo é fazer a pergunta que você realmente quis fazer.

Um resultado como este também é um lembrete de que os erros de modelos já estão documentados: os incidentes de IA e as falhas de agentes por trás dos modelos dessa classe são reunidos em o OrcaRouter AI Incident Archive, onde cada entrada traz suas próprias fontes, severidade, grau de confiança e sinalização de disputa.