O maior número do GPT-6.1 Terra é 38%: uma taxa de alucinação, não um QI

A cobertura do lançamento do GPT-6.1 Terra centrou-se num ganho de seis pontos de inteligência e num cartão a metade do preço. O número que realmente muda a forma como o modelo pode ser usado é 38% — a medida da Artificial Analysis de com que frequência a Terra adivinha quando não sabe, abaixo dos 88% no GPT-5.6 Terra. Uma queda de cinquenta pontos na adivinhação é maior do que todos os ganhos de qualidade do lançamento somados, e desloca o modelo de “presumir que a resposta é inventada” para “amostrar e verificar”.

Este artigo separa as duas coisas diferentes que as pessoas chamam de alucinação nesta versão — a medida independente de onisciência e o teste interno de erros da OpenAI — e calcula o custo de uma taxa de 38% de adivinhação em um pipeline real de verificação.

O que 38% mede

A avaliação AA-Omniscience da Artificial Analysis faz perguntas aos modelos que eles podem não saber responder e conta com que frequência eles, ainda assim, dão uma resposta confiante. GPT-5.6 Terra: 88%. GPT-6.1 Terra: 38%. A precisão aumentou dois pontos no mesmo período.

Lidos em conjunto, esses dois fatos descrevem um modelo que se tornou mais disposto a dizer “Não sei” — não um que se tornou drasticamente mais conhecedor. O índice de inteligência subiu seis pontos, de 42 para 48. O comportamento de abstenção mudou cinquenta. Para quem usa o modelo para extrair fatos, essa é a mudança mais valiosa.

Ainda não é bom. Trinta e oito por cento significa que, em um conjunto de perguntas que o modelo não consegue responder, mais de uma em cada três ainda recebe uma resposta errada com confiança. Um modelo que se abstém 62% das vezes quando não sabe é muito mais seguro do que um que se abstém 12% das vezes — e ainda assim não é algo para colocar diante de um cliente sem uma verificação.

O número do fornecedor é um teste diferente

O destaque da OpenAI é uma queda de 37 pontos em prompts projetados para induzir erros: de 53,6% no GPT-5.6 Terra com esforço baixo para 16,7% no Terra, e 4,3% no esforço máximo. Esse teste é interno, não publicado e construído de forma adversarial. Ele mede se o modelo consegue resistir a um prompt projetado para fazê-lo falhar — não se ele inventa fatos quando não os tem.

Ambos os números podem ser verdadeiros. O teste do fornecedor mede a robustez a prompts adversariais; o teste independente mede a calibração sob ignorância. Eles estão correlacionados, mas não são intercambiáveis, e a cobertura do lançamento tratou em grande parte o primeiro como evidência para o segundo. Não é.

O que custa uma taxa de adivinhação de 38%

A verificação é o item de custo oculto em toda implantação de modelo barato, e escala com a taxa de adivinhação. Considere um pipeline de extração de documentos que processa 100.000 páginas por mês, com uma verificação humana por amostragem custando US$ 2 por página verificada.

Com uma taxa de acerto de 88%, você não pode fazer verificação por amostragem. Você verifica tudo: 100.000 páginas × US$ 2 = US$ 200.000 por mês. A conta de tokens é irrelevante.

• A 38%, um regime de amostragem torna-se viável. Verifique 20% das páginas: 20.000 × US$ 2 = US$ 40.000 por mês, com uma taxa de omissão conhecida nas demais.

• A uma taxa hipotética de 10%, verificar 5% custaria US$ 10.000 por mês e ainda limitaria a taxa de erro.

O custo em tokens do próprio pipeline às tarifas da Terra — digamos, 20.000 tokens de entrada e 500 de saída por página — é de US$ 2.250 por 100.000 páginas. A linha de verificação é de dez a noventa vezes maior que a linha do modelo. Esse é o quadro correto para comparar modelos baratos: a conta é o modelo mais a revisão, e a revisão é determinada pela taxa de adivinhação.

Quais tarefas toleram adivinhação

• Tolerante — sumarização de um documento totalmente em contexto (a resposta é fundamentada na entrada), classificação com um conjunto fixo de rótulos, redação em que um humano faz a edição, extração com um esquema que rejeita saídas malformadas.

• Intolerante — resposta a perguntas factuais sem recuperação (retrieval), números financeiros, citações jurídicas, dosagem médica, qualquer coisa em que uma resposta errada plausível seja pior do que nenhuma resposta.

A linha divisória não é a pontuação de inteligência do modelo; é se a resposta pode ser verificada em relação a uma fonte. Uma taxa de suposição de 38% numa tarefa em que cada saída é verificada é um problema de eficiência. Numa tarefa em que as saídas vão diretamente para um cliente, é um risco.

Como medir isso nos seus próprios dados

• Crie um conjunto de perguntas que o modelo não consegue responder a partir do contexto. A taxa de adivinhação é medida em itens sem resposta, e não no conjunto de teste completo — um teste em que toda pergunta tem uma resposta mede acurácia, não calibração.

• Avalie três resultados, não dois: correto, incorreto, abstenção. Um modelo que responde “desconhecido” está se comportando corretamente em um item sem resposta.

• Compare com o GPT-5.6 Terra no mesmo conjunto. A melhoria de cinquenta pontos é uma afirmação independente de fornecedor, mas é medida nas perguntas da Artificial Analysis; as suas podem ser diferentes.

• Fique atento à configuração de esforço. As alegações sobre taxa de erro são específicas ao esforço, e o comportamento de abstenção provavelmente também varia com o esforço de raciocínio — uma execução com esforço baixo pode adivinhar mais do que uma com esforço máximo.

Prompting para abstenção

A calibração é em parte uma propriedade do prompt. Três padrões que reduzem de forma confiável o palpite confiante:

• Dê ao modelo uma saída explícita — “se a resposta não estiver presente no contexto fornecido, responda UNKNOWN” — e pontue essa resposta como correta em itens não respondíveis.

• Exigir uma citação para cada afirmação factual e rejeitar saídas cujas citações não correspondam ao contexto.

• Peça um rótulo de confiança e encaminhe respostas de baixa confiança para um segundo modelo ou para um humano, em vez de pedir ao modelo barato que tenha certeza.

Cada uma delas consome tokens e acrescenta uma etapa. Cada uma custa menos do que uma resposta errada chegando a um cliente, e o número de 38% é o que faz valer a pena precificar essa troca em vez de ignorá-la.

Por que isto importa mais do que o índice

Um ganho de seis pontos em inteligência muda quais tarefas um modelo consegue realizar de todo. Uma mudança de cinquenta pontos na capacidade de adivinhar muda quais tarefas ele consegue executar sem um humano no circuito. Para uma decisão de roteamento, o segundo é o eixo mais útil: ele decide se o modelo barato pode atuar sem supervisão em uma tarefa, e a supervisão é o custo que domina a fatura de produção.

O GPT-6.1 Terra não é um modelo que parou de alucinar. É um modelo que alucina menos da metade das vezes que seu antecessor, pela metade do preço, com uma data de corte de conhecimento mais recente. Essa combinação é genuinamente útil — e é uma história de verificação, não uma história de capacidade.

O que você pode executar hoje

GPT-6.1 Terra não está no catálogo do OrcaRouter no momento desta redação, portanto seu comportamento de abstenção precisa ser medido diretamente contra a OpenAI. Tudo aquilo com que é comparado está ativo do nosso lado com 0% de margem sobre o preço de tabela do provedor — GPT-5.6 Terra a $2/$12, GPT-6.1 Sol a $2/$10, GPT-6 Astra a $10/$50, GPT-6 Luna a $0,10/$0,50, Claude Sonnet 5.5 a $2/$10 — o que basta para montar o conjunto de calibração e o modelo de custo de verificação antes de Terra chegar.

O número a levar para esse experimento não é 48. É 38, e a pergunta a fazer é como fica o seu orçamento de revisão com essa taxa de adivinhação.