Benchmarks do GPT-6.1 Terra, organizados: onde 48 empata com 52 e onde não empata

O número composto do GPT-6.1 Terra é 48. O GPT-6.1 Sol é 52, o GPT-6 Astra é 53, o GPT-5.6 Terra é 42, e o GPT-6 Luna é 38. Essa é toda a história se você ler apenas a linha superior do Índice de Inteligência da Artificial Analysis — um modelo de nível intermediário que fica seis pontos acima de seu antecessor e quatro abaixo de seu irmão mais caro. Também é a maneira menos útil de ler o lançamento, porque o mesmo índice esconde uma lacuna de 29 pontos em programação para o Astra, uma lacuna de 7,6 pontos em uso de computador para o Claude Opus 5.5, e uma melhoria de alucinação que é maior do que todos os ganhos de inteligência do lançamento combinados.

O que se segue separa três tipos de números: medições independentes da Artificial Analysis, resultados divulgados pela OpenAI que ninguém de fora reproduziu, e números derivados — a aritmética que transforma qualquer um dos dois primeiros em um custo ou uma proporção. As distinções importam, porque a cobertura do lançamento já começou a misturá-los.

Os três placares que todos vão citar

A Artificial Analysis lista o GPT-6.1 Terra com 48 no seu Índice de Inteligência, na 25ª posição entre 221 modelos, a US$ 0,40 por tarefa do índice. O GPT-6.1 Sol está em 52 e na 13ª posição, a US$ 0,72 por tarefa. O GPT-6 Astra, o atual carro-chefe, está em 53. O GPT-5.6 Terra está em 42 e na 53ª posição, a US$ 1,40 por tarefa. O GPT-6 Luna está em 38.

Lido como uma escala, o Terra é um upgrade genuíno: seis pontos por menos de um terço do custo por tarefa concluída, e dez pontos acima do nível econômico. Lido como uma comparação com o Sol, é exatamente o que a tabela de preços sugere — quatro pontos mais fraco, a aproximadamente metade do preço por token. Nada no composto contradiz o posicionamento da OpenAI.

O composto também achata coisas que não deveria. Quatro pontos de índice entre Terra e Sol representam 8% da escala; 29 pontos entre Terra e Astra no Coding Agent Index representam 60% dessa escala. Um único número não consegue abranger ambos, e a cobertura de lançamento que cita apenas o primeiro deixou o segundo de lado silenciosamente.

Onde a lacuna aumenta: programação

No Coding Agent Index v2.0 da Artificial Analysis, o GPT-6.1 Terra obtém 48, o GPT-6.1 Sol obtém 54 e o GPT-6 Luna obtém 31. Isso representa um déficit de seis pontos em relação ao Sol e uma vantagem de 17 pontos sobre o Luna — o mesmo formato do índice de inteligência, mas com a diferença para o topo da família maior em termos relativos.

Os números dos fornecedores contam uma história mais lisonjeira, e são números de fornecedores. A OpenAI relata 50,3% resolvidos no Terminal-Bench 4.0 com esforço máximo, contra 21,5% do GPT-5.6 Terra. Isso é mais que o dobro e é o maior salto de uma geração para a seguinte no lançamento. Também é um benchmark de tarefas de terminal, não uma medida ampla de agente de programação: o Terra pode ficar próximo do Sol em trabalhos de shell curtos e bem delimitados e ainda assim ficar seis pontos atrás no índice mais amplo, e ambas as coisas são verdadeiras ao mesmo tempo.

A leitura prática é que os ganhos de codificação do Terra estão concentrados onde a tarefa é delimitada. “Execute esta suíte de testes, leia a falha, corrija o arquivo” é o formato do Terra. “Manter uma refatoração de quinze arquivos em mente por quarenta etapas” não é, e a própria recomendação da OpenAI ainda direciona trabalhos complexos de programação para Sol ou Astra.

Onde a lacuna é menor do que o índice sugere: uso de computador

No OSWorld 2.1, o benchmark padrão de automação de desktop, o GPT-6.1 Terra obtém 74,2% com raciocínio máximo. O GPT-6.1 Sol obtém 75,9% no modo xhigh. O GPT-6 Astra obtém 75,8%. O Claude Opus 5.5 lidera entre os modelos que podemos comparar, com 81,8%, seguido do Claude Fable 5.1 com 80,7%, do Claude Sonnet 5.5 com 80,1% e do Kimi K3.1 Pro com 79,6%.

Duas coisas decorrem disso. Primeiro, o Terra fica a 1,7 pontos do Sol na tarefa para a qual foi criado, pela metade do preço por token — uma troca muito melhor do que a lacuna de quatro pontos de inteligência sugere. Segundo, toda a família GPT-6 fica atrás da Anthropic em automação de desktop por seis a sete pontos, e o Terra não fecha essa lacuna. Se o seu produto é um agente de navegador, a comparação interessante não é Terra contra Sol; é Terra contra Claude Sonnet 5.5, que é mais barato por token do que o Sol e obtém 5,9 pontos a mais no OSWorld.

Os próprios números agênticos do fornecedor apontam na mesma direção. No Agents' Last Exam v1, a OpenAI relata 57,6% para o Terra em esforço médio, contra 50,7% para o GPT-5.6 Terra em máximo. A alegação associada a isso — comparável ao GPT-6 Astra em médio, a aproximadamente um décimo do preço por token — é uma alegação por tarefa, e é a frase economicamente mais significativa do lançamento.

O número que realmente mudou: alucinação

A Artificial Analysis mede uma taxa de alucinação Omniscience: com que frequência um modelo adivinha quando não sabe. O GPT-5.6 Terra obteve 88%. O GPT-6.1 Terra obtém 38%. A precisão subiu dois pontos no mesmo período.

Uma queda de 50 pontos na adivinhação é maior do que qualquer ganho de inteligência nesta versão, e é o único número que muda para que usos um modelo é seguro. Um modelo que inventa uma resposta em 88% das vezes quando está incerto não pode ser confiável para extração de faturas ou preenchimento de formulários sem uma verificação humana em cada saída. Em 38%, ele ainda adivinha mais de um terço das vezes — isso é uma melhoria, não uma solução —, mas o modo de falha passa de "presumir que está errado" para "amostrar e verificar".

Isso tem uma consequência direta nos custos. A verificação é o item oculto em toda implantação de modelo barato: se você precisa conferir 88% das respostas, a mão de obra ofusca a economia de tokens. A 38%, a verificação por amostragem torna-se viável, e o valor de US$ 0,40 por tarefa começa a parecer o custo real, em vez da metade visível dele.

Alegações de fornecedores, e o que falta nelas

Resultados publicados pela OpenAI, todos realizados pelo próprio fornecedor e nenhum reproduzido de forma independente até o momento desta redação:

• Terminal-Bench 4.0 — 50,3% com esforço máximo, contra 21,5% do GPT-5.6 Terra.

• Agents' Last Exam — 15 pontos acima do GPT-5.6 Terra com esforço médio, a aproximadamente um terço do custo.

• MMMU-Pro — à frente do GPT-5.6 Terra em todos os níveis de esforço, aproximando-se de Astra e Sol, sem pontuações absolutas publicadas.

• Terminal-Bench-Science 0.1 — a menos de 5 pontos de Claude Opus 5.5, com menos de um quinto do custo estimado.

• Prompts que induzem a erro — 16,7% com esforço baixo contra 53,6%, e 4,3% no máximo, em um teste interno que a empresa não publicou.

O padrão nessa lista merece ser nomeado. As duas afirmações mais fortes — MMMU-Pro e o teste de taxa de erro — são as duas sem números absolutos associados. "Aproxima-se de Astra" e "próximo de Sol" são afirmações comparativas que não podem ser verificadas sem os números por trás delas. As afirmações com números concretos são as que um terceiro consegue reproduzir, e a Artificial Analysis já reproduziu o lado do custo: US$ 0,40 por tarefa, US$ 1,40 para o predecessor.

A velocidade é o número independente que não está no índice.

A Artificial Analysis mede o GPT-6.1 Terra em 90,9 tokens de saída por segundo, com 133,64 segundos até o primeiro token em seu benchmark de raciocínio. O GPT-6.1 Sol é medido em 73,5 tokens por segundo e 284,31 segundos. Isso representa aproximadamente 24% mais throughput e uma vantagem de pouco mais que o dobro no tempo até o primeiro token — uma medição independente, não uma alegação do fornecedor, e o argumento objetivo mais forte a favor do Terra em todo o lançamento.

Para um produto de chat, o débito (throughput) quase não importa; para um loop de uso de computador que executa vinte etapas por tarefa, é a diferença entre uma tarefa de 40 segundos e uma de 90 segundos. O índice não precifica a latência, e é por isso que um modelo classificado em 25º lugar pode ser a compra certa para um agente que ocupa a 13ª posição em qualidade.

Como ler o índice sem se deixar enganar

Trate o composto como um filtro, não como um ranking. Ele indica quais modelos estão na conversa; não indica qual deles vence a sua tarefa.

• Observe separadamente as subpontuações de programação e de uso de computador. O perfil do Terra é incomumente amplo: quase no nível do Sol em automação de desktop, seis pontos atrás em programação e quatro atrás no geral.

• Verifique novamente os valores absolutos com base em uma única data. O índice é renormalizado periodicamente, e análises de semanas diferentes citam números diferentes para o mesmo modelo.

• Pondere a taxa de alucinação tanto quanto a pontuação de inteligência se sua carga de trabalho tiver um custo de verificação. Uma melhoria de 50 pontos muda o modelo operacional, não apenas a pontuação.

• Meça sua própria tarefa. Os números de custo por tarefa do Artificial Analysis são uma aproximação baseada nos prompts deles; seus prompts produzirão uma proporção diferente entre preço por token e tentativas.

Nada disso faz do GPT-6.1 Terra um modelo ruim. Faz dele um modelo específico: um modelo rápido, barato e que alucina muito menos, próximo do seu irmão mais caro em telas e distante do carro-chefe em código. A pontuação composta diz 48. As subpontuações dizem qual 48 você está comprando.