LMArena e os Rankings de LLM: Três Réguas, Três Perguntas Diferentes

Em 19 de fevereiro de 2026, a Artificial Analysis publicou um artigo com o título "Gemini 3.1 Pro Preview: The new leader in AI". Ele liderou seis das dez avaliações e ficou quatro pontos à frente do Claude Opus 4.6. Abra hoje a página desse mesmo modelo e o número é 30, classificado em 69º de 200. O Google não mudou nada. O que mudou foi a régua: em 19 de setembro de 2026, a Artificial Analysis revisou seu Intelligence Index para a v4.3.2, aposentou o Terminal-Bench 2.1 em favor do Terminal-Bench 4.0, trocou o tau3-Banking pelo AutomationBench-AA e reancorou a escala Elo do GDPval-AA. Um líder de fevereiro tornou-se um mediano de setembro porque o instrumento de medição se deslocou sob ele.

Esse único episódio é o argumento inteiro a favor de aprender a ler esses rankings corretamente. Claude Opus 5.5 e Claude Fable 5.1, Kimi K3.1 Pro e MiniMax M3.1 Flash, e todos os modelos entre eles estão sendo pontuados por pelo menos três coisas incompatíveis ao mesmo tempo, e as buscas que trazem as pessoas até aqui — lmarena, llm ranking, qual modelo é realmente o melhor — pressupõem que existe uma única resposta. Existem três, e elas respondem a perguntas diferentes.

Três tipos de placar, três perguntas diferentes

Todo número que você vê em um ranking vem de uma de três famílias, e a família determina o que o número pode e o que não pode lhe dizer.

A arena da multidão. O LMArena mostra duas saídas anônimas de modelo para um prompt, uma pessoa escolhe a vencedora, e os votos são agregados em uma classificação. Ele mede preferência em condições cegas com prompts que ninguém escolheu antecipadamente. Sua força é que nenhum fornecedor executa o harness e ninguém escolhe as perguntas a dedo. Sua fraqueza é que quem vota recompensa respostas fluentes, confiantes e bem formatadas, e um prompt digitado por um voluntário não é a sua carga de trabalho. Uma classificação alta na arena significa que as pessoas tendem a preferir a saída; não significa que a saída esteja correta.

O índice composto. A Artificial Analysis executa um conjunto fixo de avaliações e as combina em um único Intelligence Index, ao lado de medidas separadas de velocidade, latência, preço e custo por tarefa concluída. Este é o mais útil dos três para a pré-seleção, porque a estrutura de avaliação é a mesma para todos os modelos e as colunas adjacentes permitem ponderar a qualidade em relação ao custo. Sua fraqueza é que um composto incorpora escolhas editoriais: quais avaliações contam, como são ponderadas e o que acontece quando uma delas é retirada. A revisão v4.3.2 é exatamente essa fraqueza tornada visível.

A ficha do fornecedor.Material de lançamento do laboratório que criou o modelo. É a fonte mais rica — centenas de linhas, os benchmarks mais recentes, as configurações que ninguém mais executou — e é a menos comparável, porque cada fornecedor escolhe o harness, o nível de esforço e os oponentes. A tabela do Claude Opus 5.5, da Anthropic, coloca seu modelo 29 pontos à frente do GPT-5.6 Sol no Terminal-Bench 4.0; o material do Sol, da OpenAI, começa com o Terminal-Bench 2.1, em que o Sol marca 91,9, e não contém nenhuma linha para o Opus 5.5, porque o Opus 5.5 não existia quando foi escrito. Uma tabela com apenas linhas favoráveis não é evidência de uma vitória arrasadora. É evidência de seleção de linhas.

A linha é uma configuração, não um modelo.

A interpretação equivocada mais comum de um ranking é tratar uma linha como um modelo. No ranking de LLMs da própria Artificial Analysis esta semana, Claude Opus 5.5 aparece três vezes:

• Claude Opus 5.5 em esforço máximo com fallback — Índice de Inteligência 58, custo por tarefa US$ 5,98, velocidade mediana de saída de 98 tokens por segundo, latência de 706 ms, ponta a ponta 711 ms.

• Claude Opus 5.5 com esforço xhigh e fallback — Índice de Inteligência 56, custo por tarefa US$ 3,46, velocidade de 82 tokens por segundo, latência de 119 ms, ponta a ponta 125 ms.

• Claude Sonnet 5.5 com esforço máximo — 56, US$ 5,46, 141 tokens por segundo, 427 ms.

Dois pontos de índice separam as duas primeiras linhas. Uma redução de 42% no custo por tarefa e uma diferença de latência de seis vezes também as separam. Nada no modelo mudou; a configuração de esforço mudou. Qualquer argumento do tipo "o modelo X pontua mais alto que o modelo Y" é, portanto, incompleto até que nomeie a configuração, e é por isso que um único número de comparação direta nunca deveria, por si só, definir uma decisão de aquisição.

A mesma regra se aplica ao esforço de raciocínio dentro do próprio material de um fornecedor. A Anthropic observa em nota que sua execução do Terminal-Bench com o Claude Opus 5.5 usou esforço xhigh em vez do padrão, e que, no esforço médio padrão, a vantagem do FrontierCode sobre o GPT-5.6 Sol diminui de uma diferença de destaque para sete pontos. Ambos os números são verdadeiros. Apenas um deles descreve o que você obterá se não definir o parâmetro.

A armadilha da versão, responsável pela maioria das comparações equivocadas

Os nomes dos benchmarks são reutilizados entre gerações e os números não transitam entre elas. Três exemplos da cobertura deste mês bastam para mostrar a forma.

• Terminal-Bench 2.1 versus 4.0 — o cartão do Google para o Gemini 3.5 Flash-Lite registra 54,0% no Terminal-Bench 2.1; a Artificial Analysis, executando o 4.0, registra 1%. Ambos estão corretos, e citar qualquer um dos dois sem a versão é enganoso de uma forma que favorece o modelo que você preferir.

• OSWorld-Verified versus OSWorld 2.0 — A Anthropic relata 85,0% para o Claude Mythos 5 no OSWorld-Verified. Outros fornecedores citam pontuações do OSWorld 2.0 na casa dos sessenta. Colocar esses resultados em uma mesma coluna não é uma comparação de modelos.

• O modelo certo, a versão errada — Claude Mythos 5.1 marca 60,9 no Terminal-Bench 4.0 contra 52,0 do Muse Wonder, que é o único teste compartilhado entre essas duas famílias. Mythos 5 tem 88,0 publicado no Terminal-Bench 2.1. Substituir uma geração pela outra produz uma diferença de 36 pontos que não existe.

O hábito prático é pequeno e vale a pena adotar: quando um número aparece sem uma versão de benchmark e uma configuração de esforço, trate-o como uma afirmação, e não como uma medição.

O custo por tarefa não é o preço no cartão

Os leaderboards adicionaram discretamente a coluna que mais importa para o orçamento, e ela costuma contradizer a tabela de preços. O MiniMax M3.1 Flash custa US$ 0,15 por milhão de tokens de entrada e US$ 0,60 de saída; o Gemini 3.5 Flash-Lite custa US$ 0,30 e US$ 2,50 — quatro vezes mais na saída. No custo por tarefa concluída do Intelligence Index, o Flash-Lite vence: US$ 0,19 contra US$ 0,22.

Essa inversão não é um erro. A métrica é a quantidade de tokens realmente consumidos multiplicada pelas tarifas do provedor, então ela mede quanto trabalho cada modelo realiza para concluir a mesma tarefa. O MiniMax M3.1 Flash consumiu cerca de 180 milhões de tokens de saída no índice, contra uma mediana próxima de 100 milhões para os modelos acompanhados pela Artificial Analysis: é um raciocinador prolixo, e a verbosidade é cobrada. Em tarefas nas quais a deliberação compra uma resposta correta, essa é uma boa troca. Em tarefas nas quais a resposta nunca esteve em dúvida, é desperdício.

Esta é a coluna que você deve executar em relação ao seu próprio tráfego antes de confiar em qualquer comparação por token, porque é a única que leva em conta o fato de que os modelos não gastam a mesma quantidade de tokens para chegar ao mesmo lugar.

O que um ranking não vai lhe dizer

Dois pontos cegos merecem um título próprio, porque ambos custam dinheiro quando ignorados.

Abstenção. A avaliação AA-Omniscience da Artificial Analysis atribui ao MiniMax M3.1 Flash a pontuação 16: 56% das perguntas factuais foram respondidas corretamente, e a taxa de alucinação é de 93%. Esse segundo número não significa que 93% das respostas estavam erradas — significa que, das respostas que não estavam corretas, 93% estavam completamente erradas, em vez de serem respostas parciais ou recusas. O modelo geralmente responde quando deveria recusar. O Gemini 3.5 Flash-Lite não possui pontuação AA-Omniscience alguma, o que representa dados ausentes, não um atestado de boa saúde.

Disponibilidade. Uma pontuação é uma afirmação sobre um momento. O Gemini 3.1 Pro passou sete meses como preview sem data de GA, desapareceu do seletor de modelos do AI Studio em meados de setembro sem nenhuma explicação do fornecedor e ainda mantém uma classificação. O Grok 4.7 tinha um dia de vida quando recebeu 46 no índice. Um desses é um número sobre um modelo que você pode chamar no mês que vem; o outro é um número sobre um modelo que pode não existir no próximo trimestre. O leaderboard não distingue entre eles.

Onde se situa o nosso próprio conselho, e por que ele é uma quarta coisa

O OrcaRouter mantém um ranking de modelos de IA que, deliberadamente, não reproduz nenhum dos itens acima. Ele classifica com base no que nosso próprio gateway observa — tráfego de produção e votos da comunidade no Battle Mode — e combina isso com votos do LMArena, benchmarks independentes e adoção do ecossistema sob pesos fixos e publicados. É atualizado diariamente, lista modelos em até 48 horas após a chegada e se divide em visões de Texto, Programação, Visão, Matemática, Raciocínio e Agêntica, em vez de fingir que uma única ordenação serve para todas as tarefas.

Isso lhe dá um modo de falha diferente dos outros três, o que vale dizer claramente: ele só consegue classificar os modelos que roteamos, então seus pontos cegos são comerciais, não metodológicos. O que ele acrescenta é o único sinal que nenhum dos outros tem — se a coisa de fato respondeu, a que velocidade, por qual preço combinado, em tráfego que não foi construído para um benchmark.

Lendo um em cinco minutos

• Descubra a versão do benchmark e a configuração de esforço antes de ler a pontuação. Se qualquer uma delas estiver ausente, o número é apenas uma alegação.

• Leia a coluna de custo por tarefa, não o preço por token. Eles discordam com mais frequência do que concordam.

• Trate um índice composto como uma lista prévia, não como um veredito. Ele é uma reponderação, e reponderações são revisadas — a mesma revisão que rebaixou o Gemini 3.1 Pro rebaixou dezenas de modelos que ninguém havia tocado.

• Separe lacunas de capacidade de lacunas de pontuação. Um teto de saída de 65.536 tokens ou um modelo que não consegue ler vídeo é um fato sobre sua carga de trabalho; dois pontos de índice não é.

• Verifique quando o modelo foi lançado e se ainda é uma prévia. Um ranking sem data de disponibilidade é um ranking de algo que pode não estar disponível quando você fizer a implantação.

O ranking é o começo da pergunta, não a resposta para ela. A única medida que resolve uma escolha é o seu próprio tráfego com os seus próprios prompts — e é por isso que a coisa útil que um gateway pode oferecer não é outro ranking, mas a capacidade de executar os dois candidatos lado a lado com uma única chave e comparar as faturas.

Nota de fontes: a variação de fevereiro a setembro do Gemini 3.1 Pro, o conteúdo da revisão v4.3.2, as três linhas do Claude Opus 5.5, os números do AA-Omniscience, os valores de custo por tarefa e as pontuações do Intelligence Index são da Artificial Analysis, consultados em 26 de outubro de 2026. Os números do Terminal-Bench 2.1 e 4.0, os números do OSWorld-Verified e do OSWorld 2.0, as pontuações 60,9 e 52,0 do Terminal-Bench 4.0, a estimativa de consumo de tokens da MiniMax e as comparações com as fichas técnicas dos fornecedores vêm dos materiais publicados pelas próprias Anthropic, Google, MiniMax e OpenAI, respectivamente, e são informados pelos fornecedores, salvo quando atribuídos acima à Artificial Analysis. A descrição do leaderboard, os pesos e a cadência de atualização do OrcaRouter são nossa própria metodologia publicada.