Benchmark do Claude Fable 5.2: Quanto o 65 custa em tempo de relógio

O Claude Fable 5.2 obtém 65 no Artificial Analysis Intelligence Index v5.0.1 — primeiro entre 78 modelos, cinco pontos à frente do Gemini 4 Carbon. Esses cinco pontos vêm acompanhados de 267 segundos até o primeiro token, 46,8 minutos de tempo real por tarefa e US$ 26,54 de gasto por execução do índice, e cada um desses fatores é a forma prática da pontuação. Isto é o que o harness mediu e o que fazer com isso. A página da API do Claude Fable 5.2 tem os endpoints e os preços; este artigo é sobre o benchmark.

As nove avaliações

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset, Terminal-Bench-Science 0.1. Três tarefas de terminal e automação, duas tarefas de raciocínio fundamentado em documentos sobre entradas longas, duas avaliações rigorosas de ciências e matemática, uma avaliação de código de fronteira. Sem harness de agente web, sem simulação de suporte multiturno, sem detecção de vulnerabilidades.

A pontuação e a sua escala

65, posição 1 de 78, na v5.0.1. Apenas modelos reavaliados na v5.0.1 pertencem à mesma tabela; as pontuações da v4.3 e da v4.3.2 são de um conjunto de avaliação diferente, e qualquer gráfico que as misture é inválido. Dentro da coorte atual, a ordenação no topo é Fable 5.2 com 65 e Gemini 4 Carbon com 60, com o restante do grupo mais atrás ou ainda não reavaliado.

Uma diferença de cinco pontos em um índice de nove avaliações é real, mas estreita. A leitura útil não é "cinco por cento melhor", mas sim "uma vantagem modesta em um conjunto difícil", e o motivo de pagar por isso é a variância, e não a capacidade bruta: em tarefas nas quais uma resposta errada invalida toda a execução, uma pequena vantagem na probabilidade de sucesso se acumula ao longo das etapas.

O relógio de parede

267 segundos até o primeiro token, posição 76 de 77 modelos com dados de latência. 46,8 minutos no total por tarefa. 97 tokens por segundo de saída depois que começa, o que é 35 por cento mais rápido que os 72 do Carbon e não representa quase nada do tempo decorrido.

A distribuição é a parte importante. Pelo tráfego ao vivo do OrcaRouter, o mesmo modelo reporta um p50 de 8,09 segundos até o primeiro token e um p95 de 10,00 segundos em 35,6 milhões de tokens ao longo de sete dias. O ambiente de testes e o gateway estão medindo populações diferentes: um deixa o modelo pensar com esforço máximo no HLE-Diamond, o outro é a requisição mediana no esforço que o solicitante definiu. Se você executar o Fable 5.2 com esforço máximo, reproduzirá o número da AA; com esforço baixo, verá algo próximo ao do gateway.

O dinheiro

US$ 26,54 por execução de índice a US$ 8,00 por milhão de entrada e US$ 40,00 por milhão de saída — 77º de 77, o mais caro do quadro. O Gemini 4 Carbon custa US$ 5,48 para as mesmas nove avaliações. Isso representa 4,8 vezes o gasto por cinco pontos de índice, e é a proporção mais útil desta comparação.

A AA relata 275 milhões de tokens de saída para a execução, com verbosidade em 0,97 por cento. Observe que a porcentagem e a contagem apontam em direções opostas em relação aos 2,69 por cento e 205 milhões de tokens do Carbon, e é por isso que a porcentagem não deve ser citada como uma alegação de concisão.

A proporção que torna a comparação utilizável é de $0,41 de gasto com benchmark por ponto de índice, contra $0,09 do Carbon. Qualquer que seja a conclusão que você tire disso, a aritmética força uma decisão de roteamento em vez de uma decisão de modelo único: a este preço, o modelo é uma camada, não um padrão.

O que a pontuação não lhe diz

Não há nenhuma avaliação de cibersegurança no conjunto, pelo que nada aqui diz respeito ao recall de vulnerabilidades ou à qualidade dos patches — algo relevante se for esse o motivo pelo qual está a analisar um modelo de fronteira. Não existe nenhuma avaliação de agente de longa duração com chamadas de ferramentas ao longo de vários turnos, que é precisamente a carga de trabalho para a qual o Fable 5.2 é efetivamente comercializado; as tarefas de terminal aproximam-se disso, mas não o reproduzem.

Também não há medição de confiabilidade. O tráfego ao vivo no OrcaRouter mostrou uma taxa de 10,8% de respostas não-2xx em todos os provedores upstream ao longo de sete dias, contra 39,7% para o Carbon. Um harness de benchmark absorve isso com novas tentativas; sua aplicação não vai absorver, a menos que você o construa.

Interpretando isso como uma decisão

Se a sua tarefa se parece com as nove avaliações e você pode executá-la de forma assíncrona, 65 a US$ 26,54 por execução é defensável para os casos difíceis e desperdício para os fáceis — encaminhe por dificuldade e use um modelo mais barato para a maioria. Se a sua tarefa for interativa, os números do harness não são os seus números; o p50 de 8,09 segundos do gateway é o valor para o qual você deve projetar, e o nível de esforço é a variável que decide se você chega perto de oito segundos ou perto de quatro minutos.

Para a comparação direta, Claude Fable 5.2 vs Claude Fable 5.1 abrange a geração anterior a um preço mais alto, e Gemini 4 Carbon vs Claude Fable 5.1 abrange o par entre fornecedores. A lista de modelos LLM tem o restante da coorte v5.0.1 com ids e preços; verifique novamente a versão do índice em qualquer gráfico que reutilizar, porque uma pontuação v4.3 na mesma tabela invalidará a comparação.