Benchmark de Carbono do Gemini 4: o que 60 no AA v5.0.1 realmente mede

Uma pontuação de benchmark só é útil se você souber o que o harness solicitou, por quanto tempo o modelo teve permissão para pensar e qual versão do teste produziu o número. Para o Gemini 4 Carbon, as respostas são: nove avaliações agênticas e científicas, pelo tempo que ele quisesse e Intelligence Index v5.0.1 — a versão atual, e é por isso que o 60 é citável e a maioria dos números que você encontrará ao lado dele não é. A Gemini 4 Carbon API página lista o preço e o endpoint; este texto é sobre a pontuação.

O que foi realmente executado

AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset e Terminal-Bench-Science 0.1. Leia essa lista antes de generalizar a partir dela. Três das nove são tarefas de terminal ou de automação, duas são raciocínio fundamentado em documentos sobre entradas longas, duas são ciências exatas e matemática, e uma é código de fronteira. Não há avaliação de agente web nem simulação de atendimento ao cliente com múltiplos turnos no conjunto, então uma ótima pontuação não diz nada sobre esses casos.

A pontuação

O Carbon registra 60, o que corresponde à 4ª posição entre 78 na v5.0.1. O líder é Claude Fable 5.2, com 65. A diferença de cinco pontos é significativa, mas não categórica: ambos os modelos passam nas mesmas nove avaliações, e a forma mais simples de interpretar a diferença é como aproximadamente uma tarefa difícil adicional resolvida a cada vinte tentadas no nível de competência do Carbon. Trate isso como uma direção, não como uma taxa.

O controle de versão importa mais do que a classificação. Modelos avaliados na v4.3 ou v4.3.2 — incluindo a maioria dos nomes que você verá citados em posts de comparação — não estão na mesma escala e não podem ser colocados na mesma tabela. Se um gráfico mistura esses modelos, o gráfico está errado independentemente de quem o publicou.

A consequência prática é que você não pode comparar o Carbon a um modelo que você mesmo avaliou no trimestre passado, a menos que esse modelo também tenha sido reavaliado. Ou você executa novamente seu próprio harness nos dois, ou restringe a afirmação à coorte v5.0.1 e diz isso na frase em que a cita.

O custo de tempo

O tempo até ao primeiro token é 64,7 segundos, 69.º entre 77 modelos com dados de latência. O tempo total de resposta é 28,4 minutos por tarefa nas nove avaliações. Assim que o Carbon começa a emitir, funciona a 72 tokens por segundo, o que é normal. O tempo real é dominado pelo pensamento, não pela escrita.

Isso é uma escolha de design, e não um defeito, e vale a pena ser preciso sobre o que isso implica. Uma estrutura de teste que permite ao modelo raciocinar até ficar satisfeito produzirá uma pontuação lenta, mas robusta; o mesmo modelo por trás de um gateway em tráfego ao vivo relata um p50 de 6,89 segundos até o primeiro token e um p95 de 10,00 segundos, porque a maioria das solicitações reais não é HLE-Diamond. As duas métricas medem coisas diferentes e ambas pertencem a um plano de capacidade.

O custo monetário

A execução do índice contra o Carbon custou $5,48 a $2,00 por milhão de tokens de entrada e $10,00 por milhão de saída, resultando em um custo combinado de $2,70 por milhão. A AA também relata 205 milhões de tokens de saída para a execução, com um índice de verbosidade de 2,69 por cento. A contagem de tokens, não a porcentagem, é o número a levar adiante: ela indica que uma avaliação agêntica de nove tarefas consumiu boa parte de um quarto de bilhão de tokens de saída.

Para comparação, o mesmo índice no Claude Fable 5.2 custou US$ 26,54 — 4,8 vezes mais — a US$ 8,00 de entrada e US$ 40,00 de saída. Esse é o enquadramento correto para o par: a diferença de cinco pontos na pontuação é comprada por quase cinco vezes o gasto de tokens.

Em termos de proporção, a Carbon paga US$ 0,09 de gasto de benchmark por ponto de índice e a Fable 5.2 paga US$ 0,41. Isso não é um argumento de que o modelo mais barato é melhor — o propósito de um modelo de fronteira são as tarefas em que o mais barato falha —, mas é o argumento para rotear por dificuldade em vez de escolher um único modelo para tudo. Os 90 por cento das chamadas que um modelo de 60 pontos resolve não precisam de um de 65 pontos.

A outra proporção que vale a pena levar em conta é o tempo. O Carbon gasta 28,4 minutos por tarefa e o Fable 5.2 gasta 46,8, então o modelo mais caro também é 1,6 vezes mais lento de ponta a ponta. Em uma fila assíncrona, isso é uma restrição de vazão; em uma chamada síncrona, é a diferença entre um indicador de carregamento e um tempo limite. As notas de versão do Gemini 4 Carbon abordam o que foi lançado com o modelo e, se a questão é se ele substitui a geração anterior do Gemini, Gemini 4 Carbon vs Gemini 3.1 Pro é a comparação direta.

O que o benchmark não cobre

Não há neste conjunto nenhum harness de cibersegurança ou de detecção de vulnerabilidades. Se você está avaliando o Carbon para trabalho de segurança — varredura, triagem, geração de patches — estas nove avaliações dizem algo sobre o raciocínio dele e nada sobre seu recall em vulnerabilidades reais. O mesmo vale para codificação de longo horizonte em um repositório específico, que o FrontierCode-AA aproxima, mas não substitui.

Também não há aqui nenhuma medição do que acontece sob carga. A taxa de erro em tempo real no tráfego do OrcaRouter para o Carbon foi de 39,7% nos últimos sete dias, contra 10,8% para o Fable 5.2. Um arnês de benchmark faz novas tentativas e absorve isso; sua aplicação precisa decidir como.

Reproduzir qualquer parte disto no seu próprio tráfego

Você não consegue reproduzir os 64,7 segundos da AA sem o harness da AA, e não deveria tentar: o útil é medir seus próprios p50 e p95 e compará-los aos 6,89 e 10,00 segundos publicados pelo gateway, porque isso indica se seus prompts são comuns ou excepcionalmente difíceis. Registre o tempo até o primeiro token, os tokens de saída e a contagem de non-2xx por rota. Se sua taxa de erro estiver acima dos 39,7 por cento que o gateway relata em todos os provedores, o problema está no seu lado da requisição.

Como usar isto numa decisão

Se o seu trabalho se parece com as nove avaliações — tarefas de terminal, automação, documentos com contextos longos, ciência de alta complexidade —, o Carbon a 60 e US$ 2,70 combinados é a escolha de custo-benefício da coorte atual da v5.0.1, e o tempo de raciocínio de 64,7 segundos é um custo que você consegue absorver tornando a chamada assíncrona. Se o seu trabalho é interativo, o mesmo modelo com um p50 perto de sete segundos pelo gateway é uma proposta completamente diferente, e o teste honesto é o seu próprio tráfego, e não o harness da AA.

Para o confronto direto contra o modelo que o superou, Gemini 4 Carbon vs Claude Fable 5.1 coloca a dupla lado a lado, e a comparação de preços de APIs de LLM mostra como o valor combinado de US$ 2,70 se posiciona em relação ao restante do catálogo. Confira novamente a versão em qualquer gráfico que você reutilizar: a v5.0.1 é a única escala à qual este 60 pertence.