Análise do Gemini 4 Carbon: quarto no índice, lento para responder

O Gemini 4 Carbon está em quarto lugar no ranking independente e tem preço de modelo de médio porte, uma combinação incomum de se avaliar com honestidade: a API do Gemini 4 Carbon informa US$ 2,00 por milhão de tokens de entrada e US$ 10,00 por milhão de saída, enquanto a pontuação que apresenta é 60 no Artificial Analysis Intelligence Index v5.0.1, quarto entre 78 modelos. A pergunta que uma avaliação precisa responder não é se 60 é bom. É pelo que você paga em tempo de relógio e em taxa de falha para obtê-lo.

O que é

Um modelo multimodal da família Gemini 4 do Google, com uma janela de contexto de 1.048.576 tokens e um limite máximo de saída de 65K. Ele aceita texto, imagens, áudio, vídeo e documentos e retorna texto, com uso nativo de ferramentas e saída JSON estruturada. Ele responde tanto no endpoint compatível com OpenAI quanto na API nativa generateContent do Gemini, e a Retenção Zero de Dados está disponível.

O conjunto de parâmetros diz que tipo de modelo ele quer ser: reasoning, include_reasoning, structured_outputs, tools, tool_choice, seed, temperature, top_p. Há um seed e um formato de resposta na mesma lista, o que é a assinatura de um modelo posicionado para extração e pipelines agênticos, em vez de escrita criativa.

A pontuação, e a versão na qual ela foi avaliada

O 60 não é comparável aos números mais antigos que você encontrará citados para outros modelos, e este é o erro mais comum em comparações publicadas neste mês. O Intelligence Index v5.0.1 é um conjunto de avaliação diferente do v4.3 e do v4.3.2, portanto uma pontuação v4.3 e uma pontuação v5.0.1 não pertencem à mesma tabela. No grupo v5.0.1, o 60 do Carbon o coloca em quarto lugar entre 78, atrás do Claude Fable 5.2, com 65, e à frente de todo o resto que foi reavaliado.

As nove avaliações por trás desse número são AA-Briefcase v1.1, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode-AA 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 Hard Subset e Terminal-Bench-Science 0.1. Trata-se de uma combinação agêntica e científica — trabalho em terminal, automação, fundamentação em documentos, raciocínio difícil — não de uma combinação de leaderboard de programação. Um modelo pode ter uma boa pontuação aqui e ainda assim falhar em uma refatoração em escala de repositório, então leia o detalhamento antes de concluir qualquer coisa sobre seu próprio caso de uso.

A parte que o número de destaque esconde

O tempo até o primeiro token do Carbon no harness AA é de 64,7 segundos, na 69ª posição entre 77 modelos com dados de latência. O tempo total de relógio por tarefa é de 28,4 minutos nas nove avaliações. A velocidade de saída, quando começa a escrever, é de 72 tokens por segundo, o que é nada notável, mas não é o problema; o problema é o tempo de raciocínio antes do primeiro token.

Executar o índice em relação ao Carbon custou $5.48 em gastos com provedor, o que, a um custo combinado de US$ 2,70 por milhão de tokens, representa muitos tokens para uma única passagem de benchmark. O AA também relata verbosidade de 2,69 por cento, além de 205 milhões de tokens de saída para a execução. Não interprete a porcentagem como uma pontuação de concisão: o Claude Fable 5.2 registra 0,97 por cento, bem menor, com 275 milhões de tokens de saída, um número mais alto, portanto os dois números variam independentemente.

Se o preço é o motivo pelo qual você está lendo isto, a comparação de preços da API de LLM coloca um valor combinado de US$ 2,70 por milhão ao lado do restante do catálogo, incluindo os modelos que cobram menos e os que custam várias vezes mais por uma pontuação comparável.

Através do gateway, os números parecem diferentes

Os 64,7 segundos do AA são um arnês de benchmark que permite ao modelo pensar em problemas difíceis. No tráfego ao vivo do OrcaRouter nos últimos sete dias, o tempo p50 até o primeiro token para o Carbon foi de 6,89 segundos e o p95 foi de 10,00 segundos, com 226 tokens por segundo de saída em 9,6 milhões de tokens servidos. Ambos são verdadeiros. Um produto de chat vê algo próximo do primeiro número; um clone de avaliação em lote vê algo próximo do segundo.

O número que merece mais atenção do que qualquer um dos dois é a taxa de erro: 39,7% das requisições retornaram non-2xx em todos os provedores upstream naquela janela de sete dias, contra 10,8% do Claude Fable 5.2. Qualquer que seja a causa — capacidade, limites de taxa, rotação de provedores —, um produto que chama o Carbon sem um orçamento de retentativas e um modelo de fallback mostrará aos usuários falhas a uma taxa que nenhum gráfico de benchmark prevê. Essa é uma questão de roteamento, e é a única coisa a testar antes da segunda semana.

Onde ele pertence no catálogo

Em comparação com seus próprios irmãos, o Carbon é o membro multimodal da linha Gemini 4, e não o mais barato: o preço de entrada é idêntico ao do Gemini 3.1 Pro, a US$ 2,00, o de saída é US$ 2,00 mais barato, e a diferença que importa é que o Carbon aceita áudio e vídeo, enquanto o 3.1 Pro aceita texto e imagens. Se seu pipeline nunca lida com arquivos de vídeo, você está pagando por um recurso que não vai usar.

Em relação ao restante do campo, a decisão geralmente se resume a duas perguntas. Se for uma escolha interna do Google, Gemini 4 Carbon vs Gemini 3.1 Pro é a comparação que importa. Se for entre fornecedores diferentes, GPT-6.1 Sol vs Gemini 4 Carbon e Claude Opus 5.5 vs Gemini 4 Carbon cobrem as duas alternativas mais comuns, e a lista de modelos LLM tem o catálogo completo se nenhuma delas for a que você estava considerando.

Veredito

O Carbon conquista seu quarto lugar em capacidade por dólar de entrada, e o faz de um modo que favorece trabalhos longos, multimodais e estruturados, em vez de conversação. Os custos que não aparecem na tabela de preços são os dois que decidem se ele funciona para você: 64,7 segundos de raciocínio antes do primeiro token em um ambiente de benchmark, e uma taxa de erro próxima de 40% em tráfego real. Contorne ambos — uma cadeia de fallback, um orçamento de novas tentativas e uma fila assíncrona para tudo que não for interativo — e a relação preço-pontuação é genuinamente difícil de bater. Coloque-o atrás de uma UI síncrona sem fallback e você concluirá que o modelo é pior do que é.