Nanbeige4.3-33B vs Gemma 4 31B: O que realmente significa uma diferença de 33 pontos na tabela do fornecedor

Na própria tabela de benchmarks do Nanbeige4.3-33B, o Gemma 4 31B pontua 0,0 no Terminal-Bench 4.0. É por essa linha que se deve começar, porque ela mostra como ler todos os outros números desta comparação. O Gemma 4 31B é o lançamento de pesos abertos de 30,7 bilhões de parâmetros do Google DeepMind, disponível para download sob Apache 2.0 desde 2 de abril de 2026, e os próprios materiais do Google atribuem a ele 86,4 em uso de ferramentas no τ²-bench e 80,0 no LiveCodeBench v6. Um modelo desses não falha em todas as tarefas de terminal existentes. Um zero é o que se obtém quando um benchmark não consegue distinguir “não conseguiu” de “nunca recebeu um ciclo de ferramentas funcional”.

Nanbeige4.3-33B, em contrapartida, tem dois dias. Seu repositório foi criado em 24 de outubro de 2026 às 02:49 UTC, seu cartão do modelo é o único anúncio que a Nanbeige fez, e a tabela de 20 linhas nesse cartão é a única fonte para todos os números que circulam atualmente sobre ele. O Gemma 4 31B aparece nessa tabela como uma de três colunas de comparação. Nenhum laboratório independente submeteu esses dois modelos a uma comparação direta, e nenhum dos fornecedores avaliou o outro com benchmarks fora desta única tabela. Portanto, a versão honesta deste confronto não é um placar. É um argumento sobre quais linhas resistem ao escrutínio e quais estão medindo o harness.

O que cada modelo realmente é

Os dois lançamentos estão separados por seis meses e meio, e as premissas de design evidenciam isso.

• Parâmetros — O Nanbeige4.3-33B é denso com 33,1B (33.118.977.024 em BF16), com todos os parâmetros ativos em cada token. O Gemma 4 31B é denso com 30,7B. Nenhum dos dois é uma mistura de especialistas, portanto a taxa de transferência escala com a contagem total de pesos em ambos os lados.

• Contexto — O Nanbeige4.3-33B vem com 524.288 tokens nativamente. O Gemma 4 31B vem com 262.144. Ambos são excepcionalmente grandes para a classe de parâmetros; o da Nanbeige é o dobro.

• Modalidade — Nanbeige4.3-33B é entrada de texto, saída de texto, inglês e chinês. Gemma 4 31B aceita imagens, além de texto, foi pré-treinado em mais de 140 idiomas e inclui chamada de função nativa e um modo de pensamento configurável.

• Licença — ambos são Apache 2.0. Esta é a rara comparação em que a questão da licença já está resolvida antes de você começar.

• Pesos em disco — Nanbeige4.3-33B tem cerca de 66 GB em BF16 e aproximadamente 20 GB em 4 bits. Gemma 4 31B está na mesma faixa. Nenhum deles é um modelo para laptop; ambos são modelos para uma única estação de trabalho ou um único nó.

A única coisa que não está próxima é a distribuição. O Gemma 4 31B tem uma API gerenciada, um endpoint que a Artificial Analysis atualmente lista com custo zero e cobertura independente. O Nanbeige4.3-33B tem pesos, um model card e — nas próprias palavras do card — nenhum provedor de inferência que o esteja implantando. Essa assimetria não é um julgamento de qualidade, mas muda o custo de “experimentá-lo”.

A coluna do fornecedor e o próprio cartão do Google não coincidem

Duas linhas na tabela da Nanbeige podem ser conferidas com os números publicados pelo Google, e apenas uma delas coincide.

• AIME 2026 — Nanbeige credita Gemma 4 31B com 89,2. Google relata 89,2. Correspondência exata.

• GPQA Diamond — A Nanbeige atribui 91,3 ao Gemma 4 31B, e essa é a única linha em que o Gemma supera o próprio 89,5 da Nanbeige. O número publicado pelo Google para o modelo é 84,3. Trata-se de uma discrepância de sete pontos, e nenhum dos cards explica a configuração por trás disso.

Essa segunda linha merece atenção porque é o único ponto em que a tabela do fornecedor entrega uma vitória ao concorrente. Se o número veio de uma nova execução com esforço máximo de raciocínio, é um resultado legítimo e a Gemma realmente lidera em questões de ciência de nível de pós-graduação. Se veio de uma avaliação configurada de forma diferente, a tabela está comparando duas Gemmas diferentes. De qualquer forma, a frase "Gemma vence o GPQA" que foi repetida em todos os textos secundários desta semana baseia-se em um número que o Google não publica.

O restante da coluna do Gemma é mais difícil de auditar porque o Google reporta benchmarks diferentes. A tabela da Nanbeige coloca o Gemma em 18,6 no Tau3-Bench; o cartão do Google o coloca em 86,4 no τ²-bench. Essas são versões diferentes da família de benchmarks, então não são contraditórias — mas também não são uma comparação, e a diferença de 68 pontos entre elas é uma estimativa razoável de quanto a escolha do harness e da versão pode alterar a pontuação de um único modelo.

Lendo os zeros corretamente

Três linhas na coluna Gemma estão próximas de zero: 0,0 no Terminal-Bench 4.0, 2,7 no DeepSWE e 3,3 no SWE-Atlas-QnA. Essas são as linhas que circulam nas redes sociais, e são os números menos informativos da tabela.

Um resultado próximo de zero em um benchmark agêntico tem pelo menos três causas possíveis: o modelo não consegue concluir a tarefa, o modelo não consegue operar as ferramentas que o harness fornece, ou o harness foi ajustado para um template de chat e um formato de chamada de ferramenta diferentes. O card da Nanbeige deixa explícito que seus próprios resultados usaram o Terminus 2 para o Terminal-Bench 2.1 e o mini-swe-agent v2.4.6 para o Terminal-Bench 4.0, o DeepSWE e o SWE-Atlas-QnA. Ele não diz se o Gemma 4 31B recebeu o mesmo andaime com seu próprio formato de chamada de ferramenta, ou se foi inserido no formato orientado a XML da Nanbeige. Esses cenários produzem números muito diferentes, e apenas um deles diz respeito ao modelo.

Isto não é motivo para descartar o resultado do Nanbeige. O Nanbeige4.3-33B foi construído em torno de codificação agêntica — sua ficha recomenda um formato de chamada de ferramenta XML, preserve_thinking=true para uso de ferramentas em múltiplos turnos e uma temperatura de 1.0 para tarefas agênticas —, então não surpreende que ele tenha bom desempenho dentro de uma estrutura de avaliação criada para ele. Isso é motivo para tratar a coluna do Gemma como um limite inferior, e não como um veredito.

Os benchmarks de assimetria não precificam: imagens

Gemma 4 31B aceita imagens. Nanbeige4.3-33B não. Essa única frase decide mais implantações reais do que qualquer linha da tabela.

Se o seu agente lê capturas de tela, faturas, gráficos, formulários digitalizados ou estados de interface do usuário, o Nanbeige4.3-33B não é candidato em nenhuma pontuação de benchmark. Você precisaria de um modelo de extração separado à frente dele, com sua própria latência, custo e modos de falha, e a qualidade do pipeline seria então a qualidade do modelo de extração, e não a do 33B. O Gemma executa essa etapa nativamente, e os valores publicados pelo Google de 76,9 no MMMU-Pro e 85,6 no MATH-Vision sugerem que ele a executa de forma competente, e não cerimonial.

Por outro lado, se o trabalho for apenas texto — código, logs, documentos longos, rastros de ferramentas em múltiplos turnos —, a capacidade de imagem é um peso morto pelo qual você paga em cada passagem direta. É para esse caso que o Nanbeige foi criado, e ele representa uma grande parcela do trabalho agêntico.

512K contra 256K, e para que serve uma janela

A janela de 524.288 tokens da Nanbeige é o dobro da de 262.144 da Gemma, e ambos os números são grandes o suficiente para que a diferença só importe em formatos específicos de trabalho.

Uma janela de 256K comporta aproximadamente o equivalente ao código-fonte de um repositório de porte médio, ou várias centenas de páginas de texto. Uma janela de 512K comporta o dobro disso. Para um único documento longo mais uma resposta longa, ambas são suficientes; para um agente que acumula saídas de ferramentas ao longo de centenas de turnos, a janela maior proporciona mais turnos antes da sumarização ou do descarte. O card da Nanbeige recomenda até 262.144 novos tokens para raciocínio e chat, o que sugere que o orçamento prático de raciocínio está mais próximo de 256K do que dos 512K completos. O teto de saída do Gemma costuma ser configurado em 131.072.

Nenhum dos fornecedores publica aqui um benchmark de recuperação em contexto longo, portanto não há como dizer com honestidade qual 512K ou 256K é melhor aproveitado. O tamanho do contexto é uma alegação de capacidade, não de qualidade, e ambas as placas param por aí.

Quanto custa ligar para cada um

O Gemma 4 31B é o único destes dois que você pode chamar como serviço hoje. No OrcaRouter, custa US$ 0,13 por milhão de tokens de entrada e US$ 0,38 por milhão de saída, com entrada em cache a US$ 0,02 — um repasse do preço de tabela do provedor, sem acréscimo de margem, o que também explica por que uma mudança de preço do fornecedor chega ao nosso catálogo no mesmo dia em que é anunciada. Atualmente, o Artificial Analysis lista o endpoint do próprio Google a US$ 0,00 de entrada e US$ 0,00 de saída, o que quase certamente reflete um nível promocional ou gratuito, e não um preço duradouro; trate-o como um canal de teste, não como uma linha de orçamento.

O Nanbeige4.3-33B não tem preço por token a cotar. Os pesos são gratuitos sob a Apache 2.0, e a ficha do modelo afirma que nenhum provedor de inferência faz deploy do modelo. Executá-lo significa quatro GPUs com tamanho de paralelismo tensorial 4, conforme as próprias receitas de vLLM e SGLang da ficha, mantidas abertas haja ou não requisições chegando. O custo marginal de um token é, então, sua eletricidade e sua taxa de utilização, não uma tabela de preços. Qualquer pessoa que compare "$0.13 input" com "gratuito" está comparando uma fatura com um gasto de capital.

Este também é o argumento prático para manter um roteador no fluxo mesmo quando o novo modelo é auto-hospedado. A decisão que a maioria das equipes realmente enfrenta não é "substituir o Gemma", mas "enviar 5% do tráfego para a nova solução e ver o que acontece". Manter o modelo atual acessível por uma única chave, com failover automático se o endpoint do experimento falhar, torna isso uma mudança de roteamento em vez de uma migração.

Quando o Gemma 4 31B é simplesmente a resposta certa

Quatro condições resolvem isso sem uma tabela de benchmarks.

• A carga de trabalho inclui imagens, PDFs ou capturas de tela. Gemma, sem dúvida.

• Você precisa de mais do que inglês e chinês. Gemma foi pré-treinada em mais de 140 idiomas; Nanbeige lista dois.

• Você não quer possuir GPUs. O Gemma tem um endpoint gerenciado hoje; o Nanbeige tem pesos e uma receita de implantação.

• Você precisa de uma segunda opinião sobre a qualidade. O Gemma tem um Artificial Analysis Intelligence Index de 15, o que é modesto, mas independente. O Nanbeige não tem nenhuma entrada lá, então todos os números sobre ele são o fornecedor corrigindo a própria prova.

Inverta esses fatores e o caso da Nanbeige é igualmente claro: trabalho agêntico apenas com texto, um longo rastro de ferramentas, uma equipe com GPUs e disposição para executar o formato de ferramenta XML recomendado por ela. Nesse tipo de trabalho, a própria tabela da Nanbeige alega uma vantagem de 33,7 pontos no Terminal-Bench 2.1 — 80,9 contra 47,2 — e uma vantagem de 62,8 pontos no DeepSWE. Essas margens são grandes o suficiente para provavelmente conterem um sinal real, mesmo depois de descontar a vantagem do harness. Elas não são grandes o suficiente para apostar em um caminho de produção sem você mesmo rodar um.

Um bake-off à tarde é melhor do que esta mesa.

Se você está realmente escolhendo entre eles, o teste é barato e não exige acreditar em nenhum dos fornecedores. Pegue vinte tarefas reais dos seus próprios logs de agente. Execute cada modelo com seu formato recomendado de chamada de ferramenta e configurações de raciocínio — XML para Nanbeige, chamada de função nativa para Gemma — e avalie a conclusão da tarefa, não a semelhança com benchmarks. Registre os tokens consumidos por tarefa concluída, porque um modelo denso de 33B e um denso de 30,7B diferirão em verbosidade mesmo com preços idênticos por token.

O que você vai descobrir em uma tarde é se a margem agêntica da Nanbeige sobrevive à sua própria vantagem de harness. Até que alguém publique isso, o resumo defensável é mais estreito do que as manchetes: o Gemma 4 31B é o modelo mais fácil de implantar e o único com uma pontuação independente; o Nanbeige4.3-33B é o mais ambicioso, com uma janela nativa de 512K e um conjunto de números agênticos autorrelatados que são impressionantes, não auditados e têm apenas dois dias.