ZoomGain-9B vs. Gemma 4 12B: A linha que falta no benchmark

Vinte e oito modelos foram avaliados no benchmark ZoomGain no lançamento. Quatro sistemas de fronteira de código fechado, quatro modelos de visão agênticos, quatro especialistas de grão fino e dezesseis generalistas abertos. O G​emma não está entre eles — nem o G​emma 4 12B, nem o Gemma 4 31B, nem qualquer um da série E. Essa omissão é o fato mais útil para comparar o ZoomGain-9B e o G​emma 4 12B, porque significa que toda tabela "ZoomGain vs G​emma" que você pudesse montar tem um buraco, e este texto é sobre o que os dois modelos realmente são, e não sobre um número que não existe.

Os dois estão próximos o bastante em tamanho para convidar à comparação e distantes o bastante em propósito para torná-la enganosa. O ZoomGain-9B é um checkpoint de visão-linguagem de 9B da inclusionAI, pós-treinado por aprendizagem por reforço em 9.000 perguntas extraídas de recortes de imagens, lançado em 10 de novembro de 2026 com um artigo, mas sem anúncio. O Gemma 4 12B é o modelo multimodal unificado sem codificador de 11,95B do Google DeepMind, publicado em 23 de maio de 2026, Apache 2.0, com 1,8 milhão de downloads e 1.730 curtidas no último mês. Um é um instrumento de pesquisa com uma capacidade demonstrada. O outro é um produto com licença, um conjunto de documentação, seis quantizações e meio ano de uso pela comunidade.

O que cada um realmente é

O G​emma 4 12B é o membro arquiteturalmente interessante da família G​emma 4. Os modelos E2B, E4B e 31B usam codificadores dedicados — uma torre de visão de aproximadamente 150M de parâmetros nos modelos menores, aproximadamente 550M no 31B — e passam embeddings ao modelo de linguagem. O 12B não. Ele projeta patches brutos de imagem e formas de onda de áudio diretamente no espaço de embeddings do decodificador por meio de camadas lineares leves, que é o que "Unified" significa em seu nome, e é a razão pela qual o suporte a áudio existe neste modelo e não no 31B.

Sua arquitetura: 48 camadas, tamanho oculto de 3.840, intermediário de 15.360, 16 cabeças de consulta contra 8 cabeças KV com dimensão de cabeça 256, um vocabulário de 262.144 tokens e 262.144 posições máximas. Quarenta de suas quarenta e oito camadas são atenção de janela deslizante com 1.024 tokens; oito são atenção completa, e a camada final é sempre global. Três modalidades de entrada, saída de texto, contexto de 256K e um papel de sistema nativo.

O ZoomGain-9B é construído no sentido inverso. Seu tronco textual é o Qwen3.5-9B — 32 camadas, dimensão oculta de 4.096, dimensão intermediária de 12.288, uma proporção de 3:1 entre atenção linear e atenção completa, 262.144 posições máximas — com uma torre de visão acoplada pelo modelo base, em vez de inventada aqui. Sobre esse tronco, os autores executaram GRPO em 9.000 perguntas cujas respostas dependem de detalhes visíveis apenas quando se dá zoom em uma região. O modelo não foi treinado como um assistente geral e não é apresentado como tal.

• Parâmetros — G​emma 4 12B 11,95B vs. ZoomGain-9B aproximadamente 9,4B (18,82 GB em BF16 em comparação com o tamanho do arquivo do 12B).

• Modalidades — G​emma 4 12B aceita texto, imagem, vídeo e áudio; ZoomGain-9B aceita texto e imagem. Áudio não é uma lacuna na implementação do ZoomGain, está ausente da sua configuração.

• Contexto — os documentos do G​emma 4 12B indicam 256K. O cartão do ZoomGain-9B não documenta nada; a sua configuração herda 262.144 posições do tronco Qwen3.5-9B, o que não é o mesmo que uma propriedade testada do checkpoint ajustado.

• Licença — Gemma 4 12B Apache 2.0 com um arquivo de licença nomeado. ZoomGain-9B: código Apache 2.0, termos do checkpoint adiados para um card que não traz etiqueta de licença.

• Distribuição — O G​emma 4 12B é disponibilizado como BF16, QAT q4_0 GGUF com 6,98 GB e um projetor de 0,18 GB, e é compilado a partir de ggml-org, unsloth e litert; o ZoomGain-9B é disponibilizado como BF16 mais GGUF em F16, Q8_0 e Q4_K_M a partir de 11 de novembro.

• Documentação — G​emma 4 12B tem um blog de lançamento, um relatório técnico, cookbooks de frameworks e uma página de licença. ZoomGain-9B tem um artigo, um repositório e uma ficha que não indica um comprimento de contexto.

Por que a linha ausente não é um descuido que você pode simplesmente ignorar

O benchmark ZoomGain foi criado para expor uma falha: um modelo que não consegue resolver um pequeno detalhe dentro de um quadro grande. Os autores avaliam reconhecimento de atributos, contagem e OCR em 1.000 perguntas e 941 imagens, em inglês e chinês, com correspondência exata em múltipla escolha e em inteiros, e ANLS com piso de 0,7 para OCR. Nesse teste, o melhor entre vinte e oito modelos alcança 61,08, e apenas cinco superam 50.

O G​emma 4 12B não foi executado nele. Nem qualquer outro G​emma. Isso deixa você com duas opções, e apenas uma delas é honesta. Você pode colocar o MMMU Pro 69,1 e o MATH-Vision 79,7 do G​emma frente a frente com a média held-out de 66,10 do ZoomGain e chamar isso de comparação, o que é comparar uma suíte multimodal ampla com uma média de treze benchmarks de percepção e produz um número sem significado. Ou pode dizer o que é verdade: ninguém mediu esses dois na mesma régua e, se a questão importa para você, o benchmark pode ser baixado e você mesmo pode executá-lo em uma tarde.

A segunda opção é mais barata do que parece. O ZoomGainBench é distribuído como anotações, imagens e um avaliador; a avaliação aceita um endpoint compatível com OpenAI ou um checkpoint local, executa com temperatura 0 e com o raciocínio desativado, e relata resultados por pergunta. O G​emma 4 12B executa sob vLLM ou llama.cpp. Esse é um confronto direto real que você poderia produzir, e o fato de os autores do benchmark não terem incluído um G​emma é, por si só, informativo — o modelo estava disponível há seis meses antes de este benchmark ser publicado.

Onde o G​emma 4 12B tem os números, e o que eles significam

Estes são os números do próprio G​oogle no model card, não reproduzidos por um laboratório neutro:

• MMMU Pro 69,1 — a suíte de raciocínio multimodal, e a coisa mais próxima de uma alegação de competência visual na ficha do G​emma.

• MATH-Vision 79.7 — raciocínio matemático sobre diagramas e imagens.

• OmniDocBench 1.5 distância média de edição 0,164 — análise de documentos, em que menor é melhor; o 31B alcança 0,131.

• MMLU Pro 77.2, GPQA Diamond 78.8, AIME 2026 77.5 sem ferramentas — o lado textual, que o ZoomGain-9B não reivindica de forma alguma.

• Média de τ² 69,0 e chamada de função nativa — uso de ferramentas agênticas.

• MRCR v2 eight-needle em 128K, 43,4% — recuperação em contexto longo, e o número que mais enfraquece a manchete dos 256K.

O último merece ênfase. Uma janela de 256K não é 256K de atenção utilizável, e o fato de a G​oogle publicar uma pontuação de recuperação que cai para 43,4% em 128K é mais franqueza do que a maioria das fichas técnicas oferece. Se sua carga de trabalho for "encontrar um fato em um documento grande", a janela do G​emma 4 12B é real, mas sua recuperação em profundidade é medíocre, e não existe medida equivalente para o ZoomGain-9B porque nenhuma avaliação de contexto longo foi executada nele.

Onde o ZoomGain-9B apresenta os números, e a ressalva associada a cada um

Todos relatados pelos autores, no harness lançado:

• HR-Bench 4K 90,25, acima dos 82,13 do Qwen3.5-9B de onde veio. Percepção de alta resolução, e a principal alegação do lançamento.

• V*Bench 93.19, acima de 86.91. Deteção de objetos pequenos em cenas desordenadas.

• MMVP 70,00, acima de 60,00. O teste de imagens pareadas em que duas fotos quase idênticas têm respostas corretas diferentes — o análogo existente mais próximo do tipo de tarefa para o qual o ZoomGain foi treinado.

• ZoomGainBench 55,48, acima de 32,13. A coluna de dados mantidos, inflada por construção, e os autores admitem isso.

• Média em held-out de 66,10 em treze benchmarks, acima de 59,75. O número que significa algo.

As ressalvas, em ordem de quanto elas deveriam lhe preocupar. Primeiro, ninguém fora da lista de autores reproduziu nada disso. Segundo, o benchmark e os dados de treinamento vêm de um mesmo pipeline, e é por isso que o artigo exclui seu próprio benchmark da média de held-out — uma disciplina que merece crédito. Terceiro, o conjunto de treinamento tem 9.000 registros, pequeno o suficiente para que os ganhos possam ser limitados mesmo onde são reais. Quarto, o modelo não tem endpoint hospedado e, no momento em que este texto foi escrito, tem um mapeamento de provedores vazio no Hub.

Custo, nos termos que realmente o decidem

O G​emma 4 12B em QAT q4_0 tem 6,98 GB mais um projetor de 0,18 GB. Isso cabe em um laptop de 16 GB com folga e em uma placa de 8 GB com esforço. O ZoomGain-9B em Q4_K_M tem 5,63 GB mais 0,52 GB de projetor; em Q8_0, tem 9,53 GB mais 0,62 GB. O 9B é o download menor em qualquer precisão porque é o modelo menor, e seu tronco com forte presença de atenção linear significa um cache KV mais curto em comprimentos de sequência longos, o que importa se você estiver alimentando-o com imagens de alta resolução em vez de texto longo.

Nenhum dos dois pode ser chamado através de nós hoje. O Gemma 4 12B não está no catálogo do OrcaRouter, e o ZoomGain-9B também não, portanto a afirmação honesta é que ambos são decisões de self-host ou de API de fornecedor. O que nós alojamos é Gemma 4 26B A4B a $0.06 por milhão de tokens de entrada e $0.33 por milhão de saída com uma janela de 262K — a mesma família, quatro vezes o orçamento de parâmetros ativos, e uma forma legítima de descobrir se o perfil de análise de documentos do Gemma se adequa ao seu pipeline antes de descarregar seja o que for. Uma única chave cobre isso e mais de 200 outros modelos a preço de tabela sem margem acrescida, pelo que um bake-off entre um endpoint de visão e um modelo de texto barato custa uma tarde, em vez de três contratos.

Escolha pela função, não pelo nível hierárquico.

Se a tarefa for um pequeno detalhe dentro de uma imagem grande — um número de série em um dispositivo, o texto em uma placa distante, a cor de um objeto entre quarenta, a contagem de janelas em uma fachada — o ZoomGain-9B é o indicado, com a ressalva de que suas evidências são autorrelatadas e sua licença precisa ser lida. Sua arquitetura é otimizada exatamente para o modo de falha que você está enfrentando.

Se a tarefa for qualquer outra coisa visual — ler um documento de várias páginas, descrever uma cena, responder a uma pergunta sobre um gráfico, receber áudio além de imagens, chamar uma função depois — o Gemma 4 12B é o produto final, e a comparação deixa de ser acirrada. Ele tem pré-treinamento em 140 idiomas, chamada nativa de ferramentas, uma janela de 256K com uma curva de recuperação publicada, seis quantizações e uma licença que você pode entregar ao jurídico sem precisar de explicação.

Se a tarefa for ambas as coisas, a resposta honesta é que estas duas são camadas de um único pipeline, e não alternativas. O agente documental realista de 2026 faz o parsing com um modelo multimodal geral e escala os recortes que importam para um especialista em percepção — e é na escalada que está a engenharia interessante, porque implica decidir quando um detalhe merece uma segunda chamada. Trata-se de um problema de roteamento, e é por isso que nos importamos com ele: uma regra que envia a chamada barata ao modelo barato e a escalada para qualquer endpoint que atenda aos seus critérios é uma única alteração de configuração, e o failover significa que um especialista travado não trava o pipeline.

O veredicto, enunciado na forma que a evidência sustenta

G​emma 4 12B é a compra mais segura por todas as medidas que não sejam um benchmark de percepção: licença, documentação, distribuição, abrangência, comunidade e o fato de o G​oogle publicar números com os quais você pode discutir. O ZoomGain-9B é o modelo mais interessante e, plausivelmente, a ferramenta melhor para uma tarefa específica, com base em evidências que ainda não foram verificadas por ninguém que não tenha escrito o artigo.

O próximo passo certo depende de com qual dessas frases você acabou concordando. Se foi a primeira, baixe o QAT GGUF e pare de ler. Se foi a segunda, baixe o ZoomGainBench junto com os pesos — 941 imagens, 1.000 perguntas, um avaliador e um número que você mesmo pode produzir — e submeta o Gemma a ele. Você então seria a primeira pessoa a ter feito isso e saberia algo sobre ambos os modelos que nenhum dos dois fornecedores sabe atualmente.