ZwZ2-4B vs ZwZ2-9B: Mesma Profundidade, o Dobro dos Pesos, uma Diferença de 1,8 Pontos

A suposição óbvia sobre um modelo 4B e um modelo 9B da mesma família é que o menor é menos profundo. ZwZ2-4B e ZwZ2-9B não são. Ambos declaram exatamente 32 camadas de transformer. Ambos usam 16 cabeças de consulta contra 4 cabeças de chave-valor com dimensão de cabeça de 256. Ambos têm o mesmo vocabulário de 248.320 tokens e o mesmo teto de contexto de 262.144 posições, e ambos executam o mesmo esquema de atenção linear-para-completa de 3:1. O 9B não é um ZwZ2-4B mais profundo; ele é mais largo, e depois que você percebe isso, o restante desta comparação — incluindo a própria diferença de pontuação do fornecedor — deixa de parecer uma linha reta.

Os dois checkpoints também estão próximos no tempo e na origem. O ZwZ2-4B foi criado em 15 de outubro de 2026, o ZwZ2-9B em 16 de outubro, ambos pela inclusionAI, ambos treinados com o mesmo pipeline no mesmo conjunto de dados de 20.662 questões de múltipla escolha, e nenhum foi anunciado. Eles diferem em seus modelos base — Qwen3.5-4B e Qwen3.5-9B, respectivamente — e na largura de cada bloco que decorre disso.

O diff de configuração e o que ele implica

Uma leitura camada por camada dos dois arquivos de configuração revela uma diferença estrutural genuína e várias que decorrem mecanicamente dela.

• Profundidade — 32 camadas em ambos, idênticas

• Largura oculta — 2.560 para o 4B vs 4.096 para o 9B, um fator de 1,6

• Largura do feed-forward — tamanho intermediário 9,216 vs 12,288

• Geometria de atenção — 16 cabeças de consulta, 4 cabeças de chave-valor, dimensão da cabeça 256, em ambos

• Cronograma de atenção — 24 camadas lineares e 8 camadas de atenção completa, em ambos

• Contexto — 262.144 posições em ambos, M-RoPE em 11/11/10, rotary parcial 0,25

• Vocabulário — 248.320 tokens em ambos, embeddings compartilhados no 4B e não compartilhados no 9B

• Torre de visão — 24 camadas com dimensão oculta de 1.024 vs. 27 camadas com dimensão oculta de 1.152

• Predição de múltiplos tokens — zero camadas MTP em ambos, com o head especulativo removido de cada base

• Parâmetros — 4.539.265.536 vs 9.409.813.744, um fator de 2,07

Duas dessas linhas merecem uma nota. Os embeddings não compartilhados no 9B significam que suas matrizes de entrada e saída são cópias separadas de uma tabela de 248.320 por 4.096; só isso responde por cerca de dois bilhões de parâmetros, o que é grande parte do motivo pelo qual a proporção de parâmetros (2,07) fica à frente da proporção de largura (1,6). E a torre de visão cresce com a pilha de linguagem — 27 camadas com 1.152 unidades ocultas contra 24 com 1.024 — então o 9B vê a imagem por meio de um codificador mais amplo, não apenas de um decodificador mais amplo.

Os números: um ganho maior, um teto mais baixo

A inclusionAI publica um agregado por modelo: precisão geral em 25 benchmarks em seis domínios, com pesos iguais. Segundo os próprios números da ficha, a família lê-se assim.

• ZwZ2-4B — base 49,41, ajustado 54,79, um ganho de 5,38 pontos

• ZwZ2-9B — base 51,63, ajustado 56,59, um ganho de 4,96 pontos

• ZwZ2-27B — base 55,52, ajustado 60,51, um ganho de 4,99 pontos

Então o 4B ganha mais e termina por último. O 9B ganha menos e termina 1,80 ponto mais alto. Ambas as afirmações são verdadeiras, e qual delas importa depende inteiramente da pergunta que você está fazendo. Se a pergunta é "quanto esta receita de treinamento acrescenta", a resposta é maior no 4B. Se a pergunta é "qual modelo é mais preciso", a resposta é o 9B, por 1,80 ponto, e nenhuma forma de enquadrar isso muda esse fato.

Todos esses são números reportados pelo fornecedor, com base em um conjunto de benchmarks escolhido pelo próprio fornecedor. Ninguém avaliou de forma independente nenhum membro desta família, e o detalhamento por benchmark está nas figuras, não no texto — um SVG e um PNG em cada cartão. A diferença de 1,80 ponto é o resumo honesto do que está publicado; não é uma medição que você ou eu tenhamos visto ser reproduzida.

Por que o ganho diminui à medida que o modelo cresce

O padrão — 5,38 em 4B, 4,96 em 9B, 4,99 em 27B — merece ser levado a sério em vez de simplesmente ignorado. Uma receita de treinamento que adiciona capacidade a um modelo pequeno está preenchendo uma lacuna: o modelo base não tinha a capacidade nem o sinal de treinamento para atentar a evidências regionais sutis, e 20.000 perguntas de múltipla escolha cuidadosamente filtradas ensinam a ele uma habilidade que lhe faltava. Um modelo base maior já tem mais dessa capacidade, então o mesmo currículo tem menos a acrescentar. O retorno marginal dos dados cai à medida que a base melhora.

Essa é a leitura benevolente, e é a que os números sustentam. A leitura não benevolente é que o conjunto de benchmarks tem um teto ou que o formato de tarefa com quatro opções recompensa desproporcionalmente os modelos pequenos. Ambas as leituras são compatíveis com os números publicados, e é por isso que a diferença de 1,80 ponto deve ser tratada como uma direção, e não como uma magnitude.

Existe uma terceira possibilidade que importa mais para a adoção: o ganho pode estar concentrado. “Melhorou em todos os benchmarks” é a alegação do cartão, mas uma média sobre 25 tarefas igualmente ponderadas pode esconder dois grandes ganhos e vinte pequenos. Sem a tabela por benchmark — e ela não está no texto — não dá para saber se o 5,38 do 4B é uniforme ou concentrado exatamente nas tarefas de percepção refinada que a receita visa. Se estiver concentrado, o modelo pequeno é um especialista e o 9B é o generalista, e a média é a estatística errada para escolher entre eles.

O 27B é o experimento de controle

O terceiro tamanho torna o argumento da família testável. ZwZ2-27B é construído sobre o Qwen3.6-27B — uma geração-base diferente da de seus dois irmãos — e registra um ganho de 4,99 pontos, essencialmente o mesmo que o 4,96 do 9B e bem abaixo do 5,38 do 4B. Se o valor da receita fosse apenas sobre a qualidade dos dados, você esperaria um ganho constante entre os tamanhos. Em vez disso, o 4B é o outlier. Isso é consistente com a história da lacuna de capacidade e inconsistente com uma história na qual os dados de treinamento são simplesmente uniformemente excelentes.

O 27B também esclarece um ponto prático sobre o lançamento da família. Os três repositórios surgiram com 23 horas de diferença entre si, o 4B primeiro e o 27B por último, o que é a assinatura de um envio em lote e não de um lançamento faseado. O conjunto de dados veio depois, em 19 de outubro. Os downloads mostram para onde foi a atenção: zero para o 4B, 147 para o 9B, sete para o 27B. Ninguém escolheu um favorito ainda, e o tamanho intermédio é o único que alguém já baixou.

Servindo: 9 GB contra 18,8 GB

A aritmética aqui é simples e é o argumento mais forte a favor do modelo menor. Os pesos do ZwZ2-4B são um arquivo BF16 de 9,08 GB; os do ZwZ2-9B chegam a cerca de 18,8 GB na mesma precisão. Em uma placa de 24 GB, o 4B deixa espaço para um KV cache generoso e um lote; o 9B deixa muito pouco. Em uma placa de 16 GB, o 4B cabe e o 9B não cabe de jeito nenhum sem quantização.

Nenhum dos modelos é servido por um provedor hospedado — as páginas do Hugging Face não relatam nenhum provedor de inferência para nenhum dos dois —, então ambas são decisões de auto-hospedagem. Se você está escolhendo entre eles por questões de hardware, o 9B é uma classe de máquina diferente, não um download um pouco maior. Esse é o significado prático da proporção de parâmetros de 2,07×, e ela é decidida pela sua placa, não pela lacuna de precisão de 1,80 ponto.

Para equipes que querem o comportamento de percepção sem assumir o problema de servir, o meio-termo hospedado do catálogo é qwen/qwen3-vl-8b-instruct a US$ 0,18 por milhão de tokens de entrada e US$ 0,70 por milhão de saída, com contexto de 131K. Não é o mesmo modelo, e este texto não vai fingir que é — mas é a comparação de que a maioria das equipes realmente precisa, e ele roda na mesma chave que tudo o mais que o OrcaRouter roteia, com failover automático se um upstream degradar.

Se você está construindo um pipeline em camadas em vez de escolher um único checkpoint, a camada de roteamento é o lugar para expressar isso: envie toda imagem primeiro para um modelo barato e escale apenas as que tiverem baixa confiança para algo maior. O DSL de roteamento compõe modelos em uma única chamada, então a escalação é uma regra na rota em vez de uma segunda integração. Nenhum dos checkpoints ZwZ2 pode ser a camada barata hoje — eles não estão hospedados —, mas o padrão é aquele sobre o qual esses dois modelos estão discutindo implicitamente.

Qual deles pegar

• Escolha o 4B se a sua placa tiver 16 ou 24 GB, se a sua tarefa for evidência visual fundamentada em regiões e se você quiser a maior melhoria medida em relação a um modelo base desta família.

• Use o 9B se você tiver folga de memória e quiser a maior precisão já publicada para um checkpoint ZwZ2 abaixo de 27B. Os 1,80 pontos não são pouca coisa.

• Não adote nenhum dos dois por enquanto se você precisar de uma licença que seu time jurídico assine. Nenhum dos repositórios declara uma, e os cards remetem a um arquivo de licença que não está presente.

• Não escolha nenhum dos dois se precisar de um artigo. O método v2 não tem documentação pública; o identificador arXiv em ambos os cartões pertence ao trabalho ZwZ de primeira geração, sobre uma família base diferente.

O experimento genuinamente útil não é o 4B contra o 9B nos 25 benchmarks de outra pessoa. É executar ambos — ou executar o 4B contra a sua própria base — em algumas centenas de imagens da sua carga de trabalho real, e ver se o 5.38 se transfere. Até que alguém faça isso, os números publicados da família descrevem o comportamento de uma receita em um conjunto de tarefas, não uma decisão que você possa tomar sobre o seu próprio pipeline. O 4B é o interessante justamente porque seu ganho é o maior e sua evidência é a mais fina.