Card de título principal com o texto ‘WeMM-Video-9B: por que suas builds de 4 bits ainda têm 13 GiB’, com o subtítulo ‘A Tencent publicou dezenove repositórios WeMM-Video em 17 de novembro de 2026 sem um post de lançamento’, com quatro linhas de chips de memória para BF16 base a 19,54 GiB em cinco shards, FP8 Block128 a 13,10 GiB, AWQ W4A16 a 12,86 GiB e NVFP4 W4A16 a 13,07 GiB, uma linha destacada com o texto 0,42 GiB entre todas as quatro builds comprimidas, e um rodapé dizendo que os tamanhos são medidos a partir da listagem de arquivos de cada repositório do Hugging Face e são informados pelo fornecedor, sem verificação independente.
Engineering & Research

WeMM-Video-9B: Por que suas versões de 4 bits ainda têm 13 GiB

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Uma quantização de quatro bits deveria chegar a cerca de um quarto do arquivo de pesos do qual veio. WeMM-Video-9B tem 19,54 GiB em BF16, e sua build AWQ W4A16 tem 12,86 GiB. Isso é um corte de 34%, não de 75% — e as builds FP8, AWQ, NVFP4 e GGUF ficam todas dentro de 0,42 GiB umas das outras, então a escolha entre elas quase não economiza memória. Os próprios manifestos dos exportadores explicam por quê: os pipelines de 4 bits comprimem apenas as matrizes densas de feed-forward — 4,83 bilhões de parâmetros de 10,49 bilhões —, enquanto a torre de visão, a torre de áudio, o embedding, a cabeça de saída e os pesos de atenção mantêm todos sua precisão original, e 5,7 bilhões de parâmetros a dois bytes cada estabelecem um piso abaixo do qual nenhuma receita W4 consegue ir. A T​encent publicou os pesos, as receitas de quantização e um relatório técnico de 12 autores em 17–19 de novembro sem um post de lançamento, e a parte sobre a qual ninguém escreveu ainda é a aritmética — que também é, por acaso, a parte que decide se este modelo cabe na GPU que você já tem. Nas próprias tabelas da T​encent, ele supera Qwen3-Omni-30B-A3B-Instruct em 35 das 37 métricas audiovisuais conjuntas que os dois compartilham; sobre se suas builds de quatro bits são seguras para implantar, o histórico é mais escasso do que dezenove repositórios sugerem.

Uma pilha de 10,49B com um rótulo de 9B

O repositório tencent/WeMM-Video-9B foi criado às 08:55:54 UTC de 17 de novembro de 2026, quatorze segundos após o seu irmão AWQ e onze minutos após o carro-chefe 35B-A3B. Existem dezenove repositórios WeMM-Video na organização Tencent, todos criados dentro de uma janela de cinco minutos naquela manhã, o que é a assinatura de um script de upload e não de uma pessoa publicando um modelo de cada vez. O projeto GitHub Tencent/WeMM-Video foi criado seis horas antes, às 02:29 UTC, seu commit inicial substancial foi enviado em 19 de novembro, e revisões do README ainda estavam chegando em 20 de novembro. O artigo, arXiv 2611.26409, foi submetido às 16:58 UTC de 19 de novembro.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-9B, showing the model card, the file listing and the repository tab bar for a repository created on 17 November 2026 with no launch announcement linked from it.

Nada disso foi anunciado. Não encontramos um post no blog da T​encent, uma página de lançamento do WeChat Vision, um comunicado à imprensa ou um plano pago apontando para a família. No momento em que escrevo, todos os dezenove repositórios mostravam zero downloads e, somados, três curtidas. O Artificial Analysis não lista nenhum modelo WeMM. Nenhum desses fatos diz nada sobre qualidade — eles dizem que a etapa de distribuição foi pulada.

O "9B" no nome é o backbone de linguagem, não o checkpoint. O Hugging Face registra 10,488,603,384 parâmetros em 1,305 tensores, e ler os cinco shards de safetensors por nome os coloca em quatro pilhas:

• Modelo de linguagem — 7,94B de parâmetros, incluindo um embedding de tokens de 1,02B.

• Cabeça de saída — 1,02 bilhão de parâmetros. Os embeddings não são compartilhados, então esta é uma segunda cópia completa do vocabulário de 248.320 tokens em 4.096 dimensões ocultas.

• Torre de áudio — 1,08B de parâmetros. Um encoder e decoder no estilo Whisper, com 32 camadas cada e largura de 1.280, alimentando um Q-Former de duas camadas que comprime janelas de 0,1 segundo em 10 tokens de áudio por segundo.

• Torre de visão — 0,46B de parâmetros. 27 blocos com dimensão oculta 1.152, tamanho do patch 16, mesclagem espacial 2, patch temporal 2.

Cerca de um quinto do arquivo são orelhas e olhos. O artigo é explícito quanto à proveniência: os modelos densos 2B, 4B e 9B são construídos sobre Qwen3.5-2B, Qwen3.5-4B e Qwen3.5-9B, o modelo de mistura de especialistas sobre Qwen3.6-35B-A3B, os codificadores de áudio são inicializados a partir do Qwen2.5-Omni, e os codificadores visuais nativos são mantidos em vez de substituídos e congelados a partir da segunda etapa de pré-treinamento, porque "já fornecem representações visuais suficientemente fortes".

O próprio backbone é híbrido: 32 camadas, tamanho oculto de 4.096, 16 cabeças de atenção para 4 cabeças de chave-valor com dimensão de cabeça 256, com uma camada de atenção completa a cada três camadas de atenção linear e um cache SSM float32 — e é por isso que todo comando de serving no repositório carrega mamba-ssm-cache-dtype float32 como flag. Os embeddings de posição estão declarados em 262.144 tokens; as seções de RoPE multimodal intercaladas são 11/11/10. A licença é Apache 2.0, com uma ressalva de terceiros que não está detalhada no model card.

Quatro builds, quatro tamanhos quase idênticos

Aqui está toda a escala de quantização, medida a partir da listagem de arquivos de cada repositório, em vez de uma figura arredondada em um cartão:

• BF16 base — 19,54 GiB em cinco fragmentos.

• FP8 Block128 — 13,10 GiB, um arquivo. Requer uma GPU compatível com FP8 e vLLM 0.18.0 com patch.

• AWQ W4A16 — 12,86 GiB, INT4 grupo-128 no formato compressed-tensors. vLLM 0.18.0 com patch.

• NVFP4 W4A16 — 13,07 GiB, precisão mista do ModelOpt 0.45.0 com tamanho de grupo 16. vLLM 0.31.0 com patch usando Marlin, configuração de referência SM120.

• GGUF Q4_K_M — 13,28 GiB como um pacote de três arquivos: 10,41 GiB de linguagem, 2,01 GiB de áudio, 0,86 GiB de projetor de visão.

Generated single-column scoreboard titled 'WeMM-Video-9B — the scoreboard' with six memory-chip rows: BF16 base 19.54 GiB across five shards, FP8 Block128 13.10 GiB, AWQ W4A16 12.86 GiB, NVFP4 W4A16 13.07 GiB, GGUF Q4_K_M 13.28 GiB, and a spread of 0.42 GiB across the four compressed builds, with a footer stating the sizes are measured from each Hugging Face repository's file listing and are vendor-reported with no independent verification.

A variação entre essas quatro builds comprimidas é de 0,42 GiB, o que é menor que a margem que você deixaria para uma atualização de driver. Se você estivesse escolhendo entre elas para caber em uma placa, está escolhendo a variável errada: escolha com base em qual GPU você tem e em qual runtime você consegue aplicar patch, porque a diferença de memória não está aí.

A expectativa ingênua — um quarto de 19,54 GiB, portanto cerca de 4,9 GiB — está errada por um fator de dois e meio. Até a folga em relação ao BF16 é modesta: 6,68 GiB economizados pelo AWQ, o que é de fato 34%, mas nada parecido com o "quatro vezes menor" que um rótulo W4 implica.

O que os exportadores protegem, e por quê

Tanto os manifestos AWQ quanto os GGUF declaram exatamente quais tensores eles tinham permissão para tocar, e a resposta explica o platô de tamanho.

• Apenas as matrizes densas feed-forward são quantizadas. O manifesto AWQ registra 96 matrizes de linguagem quantizadas — três por camada em 32 camadas, cada uma com 4.096 por 12.288. Isso representa 4,83B parâmetros de 10,49B, ou 46% do checkpoint. Todo o resto mantém sua precisão.

• O caminho de atenção foi restaurado para BF16. O manifesto AWQ contém um bloco attention_restoration que lista 152 matrizes de projeção de atenção e 32 normas de entrada copiadas de volta do checkpoint de origem com seus hashes SHA-256. O arquivo de escopo GGUF relata a mesma contagem — protected_attention_BF16: 152 — e acrescenta que os tensores de embedding e de saída são os únicos dois outros itens protegidos.

• O front-end e ambas as torres de mídia nunca entram no quantizador. 881 tensores estão listados como tensores protegidos de front-end, embedding e head no manifesto AWQ — 333 da torre visual, 545 da torre de áudio, o embedding de tokens, a head de saída não vinculada e a norma final. Em BF16, isso equivale a cerca de 3,57B parâmetros, ou 7,1 GB do arquivo de 21,0 GB, ficando inteiramente fora da etapa de compressão.

A consequência é o número de que um plano de implantação realmente precisa: reserve 13–13,5 GiB de VRAM para os pesos, seja qual for a build que você escolher, e depois some a isso o cache KV e o cache SSM em float32. Um "9B em 4 bits" que precisa de 13 GiB de pesos não é um problema do modelo — só o vocabulário tem 248.320 tokens incorporados duas vezes, e a torre de áudio é um Whisper de 1,08 bilhão de parâmetros no meio disso —, mas é a diferença entre caber numa placa de 16 GB com espaço para trabalhar e não caber de forma alguma.

Validado para carregar, não validado para ser igual

Cada ficha de quantização desta família reporta um teste de fumaça, e cada manifesto reporta algo mais direto. Leia os dois lado a lado, porque a diferença entre eles é todo o risco de usar um build comprimido.

• FP8 Block128 — cartão: o vLLM com patch carregou-o em um H20 e concluiu as verificações de geração de texto, imagem, áudio e vídeo com áudio, e uma auditoria de precisão em tempo de execução confirmou o caminho W8A8. Manifesto: status quantized_and_independently_reloaded_native_inference_pending, com native_inference_validated: false e native_low_precision_gemm_validated: false registrados como flags separadas.

• AWQ W4A16 — ficha: o vLLM corrigido carregou-o num H20, concluiu as mesmas quatro verificações e a auditoria de precisão confirmou pesos feed-forward INT4 face à atenção BF16. Manifesto: estado quantized_unvalidated, com um diagnostic_variant que nomeia uma build de referência de atenção BF16 ao lado da de INT4.

• NVFP4 W4A16 — placa: vLLM 0.31.0 com patch carregado e executado com "os pesos de referência da PRO 5000" e passou em cinco verificações de geração, incluindo vídeo silencioso. Manifesto: as mesmas três alegações estão registradas como flags e todas as três aparecem como falsas — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — sob um status de cpu_NVFP4_weight_artifact_independently_reread. O que o manifesto atesta é uma verificação numérica: 96 matrizes e 4.831.838.208 elementos desquantizados de forma independente, RMSE relativo médio de 0,095 contra um limite de 0,35, com 1.209 tensores protegidos confirmados como bit-exact. Essa contagem de elementos é os mesmos 4,83 bilhões nomeados na declaração de escopo, e é assim que se sabe que a aritmética neste texto e a do exportador concordam.

• GGUF Q4_K_M — cartão: o runtime nativo de CPU carregou o pacote e gerou saída de texto, imagem, áudio e vídeo. Estado do manifesto exported_unvalidated; estado do escopo quantized_candidate_not_validated.

“Carregou e gerou” é um resultado real e que vale a pena ter — muitos checkpoints multimodais quantizados falham exatamente nessa etapa. Não é esse resultado que decide uma implantação, porque nenhuma dessas fichas de modelo informa um único número de acurácia para a versão comprimida em relação à sua própria fonte BF16. Não há delta medido no MMAU, no Video-MME, no WER de transcrição. A única afirmação de precisão feita em qualquer lugar é estrutural, da auditoria AWQ: INT4 no feed-forward, BF16 na atenção. Isso descreve o arquivo. Não informa qual foi o custo da compressão e, em um modelo cuja margem sobre o Qwen3-Omni-30B-A3B-Instruct no Video-MME com áudio é de 7,8 pontos, o tamanho desse custo não é uma questão de arredondamento.

Por isso, a regra prática para esta família é voltar a executar um benchmark que lhe interesse na build exata que pretende lançar, em comparação com a base BF16, antes de confiar numa tabela do artigo. São algumas horas de trabalho e é a única forma de saber se o feed-forward INT4 pode ser trocado sem comprometer os resultados de vídeo, ou se a poupança de 34% está a ser paga nos números que a placa está a vender.

Screenshot of the raw quantization_manifest.json for the FP8 Block128 build of tencent/WeMM-Video-9B on Hugging Face, showing the status field quantized_and_independently_reloaded_native_inference_pending, an official_repo field naming Qwen/Qwen3.5-35B-A3B-FP8, and the algorithm field Transformers 5.5.3 Fp8Quantize.convert.

Duas armadilhas mecânicas estão por baixo disso.

O primeiro é o GGUF. "GGUF Q4_K_M" é lido como "roda em llama.cpp ou Ollama". Não é o caso. O pacote é compilado para o runtime nativo próprio da T​encent, que você compila a partir do repositório; o início rápido do cartão do modelo é install-cpu/bin e um native/run_hf.py lançador, e o guia de serving direciona o GGUF para esse runtime e para nada mais. Se seu pipeline tem o formato do llama.cpp, este checkpoint não é o atalho que parece ser.

O segundo é uma falha de documentação que vale a pena nomear, pois confundirá qualquer pessoa que leia os manifestos em ordem. Todos os três manifestos FP8 — do 2B, do 4B e do 9B — carregam o mesmo campo official_repo: Qwen/Qwen3.5-35B-A3B-FP8. Trata-se de uma string de proveniência copiada e colada no registro da receita, não de uma afirmação de que um checkpoint de 9B seja secretamente um modelo mixture-of-experts de 35B. Nada mais no arquivo sustenta essa leitura: a lista de fontes do mesmo manifesto aponta para os cinco shards de tencent/WeMM-Video-9B com hashes correspondentes, e o bloco de arquitetura registra um modelo denso de 32 camadas com zero experts. O 35B-A3B é um modelo separado real; é também o único tamanho da família sem repositório FP8 próprio, dispondo apenas de base, AWQ, GGUF e NVFP4.

O 9B contra um 30B, nas tabelas da T​encent

Cada número de benchmark abaixo é dos próprios autores, do arXiv 2611.26409, e nenhum terceiro reproduziu qualquer parte disso. O artigo diz exatamente isso: os modelos existentes são reportados com "resultados oficiais quando disponíveis e nossas próprias avaliações caso contrário". Trate esta seção como uma descrição de uma alegação, não como uma medição.

Na tabela conjunta de audiovisual, no modo Thinking, o 9B supera o Qwen3-Omni-30B-A3B-Instruct em 35 das 37 figuras que as duas colunas compartilham, empatando em uma e perdendo em uma — contra um modelo aproximadamente três vezes maior que ele:

• Video-MME com áudio — 85,1 contra 77,3. O MiniCPM-o-4.5-9B está em 69,2.

• Video-MME-v2 com áudio — 51,6 contra 36,3, uma diferença de 15,3 pontos.

• Daily-Omni — 83,6 contra 70,7, embora o 80,2 do MiniCPM-o-4.5-9B faça disto um resultado a três, e não uma vitória fácil.

• SciVideoBench e MMOU — 64,2 contra 49,9, e 71,7 contra 60,5.

• EvaOmni e OmniReasoningBench — 50,7 contra 26,1, e 43,9 contra 24,1.

• A única derrota — FutureOmni, 53,7 contra 55,1. O MiniCPM-o-4.5-9B marca 56,1 aí.

O vídeo sem áudio é a tabela mais útil, porque contém um controle da mesma família: Qwen3.5-9B, o backbone sobre o qual este checkpoint é construído. Leia as duas colunas lado a lado e o pós-treinamento tem uma forma. Ele ganha em ancoragem temporal e percepção temporal — F-16-NBA 88,7 contra 75,8, TimeLens-QVHighlights 66,8 contra 64,3, TimeLens-ActivityNet 55,3 contra 52,2, TOMATO 48,5 contra 45,0 — e perde em sumarização de vídeos longos e reconhecimento geral: MLVU 82,4 contra 84,4, LVBench 68,2 contra 70,0, VideoVista 82,2 contra 84,7, VSI-Bench 54,5 contra 58,3, MVBench 71,4 contra 74,4. Portanto, não se trata de uma atualização uniforme em relação ao backbone que herda. É um modelo ajustado para quando e onde algo aconteceu, com um custo mensurável nas pontuações agregadas de vídeo e no raciocínio espacial que o backbone já fazia melhor.

O áudio é onde o 9B deixa de vencer. No modo Instruct, o 9B obtém 70,9 no MMAU-Pro contra 64,8 do Qwen3.5-Omni-Flash e 76,8 no MMSU contra 72,2 — mas perde no MMAU por 77,0 contra 80,4 e no MMAR por 72,8 contra 74,0, e perde claramente no reconhecimento de fala: taxa de erro de palavra do LibriSpeech de 1,5 e 3,1 contra 1,3 e 2,4, taxa de erro de caractere do WenetSpeech de 5,4 e 6,8 contra 4,4 e 5,5. Texto e conhecimento contam a mesma história: MMLU-Pro 81,6 contra 82,5 do backbone Qwen3.5-9B, GPQA 77,8 contra 81,7, HMMT 75,0 contra 82,9. Se a transcrição é o produto, um reconhecedor dedicado ainda vence.

Uma comparação no artigo deve ser lida com cuidado. A tabela omni-modal executa os modelos WeMM no modo Thinking, enquanto a tabela de áudio os executa no Instruct, porque os autores julgaram que os benchmarks de áudio padrão são tarefas perceptuais diretas. Essa é uma divisão defensável, e também significa que uma linha do WeMM em uma tabela não é comparável a uma linha rival na outra.

Oito segundos de vídeo, por padrão

A diferença entre o que o checkpoint consegue aceitar e o que as receitas distribuídas lhe passam é grande o suficiente para alterar os resultados, portanto deve constar em qualquer plano de avaliação.

• Orçamento de frames — o processador usa 2 fps por padrão, um mínimo de 4 frames, um máximo de 128 frames e 100,663,296 pixels totais. A receita do vLLM substitui todos os quatro por 2 fps, 16 frames e 262,144 pixels. A 2 fps, dezesseis frames correspondem a oito segundos de cobertura a partir do meio de um clipe.

• Contexto — a configuração de texto declara 262.144 embeddings de posição. Todo comando de serving que a Tencent publica passa max-model-len 8192 ou context-length 8192, e nada no repositório explica como chegar ao valor maior.

• Custo de áudio — 10 tokens por segundo, pelo que um orçamento de 8.192 tokens corresponde a cerca de treze minutos de áudio e nada mais. Um vídeo com a sua faixa de áudio gasta esse orçamento em frames e áudio ao mesmo tempo.

• Mídia por solicitação — quatro imagens, dois vídeos, dois itens de áudio, conforme os limites implementados.

Ninguém fora do WeChat Vision publicou quais amostragens as execuções do benchmark usaram. Se você está reproduzindo um número da tabela acima, essa é a primeira incógnita a resolver, e o padrão de 16 quadros distribuído é o lugar errado para começar.

O que você pode realmente fazer com ele hoje

O OrcaRouter não disponibiliza o WeMM-Video-9B, e seu catálogo não lista nenhum checkpoint WeMM. Não há preço hospedado a citar nem endpoint para chamar, portanto, hoje, trata-se de um trabalho de auto-hospedagem: aplique o patch no vLLM ou no SGLang a partir do diretório overlay do repositório, fixe a combinação exata de PyTorch, Transformers e CUDA 12.9 que o manifesto do patch indica para a versão do seu engine e preveja os 13 GiB mais o cache. A rota GGUF exige o runtime nativo da Tencent compilado a partir do código-fonte.

Para a parte de visão do trabalho, já existem alternativas abertas na plataforma — Qwen3-VL-235B-A22B-Thinking e Qwen3-VL-8B-Thinking ambos aceitam imagens e quadros de vídeo — acessíveis por uma única chave compatível com OpenAI, ao lado de mais de 200 outros modelos, com 0% de markup sobre o preço de lista do provedor. Nenhum dos dois ouve nada, e não há equivalente ao WeMM para a parte de áudio. Se você quiser testar um 9B auto-hospedado sem colocar um caminho de produção nele, encaminhá-lo por trás de uma regra de failover é a forma barata de descobrir se o runtime corrigido aguenta a sua concorrência antes de você dedicar uma GPU a ele.

As builds de quatro bits, por sua vez, são a coisa certa pela qual esperar, e não a coisa certa a adotar. Seus próprios manifestos se autodenominam não validados, e a aritmética de tamanho diz que a compressão que oferecem é uma economia de 34% nos pesos — vale a pena ter, não vale a pena rearquitetar uma implantação por causa disso. O sinal a observar não é outro repositório de quantização. É o primeiro manifesto desta família que abandona a palavra pendente, seguido pela primeira reprodução independente de uma tabela que atualmente existe em exatamente um lugar: o PDF dos autores.

Comparados neste artigo1

Detectado a partir deste artigo