Uma ilustração de três fluxos — uma tira de filme, uma forma de onda de áudio e uma pilha de blocos de dados cinzentos — convergindo num único canal estreito pontilhado, com uma cópia mais ténue do contorno pontilhado desse canal flutuando por cima.
Engineering & Research

WeMM-Video-35B-A3B: os pesos chegaram, as pontuações são da própria Tencent

Autor

Gideon Frost

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Durante três dias, o repositório do Hugging Face tencent/WeMM-Video-35BA3B continha um único arquivo: um .gitattributes de 1,5 KB. O relatório técnico que descreve WeMM-Video-35B-A3B foi publicado no arXiv em 19 de novembro, qualificando o checkpoint como um novo estado da arte de código aberto para a compreensão audiovisual conjunta, à frente de Qwen3.5-Omni-Flash e Seed2.0-Mini-0428 e se aproximando de Gemini-3.0-Flash. Um leitor que acreditou no relatório e seguiu o link até os pesos não encontrou nada para baixar. Os 67,39 GiB de tensores BF16 só chegaram às 03:57 UTC de 20 de novembro — esta manhã. O carro-chefe foi anunciado um dia antes de existir, e todos os números associados a ele até agora vêm da equipe que o treinou.

Esse timing não é um escândalo, é um lançamento normal de pesquisa com as etapas fora de ordem. Mas isso significa que a pergunta útil sobre o WeMM-Video-35B-A3B não é "é bom" — o relatório responde a isso a favor da própria equipe, em sete tabelas —, mas sim "o que você consegue verificar por conta própria hoje, e o que você está aceitando por fé". O repositório responde à primeira metade melhor do que a maioria dos lançamentos.

Os pesos chegaram esta manhã, não no dia 17.

Os carimbos de data e hora do Hugging Face tornam a sequência invulgarmente legível. Os dezanove repositórios WeMM-Video da coleção da Tencent foram criados numa janela de seis minutos a 17 de novembro, entre as 08:53:50 e as 08:59:06 UTC — a assinatura de um script de carregamento e não de uma pessoa a clicar em publicar. Para o repositório 35B-A3B, o commit intitulado commit inicial às 08:53:50 contém exatamente um ficheiro, e não é um peso. O commit intitulado Upload da versão WeMM-Video-35BA3B BF16, que contém dezassete fragmentos safetensors, está datado de 2026-11-20T03:57:36Z.

Os tamanhos menores foram preenchidos na mesma manhã: 2B às 01:41, 4B às 04:08, 9B às 05:08. O repositório do GitHub Tencent/WeMM-Video foi criado em 17 de novembro às 02:29 UTC e seu README ainda estava sendo revisado às 05:09 de 20 de novembro. O relatório do arXiv, 2611.26409, foi enviado em 19 de novembro às 16:58 UTC.

Nada disso é incomum para um laboratório que lança uma família. O que isso muda é a posição de quem lê sobre o modelo esta semana: o relatório descreve um checkpoint que, por cerca de trinta e seis horas, foi uma promessa. Se você leu a cobertura em 19 de novembro e tentou executá-lo, a falha não foi da sua toolchain.

A screenshot of the GitHub repository Tencent/WeMM-Video showing the README revision timestamped about an hour earlier, eight commits, a main branch, and a description calling it a family of omni-modal foundation models by WeChat Vision at Tencent.

O que há dentro de um checkpoint de 36.18B?

Os metadados do próprio Hugging Face colocam o checkpoint em 36.177.564.536 parâmetros — 36,18B contra um rótulo "35B-A3B". O rótulo não está errado, ele apenas conta algo diferente do tamanho do arquivo, e a diferença entre os dois é a coisa mais importante na prática sobre este modelo.

• Torre de linguagem — 40 camadas com largura oculta 2,048, 16 cabeças de consulta contra 2 cabeças de chave-valor, dimensão de cabeça 256, vocabulário 248,320. A atenção é híbrida: a cada quarta camada é atenção completa e as outras três são atenção linear, razão pela qual cada comando de serving no repositório carrega uma flag de cache SSM float32.

• Especialistas — 256 especialistas roteados por camada com largura intermediária de 512, roteamento top-8, além de um especialista compartilhado de 512 de largura. Ao longo de 40 camadas, isso totaliza 10.240 especialistas roteados.

• Torre de visão — 27 blocos com largura oculta 1.152, tamanho do patch 16, mesclagem espacial 2, patch temporal 2, projetando para 2.048.

• Áudio — No formato do Whisper, com 32 camadas de codificador e 32 de decodificador com largura de 1.280, alimentando um Q-Former em nível de janela que comprime cada janela de 0,1 segundo em um único token. Isso resulta em 10 tokens de áudio por segundo, a partir de entrada de 16 kHz dividida em blocos de 30 segundos.

• Procedência — o relatório afirma que o MoE é construído sobre o Qwen3.6-35B-A3B e que os codificadores de áudio são inicializados a partir do Qwen2.5-Omni. Os quadros de vídeo carregam carimbos de data e hora textuais, e os tokens visuais e de áudio são intercalados em ordem cronológica, em vez de agrupados em fluxos separados.

• Treinamento — aproximadamente 1,2 trilhão de tokens multimodais por meio de pré-treinamento progressivo, depois destilação on-policy com múltiplos professores, uma etapa de preferência antirrepetição que os autores chamam de MrDPO e aprendizado por reforço especializado.

• Licença — Apache 2.0 em toda a coleção, com uma ressalva para componentes de terceiros que "permanecem sujeitos aos respetivos termos originais". A ressalva é declarada, não discriminada item a item.

Quatro variantes quantizadas são publicadas junto ao checkpoint BF16, e vale a pena ler seus arquivos de manifesto pela franqueza com que são rotulados. O AWQ W4A16 totaliza 22,69 GiB e seu manifesto diz quantized_unvalidated. O NVFP4 W4A16 é um único arquivo safetensors de 24,11 GiB cujo manifesto alega apenas cpu_NVFP4_weight_artifact_independently_reread — os pesos foram relidos na CPU, o que é uma soma de verificação, não uma avaliação. O pacote GGUF Q4_K_M é composto por três arquivos (22,61 GiB de linguagem, 0,84 GiB de projetor de visão, 1,99 GiB de áudio) e seu manifesto diz exported_unvalidated, com o arquivo de escopo por tensor dizendo quantized_candidate_not_validated.

A quinta variante está faltando. O model card e a tabela model-zoo do GitHub apontam ambos para um repositório FP8 Block128; o Hub retorna 401 para ele, a mesma resposta que dá para um nome de repositório que nunca existiu, enquanto todos os irmãos ativos retornam 200. A coleção do Hugging Face tem um buraco na posição 1, exatamente onde esse repositório deveria ficar. Este é um lançamento que ainda está sendo montado enquanto você lê.

Um número medido, e é áudio

O cartão do modelo relata exatamente uma avaliação que o próprio fornecedor executou: MMAR1000 com 72,7%, 727 de 1.000. As condições são apresentadas por completo, o que é a parte boa — somente áudio, áudio completo decodificado a 16 kHz, modo Instruct, decodificação greedy, no máximo 256 tokens de saída, vLLM 0.18 com patch em duas GPUs H20 com paralelismo de tensores.

Tudo o resto naquele cartão é uma afirmação de que algo foi carregado. O vLLM corrigido carregou o checkpoint no H20 e concluiu verificações de geração para texto, imagem, áudio e vídeo com trilha sonora; o checkpoint local passou por um carregamento direto no Transformers e por uma verificação de geração de texto na CPU. Esse é o mínimo que uma decisão de implantação exige, e a T​encent não finge o contrário.

Há um fio solto que vale a pena puxar. O guia de serving no mesmo repositório do GitHub traz uma tabela de validação cuja última linha diz: “A geração em GPU após baixar um checkpoint do Hub está pendente.” O cartão do modelo diz que a execução no H20, que carrega do Hub, concluiu a geração para todas as quatro modalidades. Dois documentos escritos pela mesma equipe discordam sobre quanto já foi demonstrado. A afirmação do cartão é mais específica e provavelmente mais atual; a discordância é um bom motivo para reservar um dia para seus próprios testes de fumaça, em vez de uma semana de integração.

A tabela de áudio do relatório também lista 73,6 no MMAR para este checkpoint, que é uma suíte de avaliação diferente da execução MMAR1000 da ficha do modelo e não deve ser subtraído de 72,7 para produzir um número "real". A única leitura honesta é que o próprio número de áudio da Tencent fica na casa dos setenta baixos e nenhuma outra parte o mediu.

28 de 30 contra o omni flash da Q​wen

A Tabela 1 do relatório apresenta o caso do produto principal, e é um caso extenso. Nos 30 benchmarks de valor único dessa tabela — tarefas conjuntas de áudio e vídeo, alucinação audiovisual, compreensão musical, interação, legendagem —, o WeMM-Video-35B-A3B no modo Thinking está à frente do Qwen3.5-Omni-Flash em 28 e atrás em 2. Em comparação com o Seed2.0-Mini-0428, está à frente em 26 e atrás em 4. Em comparação com o Gemini-3.0-Flash, está à frente em 9 e atrás em 21.

As vitórias que mais importam não são as arrumadinhas:

• Video-MME com áudio — 86,4 para WeMM-Video-35B-A3B, 79,3 para Qwen3.5-Omni-Flash, 83,6 para Seed2.0-Mini-0428, 88,6 para Gemini-3.0-Flash.

• Video-MME v2 com áudio — 54,9 contra 36,6 e 51,7, com Gemini-3.0-Flash em 63,2. Uma vantagem de dezoito pontos sobre o concorrente aberto mais próximo na divisão mais difícil do mesmo benchmark.

• AV-SpeakerBench — 72,6 contra 65,2 e 68,5, ainda atrás do Gemini com 75,9. Distinguir quem falou, em vídeo, é a tarefa que separa a verdadeira fusão audiovisual de um modelo de visão com uma transcrição enxertada.

• SciVideoBench e EvaOmni — 69,4 contra 51,3, e 57,8 contra 30,4. Ambos exigem muito raciocínio; ambos são situações em que um modelo omni mais fraco tende a colapsar.

As perdas são igualmente específicas e merecem ser nomeadas, porque uma tabela que só mostra vitórias é justamente o que este blog existe para evitar:

• JointAVBench — 65,9, atrás de Qwen3.5-Omni-Flash com 69,0 e Gemini-3.0-Flash com 68,4, à frente apenas de Seed2.0-Mini-0428 com 64,7.

• MUSIC-AVQA — 79,5 contra 82,1 do Qwen, embora à frente dos 76,2 do Gemini. Música é onde o stack de áudio do Qwen ainda leva vantagem.

• Contra Seed2.0-Mini-0428 — OmniCompass-AV 46,3 contra 47,9, OmniVChat 48,9 contra 49,8, O-IN-Bench 49,0 contra 49,4, conjunto de teste do video-SALMONN 2: 28,3 contra 32,7. Três desses quatro estão a menos de um ponto de diferença.

• Contra o Gemini-3.0-Flash — a diferença é maior em vídeos longos e orientados ao futuro: MMOU 74,5 contra 84,7, FutureOmni 56,2 contra 65,3, OmniVideoBench 55,3 contra 63,3, LVOmniBench 52,6 contra 59,8. "Reduz a diferença" é uma descrição justa; "elimina-a" não seria.

Todo número acima é da {{1}}T​encent{{/1}}. O próprio relatório afirma isso — "Para modelos existentes, relatamos resultados oficiais quando disponíveis e nossas próprias avaliações caso contrário" — e alterna entre o modo Instruct e o modo Thinking dependendo da tabela, o que também declara. Nenhum terceiro reproduziu qualquer parte disso, e nem a Artificial Analysis nem a LMArena listam um modelo WeMM.

A two-column scoreboard headed 'WeMM-Video-35B-A3B vs Qwen3.5-Omni-Flash — the scoreboard', with six shared rows: Video-MME with audio 86.4 against 79.3, Video-MME v2 with audio 54.9 against 36.6, AV-SpeakerBench 72.6 against 65.2, SciVideoBench 69.4 against 51.3, JointAVBench 65.9 against 69.0, and MUSIC-AVQA 79.5 against 82.1.

Acrescentar orelhas quase não prejudicou as pontuações de visão

A afirmação neste lançamento que merece mais atenção do que o benchmark de destaque é uma mais discreta: a de que acoplar uma pilha de áudio a um modelo de visão-linguagem não lhe custou muita capacidade visual. O treinamento omni-modal normalmente custa algo — o modelo distribui capacidade entre modalidades e perde terreno em vídeo sem áudio.

O relatório testa isso diretamente ao colocar o WeMM-Video-35B-A3B contra seu próprio backbone, o Qwen3.6-35B-A3B, em 31 benchmarks de vídeo silencioso. O modelo principal está à frente em 20 e atrás em 11, e a maioria dos onze está dentro de um ponto.

• Onde ganhou — TimeLens-Charades 54,8 contra 47,4, F-16-NBA 89,9 contra 82,8, CrossVid 50,2 contra 45,2, OVO-Bench 63,9 contra 61,0, TemporalBench 45,9 contra 43,3.

• Onde perdeu — EgoSchema 74,2 contra 77,2, Video-MME 80,4 contra 82,5, MVBench 73,1 contra 74,6, MLVU 85,3 contra 86,2. O resto são frações de ponto.

Leia o padrão em vez da contagem: os ganhos concentram-se na ancoragem temporal e na associação de vídeos longos, e as perdas, no vídeo egocêntrico em primeira pessoa. Trata-se de uma troca plausível para um modelo ajustado em vídeo com som. Frente ao Qwen3.5-Omni-Flash, na mesma tabela de vídeo silencioso, está à frente em 30 de 31, perdendo apenas em VideoVista, 83,5 contra 84,1.

As tabelas de imagem e texto mostram a mesma estrutura. Em comparação com o Qwen3.5-Omni-Flash, 26 dos 28 benchmarks de imagem ficam com o WeMM, sendo RefCOCO (89,5 contra 92,6) e TallyQA (80,7 contra 81,2) as exceções. Em relação ao seu próprio backbone, a tabela de imagem é quase um empate — 13 à frente, 14 atrás — e é na tabela de texto que o custo aparece: MMLU-Pro 84,7 contra 85,2, GPQA 83,8 contra 86,0, IMOAnswerBench 74,8 contra 78,9, SuperGPQA 63,4 contra 64,7. Abrir mão de alguns pontos de raciocínio difícil por um par de ouvidos funcional é uma troca normal e defensável, mas é uma troca, e qualquer pessoa que encaminhe texto de nível de pós-graduação por este checkpoint deve saber que ela existe.

{{1}}36B{{/1}} de memória, {{2}}3B{{/2}} de aritmética

Aqui está a aritmética que decide se este modelo é implantável para você, e ela vem da configuração, não da prosa. Dos 36,18B parâmetros, aproximadamente 32,2B ficam em especialistas roteados: 40 camadas vezes 256 especialistas vezes três projeções com largura 2.048 por 512. O roteamento Top-8 toca um trinta e dois avos disso por token, cerca de 1,0B parâmetros, e o “3B ativo” do rótulo é consistente quando atenção, o especialista compartilhado e a tabela de embeddings são contabilizados.

Então, a conta de computação é pequena e a de memória não é:

• BF16 — 67,39 GiB em dezessete shards. A própria validação da Tencent usou paralelismo de tensores em duas H20s. Não há número publicado de paralelismo de tensores para configurações maiores; o guia de serving diz apenas "planeje a memória para os pesos completos dos especialistas e defina --tensor-parallel-size conforme necessário."

• NVFP4 W4A16 — 24,11 GiB, o que cabe em uma única placa de 48 GB com espaço para cache. A receita é um ambiente separado do vLLM 0.31.0 com patch, usando precisão mista ModelOpt e Marlin, e é executada com --max-num-seqs 1.

• AWQ W4A16 — 22,69 GiB no vLLM 0.18.0 com patch, usando a própria configuração compressed-tensors do checkpoint.

• GGUF Q4_K_M — um pacote de três arquivos de 24,6 GiB, mas para o runtime nativo próprio da Tencent, não para llama.cpp ou Ollama. Seu manifesto o anuncia como exportado e não validado.

Nada aqui é executado em um motor sem patch. O repositório inclui um diretório de patch: sobreposições de código-fonte com manifestos SHA-256 para exatamente quatro versões upstream — vLLM 0.18.0 e 0.31.0, SGLang 0.5.16 e 0.5.19 — cada uma fixada em uma combinação específica de PyTorch, Transformers e CUDA 12.9, com Python 3.12 e FFmpeg exigidos, TorchCodec precisando de CUDA 12 NPP no caminho do linker, e SGLang compilando kernels CUDA no primeiro uso. Uma busca no rastreador de issues do vLLM não revela nenhuma solicitação upstream para essa arquitetura. Este é um trabalho de auto-hospedagem com uma sobreposição aplicada ao motor de inferência de outra pessoa.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-35BA3B showing an Image-Text-to-Text pipeline tag with Transformers and Safetensors, English and Chinese language tags, the wemm_qwen3_5_moe architecture tag, an apache-2.0 licence, and a 36B-parameter BF16 model size.

Dois detalhes de configuração limitam o que você pode realmente fornecer a ele. A configuração de texto declara 262.144 posições, mas o próprio comando vLLM do card passa --max-model-len 8192, e toda receita do SGLang também limita o contexto a 8.192 — o número longo é margem de folga, não uma configuração suportada. A amostragem de frames é a mesma história: o processador usa 2 fps por padrão e até 128 frames, enquanto a receita publicada sobrescreve para 16 frames e um orçamento de 262.144 pixels. Com 10 tokens de áudio por segundo, um contexto de 8.192 tokens é pouco mais de treze minutos de áudio e nada mais.

O OrcaRouter não disponibiliza o WeMM-Video-35B-A3B, e o catálogo não lista nenhum checkpoint WeMM, portanto não há preço de hospedagem a informar. O que disponibilizamos é o modelo no qual este foi baseado: o Qwen3.6-35B-A3B está na plataforma a US$ 0,25 por milhão de tokens de entrada e US$ 1,48 por milhão de saída em um contexto de 262.144 tokens, com entrada de texto, imagem e vídeo. Se a metade deste trabalho de que você precisa é "assistir ao clipe e raciocinar sobre ele" em vez de "assistir ao clipe e transcrever a sala", isso é um substituto hospedado disponível hoje à tarde em vez de um download de 67 GiB e um patch no nível do código-fonte. O preço de tabela do provedor é repassado com 0% de markup, e todo modelo fica atrás de uma única chave compatível com OpenAI com failover automático, então tentar uma segunda opinião custa uma alteração de configuração em vez de um segundo contrato.

O que ninguém fora do WeChat verificou

Quatro coisas que um comprador normalmente obteria de um lançamento e que não pode obter aqui.

• Avaliação independente. Nenhuma. O pipeline de avaliação e reprodução é público, o que é a segunda melhor coisa e não é a mesma coisa.

• Condições de avaliação. As contagens de quadros, os limites de pixels e os comprimentos de contexto usados nas execuções de benchmark não são informados no relatório, e a receita fornecida amostra 16 quadros, enquanto o processador usa 128 por padrão. Uma amostra de 16 quadros de um clipe longo é uma entrada diferente de uma amostra de 128 quadros do mesmo clipe.

• A alegação de implantação. O relatório afirma que a família está "implantada em vários serviços de vídeo principais dentro do WeChat", citando comércio por live-stream, análise de dramas de formato curto e vídeo interativo. Isso é uma alegação séria se for verdadeira — o tráfego de produção é a única avaliação com a qual ninguém pode argumentar — e é completamente impossível de verificar externamente. Nenhum número de latência, throughput, concorrência ou memória é publicado em qualquer lugar no comunicado.

• Os artefactos quantizados. Três das quatro variantes publicadas descrevem-se, nos seus próprios manifestos, como não validadas. AWQ, GGUF e NVFP4 são oferecidas, não atestadas.

Nada disso é razão para descartar o lançamento. É uma razão para lê-lo como aquilo que ele visivelmente é: um lançamento de pesquisa bem documentado cujos pesos principais têm apenas algumas horas, cujo artigo chegou primeiro, cujo repositório FP8 ainda não foi criado e cuja vantagem nos benchmarks sobre o melhor concorrente omni aberto é grande o suficiente para valer a pena reproduzir em vez de duvidar.

O que resolveria isso é a mesma lista de sempre. Um merge upstream no vLLM encerraria a aplicação de patches. Uma primeira reprodução independente no Video-MME v2 com áudio confirmaria ou furaria a diferença de dezoito pontos. Um preço hospedado, ou o repositório FP8 ausente, diria se a T​encent pretende que isto seja usado ou apenas citado. Até que um desses pontos se concretize, o resumo honesto é que o WeMM-Video-35B-A3B é o checkpoint omni-modal aberto mais interessante do mês, que suas pontuações de visão parecem sobreviver à adição da audição, e que todos os seus números atualmente vêm das pessoas que o treinaram.

Comparados neste artigo1

Detectado a partir deste artigo · Benchmarks: Artificial Analysis · atualizado diariamente