Cartela de título com o texto 'WeMM-Video-4B vs FastFrames Video Generation' e o subtítulo 'A silent seam', dois painéis divididos por um disco 'vs', o da esquerda listando 5,61B, vídeo e áudio na entrada, texto na saída, 1,07B disso corresponde a 'ears', máximo de 16 quadros e Apache 2.0, o da direita listando 1,3B e 14B, texto na entrada, vídeo na saída, 81 quadros a 832 por 480, 36 ms por quadro em um B200 e Apple AMLR, e um rodapé com o texto 'Números do WeMM informados pelo fornecedor; números do FastFrames conforme os autores.'
Engineering & Research

WeMM-Video-4B vs Geração de Vídeo FastFrames: Uma Emenda Silenciosa

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Geração de Vídeo FastFrames chegou em 16 de novembro de 2026 e WeMM-Video-4B em 17 de novembro, ambos como downloads de pesos com um artigo anexado e nenhum com um post de lançamento que mereça o nome. Essa coincidência é o único motivo para lê-los um contra o outro, porque eles não fazem o mesmo trabalho: o FastFrames transforma uma frase em 81 quadros de vídeo sem som, e o WeMM-Video-4B transforma vídeo em uma descrição, incluindo uma descrição do que está sendo dito por cima dele. A pergunta interessante não é qual é melhor. É o que acontece quando você coloca um atrás do outro — e a resposta é que a emenda entre eles é silenciosa, o que desativa discretamente a parte mais cara do checkpoint WeMM.

Tudo o que está abaixo é mensurável nos dois repositórios ou relatado pelos autores dos dois artigos. Nenhum dos modelos foi executado por alguém que não tenha escrito sua seção de avaliação, e nenhum deles tem um preço hospedado, uma linha na arena ou uma reprodução por terceiros. Quando um número vem de uma tabela do fornecedor, isso é indicado como tal.

O que o FastFrames coloca no disco

O FastFrames é um modelo de difusão de vídeo autorregressivo destilado do Wan2.1, publicado pela Apple e pela Cornell como arXiv 2611.23226 em 17 de novembro, com os pesos sendo disponibilizados um dia antes. Ele vem em dois tamanhos — FastFrames-S com 1,3 bilhão de parâmetros e FastFrames-L com 14 bilhões — e a tese é latência em vez de fidelidade. Em uma única B200, o modelo pequeno produz um quadro em 36 milissegundos, o que é mais rápido do que o clipe é reproduzido: uma geração de 5,06 segundos leva cerca de 2,9 segundos. O modelo grande consegue 45 milissegundos por quadro distribuídos entre oito B200s, e cai para 158 milissegundos em uma GPU, o que é mais lento que o tempo real. A Apple também relata uma penalidade de 25 a 50 por cento em H100s em vez de B200s.

O formato de saída é fixo e estreito. 832×480, 16 quadros por segundo, 81 quadros por geração — um pouco mais de cinco segundos — guiado apenas por um prompt de texto. Não há condicionamento por imagem, entrada de quadro-chave, modo de continuação nem controle de câmera na configuração lançada. Também não há áudio: nenhum decodificador de áudio, nenhum latente de áudio, nenhuma trilha sonora. Os autores relatam totais do VBench de 84,23 para o modelo pequeno e 84,44 para o grande em 480p com prompts e seeds correspondentes, o que é uma pontuação respeitável para um modelo cujo principal atrativo é ser rápido, e é o único número de qualidade no lançamento.

Para onde vão 1,07 bilhão de parâmetros

O WeMM-Video-4B é o filho do meio de uma família de quatro tamanhos do grupo WeChat Vision da T​encent — 2B, 4B, 9B densos e uma mistura de especialistas 35B-A3B — todos enviados dentro de uma janela de dezenove minutos em 17 de novembro, com o relatório técnico, arXiv 2611.26409, vindo em seguida, em 19 de novembro. O nome subestima o modelo: os metadados do safetensors registram 5.611.746.312 parâmetros, ou 10,45 GiB em BF16, porque "4B" se refere ao backbone de linguagem Qwen3.5-4B, e não ao checkpoint.

A leitura do índice de tensores explica por quê. Dos 1.268 tensores, o modelo de linguagem carrega 4,21 bilhões de parâmetros, a torre de visão 0,33 bilhão, e a pilha de áudio 1,07 bilhão. Quase um quinto deste checkpoint é um codificador-decodificador no estilo Whisper — 32 camadas de codificador e 32 de decodificador com largura 1.280, com um Q-Former em nível de janela que comprime janelas de 0,1 segundo em 10 tokens de áudio por segundo, alimentado a 16 kHz em blocos de 30 segundos. Essa pilha é inicializada a partir do Qwen2.5-Omni.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing an Image-Text-to-Text pipeline tag, Safetensors and custom-code tags, an Apache 2.0 licence, a BF16 block reading 10.45 GiB of weight files, a size panel reading 6B params and 10.5 GB, and a Quantizations section listing four sibling repositories.

• Geração de vídeo FastFrames — texto entra, quadros saem, sem som em nenhum ponto do pipeline.

• WeMM-Video-4B — quadros e som na entrada, texto na saída, com o som tratado por uma torre dedicada de 1,07B em vez de inferido a partir dos pixels.

• Sobreposição — nenhuma no nível do modelo. Ambos são pacotes de pesos licenciados sob Apache ou Apple, sem nenhum endpoint por trás deles, e ambos pressupõem que você mesmo seja o responsável pelo acelerador.

O único clipe que o FastFrames produz é silencioso.

Siga essa linha de raciocínio e o problema de composição se torna concreto. Se você conectar o WeMM-Video-4B por trás do FastFrames Video Generation — renderizar um plano e depois descrevê-lo para poder indexá-lo, filtrá-lo ou fazer QA nele —, todo clipe que você entrega ao descritor não tem faixa de áudio. A torre de áudio de 1,07 bilhão de parâmetros não tem nada para ouvir. O Q-Former não emite nada, e o estágio de fusão se reduz ao caminho da visão.

Isso não é um defeito em nenhum dos modelos; é um fato sobre o pipeline, e tem uma consequência mensurável, porque o artigo do WeMM relata benchmarks de vídeo sem áudio separadamente. Apenas na visão, o WeMM-Video-4B obtém 75,7 no Video-MME, 65,3 no LVBench, 74,8 no LongVideoBench e 74,2 no EgoSchema. Seus números conjuntos de áudio e vídeo — 83,9 no Video-MME com áudio, 82,5 no Daily-Omni — são os que justificam o tamanho do arquivo, e são exatamente os que um pipeline alimentado pelo FastFrames não consegue alcançar.

Então, a forma honesta de enquadrar essa combinação é que o FastFrames usa cerca de 80% do checkpoint WeMM. Se o seu objetivo é um ciclo de legendagem sobre filmagens geradas, um modelo apenas de visão com metade do tamanho faria o mesmo trabalho; se o seu objetivo é entender filmagens que têm som, o FastFrames não consegue fornecer a entrada. As duas ferramentas se encontram em um ponto em que uma delas fica meio ociosa.

Screenshot of the Tencent/WeMM-Video GitHub repository showing six stars and zero forks, a README describing an omni-modal video understanding family from WeChat Vision, and a file tree containing patch, native, examples, licenses and a THIRD_PARTY_NOTICES file.

Dois números de velocidade, sem unidades em comum

Ambos os lançamentos começam com uma alegação de latência, e as alegações não são comensuráveis, que é a forma mais comum de essa comparação ser deturpada na internet.

Os 36 milissegundos do FastFrames são por frame de saída em uma B200, medidos em relação à reprodução. O WeMM-Video-4B não produz frames; seu custo é o custo de decodificar texto dentro de um orçamento de mídia limitado. Esse orçamento é mais restrito do que os padrões do processador sugerem. A receita do vLLM no repositório define max_frames 16 em comparação com um padrão do processador de 128, fps 2, e um limite total de pixels de 262.144, com comprimento de contexto de 8.192 tokens. O áudio gasta 10 tokens por segundo antes de um único frame ser contado.

A leitura prática: um clipe de 20 segundos e um clipe de 5 segundos chegam ambos ao descritor como dezesseis quadros, e um clipe com trilha sonora gasta seu contexto em dois fluxos ao mesmo tempo. O FastFrames oferece movimento a 16 quadros por segundo de saída; o WeMM-Video-4B vê uma apresentação de slides e infere o movimento. Nenhum dos números diz nada sobre o outro, e uma página que coloca "36 ms" ao lado de "8K context" está comparando um orçamento de renderização a um orçamento de leitura.

Two-column scoreboard headed 'WeMM-Video-4B vs FastFrames Video Generation', the left column listing direction, 5.61B total parameters, a 1.07B audio stack, an 8,192-token and 16-frame budget, Apache 2.0 and no independent benchmark, the right listing text in and video out, 1.3B small and 14B large, no audio, 81 frames at 832 by 480, Apple AMLR and no independent benchmark, with a footer reading 'WeMM figures vendor-reported; FastFrames figures per the authors and not independently reproduced.'

Aqui, as licenças decidem mais do que as pontuações.

Para uma comparação tão escassa em evidências independentes, a linha da licença tem mais peso na decisão do que qualquer benchmark de qualquer um dos dois artigos, e os dois estão em extremos opostos do espectro.

• FastFrames Video Generation — Termos AMLR da Apple sobre os pesos, com os componentes de demonstração do LingBot-World v2 sob CC BY-NC-SA 4.0. O "NC" é a restrição que importa: pesos abertos, não abertos para uso comercial.

• WeMM-Video-4B — Apache 2.0 em toda a coleção, com um arquivo de licença da T​encent declarando que componentes de terceiros "permanecem sujeitos aos seus respectivos termos originais". A ressalva não está discriminada item a item, o que é uma lacuna real e não uma formalidade, dado que a pilha de áudio deriva do Q​wen2.5-Omni e a espinha dorsal do Q​wen3.5, ambos Apache 2.0.

• Ambos — checkpoints completos de todas as etapas de treinamento e um pipeline de avaliação no repositório, o que é incomumente reproduzível para lançamentos desse tipo e é o melhor substituto disponível para a avaliação independente que nenhum dos dois possui.

Conectando um descritor por trás de um renderizador

Se você construir o loop de qualquer maneira, a questão de engenharia é onde o modelo de texto entra, porque há três etapas de texto e apenas uma delas é opcional.

• Expansão de prompt — uma anotação de cena se torna um prompt FastFrames. Necessário, porque um modelo de difusão destilado de 1,3B não tem margem para interpretar uma instrução vaga.

• Descrição — o clipe renderizado vai para o WeMM-Video-4B e retorna como prosa, que é a etapa que torna a filmagem pesquisável.

• Seleção — a prosa decide se o clipe é mantido, que é a etapa que precisa ser barata, porque você paga por ela em cada candidato e não em cada sobrevivente.

Esses dois saltos externos são completações de texto comuns, e são a parte desta stack que o OrcaRouter realmente cobre: uma chave compatível com OpenAI em mais de 200 modelos, preços de tabela dos provedores repassados com 0% de margem, para que uma alteração de preço do fornecedor seja aplicada no mesmo dia, e failover automático para que um limite de taxa no meio de um lote de mil clipes se torne uma nova tentativa em vez de uma lacuna. Nem FastFrames Video Generation nem WeMM-Video-4B estão na plataforma — ambos são downloads de pesos, e nenhuma camada de roteamento transforma um checkpoint em um endpoint. O que o roteador elimina é o trabalho de integração em torno dos dois modelos que você mesmo hospeda.

O que ainda não foi confirmado

• Qualidade independente — nenhuma linha no Artificial Analysis, nenhuma entrada na arena, nenhuma reprodução por terceiros para qualquer dos modelos. VBench 84.44 e Video-MME 83.9 são relatados pelos autores e não foram executados por mais ninguém.

• Condições de avaliação — o artigo do WeMM não informa a contagem de frames, o orçamento de pixels ou o comprimento de contexto usados em seus benchmarks de vídeo, e a receita distribuída usa 16 frames, enquanto o processador tem 128 como padrão. Essa diferença é grande o suficiente para importar nas linhas de vídeo longo.

• Preço — nenhum dos dois tem um. Nenhum endpoint hospedado, nenhuma tarifa por segundo, nenhuma lista de parceiros. O custo é a GPU que você possui, além do overlay patchado do vLLM ou SGLang exigido pelo repositório WeMM, já que nenhum dos dois mecanismos oferece suporte à arquitetura upstream.

• Usabilidade comercial no lado da Apple — A AMLR, juntamente com uma licença de demonstração não comercial, significa que o renderizador, e não o descritor, é a parte deste pipeline que uma revisão jurídica vai barrar.

A pergunta que escolhe uma

{{1}}Pergunte qual é o seu artefato.{{/1}} {{2}}Se for um arquivo, somente o FastFrames pode produzi-lo, e você planeja em torno de 480p, cinco segundos, silêncio e uma licença não comercial.{{/2}} {{3}}Se for uma alegação sobre filmagens que você já tem — o que acontece, quem fala, o que é audível — somente o WeMM-Video-4B pode produzi-la, e você planeja em torno de dezesseis quadros amostrados e oito mil tokens.{{/3}}

Se for ambos, você está construindo um sistema de dois modelos cuja costura é silenciosa, e a versão correta mais barata desse sistema não usa um checkpoint omni de 5,61B para legendar saída silenciosa. Use um modelo de visão para os clipes renderizados e mantenha o WeMM-Video-4B para filmagens de origem que tenham som. Essa é uma arquitetura menos elegante do que um único modelo para tudo, e é a que os números sustentam.

O que nenhum dos dois lançamentos oferece ainda é o que resolveria a questão: uma execução feita por alguém que não escreveu o artigo. Dois laboratórios entregaram um trabalho sério com vídeo na mesma semana, sem anúncio, o que é um fato mais interessante sobre novembro de 2026 do que qualquer célula isolada de benchmark.