Una tarjeta de título encabezada por «WeMM-Video-4B» con el subtítulo "El modelo audiovisual de Tencent, en Hugging Face sin una publicación de lanzamiento", tres tarjetas que dicen «Nombre en la tarjeta 4B / 5,61B parámetros reales», «Repositorios 18 / creados en 19 minutos» y «Precio de alojamiento ninguno / solo autoalojado», y un pie de página que dice «Cifras del repositorio de Hugging Face y arXiv 2611.26409; sin benchmarks independientes».
Engineering & Research

WeMM-Video-4B: el silencioso modelo audiovisual de 5,6B de Tencent

Autor

jinhao.song

Fecha de publicación

Últimos modelos · 20Ver todos los modelos →
Benchmarks: Artificial Analysis · actualizado a diario
Volver a todas las publicaciones

El archivo etiquetado como WeMM-Video-4B pesa 10,45 GiB y, a dos bytes por parámetro BF16, eso da 5,61 mil millones de parámetros —no cuatro. Los propios metadatos safetensors de Tencent dicen lo mismo: 5.611.746.312 parámetros. El «4B» del nombre corresponde al componente lingüístico base, no al checkpoint. Ese pequeño desliz aritmético es la puerta de entrada adecuada a la familia WeMM-Video, porque casi todo lo interesante de este lanzamiento es una brecha entre la etiqueta y la cosa: una familia de cuatro tamaños publicada sin una publicación de lanzamiento, una suite de benchmarks que supera a Qwen3-Omni-30B-A3B-Instruct y MiniCPM-o-4.5-9B en vídeo mientras pierde frente a Qwen3.5-Omni-Flash en audio, y un embedding de posición de 256K que todas las configuraciones distribuidas recortan voluntariamente a 8.192 tokens. Los pesos son reales, el artículo es público y nadie ha descargado nada de esto todavía.

Lo que sigue separa tres cosas que las tarjetas de Hugging Face de la familia mezclan: lo que es medible en el repositorio, lo que solo informan las evaluaciones propias de Tencent y lo que nadie fuera de WeChat Vision ha confirmado.

El archivo llamado 4B contiene 5,61 mil millones de parámetros

Hugging Face registra un recuento total de parámetros por repositorio, y para los cuatro checkpoints base de WeMM-Video, estos superan de manera consistente en aproximadamente 1,2 a 1,6 mil millones el tamaño indicado en el nombre.

• WeMM-Video-2B — 3,28B en total frente a una etiqueta de "2B".

• WeMM-Video-4B — 5,61B en total frente a una etiqueta de "4B".

• WeMM-Video-9B — 10,49B en total frente a una etiqueta de «9B».

• WeMM-Video-35BA3B — 36.18B en total frente a una etiqueta "35B-A3B", donde solo tres mil millones de esos están activos por token.

Leer el índice de safetensors del 4B hace visible el excedente. De sus 1.268 tensores, el modelo de lenguaje porta 4,21B de parámetros, el stack de audio porta 1,07B y la torre de visión porta 0,33B. Aproximadamente el diecinueve por ciento del checkpoint son oídos. El artículo confirma que la convención de nombres es deliberada: los tres modelos densos se construyen sobre Qwen3.5-2B, Qwen3.5-4B y Qwen3.5-9B, y el modelo de mezcla de expertos sobre Qwen3.6-35B-A3B.

Eso importa a cualquiera que esté dimensionando un despliegue. Un modelo "4B" que necesita espacio para 5,61B de parámetros —10,45 GiB en BF16 antes de cualquier caché KV o activación— encaja en una máquina distinta de la que sugiere el número de la ficha.

Dieciocho repos, diecinueve minutos, sin anuncio

La familia no salió a cuentagotas. Las marcas de tiempo de creación de Hugging Face sitúan los dieciocho repositorios —cuatro tamaños por cinco precisiones— en una ventana de 08:53:50 a 08:59:06 UTC del 17 de noviembre de 2026, con unos catorce segundos de diferencia entre uno y otro, lo que es la firma de un script de carga y no de una persona haciendo clic en publicar. El repositorio de GitHub Tencent/WeMM-Video se creó a las 02:29:33 UTC de ese mismo día; su primer commit sustancial llegó el 19 de noviembre y las revisiones del README se prolongaron hasta el 20 de noviembre.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

El artículo llegó el 19 de noviembre: arXiv 2611.26409, «WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding», doce autores, enviado a las 16:58 UTC. Es un informe técnico completo con siete tablas de resultados y un enlace a un pipeline de evaluación y reproducción. Así que no es un lanzamiento no documentado: es uno documentado que nadie anunció. No pudimos encontrar ninguna entrada de blog de Tencent, página de lanzamiento de WeChat Vision, comunicado de prensa ni plan de pago que apunte a la familia; las fichas de modelo, el README de GitHub y el artículo de arXiv son todo el registro público, y estaban escritos unos para otros.

Las cifras de recepción cuentan la misma historia. En el momento de escribir esto, cada uno de los cuatro checkpoints base mostraba cero descargas, y los dieciocho repositorios entre todos habían reunido tres «me gusta». Ni Artificial Analysis ni LMArena incluyen un modelo WeMM. Nada de eso es evidencia sobre la calidad: es evidencia sobre la distribución, y es la razón por la que un checkpoint de 4B que supera a uno de 30B en varios benchmarks de vídeo no tiene ninguna cifra independiente asociada.

¿Qué hay dentro del checkpoint?

Dejando de lado el encuadre de la familia, el 4B es un stack omni estándar de tres torres con una elección de backbone poco habitual.

• Torre de lenguaje — 32 capas, tamaño oculto 2,560, 16 cabezas de atención frente a 4 cabezas clave-valor, dimensión de cabeza 256, vocabulario 248,320. La columna vertebral es híbrida: una capa de atención completa cada cuatro bloques, y las otras tres usan atención lineal, por lo que cada receta de servicio del repositorio incluye una marca de caché SSM de tipo float32.

• Torre de visión — 24 bloques con tamaño oculto de 1.024, tamaño de parche 16, fusión espacial 2, parche temporal 2, proyectando a 2.560. Es el codificador nativo del backbone, que se conserva en lugar de sustituirse, y el artículo lo congela a partir de la segunda etapa de preentrenamiento porque «ya proporciona representaciones visuales suficientemente sólidas».

• Torre de audio — De estilo Whisper, con 32 capas de codificador y 32 de decodificador y una anchura de 1280, con un Q-Former a nivel de ventana que comprime ventanas de 0,1 segundos en 10 tokens de audio por segundo. El audio llega a 16 kHz en fragmentos de 30 segundos. Esta es la parte inicializada a partir de Qwen2.5-Omni y, con 1,07B de parámetros, es la mayor diferencia entre el nombre y el archivo.

• Fusion — los tokens visuales y de audio se intercalan en orden cronológico con marcas de tiempo textuales explícitas, en lugar de agruparse en flujos separados.

• Modos — un modo Instruct para respuestas directas y un modo Thinking que emite una traza de razonamiento antes de la respuesta, que se alternan a nivel de la plantilla de chat con enable_thinking.

• Licencia — Apache 2.0 en toda la colección, con el archivo de licencia de Tencent que excluye componentes de terceros que «siguen sujetos a sus respectivos términos originales». Dicha exclusión no se detalla pormenorizadamente en la ficha del modelo.

256K en la configuración, 8K en el comando de servicio

La configuración de texto declara max_position_embeddings de 262,144. Todos los comandos de servicio que publica T​encent —tanto los dos perfiles de vLLM como los dos perfiles de SGLang— pasan max-model-len 8192 o context-length 8192. La cifra de 256K es margen arquitectónico, no una configuración admitida, y nada en el repositorio explica cómo alcanzarla.

El presupuesto de fotogramas tiene la misma forma. Los valores predeterminados del propio procesador son generosos: 2 fotogramas por segundo, hasta 128 fotogramas, 25.165.824 píxeles en total. La receta de vLLM sobrescribe los tres a la baja: fps 2, max_frames 16, total_pixels 262144. Dieciséis fotogramas es lo que se obtiene al copiar el comando. Un clip muestreado a 16 fotogramas es una entrada distinta de un clip muestreado a 128, y el artículo no indica qué muestreo usaron sus evaluaciones de vídeo.

• Límites de medios por solicitud, tal como se entregan — cuatro imágenes, dos videos, dos elementos de audio.

• Contexto, tal como se distribuye — 8.192 tokens, y el audio consume 10 tokens por segundo antes de que se cuente ningún fotograma de vídeo.

Para un modelo 4B, esos dos números son la restricción decisiva para el trabajo real. Ocho mil tokens equivalen a unos trece minutos de audio y nada más; un vídeo con banda sonora consume el presupuesto en ambos flujos a la vez. Los benchmarks de vídeo largo que aparecen a continuación se ejecutaron en condiciones que el repositorio no describe.

Los benchmarks son de los propios autores.

Cada número de este artículo procede del informe técnico de WeMM-Video. El informe lo dice claramente —"Para los modelos existentes, informamos de los resultados oficiales cuando están disponibles y de nuestras propias evaluaciones en caso contrario"— y ningún tercero ha reproducido nada de ello. Además, el modo cambia entre tablas, lo que importa más de lo que suele ser habitual porque el modo Thinking no es gratuito: las tablas de vídeo reportan Thinking para el 2B, el 4B y el 9B, la tabla de audio reporta Instruct porque los autores consideraron que los benchmarks de audio estándar eran tareas "perceptivas directas", y las tablas de imagen y texto vuelven a Thinking. Comparar una fila de 4B de la tabla de audio con una fila rival de la tabla de vídeo no es una comparación.

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

Con esa salvedad, la tabla de vídeo omnimodal es donde el 4B justifica su tamaño de archivo.

Donde el 4B supera al 30B

La tabla 2 del artículo compara WeMM-Video-4B con Qwen3-Omni-30B-A3B-Instruct y MiniCPM-o-4.5-9B en benchmarks audiovisuales conjuntos, todos en modo Thinking. El 4B gana en la mayoría de ellos, frente a un modelo siete veces más grande.

• Video-MME con audio — WeMM-Video-4B 83.9, Qwen3-Omni-30B-A3B-Instruct 77.3, MiniCPM-o-4.5-9B 69.2.

• Video-MME v2 con audio — 48,1 frente a 36,3 y 28,1, el margen más amplio de la tabla.

• Daily-Omni — 82,5 frente a 70,7 y 80,2.

• WorldSense — 60.3 frente a 54.0 y 55.7.

• OmniVideoBench — 49,7 frente a 45,4 y 37,2.

La tabla de vídeo sin sonido es aún más contundente, y es la que debería decidir una compra. Al eliminar la banda sonora y evaluar únicamente la visión: Video-MME 75,7 frente a 70,5 y 70,4; LVBench 65,3 frente a 50,2 y 50,9; LongVideoBench 74,8 frente a 63,5 y 66,0; EgoSchema 74,2 frente a 66,4 y 60,4. Una ventaja de 15 puntos en LVBench con 4B no es un artefacto de redondeo; la comprensión de vídeos largos es justo donde los modelos omni pequeños han fallado históricamente.

Las filas de imagen y texto son competitivas más que dominantes. MMMU 78,4 frente a los 76,9 de Qwen3.5-Omni-Flash; MathVista 85,2 frente a 82,9; DocVQA 96,5 frente a 95,3; IFEval 91,3 frente a 85,2. Esas son las filas que un lector tiene más probabilidades de necesitar realmente, y están a la altura.

Dónde pierde, y ante qué

Las pérdidas son concretas y merecen nombrarse, porque una tabla que solo muestra las victorias es justo lo que este blog existe para evitar.

• Audio, frente a un modelo flash propietario — Qwen3.5-Omni-Flash obtiene 80,4 en MMAU y 74,0 en MMAR frente a 75,2 y 67,3 de WeMM-Video-4B. La única victoria en audio del 4B es MMAU-Pro, con 68,1 frente a 64,8.

• Video, en las esquinas — Video-Holmes 58.8 frente a 64.3 de MiniCPM-o-4.5-9B, y FutureOmni 50.9 frente a 55.1 de Qwen3-Omni-30B-A3B-Instruct y 56.1 de MiniCPM. Dos benchmarks en los que un competidor más pequeño o más antiguo gana de forma contundente.

• Imagen y texto — MMMU-Pro 64,7 frente a 68,2, OCRBench 85,7 frente a 89,1, GPQA 73,2 frente a 76,4, MMLU-Pro 78,3 frente a 79,9. Entre uno y seis puntos por detrás de un modelo propietario orientado al servicio, lo que para un checkpoint de 5,61B es un lugar respetable en el que quedarse atrás.

La interpretación es que WeMM-Video-4B se optimizó para vídeo audiovisual conjunto y mantuvo el tipo en todos los demás aspectos. Si tu trabajo consiste en describir lo que ocurre en un clip y resumir lo que se dice en él, las cifras son buenas. Si tu trabajo es OCR denso o razonamiento sobre texto de nivel de posgrado, ese mismo checkpoint es un compromiso.

Ejecutarlo implica parchear tu propio runtime

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

Ni vLLM ni SGLang admiten esta arquitectura en upstream. Una búsqueda en el rastreador de incidencias de vLLM no arroja ninguna solicitud de WeMM-Video, y el repositorio incluye en su lugar un directorio patch: superposiciones de código fuente con manifiestos SHA-256 para cuatro versiones upstream exactas —vLLM 0.18.0 y 0.31.0, SGLang 0.5.16 y 0.5.19—, cada una fijada a una combinación específica de PyTorch, Transformers y CUDA 12.9, con Python 3.12 y FFmpeg como requisitos y con TorchCodec necesitando CUDA 12 NPP en la ruta del enlazador. Además, SGLang compila los kernels de CUDA en el primer uso, por lo que una cadena de herramientas de C++ y Ninja forman parte de la instalación.

La ruta GGUF tampoco es un atajo. Es un paquete de tres archivos —un archivo de lenguaje de 4,90 GiB, un proyector de visión de 0,63 GiB y un archivo de audio de 2,00 GiB— creado para un «entorno de ejecución nativo de WeMM» que se compila desde el repositorio, no para llama.cpp ni Ollama. El propio manifiesto de Tencent etiqueta la exportación como exported_unvalidated, y el archivo de alcance que lo acompaña indica quantized_candidate_not_validated. Es un etiquetado inusualmente sincero y debería leerse al pie de la letra: el paquete Q4_K_M se ofrece, no se garantiza.

Lo que Tencent sí afirma como validado es limitado: la versión parcheada de vLLM cargó el checkpoint en una H20 y completó las comprobaciones de generación para texto, imagen, audio y vídeo con pista de audio, y el checkpoint local superó una carga directa con Transformers además de una comprobación de generación de texto en CPU. Sin cifras de rendimiento, latencia, huella de memoria ni concurrencia. Para un modelo cuyo argumento de venta es el vídeo, «generó» es el mínimo indispensable para tomar una decisión de despliegue.

OrcaRouter no ofrece WeMM-Video-4B. Su catálogo no incluye ningún checkpoint de WeMM en absoluto, así que no hay ningún precio alojado que cotizar ni ningún endpoint al que apuntar; hoy esto es un trabajo de autoalojamiento con un parche aplicado al motor de inferencia de otra persona. Para la mitad del trabajo dedicada exclusivamente a la visión, hay alternativas abiertas en la plataforma —Qwen3-VL-235B-A22B-Thinking y Qwen3-VL-8B-Thinking aceptan tanto imágenes como fotogramas de vídeo—, accesibles mediante una única clave compatible con OpenAI, sin un equivalente de WeMM para la mitad de audio. Si un host compatible empieza a servir estos pesos, el precio de lista del proveedor se traslada con un margen del 0 %, pero eso es una condición, no un hecho actual.

¿Qué sigue sin confirmarse?

Cuatro cosas que un comprador normalmente obtendría de un lanzamiento y que aquí no puede conseguir.

• Precio. No hay ninguno. Ni endpoint alojado, ni tarifa por token, ni lista de socios. El único coste es la GPU que ya tengas.

• Evaluación independiente. Sin entrada en Artificial Analysis, sin envío a la arena, sin reproducción por terceros. El pipeline de evaluación es público, lo cual es lo segundo mejor y no es lo mismo.

• Condiciones de evaluación. El número de fotogramas, los presupuestos de píxeles y las longitudes de contexto utilizados en las ejecuciones de benchmark no se indican en el artículo, y la receta incluida usa 16 fotogramas, mientras que el procesador tiene 128 de forma predeterminada.

• La excepción de licencia de terceros. T​encent afirma que los componentes dentro de la colección permanecen bajo sus términos originales, pero no los enumera. El stack de audio desciende de Qwen2.5-Omni y el backbone de Q​wen3.5, ambos Apache 2.0, lo cual es tranquilizador más que decisivo.

Nada de eso es motivo para descartar el lanzamiento. Es motivo para tratar a la familia como lo que visiblemente es: dieciocho repositorios y un informe técnico puestos en línea en una ventana de diecinueve minutos, con el paso del anuncio omitido. La documentación es mejor que la de la mayoría de los lanzamientos anunciados. La distribución es cero.

Para un equipo que necesita comprensión audiovisual conjunta en hardware que controla, WeMM-Video-4B es el checkpoint pequeño más interesante publicado este mes, y las cifras de vídeo justifican el esfuerzo de parcheo. Para cualquiera que necesite un endpoint para el viernes, la respuesta honesta es que este todavía no lo es: los pesos existen, el runtime es una capa sobre el código fuente y los únicos benchmarks son los de los autores. Esté atento a la primera reproducción independiente, a una fusión upstream en vLLM o a un precio de alojamiento. Lo que llegue primero le dirá más que otra fila de la Tabla 2.

Comparados en este artículo1

Detectado en este artículo