Carte de titre principale indiquant « WeMM-Video-2B », sous-titrée « publié sans annonce », avec quatre badges indiquant « 2B dense, 3.28B au total », « vidéo + audio + image + texte en entrée », « Apache 2.0, quatre quantifications », « zéro téléchargement sur le Hub ».
Engineering & Research

WeMM-Video-2B : un modèle omni-modal de 2B que personne n'a annoncé

Auteur

Gideon Frost

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Il n'y a pas d'article de lancement. Il n'y a pas de fiche modèle sur une page produit, pas de liste d'attente, pas de grille tarifaire, pas de tweet de benchmark d'un dirigeant de T​encent. Ce qui existe, c'est un dépôt Hugging Face créé à 08:58 UTC le 17 novembre 2026 et un dépôt GitHub dont le premier commit a été effectué six heures et demie plus tôt, et tous deux décrivent WeMM-Video-2B comme le checkpoint dense 2B d'une famille de modèles vidéo omnimodaux chinois-anglais de WeChat Vision chez T​encent. Six jours plus tard, le dépôt compte deux mentions J'aime, zéro téléchargement et quatre variantes quantifiées créées moins de onze minutes après les poids de base. Ainsi, la première phrase honnête de tout article sur ce modèle est une phrase sur son packaging : il est public, il est téléchargeable, et personne n'en a dit un mot.

Cet écart mérite d’être pris au sérieux plutôt que d’être traité comme une journée creuse. Une famille de modèles qui publie des poids, un article, quatre formats de quantification, des recettes pour vLLM et SGLang corrigés, un runtime C++ natif et un fichier Docker Compose dans la même semaine n’est pas un ensemble de travaux de recherche que quelqu’un a oublié d’annoncer — c’est une version qui a été préparée puis publiée sans la couche marketing. Ce qui suit distingue ce que les artefacts prouvent de ce que seul T​encent peut confirmer, et cela ne cherche délibérément pas à déterminer si le modèle est bon.

Ce que le dépôt contient réellement

Le checkpoint de base est tencent/WeMM-Video-2B, sous licence Apache 2.0, avec 6,12 Gio de safetensors BF16 répartis sur deux shards. Le fichier d’index indique un total de 3 283 624 264 paramètres, ce qui révèle une information que le nom ne dit pas : « 2B » désigne le modèle de langage, pas le système. Le backbone texte est un décodeur de la famille Qwen3.5 — 24 couches, taille cachée de 2048, 8 têtes d’attention pour 2 têtes KV, un vocabulaire de 248 320 tokens et un embedding de position maximal de 262 144 tokens — avec une disposition d’attention hybride qui place une couche d’attention complète après chaque groupe de trois couches d’attention linéaire. Devant lui se trouvent un transformer visuel de 24 couches avec une taille cachée de 1024, et une pile audio construite à partir d’un encodeur Whisper à 32 couches alimentant un Q-Former à deux couches avec une taille cachée de 4104. Les paramètres restants résident dans ces deux encodeurs.

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

Cette architecture répond à la question que pose le nom. Ce n'est pas un générateur vidéo. Elle prend de la vidéo en entrée — des images et, éventuellement, la bande-son originale — et produit du texte en sortie. Les identifiants de tokens de la configuration elle-même le confirment : un token vidéo, un token audio, un token image et un modèle de langage qui génère. Si vous êtes arrivé en espérant une autre entrée dans la course au text-to-video, le dépôt vous décevra dès la première lecture du tag de pipeline, qui est image-text-to-text.

• Tailles de la famille — 2B, 4B, 9B denses, et un modèle à mélange d'experts 35B-A3B, tous publiés ensemble le 17 novembre.

Quantisations pour le 2B — FP8 Block128, AWQ W4A16, GGUF Q4_K_M et NVFP4 W4A16, chacune dans son propre dépôt, chacune créée dans les onze minutes suivant les poids de base.

• Chemins de service — Transformers 5.2.0, vLLM corrigé 0.18.0 ou 0.31.0, SGLang corrigé 0.5.16 ou 0.5.19, et un environnement d’exécution natif pour la version GGUF qui s’exécute sur CPU ou CUDA.

• Limites d’entrée dans les recettes fournies — jusqu’à quatre images, deux vidéos et deux éléments audio par requête, avec une longueur de contexte de 8 192 jetons.

• Licence — Apache 2.0 sur les poids, avec un fichier distinct de mentions des tiers couvrant les composants LAVIS, vLLM et SGLang.

Le détail du serving patché est ce qui distingue cette publication d’une livraison de poids ouverts typique. Tencent n’a pas livré un dépôt « fonctionne en théorie » ; il a livré des patchs overlay pour des versions précises de vLLM et SGLang, des fichiers de dépendances verrouillés, des images Docker étiquetées CUDA 12.9, et une note de validation indiquant que le checkpoint s’est chargé et a terminé une génération sur du matériel L20 et H20 pour le texte, l’image, l’audio et la vidéo avec bande-son. Savoir si ces patchs tiennent hors du propre cluster de Tencent est exactement le genre de question à laquelle répond une semaine passée par des inconnus à les exécuter, et cette semaine n’a pas encore eu lieu.

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

Ce que l’article affirme, et qui l’a vérifié

Le rapport technique est arXiv 2611.26409, daté du 19 novembre 2026 — deux jours après l’apparition des poids — et il s’agit d’un article consacré à la famille, pas d’un article sur le 2B. Douze auteurs, Changli Tang en premier auteur, Jing Lyu en dernier auteur, tous sous la bannière WeChat Vision.

L'affirmation principale porte sur le modèle 35B-A3B, et non sur le 2B : il établit un nouvel état de l'art open source en matière d'évaluation vidéo omni-modale, surpassant nettement Qwen3.5-Omni-Flash et Seed2.0-Mini-0428 et réduisant l'écart avec Gemini-3.0-Flash. Une seconde affirmation concerne, elle, le modèle cité dans le titre de cet article : WeMM-Video-9B surpasse le modèle open source plus grand Qwen3-Omni-30B-A3B-Instruct. Le 2B apparaît dans la description de la famille et dans le zoo de modèles, mais l'argumentation de l'article repose sur son plus grand frère.

Tous ces chiffres sont rapportés par le fournisseur. Il n’existe aucune entrée Artificial Analysis, aucun résultat LMArena, aucune reproduction indépendante et — au moment de la rédaction — aucune évaluation tierce, quelle qu’elle soit, pour aucun membre de la famille. L’article indique que les modèles ont été évalués sur plus de 120 benchmarks ; il ne précise pas qui les a exécutés, et la réponse est T​encent. Ce n’est pas une accusation, c’est l’état normal d’une version publiée depuis six jours. Mais cela signifie que la description correcte de la position du 35B-A3B est « T​encent rapporte qu’il est en tête », et non « il est en tête ».

Une mise en garde supplémentaire est de nature structurelle plutôt qu’éditoriale. Une suite de benchmarks de 120 tâches, choisies et pondérées par le laboratoire qui a entraîné le modèle, est une mesure de l’adéquation — elle vous dit que le modèle est bon dans les domaines que ses auteurs ont jugé utile de mesurer. Elle ne vous dit pas qu’il est bon dans ceux dont vous avez besoin. C’est dans l’écart entre ces deux affirmations que se commettent la plupart des erreurs de sélection de modèle, et aucune lecture de tableaux, aussi approfondie soit-elle, ne permet de le combler.

Les quatre modes, et pourquoi le chemin audio compte

L'API d'inférence expose cinq formats de requête, et le plus intéressant est le dernier. Le texte et l'image ne présentent rien de particulier. L'audio seul ne présente rien de particulier. Les images vidéo seules constituent le cas standard de la vidéo multimodale. La vidéo avec sa bande-son d'origine est celle qui change ce que l'on peut demander au modèle, et il s'agit d'un type de contenu distinct dans l'API de service plutôt que d'un comportement implicite.

En pratique, cela signifie que vous pouvez fournir un extrait au modèle et lui demander de décrire ce qui est à l'écran et de résumer ce qui est dit, en un seul appel, et obtenir une réponse qui reflète les deux. Les exemples de la fiche modèle elle-même font exactement cela : transcrire de la parole anglaise à partir d'un enregistrement d'Apollo 11, puis décrire le même MP4 avec et sans sa piste audio. Savoir si le raisonnement conjoint est meilleur que d'exécuter côte à côte un modèle vidéo et un modèle de parole puis de recoller les sorties est une question empirique, et c'est la chose la plus utile qu'un évaluateur indépendant puisse tester.

L'autre décision de conception qui mérite d'être nommée est le gabarit de conversation à deux modes. Passer enable_thinking=False donne une réponse directe ; enable_thinking=True donne une trace de raisonnement avant la réponse. C'est un curseur latence-qualité livré sous forme d'indicateur de gabarit plutôt que de deux checkpoints, ce qui est un choix raisonnable pour un modèle 2B — vous ne payez pas pour un second jeu de poids afin d'obtenir le second comportement.

L’exécuter, et l’état honnête de la disponibilité

Le parcours de démarrage rapide repose sur un environnement Python 3.12, un GPU NVIDIA, un pilote compatible avec CUDA 12.9 et FFmpeg. Installez Torch 2.10.0, TorchVision 0.25.0 et TorchCodec 0.10.0 depuis l’index CUDA 12.9, puis Transformers 5.2.0, Accelerate, Pillow, Librosa, SoundFile, SciPy et Requests. Le modèle se charge via AutoModelForImageTextToText avec trust_remote_code=True — l’architecture est personnalisée, donc cet indicateur est indispensable et non décoratif, et la fiche du modèle vous indique correctement de lire le code personnalisé avant de l’activer.

Si vous voulez un serveur plutôt qu’un script, la recette vLLM épingle une version 0.18.0 patchée et passe --no-enable-prefix-caching avec --mamba-ssm-cache-dtype float32, une combinaison qui indique que les couches hybrides à attention linéaire n’ont pas encore de cache de préfixe fonctionnel. C’est une véritable limitation de débit pour les charges de travail conversationnelles, et c’est le genre de détail qui n’apparaît que lorsque quelqu’un a réellement essayé de servir la chose.

Ce qui manque dans chaque document, c’est un prix. Il n’existe aucun point de terminaison hébergé par Tencent pour WeMM-Video-2B, aucun tarif par token, aucun déploiement géré. Vous téléchargez les poids et vous possédez le GPU. Du côté d’OrcaRouter, le constat honnête est le même : nous ne servons pas WeMM-Video-2B. Ce que nous proposons bien de Tencent, c’est la gamme textuelle Hunyuan — tencent/hy4, tencent/hy4-flash et les versions preview — sur un point de terminaison compatible OpenAI au prix catalogue du fournisseur avec 0 % de marge, ce qui est utile si votre pipeline a besoin d’un modèle textuel du même laboratoire et inutile s’il lui faut celui-ci. Deux produits différents, un seul nom de fournisseur, et les confondre serait l’erreur facile à commettre dans la précipitation.

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

De la curiosité à la recommandation

Trois choses, par ordre de l’impact qu’elles auraient.

La première est une évaluation indépendante sur un benchmark que T​encent n'a pas choisi. Toute exécution en aveugle dans une arène — compréhension vidéo, QA audio-visuelle, ce qui s'en rapproche le plus — vous dirait immédiatement si la position revendiquée par la famille résiste à un ensemble de prompts neutres. Tant que cela n'existe pas, le « nouvel état de l'art open source » du 35B-A3B est une affirmation concernant un tableau dans un PDF.

Le second est un rapport de serving provenant de l'extérieur de Tencent. Les correctifs sont spécifiques, le matériel est spécifique, et la note de validation couvre deux modèles de GPU. On ne sait pas si cela s'exécute proprement sur un nœud H100, un nœud A100 ou une 4090 louée, et la réponse déterminera si le 2B est un projet de week-end ou un artefact de recherche.

Le troisième est une annonce de fournisseur — n’importe quelle annonce de fournisseur. Un article de blog, une fiche de modèle sur une page produit Tencent, un niveau tarifaire. À l’heure actuelle, la publication n’est lisible que pour les personnes qui lisent les horodatages des dépôts, et la fenêtre de sept jours pendant laquelle cela est vrai se referme. Si Tencent ne publie rien, l’interprétation la plus probable est que ces poids existent pour soutenir l’article et le 35B, et que le 2B est un checkpoint de commodité plutôt qu’un produit.

Voilà le fond honnête de l’affaire. WeMM-Video-2B est un véritable modèle omnimodal, téléchargeable et sous Apache-2.0, que personne n’a annoncé, que personne n’a téléchargé et que personne n’a testé de façon indépendante. Si votre travail implique la compréhension conjointe audio-visuelle et que vous disposez d’un GPU de rechange et d’un après-midi, le coût pour découvrir ce qu’il fait se limite au téléchargement. Si votre travail implique de livrer quelque chose le mois prochain, le coût pour le découvrir est plus élevé que cela, et la chose responsable est d’attendre les chiffres de quelqu’un d’autre.

Comparés dans cet article1

Détecté à partir de cet article