
WeMM-Video-35B-A3B : les poids sont disponibles, les scores sont ceux de Tencent
- OrcaNOUVEAUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 par million de tokens · 182 tok/s
- tencentNOUVEAUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 par million de tokens · 356 tok/s
- GoogleNOUVEAUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 par million de tokens · 87 tok/s
- AnthropicNOUVEAUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 par million de tokens · 147 tok/s
- orcaNOUVEAUOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 par million de tokens · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 par million de tokens · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 par million de tokens · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 par million de tokens · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 par million de tokens · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 par million de tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligence
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 par million de tokens · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligence
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 par million de tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligence
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 par million de tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligence
Pendant trois jours, le dépôt Hugging Face tencent/WeMM-Video-35BA3B n'a contenu qu'un seul fichier de 1,5 Ko : .gitattributes. Le rapport technique décrivant WeMM-Video-35B-A3B est paru sur arXiv le 19 novembre, qualifiant le checkpoint de nouvel état de l'art open source pour la compréhension audio-visuelle conjointe, devant Qwen3.5-Omni-Flash et Seed2.0-Mini-0428 et talonnant Gemini-3.0-Flash. Un lecteur qui avait cru le rapport et cliqué pour accéder aux poids n'a rien trouvé à télécharger. Les 67,39 GiB de tenseurs BF16 ne sont arrivés qu'à 03:57 UTC le 20 novembre — ce matin. Le modèle phare a été annoncé un jour avant d'exister, et tous les chiffres qui y sont associés jusqu'ici proviennent de l'équipe qui l'a entraîné.
Ce calendrier n’est pas un scandale, c’est une publication de recherche normale dont les étapes sont dans le désordre. Mais cela signifie que la question utile à propos de WeMM-Video-35B-A3B n’est pas « est-ce bon ? » — le rapport y répond à l’avantage de l’équipe elle-même, sur sept tableaux — mais « que pouvez-vous vérifier vous-même aujourd’hui, et que prenez-vous pour argent comptant ? ». Le dépôt répond à la première partie mieux que la plupart des publications.
Les poids sont arrivés ce matin, pas le 17.
Les horodatages Hugging Face rendent la séquence inhabituellement lisible. Les dix-neuf dépôts WeMM-Video de la collection Tencent ont été créés dans une fenêtre de six minutes le 17 novembre, entre 08:53:50 et 08:59:06 UTC — la signature d’un script de téléversement plutôt que d’une personne cliquant sur « publier ». Pour le dépôt 35B-A3B, le commit intitulé initial commit à 08:53:50 ne contient qu’un seul fichier, et ce n’est pas un poids. Le commit intitulé Upload WeMM-Video-35BA3B BF16 release, comportant dix-sept fragments safetensors, est daté du 2026-11-20T03:57:36Z.
Les tailles plus petites ont été complétées le même matin : 2B à 01:41, 4B à 04:08, 9B à 05:08. Le dépôt GitHub Tencent/WeMM-Video a été créé le 17 novembre à 02:29 UTC et son README était encore en cours de révision à 05:09 le 20 novembre. Le rapport arXiv, 2611.26409, a été soumis le 19 novembre à 16:58 UTC.
Rien de tout cela n’est inhabituel pour un laboratoire qui publie une famille. Ce que cela change, c’est la position de quiconque lit des informations sur le modèle cette semaine : le rapport décrit un checkpoint qui a été, pendant environ trente-six heures, une promesse. Si vous avez lu les articles du 19 novembre et avez essayé de l’exécuter, l’échec ne venait pas de votre chaîne d’outils.

Que contient un checkpoint de 36,18 B ?
Les métadonnées de Hugging Face indiquent que le checkpoint compte 36 177 564 536 paramètres — soit 36,18 Md, contre une étiquette « 35B-A3B ». L’étiquette n’est pas fausse : elle compte simplement autre chose que la taille du fichier, et l’écart entre les deux est l’aspect le plus important en pratique de ce modèle.
• Tour de langage — 40 couches à une largeur cachée de 2 048, 16 têtes de requête contre 2 têtes clé-valeur, dimension de tête 256, vocabulaire 248 320. L’attention est hybride : une couche sur quatre est une attention complète et les trois autres sont une attention linéaire, c’est pourquoi chaque commande de service du dépôt porte un indicateur de cache SSM en float32.
• Experts — 256 experts routés par couche à une largeur intermédiaire de 512, routage top-8, plus un expert partagé de largeur 512. Sur 40 couches, cela représente 10 240 experts routés.
• Tour de vision — 27 blocs avec une largeur cachée de 1,152, une taille de patch de 16, une fusion spatiale de 2, un patch temporel de 2, avec projection vers 2,048.
• Audio — De forme Whisper, 32 couches d'encodeur et 32 couches de décodeur sur une largeur de 1 280, alimentant un Q-Former au niveau des fenêtres qui compresse chaque fenêtre de 0,1 seconde en un seul jeton. Soit 10 jetons audio par seconde, à partir d'une entrée à 16 kHz découpée en blocs de 30 secondes.
• Provenance — le rapport indique que le MoE est construit sur Qwen3.6-35B-A3B et que les encodeurs audio sont initialisés à partir de Qwen2.5-Omni. Les trames vidéo comportent des horodatages textuels, et les tokens visuels et audio sont entrelacés dans l’ordre chronologique plutôt que regroupés en flux séparés.
• Entraînement — environ 1,2 billion de tokens multimodaux via un pré-entraînement progressif, puis une distillation on-policy multi-enseignants, une étape de préférence anti-répétition que les auteurs appellent MrDPO, et un apprentissage par renforcement spécialisé.
• Licence — Apache 2.0 pour l’ensemble de la collection, avec une exception pour les composants tiers qui « restent soumis à leurs conditions d’origine respectives ». L’exception est énoncée, mais non détaillée.
Quatre variantes quantifiées sont publiées à côté du checkpoint BF16, et leurs fichiers manifestes valent la peine d’être lus tant leur étiquetage est franc. AWQ W4A16 totalise 22,69 GiB et son manifeste indique quantized_unvalidated. NVFP4 W4A16 est un fichier safetensors unique de 24,11 GiB dont le manifeste ne revendique que cpu_NVFP4_weight_artifact_independently_reread — les poids ont été relus sur CPU, ce qui constitue une somme de contrôle, et non une évaluation. Le lot GGUF Q4_K_M comprend trois fichiers (22,61 GiB pour le langage, 0,84 GiB pour le projecteur visuel, 1,99 GiB pour l’audio) et son manifeste indique exported_unvalidated, avec le fichier de portée par tenseur indiquant quantized_candidate_not_validated.
La cinquième variante est absente. La fiche du modèle et le tableau model-zoo de GitHub renvoient tous deux vers un dépôt FP8 Block128 ; le Hub renvoie 401 pour celui-ci, la même réponse qu’il donne pour un nom de dépôt qui n’a jamais existé, alors que chaque homologue actif renvoie 200. La collection Hugging Face présente un trou à la position 1, exactement là où ce dépôt était censé se trouver. Il s’agit d’une version qui est encore en cours d’assemblage au moment où vous lisez ces lignes.
Un seul chiffre mesuré, et c’est de l’audio
La fiche modèle rapporte exactement une évaluation réalisée par le fournisseur lui-même : MMAR1000 à 72,7 %, soit 727 sur 1 000. Les conditions sont données dans leur intégralité, ce qui est le bon point — audio uniquement, audio complet décodé à 16 kHz, mode Instruct, décodage glouton, au plus 256 jetons de sortie, vLLM 0.18 patché sur deux GPU H20 avec parallélisme tensoriel.
Tout le reste sur cette fiche indique que quelque chose a bien été chargé. vLLM patché a chargé le checkpoint sur H20 et a réalisé les vérifications de génération pour le texte, l'image, l'audio et la vidéo avec une bande-son ; le checkpoint local a réussi un chargement direct via Transformers et une vérification de génération de texte sur CPU. C'est le minimum nécessaire à une décision de déploiement, et Tencent ne prétend pas le contraire.
Il y a un point de friction qui mérite d’être creusé. Le guide de service du même dépôt GitHub contient un tableau de validation dont la dernière ligne indique « La génération sur GPU après le téléchargement d’un checkpoint depuis le Hub est en attente. » La fiche du modèle indique que l’exécution H20, qui charge depuis le Hub, a mené à bien la génération pour les quatre modalités. Deux documents rédigés par la même équipe ne s’accordent pas sur l’ampleur de ce qui a été démontré. L’affirmation de la fiche est plus précise et probablement plus récente ; ce désaccord justifie raisonnablement de prévoir une journée pour vos propres smoke tests plutôt qu’une semaine d’intégration.
Le tableau audio du rapport indique également 73,6 sur MMAR pour ce checkpoint, qui est un harnais différent de l’exécution MMAR1000 de la fiche et ne doit pas être soustrait de 72,7 pour produire un nombre « réel ». La seule lecture honnête est que le chiffre audio de Tencent lui-même se situe dans les années soixante-dix basses et qu’aucun tiers ne l’a mesuré.
28 sur 30 face à Qwen's omni flash
Le tableau 1 du rapport présente le cas du produit phare, et c’est un cas important. Sur les 30 benchmarks à valeur unique de ce tableau — tâches audio-visuelles conjointes, hallucination audio-visuelle, compréhension musicale, interaction, légendage — WeMM-Video-35B-A3B en mode Thinking devance Qwen3.5-Omni-Flash sur 28 et est en retrait sur 2. Face à Seed2.0-Mini-0428, il devance sur 26 et est en retrait sur 4. Face à Gemini-3.0-Flash, il devance sur 9 et est en retrait sur 21.
Les victoires qui comptent le plus ne sont pas les plus nettes :
• Video-MME avec audio — 86,4 pour WeMM-Video-35B-A3B, 79,3 pour Qwen3.5-Omni-Flash, 83,6 pour Seed2.0-Mini-0428, 88,6 pour Gemini-3.0-Flash.
• Video-MME v2 avec audio — 54,9 contre 36,6 et 51,7, avec Gemini-3.0-Flash à 63,2. Une avance de dix-huit points sur le concurrent ouvert le plus proche sur la partition la plus difficile du même benchmark.
• AV-SpeakerBench — 72,6 contre 65,2 et 68,5, toujours derrière Gemini à 75,9. Distinguer qui a pris la parole, à partir de la vidéo, est la tâche qui sépare une véritable fusion audio-visuelle d’un modèle de vision auquel on a greffé une transcription.
• SciVideoBench et EvaOmni — 69,4 contre 51,3, et 57,8 contre 30,4. Les deux font fortement appel au raisonnement ; ce sont justement les cas où un modèle omni plus faible tend à s'effondrer.
Les pertes sont tout aussi précises et méritent d’être nommées, car un tableau qui ne montre que les victoires est exactement ce que ce blog vise à éviter :
• JointAVBench — 65,9, derrière Qwen3.5-Omni-Flash à 69,0 et Gemini-3.0-Flash à 68,4, devant seulement Seed2.0-Mini-0428 à 64,7.
• MUSIC-AVQA — 79,5 contre 82,1 pour Qwen, mais devant les 76,2 de Gemini. C’est en musique que la pile audio de Qwen garde encore l’avantage.
• Face à Seed2.0-Mini-0428 — OmniCompass-AV 46,3 contre 47,9, OmniVChat 48,9 contre 49,8, O-IN-Bench 49,0 contre 49,4, le testset de video-SALMONN 2 28,3 contre 32,7. Trois de ces quatre résultats se situent à moins d'un point d'écart.
• Face à Gemini-3.0-Flash — l'écart est le plus large sur les vidéos longues et orientées vers l'avenir : MMOU 74,5 contre 84,7, FutureOmni 56,2 contre 65,3, OmniVideoBench 55,3 contre 63,3, LVOmniBench 52,6 contre 59,8. « Réduit l'écart » est une description juste ; « le comble » ne le serait pas.
Tous les chiffres ci-dessus sont ceux de Tencent. Le rapport le dit lui-même — « Pour les modèles existants, nous rapportons les résultats officiels lorsqu’ils sont disponibles et nos propres évaluations sinon » — et passe du mode Instruct au mode Thinking selon le tableau, ce qu’il précise également. Aucun tiers ne l’a reproduit, et ni Artificial Analysis ni LMArena ne répertorient un modèle WeMM.

L'ajout d'oreilles n'a que très peu entamé les scores de vision.
L’affirmation, dans cette annonce, qui mérite plus d’attention que le benchmark principal est plus discrète : le fait de greffer une pile audio sur un modèle vision-langage ne lui a pas coûté beaucoup en vision. L’entraînement omni-modal a généralement un coût — le modèle répartit sa capacité entre les modalités et cède du terrain sur la vidéo silencieuse.
Le rapport le teste directement en comparant WeMM-Video-35B-A3B à son propre backbone, Qwen3.6-35B-A3B, sur 31 benchmarks de vidéos silencieuses. Le modèle phare est en tête sur 20 et en retard sur 11, et la plupart des onze se situent à moins d’un point.
• Où il a gagné — TimeLens-Charades 54,8 contre 47,4, F-16-NBA 89,9 contre 82,8, CrossVid 50,2 contre 45,2, OVO-Bench 63,9 contre 61,0, TemporalBench 45,9 contre 43,3.
• Là où il a perdu — EgoSchema 74,2 contre 77,2, Video-MME 80,4 contre 82,5, MVBench 73,1 contre 74,6, MLVU 85,3 contre 86,2. Le reste, ce sont des fractions de point.
Lisez la tendance plutôt que le décompte : les gains se concentrent sur l'ancrage temporel et l'association de longues vidéos, les pertes sur la vidéo égocentrique à la première personne. C'est un compromis plausible pour un modèle ajusté sur de la vidéo avec son. Face à Qwen3.5-Omni-Flash sur le même tableau de vidéos silencieuses, il devance sur 30 des 31, ne perdant que sur VideoVista, 83,5 contre 84,1.
Les tableaux d’images et de texte présentent la même forme. Face à Qwen3.5-Omni-Flash, 26 des 28 benchmarks d’images reviennent à WeMM, RefCOCO (89,5 contre 92,6) et TallyQA (80,7 contre 81,2) faisant exception. Face à son propre backbone, le tableau d’images est presque à égalité — 13 en avance, 14 en retard — et c’est dans le tableau de texte que le coût apparaît : MMLU-Pro 84,7 contre 85,2, GPQA 83,8 contre 86,0, IMOAnswerBench 74,8 contre 78,9, SuperGPQA 63,4 contre 64,7. Renoncer à quelques points de raisonnement exigeant en échange d’une paire d’oreilles fonctionnelle est un compromis normal et défendable, mais c’est bien un compromis, et quiconque fait transiter du texte de niveau master ou doctorat par ce checkpoint doit savoir qu’il existe.
36B de mémoire, 3B d’arithmétique
Voici l’arithmétique qui détermine si ce modèle est déployable pour vous, et elle provient de la configuration plutôt que de la prose. Sur les 36,18 B de paramètres, environ 32,2 B se trouvent dans les experts routés : 40 couches fois 256 experts fois trois projections de largeur 2 048 × 512. Le routage Top-8 touche un trente-deuxième de cela par token, soit environ 1,0 B de paramètres, et la mention « 3B actifs » de l’étiquette est cohérente une fois que l’on compte l’attention, l’expert partagé et la table d’embedding.
Ainsi, la facture de calcul est modeste, mais celle de mémoire ne l'est pas :
• BF16 — 67,39 Gio répartis sur dix-sept fragments. La validation interne de Tencent a utilisé le parallélisme tensoriel sur deux H20. Il n'existe aucun chiffre publié de parallélisme tensoriel pour des configurations plus grandes ; le guide de service indique seulement « prévoir la mémoire pour l'ensemble des poids d'experts et définir --tensor-parallel-size selon les besoins. »
• NVFP4 W4A16 — 24,11 GiB, ce qui tient dans une seule carte de 48 Go avec de la place pour le cache. La recette repose sur un environnement vLLM 0.31.0 patché distinct avec la précision mixte ModelOpt et Marlin, et elle s'exécute avec --max-num-seqs 1.
• AWQ W4A16 — 22,69 GiB sur vLLM 0.18.0 patché en utilisant la configuration compressed-tensors propre au checkpoint.
• GGUF Q4_K_M — un lot de trois fichiers de 24,6 GiB, mais destiné à l'environnement d'exécution natif de Tencent, et non à llama.cpp ou Ollama. Son manifeste le présente comme exporté et non validé.
Rien ici ne tourne sur un moteur non corrigé. Le dépôt fournit un répertoire patch : des surcouches de code source avec des manifestes SHA-256 pour exactement quatre versions amont — vLLM 0.18.0 et 0.31.0, SGLang 0.5.16 et 0.5.19 — chacune épinglée à une combinaison précise de PyTorch, Transformers et CUDA 12.9, avec Python 3.12 et FFmpeg requis, TorchCodec nécessitant CUDA 12 NPP sur le chemin de l'éditeur de liens, et SGLang compilant les noyaux CUDA à la première utilisation. Une recherche dans le gestionnaire de tickets vLLM ne révèle aucune demande en amont pour cette architecture. Il s'agit d'une tâche d'auto-hébergement avec une surcouche appliquée au moteur d'inférence de quelqu'un d'autre.

Deux détails de configuration limitent ce que vous pouvez réellement lui fournir. La configuration texte déclare 262 144 positions, mais la commande vLLM propre à la fiche passe --max-model-len 8192, et toutes les recettes SGLang plafonnent elles aussi le contexte à 8 192 — le chiffre élevé constitue une marge, pas un réglage pris en charge. L’échantillonnage des images suit la même logique : le processeur utilise par défaut 2 fps et jusqu’à 128 images, tandis que la recette publiée impose 16 images et un budget de 262 144 pixels. À 10 tokens audio par seconde, un contexte de 8 192 tokens représente un peu plus de treize minutes d’audio, et rien d’autre.
OrcaRouter ne sert pas WeMM-Video-35B-A3B, et le catalogue ne répertorie aucun checkpoint WeMM, donc il n’y a aucun prix hébergé à communiquer. Ce que nous servons, en revanche, c’est le modèle sur lequel celui-ci a été construit : Qwen3.6-35B-A3B est disponible sur la plateforme à 0,25 $ par million de jetons d’entrée et à 1,48 $ par million de jetons de sortie sur un contexte de 262 144 jetons, avec des entrées texte, image et vidéo. Si la moitié de ce travail dont vous avez besoin est « regarder le clip et raisonner dessus » plutôt que « regarder le clip et transcrire ce qui se dit dans la pièce », il s’agit d’un substitut hébergé disponible cet après-midi au lieu d’un téléchargement de 67 GiB et d’un correctif au niveau du code source. Le prix catalogue du fournisseur est répercuté avec 0 % de marge, et chaque modèle se trouve derrière une seule clé compatible OpenAI avec basculement automatique, donc essayer un deuxième avis coûte un changement de configuration plutôt qu’un second contrat.
Ce que personne en dehors de WeChat n'a vérifié
Quatre choses qu’un acheteur obtiendrait normalement lors d’un lancement et qu’il ne peut pas obtenir ici.
• Évaluation indépendante. Aucune. La chaîne d’évaluation et de reproduction est publique, ce qui est la meilleure alternative et n’est pas la même chose.
• Conditions d’évaluation. Les nombres d’images, les budgets de pixels et les longueurs de contexte utilisés pour les exécutions du benchmark ne sont pas indiqués dans le rapport, et la recette fournie échantillonne 16 images alors que le processeur utilise par défaut 128. Un échantillon de 16 images d’un long clip constitue une entrée différente d’un échantillon de 128 images du même clip.
• L'affirmation relative au déploiement. Le rapport indique que la famille est « déployée sur plusieurs services vidéo essentiels au sein de WeChat », citant le commerce en direct, l'analyse de drames courts et la vidéo interactive. C'est une affirmation sérieuse si elle est vraie — le trafic de production est la seule évaluation que personne ne peut contester — et elle est totalement invérifiable de l'extérieur. Aucun chiffre de latence, de débit, de concurrence ou de mémoire n'est publié nulle part dans le communiqué.
• Les artefacts quantifiés. Trois des quatre variantes publiées se décrivent, dans leurs propres manifestes, comme non validées. AWQ, GGUF et NVFP4 sont proposés, sans garantie.
Rien de tout cela ne justifie de rejeter cette publication. C'est au contraire une raison de la lire pour ce qu'elle est visiblement : une publication de recherche bien documentée, dont les poids phares ont à peine quelques heures, dont l'article est arrivé en premier, dont le dépôt FP8 n'a pas encore été créé, et dont l'avance aux benchmarks sur le meilleur concurrent omni open source est suffisamment large pour mériter d'être reproduite plutôt que mise en doute.
Ce qui permettrait de trancher, c’est la même liste que d’habitude. Une fusion en amont dans vLLM mettrait fin aux correctifs. Une première reproduction indépendante sur Video-MME v2 avec audio confirmerait ou invaliderait l’écart de dix-huit points. Un tarif d’hébergement, ou le dépôt FP8 manquant, vous indiquerait si Tencent entend que ce soit utilisé ou simplement cité. D’ici qu’un de ces éléments se concrétise, le résumé honnête est que WeMM-Video-35B-A3B est le checkpoint omni-modal ouvert le plus intéressant du mois, que ses scores de vision semblent survivre à l’ajout de l’audio, et que tous ses chiffres proviennent actuellement des personnes qui l’ont entraîné.
Comparés dans cet article1
Détecté à partir de cet article · Benchmarks : Artificial Analysis · mis à jour quotidiennement
