
WeMM-Video-9B : pourquoi ses versions 4 bits font-elles encore 13 GiB ?
- OrcaNOUVEAUOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 par million de tokens · 182 tok/s
- tencentNOUVEAUTencent: Hy4 Flash2026-11-16$0.02 / $0.07 par million de tokens · 356 tok/s
- GoogleNOUVEAUGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 par million de tokens · 87 tok/s
- AnthropicNOUVEAUAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 par million de tokens · 147 tok/s
- orcaNOUVEAUOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 par million de tokens · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 par million de tokens · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 par million de tokens · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 par million de tokens · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 par million de tokens · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 par million de tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 par million de tokens · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligence
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 par million de tokens · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligence
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 par million de tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligence
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 par million de tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligence
Une quantification à quatre bits devrait représenter environ un quart du fichier de poids d'origine. WeMM-Video-9B pèse 19,54 GiB en BF16, et sa version AWQ W4A16 pèse 12,86 GiB. C'est une réduction de 34 %, pas de 75 % — et les versions FP8, AWQ, NVFP4 et GGUF tiennent toutes à moins de 0,42 GiB les unes des autres, si bien que choisir entre elles ne vous fait gagner presque aucune mémoire. Les manifestes des exportateurs eux-mêmes expliquent pourquoi : les pipelines 4 bits ne compressent que les matrices denses de type feed-forward — 4,83 milliards de paramètres sur 10,49 milliards — tandis que la tour de vision, la tour audio, l'embedding, la tête de sortie et les poids d'attention conservent tous leur précision d'origine, et 5,7 milliards de paramètres à deux octets chacun fixent un plancher sous lequel aucune recette W4 ne peut descendre. Tencent a publié les poids, les recettes de quantification et un rapport technique de 12 auteurs du 17 au 19 novembre, sans billet de lancement, et la partie que personne n'a encore décrite, c'est l'arithmétique — qui se trouve aussi être celle qui décide si ce modèle tient sur le GPU que vous possédez déjà. Selon les propres tableaux de Tencent, il surpasse Qwen3-Omni-30B-A3B-Instruct sur 35 des 37 chiffres audio-visuels conjoints que les deux partagent ; quant à savoir si ses versions quatre bits sont sûres à déployer, les éléments disponibles sont plus ténus que ne le suggèrent dix-neuf dépôts.
Une pile de 10,49 B portant une étiquette de 9 B
Le dépôt tencent/WeMM-Video-9B a été créé à 08:55:54 UTC le 17 novembre 2026, quatorze secondes après son homologue AWQ et onze minutes après le porte-étendard 35B-A3B. Dix-neuf dépôts WeMM-Video existent sous l’organisation Tencent, tous créés dans un intervalle de cinq minutes ce matin-là, ce qui est la signature d’un script de téléversement plutôt que d’une personne publiant un modèle à la fois. Le projet GitHub Tencent/WeMM-Video a été créé six heures plus tôt, à 02:29 UTC, son commit initial substantiel est arrivé le 19 novembre, et des révisions du README arrivaient encore le 20 novembre. L’article, arXiv 2611.26409, a été soumis à 16:58 UTC le 19 novembre.

Rien de tout cela n’a été annoncé. Nous n’avons trouvé aucun billet de blog Tencent, aucune page de lancement WeChat Vision, aucun communiqué de presse ni aucun palier payant renvoyant à la famille. Au moment de la rédaction, les dix-neuf dépôts affichaient tous zéro téléchargement et, à eux tous, trois likes. Artificial Analysis ne répertorie aucun modèle WeMM. Aucun de ces deux faits ne dit quoi que ce soit de la qualité — ils disent que l’étape de distribution a été sautée.
Le « 9B » dans le nom désigne le socle linguistique, et non le point de contrôle. Hugging Face enregistre 10 488 603 384 paramètres répartis sur 1 305 tenseurs, et la lecture des cinq fragments safetensors par leur nom les classe en quatre piles :
• Modèle de langage — 7,94 milliards de paramètres, dont un plongement de jetons de 1,02 milliard.
• Tête de sortie — 1,02 Md de paramètres. Les embeddings ne sont pas liés, il s'agit donc d'une seconde copie complète du vocabulaire de 248 320 jetons à 4 096 dimensions cachées.
• Tour audio — 1,08 milliard de paramètres. Un encodeur et un décodeur de style Whisper, 32 couches chacun d'une largeur de 1 280, alimentant un Q-Former à deux couches qui compresse des fenêtres de 0,1 seconde en 10 jetons audio par seconde.
• Tour de vision — 0,46 Md de paramètres. 27 blocs avec une taille cachée de 1 152, une taille de patch de 16, une fusion spatiale de 2, un patch temporel de 2.
Ainsi, environ un cinquième du fichier est consacré aux oreilles et aux yeux. L'article est explicite quant à la provenance : les modèles denses 2B, 4B et 9B sont construits sur Qwen3.5-2B, Qwen3.5-4B et Qwen3.5-9B, le modèle à mélange d'experts sur Qwen3.6-35B-A3B, les encodeurs audio sont initialisés à partir de Qwen2.5-Omni, et les encodeurs visuels natifs sont conservés plutôt que remplacés, puis gelés à partir de la deuxième étape de pré-entraînement, car ils « fournissent déjà des représentations visuelles suffisamment fortes ».
Le backbone lui-même est hybride : 32 couches, taille cachée de 4 096, 16 têtes d’attention face à 4 têtes clé-valeur avec une dimension de tête de 256, avec une couche d’attention complète après toutes les trois couches d’attention linéaire et un cache SSM en float32 — ce qui explique pourquoi chaque commande de serving du dépôt porte un mamba-ssm-cache-dtype float32 flag. Les embeddings de position sont déclarés à 262 144 tokens ; les sections RoPE multimodales entrelacées sont 11/11/10. La licence est Apache 2.0 avec une exception pour des tiers qui n’est pas détaillée sur la fiche du modèle.
Quatre builds, quatre tailles presque identiques
Voici toute l’échelle de quantification, mesurée à partir de la liste de fichiers propre à chaque dépôt plutôt que d’un chiffre arrondi sur une fiche :
• BF16 base — 19,54 GiB répartis sur cinq fragments.
• FP8 Block128 — 13,10 GiB, un seul fichier. Nécessite un GPU compatible FP8 et vLLM 0.18.0 corrigé.
• AWQ W4A16 — 12,86 GiB, INT4 group-128 au format compressed-tensors. vLLM 0.18.0 corrigé.
• NVFP4 W4A16 — 13,07 GiB, précision mixte ModelOpt 0.45.0 avec taille de groupe 16. vLLM 0.31.0 patché avec Marlin, configuration de référence SM120.
• GGUF Q4_K_M — 13,28 GiB sous la forme d’un ensemble de trois fichiers : 10,41 GiB pour le langage, 2,01 GiB pour l’audio, 0,86 GiB pour le projecteur visuel.

L'écart entre ces quatre builds compressés est de 0,42 GiB, soit moins que la marge que vous laisseriez pour une mise à jour de pilote. Si vous hésitez entre eux pour tenir sur une carte, vous choisissez la mauvaise variable : choisissez selon le GPU que vous possédez et le runtime que vous pouvez patcher, car la différence de mémoire n'est pas là.
L’attente naïve — un quart de 19,54 GiB, soit environ 4,9 GiB — se trompe d’un facteur deux et demi. Même la marge par rapport à BF16 est modeste : 6,68 GiB économisés par AWQ, soit 34 % réels, mais rien de comparable au « quatre fois plus petit » qu’implique une étiquette W4.
Ce que les exportateurs protègent, et pourquoi
Les manifestes AWQ et GGUF indiquent tous deux exactement quels tenseurs ils étaient autorisés à modifier, et la réponse explique le plateau de taille.
• Seules les matrices denses de type feed-forward sont quantifiées. Le manifeste AWQ recense 96 matrices linguistiques quantifiées — trois par couche sur 32 couches, chacune de 4 096 par 12 288. Cela représente 4,83 Md de paramètres sur 10,49 Md, soit 46 % du checkpoint. Tout le reste conserve sa précision.
• Le chemin d'attention est restauré en BF16. Le manifeste AWQ contient un bloc attention_restoration listant 152 matrices de projection d'attention et 32 normes d'entrée recopiées depuis le checkpoint source avec leurs hachages SHA-256. Le fichier de portée GGUF rapporte le même décompte — protected_attention_BF16: 152 — et ajoute que les tenseurs d'embedding et de sortie sont les deux seuls autres éléments protégés.
• Le frontend et les deux tours média n'entrent jamais dans le quantificateur. 881 tenseurs sont répertoriés comme tenseurs protégés de frontend, d'embedding et de tête dans le manifeste AWQ — 333 de la tour visuelle, 545 de la tour audio, l'embedding de jetons, la tête de sortie non liée et la normalisation finale. En BF16, cela représente environ 3,57 milliards de paramètres, soit 7,1 Go sur les 21,0 Go du fichier, entièrement en dehors de l'étape de compression.
La conséquence, c’est le chiffre dont un plan de déploiement a réellement besoin : prévoyez 13–13,5 Gio de VRAM pour les poids, quelle que soit la version choisie, puis ajoutez le cache KV et le cache SSM en float32 par-dessus. Un « 9B en 4 bits » qui nécessite 13 Gio de poids n’est pas un problème du modèle — le vocabulaire à lui seul compte 248 320 tokens intégrés deux fois, et la tour audio est un Whisper de 1,08 milliard de paramètres logé au milieu — mais c’est la différence entre tenir sur une carte de 16 Go avec de la marge pour travailler et ne pas tenir du tout.
Validé pour le chargement, non validé pour être égal
Chaque fiche de quantification de cette famille rapporte un test de fumée, et chaque manifeste rapporte quelque chose de plus brutal. Lisez les deux côte à côte, car l’écart entre eux constitue tout le risque d’utiliser une version compressée.
• FP8 Block128 — carte : vLLM patché l'a chargé sur un H20 et a terminé les contrôles de génération de texte, d'image, d'audio et de vidéo avec audio, et un audit de précision à l'exécution a confirmé le chemin W8A8. Manifeste : statut quantized_and_independently_reloaded_native_inference_pending, avec native_inference_validated: false et native_low_precision_gemm_validated: false enregistrés comme indicateurs distincts.
• AWQ W4A16 — carte : vLLM patché l'a chargé sur un H20, a terminé les mêmes quatre vérifications, et l'audit de précision a confirmé des pondérations feed-forward INT4 par rapport à l'attention BF16. Manifeste : statut quantized_unvalidated, avec un diagnostic_variant désignant une version de référence à attention BF16 aux côtés de celle en INT4.
• NVFP4 W4A16 — fiche : vLLM 0.31.0 patché a chargé et exécuté « les poids de référence PRO 5000 » et passé cinq contrôles de génération, y compris la vidéo silencieuse. Manifeste : les trois mêmes affirmations sont consignées comme indicateurs et chacune d'elles affiche false — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — sous un statut de cpu_NVFP4_weight_artifact_independently_reread. Ce que le manifeste atteste, en revanche, c'est un contrôle numérique : 96 matrices et 4 831 838 208 éléments déquantifiés indépendamment, RMSE relative moyenne de 0,095 pour une limite de 0,35, avec 1 209 tenseurs protégés confirmés exacts au bit près. Ce nombre d'éléments correspond aux mêmes 4,83 milliards que ceux indiqués dans la déclaration de périmètre, ce qui permet de savoir que l'arithmétique de cet article et celle de l'exportateur concordent.
• GGUF Q4_K_M — carte : le runtime CPU natif a chargé le bundle et généré une sortie texte, image, audio et vidéo. Statut du manifeste exported_unvalidated ; statut de la portée quantized_candidate_not_validated.
« Il s’est chargé et a généré » est un résultat concret qui a de la valeur : beaucoup de checkpoints multimodaux quantifiés échouent précisément à cette étape. Ce n’est pas ce résultat qui détermine un déploiement, car aucune de ces fiches ne rapporte un seul chiffre de précision pour la version compressée par rapport à sa propre source BF16. Il n’y a aucun écart mesuré sur MMAU, sur Video-MME, ni sur le WER de transcription. La seule affirmation relative à la précision formulée où que ce soit est structurelle, issue de l’audit AWQ : INT4 dans le feed-forward, BF16 dans l’attention. Cela décrit le fichier. Cela ne vous dit pas ce qu’a coûté la compression, et sur un modèle dont la marge par rapport à Qwen3-Omni-30B-A3B-Instruct sur Video-MME avec audio est de 7,8 points, l’ampleur de ce coût n’est pas un détail d’arrondi.
Ainsi, la règle pratique pour cette famille consiste à relancer un benchmark qui vous importe sur exactement la version que vous comptez livrer, face à la base BF16, avant de faire confiance à un tableau issu de l’article. Cela représente quelques heures de travail, et c’est le seul moyen de savoir si le feed-forward INT4 peut être substitué sous les résultats vidéo, ou si les 34 % d’économie se paient dans les chiffres que la carte vend.

Deux pièges mécaniques se trouvent sous cela.
Le premier est le GGUF. « GGUF Q4_K_M » se lit comme « tourne dans llama.cpp ou Ollama ». Ce n’est pas le cas. Le bundle est conçu pour le runtime natif propre à Tencent, que vous compilez depuis le dépôt ; le démarrage rapide de la fiche du modèle est install-cpu/bin et un native/run_hf.py servant de lanceur, et le guide de service achemine GGUF vers ce runtime et vers rien d’autre. Si votre pipeline est de type llama.cpp, ce checkpoint n’est pas le raccourci qu’il paraît être.
Le second est un défaut de documentation qu'il vaut la peine de nommer, car il induira en erreur quiconque lit les manifestes dans l'ordre. Les trois manifestes FP8 — pour le 2B, le 4B et le 9B — portent tous le même official_repo dont la valeur est : Qwen/Qwen3.5-35B-A3B-FP8. Il s'agit d'une chaîne de provenance copiée-collée dans l'enregistrement de la recette, et non d'une affirmation selon laquelle un checkpoint 9B serait secrètement un mélange d'experts de 35B. Rien d'autre dans le fichier n'étaye cette lecture : la liste des sources du même manifeste pointe vers les cinq fragments de tencent/WeMM-Video-9B avec des hachages correspondants, et le bloc d'architecture indique un modèle dense de 32 couches avec zéro expert. Le 35B-A3B est un véritable modèle distinct ; c'est aussi la seule taille de la famille à ne pas avoir de dépôt FP8 propre, ne disposant que de base, AWQ, GGUF et NVFP4.
Le 9B face à un 30B, d’après les tableaux de Tencent
Tous les chiffres de benchmark ci-dessous sont ceux des auteurs eux-mêmes, issus d’arXiv 2611.26409, et aucun tiers n’en a reproduit le moindre. L’article le dit d’ailleurs : les modèles existants sont rapportés avec « les résultats officiels lorsqu’ils sont disponibles et nos propres évaluations sinon ». Considérez cette section comme la description d’une affirmation, et non comme une mesure.
Sur le tableau audio-visuel conjoint, en mode Thinking, le 9B surpasse Qwen3-Omni-30B-A3B-Instruct sur 35 des 37 chiffres partagés par les deux colonnes, avec un match nul et une défaite — face à un modèle environ trois fois plus grand :
• Video-MME avec audio — 85,1 contre 77,3. MiniCPM-o-4.5-9B se situe à 69,2.
• Video-MME-v2 avec audio — 51,6 contre 36,3, un écart de 15,3 points.
• Daily-Omni — 83,6 contre 70,7, bien que le 80,2 de MiniCPM-o-4.5-9B fasse de ce résultat une affaire à trois plutôt qu’une victoire facile.
• SciVideoBench et MMOU — 64,2 contre 49,9, et 71,7 contre 60,5.
• EvaOmni et OmniReasoningBench — 50,7 contre 26,1, et 43,9 contre 24,1.
• La seule défaite — FutureOmni, 53,7 contre 55,1. MiniCPM-o-4.5-9B y obtient 56,1.
La vidéo silencieuse est le tableau le plus utile, car elle contient un témoin de la même famille : Qwen3.5-9B, le backbone sur lequel ce checkpoint est construit. Lisez les deux colonnes côte à côte et le post-entraînement présente un profil net. Il gagne sur l’ancrage temporel et la perception temporelle — F-16-NBA 88,7 contre 75,8, TimeLens-QVHighlights 66,8 contre 64,3, TimeLens-ActivityNet 55,3 contre 52,2, TOMATO 48,5 contre 45,0 — et perd sur le résumé de longues vidéos et la reconnaissance générale : MLVU 82,4 contre 84,4, LVBench 68,2 contre 70,0, VideoVista 82,2 contre 84,7, VSI-Bench 54,5 contre 58,3, MVBench 71,4 contre 74,4. Ce n’est donc pas une amélioration uniforme par rapport au backbone dont il hérite. C’est un modèle ajusté pour déterminer quand et où quelque chose s’est produit, au prix mesurable de scores vidéo agrégés et d’un raisonnement spatial que le backbone faisait déjà mieux.
C’est sur l’audio que le 9B cesse de l’emporter. En mode Instruct, le 9B obtient 70,9 sur MMAU-Pro contre 64,8 pour Qwen3.5-Omni-Flash, et 76,8 sur MMSU contre 72,2 — mais s’incline sur MMAU (77,0 contre 80,4) et MMAR (72,8 contre 74,0), et perd purement et simplement sur la reconnaissance vocale : taux d’erreur mot sur LibriSpeech de 1,5 et 3,1 contre 1,3 et 2,4, taux d’erreur caractère sur WenetSpeech de 5,4 et 6,8 contre 4,4 et 5,5. Le texte et les connaissances racontent la même histoire : MMLU-Pro 81,6 contre 82,5 pour le backbone Qwen3.5-9B, GPQA 77,8 contre 81,7, HMMT 75,0 contre 82,9. Si la transcription est le produit, un système de reconnaissance dédié l’emporte encore.
Une comparaison dans l’article doit être lue avec prudence. Le tableau omni-modal exécute les modèles WeMM en mode Thinking, tandis que le tableau audio les exécute en mode Instruct, car les auteurs ont jugé que les benchmarks audio standard étaient des tâches perceptuelles directes. Il s’agit d’une distinction défendable, et cela signifie aussi qu’une ligne WeMM dans un tableau n’est pas comparable à la ligne d’un concurrent dans l’autre.
Huit secondes de vidéo, par défaut
L’écart entre ce que le checkpoint peut accepter et ce que les recettes livrées lui passent est suffisamment important pour modifier les résultats ; il doit donc figurer dans tout plan d’évaluation.
• Budget d’images — le processeur utilise par défaut 2 fps, un minimum de 4 images, un maximum de 128 images et 100 663 296 pixels au total. La recette vLLM remplace ces quatre valeurs par 2 fps, 16 images et 262 144 pixels. À 2 fps, seize images représentent huit secondes de couverture à partir du milieu d’un clip.
• Contexte — la configuration texte déclare 262 144 embeddings de position. Chaque commande de serving publiée par Tencent passe max-model-len 8192 ou context-length 8192, et rien dans le dépôt n’explique comment atteindre la valeur supérieure.
• Coût de l'audio — 10 jetons par seconde, donc un budget de 8 192 jetons correspond à environ treize minutes d'audio et à rien d'autre. Une vidéo avec sa bande-son dépense ce budget en images et en audio à la fois.
• Médias par requête — quatre images, deux vidéos, deux éléments audio, selon les limites livrées.
Personne en dehors de WeChat Vision n’a publié quels échantillonnages les exécutions du benchmark ont utilisés. Si vous reproduisez un chiffre du tableau ci-dessus, c’est la première inconnue à lever, et la valeur par défaut de 16 images livrée n’est pas le bon point de départ.
Ce que vous pouvez réellement en faire aujourd’hui
OrcaRouter ne sert pas WeMM-Video-9B, et son catalogue ne liste aucun checkpoint WeMM. Il n’y a pas de prix hébergé à citer ni de point de terminaison à appeler, donc aujourd’hui il s’agit d’une tâche d’auto-hébergement : patcher vLLM ou SGLang depuis le répertoire overlay du dépôt, épingler la combinaison exacte PyTorch, Transformers et CUDA 12.9 que le manifeste de patch indique pour votre version du moteur, et prévoir les 13 GiB plus le cache. La voie GGUF nécessite de compiler le runtime natif de Tencent depuis les sources.
Pour la moitié « vision » du travail, il existe déjà sur la plateforme des alternatives ouvertes — Qwen3-VL-235B-A22B-Thinking et Qwen3-VL-8B-Thinkingprennent toutes deux des images et des trames vidéo — accessibles via une seule clé compatible OpenAI aux côtés de plus de 200 autres modèles, à 0 % de marge par rapport au prix catalogue du fournisseur. Aucun des deux n’entend quoi que ce soit, et il n’existe pas d’équivalent WeMM pour la moitié audio. Si vous voulez essayer un 9B auto-hébergé sans l’exposer sur un chemin de production, le faire passer derrière une règle de basculement est le moyen économique de vérifier si l’environnement d’exécution corrigé tient à votre niveau de concurrence avant d’y consacrer une carte.
Les versions en quatre bits, quant à elles, sont ce qu'il faut attendre plutôt que ce qu'il faut adopter. Leurs propres manifestes se qualifient eux-mêmes de non validés, et l'arithmétique des tailles indique que la compression qu'ils offrent représente une économie de 34 % sur les poids — bon à prendre, mais pas au point de réarchitecturer un déploiement. Le signal à surveiller n'est pas un autre dépôt de quantification. C'est le premier manifeste de cette famille qui abandonne le mot en attente, suivi de la première reproduction indépendante d'un tableau qui n'existe actuellement qu'à un seul endroit : le PDF des auteurs.
Comparés dans cet article1
Détecté à partir de cet article
