Carton titre portant « WeMM-Video-4B vs FastFrames Video Generation », avec le sous-titre « Une couture silencieuse » ; deux panneaux séparés par un disque « vs », celui de gauche listant 5,61 B, vidéo et audio en entrée, texte en sortie, dont 1,07 B pour les oreilles, 16 images maximum et Apache 2.0, celui de droite listant 1,3 B et 14 B, texte en entrée, vidéo en sortie, 81 images en 832 × 480, 36 ms par image sur un B200 et Apple AMLR, et un pied de page indiquant « chiffres WeMM rapportés par le fournisseur ; chiffres FastFrames selon les auteurs ».
Engineering & Research

WeMM-Video-4B vs FastFrames Génération vidéo : une couture silencieuse

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

FastFrames Video Generation est arrivé le 16 novembre 2026 et WeMM-Video-4B le 17 novembre, tous deux sous forme de téléchargements de poids avec un article joint, et aucun des deux avec un billet de lancement digne de ce nom. Cette coïncidence est la seule raison de les lire en regard l'un de l'autre, car ils n'effectuent pas le même travail : FastFrames transforme une phrase en 81 images de vidéo muette, et WeMM-Video-4B transforme une vidéo en description, y compris une description de ce qui est dit en bande-son. La question intéressante n'est pas de savoir lequel est le meilleur. C'est ce qui se passe quand on met l'un derrière l'autre — et la réponse est que la jointure entre eux est muette, ce qui désactive discrètement la partie la plus coûteuse du checkpoint WeMM.

Tout ce qui suit est soit mesurable dans les deux dépôts, soit rapporté par les auteurs des deux articles. Aucun des deux modèles n’a été exécuté par une personne n’ayant pas rédigé sa section d’évaluation, et aucun ne dispose d’un tarif hébergé, d’une ligne d’arène ou d’une reproduction par un tiers. Lorsqu’un chiffre provient d’un tableau fournisseur, il est signalé comme tel.

Ce que FastFrames écrit sur le disque

FastFrames est un modèle de diffusion vidéo autorégressif distillé à partir de Wan2.1, publié par Apple et Cornell sous la référence arXiv 2611.23226 le 17 novembre, les poids étant mis en ligne un jour plus tôt. Il existe en deux tailles — FastFrames-S avec 1,3 milliard de paramètres et FastFrames-L avec 14 milliards — et la thèse est la latence plutôt que la fidélité. Sur un seul B200, le petit modèle produit une image en 36 millisecondes, ce qui est plus rapide que la lecture du clip : une génération de 5,06 secondes prend environ 2,9 secondes. Le grand modèle atteint 45 millisecondes par image réparties sur huit B200, et se dégrade à 158 millisecondes sur un seul GPU, ce qui est plus lent que le temps réel. Apple rapporte également une pénalité de 25 à 50 pour cent sur les H100 au lieu des B200.

Le format de sortie est fixe et étroit. 832×480, 16 images par seconde, 81 images par génération — un peu plus de cinq secondes — piloté par une simple invite textuelle. Il n'y a pas de conditionnement par image, pas d'entrée d'image clé, pas de mode de continuation ni de contrôle de caméra dans la configuration publiée. Il n'y a pas non plus d'audio : pas de décodeur audio, pas de latent audio, pas de bande sonore. Les auteurs rapportent des totaux VBench de 84,23 pour le petit modèle et de 84,44 pour le grand à 480p sur des invites et graines appariées, ce qui est un score respectable pour un modèle dont l'argument de vente est sa rapidité, et c'est le seul chiffre de qualité de la publication.

Où vont 1,07 milliard de paramètres

WeMM-Video-4B est l'enfant du milieu d'une famille de quatre tailles issue du groupe WeChat Vision de Tencent — 2B, 4B, 9B denses et un mélange d'experts 35B-A3B — tous mis en ligne dans une fenêtre de dix-neuf minutes le 17 novembre, tandis que le rapport technique, arXiv 2611.26409, a suivi le 19 novembre. Le nom est en deçà de la réalité : les métadonnées safetensors enregistrent 5 611 746 312 paramètres, soit 10,45 Gio en BF16, car « 4B » désigne le socle linguistique Qwen3.5-4B plutôt que le checkpoint.

La lecture de l’index des tenseurs explique pourquoi. Sur 1 268 tenseurs, le modèle de langage porte 4,21 milliards de paramètres, la tour de vision 0,33 milliard, et la pile audio 1,07 milliard. Près d’un cinquième de ce checkpoint est un encodeur-décodeur de type Whisper — 32 couches d’encodeur et 32 couches de décodeur d’une largeur de 1 280, avec un Q-Former au niveau des fenêtres qui compresse des fenêtres de 0,1 seconde en 10 jetons audio par seconde, alimenté à 16 kHz par segments de 30 secondes. Cette pile est initialisée à partir de Qwen2.5-Omni.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing an Image-Text-to-Text pipeline tag, Safetensors and custom-code tags, an Apache 2.0 licence, a BF16 block reading 10.45 GiB of weight files, a size panel reading 6B params and 10.5 GB, and a Quantizations section listing four sibling repositories.

• Génération vidéo FastFrames — du texte en entrée, des images en sortie, aucun son nulle part dans le pipeline.

• WeMM-Video-4B — des images et du son en entrée, du texte en sortie, le son étant traité par une tour dédiée de 1,07 B plutôt que déduit des pixels.

• Chevauchement — aucun au niveau du modèle. Tous deux sont des ensembles de poids sous licence Apache ou Apple, sans point de terminaison derrière eux, et tous deux supposent que vous possédez l’accélérateur.

Le seul clip que FastFrames produit est muet.

Si l’on pousse ce raisonnement jusqu’au bout, le problème de composition devient concret. Si vous branchez WeMM-Video-4B en aval de FastFrames Video Generation — rendre un plan, puis le décrire pour pouvoir l’indexer, le filtrer ou en faire le contrôle qualité — chaque clip que vous transmettez au descripteur est dépourvu de piste audio. La tour audio de 1,07 milliard de paramètres n’a rien à écouter. Le Q-Former n’émet rien, et l’étape de fusion se réduit au chemin vision.

Ce n’est pas un défaut de l’un ou l’autre modèle ; c’est un fait concernant le pipeline, et il a une conséquence mesurable, car l’article WeMM rapporte séparément les benchmarks de vidéo silencieuse. Sur la vision seule, WeMM-Video-4B obtient 75,7 sur Video-MME, 65,3 sur LVBench, 74,8 sur LongVideoBench et 74,2 sur EgoSchema. Ses chiffres conjoints audio-visuels — 83,9 sur Video-MME avec audio, 82,5 sur Daily-Omni — sont ceux qui justifient la taille du fichier, et ce sont exactement ceux qu’un pipeline alimenté par FastFrames ne peut pas atteindre.

Pour présenter ce duo honnêtement, disons que FastFrames sollicite environ 80 % du checkpoint WeMM. Si votre objectif est une boucle de légendage sur des séquences générées, un modèle uniquement visuel deux fois plus petit ferait le même travail ; si votre objectif est de comprendre des séquences comportant du son, FastFrames ne peut pas fournir l’entrée. Les deux outils se rejoignent à un point où l’un des deux est à moitié inactif.

Screenshot of the Tencent/WeMM-Video GitHub repository showing six stars and zero forks, a README describing an omni-modal video understanding family from WeChat Vision, and a file tree containing patch, native, examples, licenses and a THIRD_PARTY_NOTICES file.

Deux nombres de vitesse, aucune unité commune

Les deux versions mettent en avant une affirmation sur la latence, et ces affirmations ne sont pas commensurables, ce qui est la façon la plus courante dont cette comparaison se retrouve déformée sur Internet.

Les 36 millisecondes de FastFrames correspondent à une image de sortie sur un seul B200, mesurées par rapport à la lecture. WeMM-Video-4B ne produit pas d’images ; son coût est celui du décodage de texte dans un budget média plafonné. Ce budget est plus restrictif que ne le suggèrent les valeurs par défaut du processeur. La recette vLLM du dépôt définit max_frames 16 par rapport à une valeur par défaut du processeur de 128, fps 2, et un plafond total de pixels de 262,144, avec une longueur de contexte de 8,192 jetons. L’audio consomme 10 jetons par seconde avant même qu’une seule image ne soit comptée.

Lecture pratique : un clip de 20 secondes et un clip de 5 secondes arrivent tous deux au descripteur sous forme de seize images, et un clip avec bande-son consacre son contexte à deux flux à la fois. FastFrames vous donne du mouvement à 16 images par seconde de sortie ; WeMM-Video-4B voit un diaporama et en déduit le mouvement. Aucun des deux chiffres ne vous dit quoi que ce soit sur l'autre, et une page qui place « 36 ms » à côté de « 8K context » compare un budget de rendu à un budget de lecture.

Two-column scoreboard headed 'WeMM-Video-4B vs FastFrames Video Generation', the left column listing direction, 5.61B total parameters, a 1.07B audio stack, an 8,192-token and 16-frame budget, Apache 2.0 and no independent benchmark, the right listing text in and video out, 1.3B small and 14B large, no audio, 81 frames at 832 by 480, Apple AMLR and no independent benchmark, with a footer reading 'WeMM figures vendor-reported; FastFrames figures per the authors and not independently reproduced.'

Ici, les licences décident plus que les scores.

Pour une comparaison aussi peu étayée par des preuves indépendantes, la ligne de licence a plus de poids décisionnel que n’importe quel benchmark de l’un ou l’autre article, et les deux se situent aux extrémités opposées du spectre.

• FastFrames Video Generation — les conditions AMLR d'Apple applicables aux poids, avec les composants de démonstration LingBot-World v2 sous CC BY-NC-SA 4.0. Le « NC » est la contrainte qui compte : des poids ouverts, mais pas ouverts à un usage commercial.

• WeMM-Video-4B — Apache 2.0 pour l'ensemble de la collection, avec un fichier de licence T​encent précisant que les composants tiers « restent soumis à leurs conditions d'origine respectives ». Cette exception n'est pas détaillée, ce qui constitue une véritable lacune plutôt qu'une simple formalité, étant donné que la pile audio est issue de Qwen2.5-Omni et le socle de Q​wen3.5, tous deux sous Apache 2.0.

• Les deux — des points de contrôle complets à chaque étape d’entraînement et un pipeline d’évaluation dans le dépôt, ce qui est exceptionnellement reproductible pour des versions de ce type et constitue le meilleur substitut disponible à l’évaluation indépendante dont aucun des deux ne dispose.

Câblage d'un descripteur derrière un moteur de rendu

Si vous construisez quand même la boucle, la question d’ingénierie est de savoir où va le modèle de texte, car il y a trois sauts de texte et un seul d’entre eux est facultatif.

• Extension du prompt — une note de plan devient un prompt FastFrames. Nécessaire, car un modèle de diffusion distillé de 1,3B n’a aucune marge pour interpréter une instruction vague.

• Description — le clip rendu est envoyé à WeMM-Video-4B et revient sous forme de prose, c’est l’étape qui rend les séquences consultables.

• Sélection — la prose décide si le clip est conservé, ce qui est l’étape qui doit être peu coûteuse, car vous la payez sur chaque candidat plutôt que sur chaque survivant.

Ces deux sauts externes sont de simples complétions de texte, et c’est la partie de cette pile qu’OrcaRouter couvre réellement : une clé compatible OpenAI pour plus de 200 modèles, les prix catalogue des fournisseurs répercutés avec 0 % de marge afin qu’un changement de prix d’un fournisseur soit effectif le jour même, et un basculement automatique pour qu’une limite de débit au milieu d’un lot de mille clips devienne une nouvelle tentative plutôt qu’un trou. Ni FastFrames Video Generation ni WeMM-Video-4B ne se trouvent sur la plateforme — les deux sont des téléchargements de poids, et aucune couche de routage ne transforme un checkpoint en point de terminaison. Ce que le routeur supprime, c’est le travail d’intégration autour des deux modèles que vous hébergez vous-même.

Qu'est-ce qui reste non confirmé ?

• Qualité indépendante — aucune ligne Artificial Analysis, aucune entrée d’arène, aucune reproduction par un tiers pour l’un ou l’autre des modèles. VBench 84.44 et Video-MME 83.9 sont des résultats rapportés par les auteurs et n’ont été exécutés par personne d’autre.

• Conditions d'évaluation — l'article WeMM ne précise ni le nombre d'images, ni le budget de pixels, ni la longueur de contexte utilisés pour ses benchmarks vidéo, et la recette fournie utilise 16 images alors que le processeur en utilise 128 par défaut. Cet écart est suffisamment important pour avoir un impact sur les lignes concernant les vidéos longues.

• Prix — aucun des deux n'en a. Pas de point de terminaison hébergé, pas de tarif à la seconde, pas de liste de partenaires. Le coût, c'est le GPU que vous possédez, plus la surcouche corrigée de vLLM ou SGLang qu'exige le dépôt WeMM, car aucun des deux moteurs ne prend en charge cette architecture en amont.

• Utilisabilité commerciale côté Apple — AMLR, plus une licence de démonstration non commerciale, signifie que c'est le moteur de rendu, et non le descripteur, qui constitue l'élément de ce pipeline que l'analyse juridique bloquera.

La question qui en choisit un

Demandez ce qu’est votre artefact. S’il s’agit d’un fichier, seul FastFrames peut le produire, et vous prévoyez environ 480p, cinq secondes, du silence et une licence non commerciale. S’il s’agit d’une affirmation concernant des séquences vidéo que vous possédez déjà — ce qui se passe, qui parle, ce qui est audible — seul WeMM-Video-4B peut la produire, et vous prévoyez environ seize images échantillonnées et huit mille jetons.

S’il s’agit des deux, vous construisez un système à deux modèles dont la jonction est silencieuse, et la version correcte la moins coûteuse de ce système n’utilise pas un checkpoint omni de 5,61B pour légender une sortie silencieuse. Utilisez un modèle de vision pour les clips rendus et conservez WeMM-Video-4B pour les séquences sources qui comportent du son. C’est une architecture moins élégante qu’un seul modèle pour tout, et c’est celle que les chiffres soutiennent.

Ce qu’aucune des deux publications ne fournit encore, c’est ce qui permettrait de trancher : une exécution par quelqu’un qui n’a pas écrit l’article. Deux laboratoires ont livré un travail vidéo sérieux la même semaine sans annonce, ce qui est le fait le plus intéressant de novembre 2026, plus que n’importe quelle cellule de benchmark.