Carte de titre principale portant « FastFrames Video Generation », sous-titrée « génération vidéo à latence interactive », avec trois badges indiquant « 36 ms par image », « deux tailles : 1,3B et 14B » et « 480p, poids ouverts », et le logo OrcaRouter en bas à droite.
Engineering & Research

Le FastFrames d'Apple génère des vidéos plus vite que vous ne pouvez les regarder

Auteur

jinhao.song

Date de publication

Derniers modèles · 20Voir tous les modèles →
Benchmarks : Artificial Analysis · mis à jour quotidiennement
Retour à tous les articles

Trente-six millisecondes par image. C’est le chiffre qui figure en tête de FastFrames Video Generation, la version qu’Apple a publiée avec Cornell le 16 novembre 2026 — des poids sur Hugging Face sous le nom de FastFrames-S à 1,3 milliard de paramètres et FastFrames-L à 14 milliards, un article intitulé « FastFrames: Video Generation at Interactive Latency » le lendemain. Faites le calcul avant de lire quoi que ce soit d’autre : un clip fait 81 images en 832×480 et 16 images par seconde, soit 5,06 secondes de vidéo. À 36 millisecondes par image sur un seul B200, le petit modèle produit ce clip en 2,9 secondes. Pas plus rapide que les alternatives — plus rapide que la lecture. La question intéressante n’est pas de savoir si le chiffre est réel. C’est ce qu’Apple a sacrifié pour l’obtenir, et si ce compromis est vivable pour vous.

Ce qui a réellement été livré, et quand

Deux checkpoints, tous deux texte-vers-vidéo, tous deux sans restriction d’accès et téléchargeables depuis cette semaine. Les dépôts Hugging Face ont été créés le 16 novembre 2026 et faisaient encore l’objet de modifications le matin du 18 novembre ; la prépublication arXiv (2611.23226) est datée du 17 novembre. Il s’agit donc d’une publication vieille de deux jours, et non d’un modèle ayant fait ses preuves, et rien ici n’a été évalué de manière indépendante. Tout ce qui suit est soit une mesure des auteurs eux-mêmes, soit une caractéristique des poids publiés.

• Tailles — FastFrames-S avec 1,3 milliard de paramètres, FastFrames-L avec 14 Md (14,3 Md en comptant les têtes ajoutées).

• Modèles de base — distillés respectivement de Wan2.1-T2V-1.3B et Wan2.1-T2V-14B, à l’aide d’une recette que les auteurs appellent Causal Forcing++.

Sortie — 832×480 à 16 fps, 81 images par génération, autorégressif, de sorte que les clips puissent être enchaînés.

• Poids — ouverts sur Hugging Face, étiquetés avec la licence AMLR d’Apple ; le code de démonstration de LingBot-World v2 est sous CC BY-NC-SA 4.0, qui est non commerciale, et le reste du dépôt est sous la licence de code d’exemple d’Apple.

• Tarification — aucune. Il n’existe aucun point de terminaison FastFrames hébergé par Apple ; vous l’exécutez sur vos propres GPU.

C’est cette dernière ligne qu’il faut intégrer. FastFrames est une version de recherche avec des poids téléchargeables, ce qui est un objet différent d’un produit. Il n’y a pas de tarif à la seconde, pas de file d’attente, pas de SLA, et aucun moyen de l’appeler sans un GPU NVIDIA et CUDA 12.8.

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

Où sont passées les millisecondes

L’idée architecturale est plus étroite que « un modèle plus rapide » et plus intéressante. FastFrames est un modèle de diffusion vidéo autorégressif, ce qui signifie qu’il génère un bloc d’images conditionné par ce qui précède. Dans le modèle de référence sur lequel il repose, Causal Forcing++, générer un bloc de 81 images coûte 271,8 millisecondes par image, et une grande partie de ce temps n’est pas du tout due au transformateur — elle est due à l’autoencodeur variationnel qui décode les latents pour les reconvertir en pixels, ainsi qu’à l’étape qui met à jour le cache KV afin que le bloc suivant sache ce qui s’est passé dans celui-ci.

L’équipe d’Apple a remplacé les deux extrémités de cette boucle par de petits réseaux appris et a laissé le transformer de diffusion intact.

• Le décodeur VAE a disparu. Un décodeur de pixels de 63,87 millions de paramètres — trois blocs ConvNeXt causaux et une couche linéaire finale émettant des valeurs RVB 4×16×16 par token — produit directement les images. Le décodage passe d'environ 147 millisecondes à environ 1 milliseconde.

• La mise à jour du cache KV est désormais un petit réseau. Un tronc partagé, quatre blocs d’auto-attention à 8 têtes et une tête de réparation résiduelle par couche DiT, coûtant 2 millisecondes sur le petit modèle et 6 sur le grand.

• Le transformateur lui-même a à peine changé et est gelé pendant la phase finale. Sur le modèle 1,3 B, le temps DiT passe de 41,6 à 16,4 millisecondes ; sur le 14 B, de 89,2 à 75,6.

Additionnez tout cela sur le modèle 1,3B et 271,8 millisecondes deviennent 35,8. C’est toute l’astuce, et c’est une bonne astuce : les auteurs n’ont pas rendu un transformer de diffusion plus rapide, ils ont retiré les éléments périphériques qui n’étaient pas l’essentiel. Le décodeur de pixels a été entraîné sur 32 B200 pendant environ une semaine sur 150 000 rollouts, avec une étape adversariale sur 8 B200 utilisant un discriminateur DINOv3 ViT-S/16 gelé pour l’empêcher de produire des images floues.

L’allégation de qualité, et qui l’a vérifiée

Voici la partie qui doit être étiquetée. Les chiffres VBench ci-dessous sont ceux des auteurs, obtenus sur les mêmes prompts et graines en 480p, et rapportés dans le tableau 1 de l’article. Personne d’indépendant ne les a reproduits, et VBench est un benchmark qui récompense le type de régularité temporelle auquel les modèles autorégressifs excellent. Considérez-les comme une affirmation de parité, et non comme une mesure de celle-ci.

• FastFrames-S — 84,23 de score total VBench, 85,30 en qualité, 79,92 en sémantique, à 36 ms par image.

• FastFrames-L — 84,44 au total, 85,48 en qualité, 80,29 en sémantique, à 45 ms par image sur huit B200.

• Causal Forcing++, le modèle de référence à partir duquel il a été distillé — 84,11 au total à 272 ms par image, donc environ 7,6× plus lent pour 0,1 à 0,3 point de moins.

• Krea-Realtime — 84,42 au total à 1 675 ms par image ; l’article revendique un réalisme, un respect du prompt, une composition et un rendu de texte comparables, à une vitesse plus de dix fois supérieure.

• Self-Forcing — 84,10 à 717 ms ; CausVid 83,18 à 662 ms ; LongLive2.0 83,65 à 505 ms.

• Wan2.1 1.3B, le modèle de base — 83,80 à 30 444 ms par image.

Wan2.2 14,3B — 84,65 à 117 734 ms par image. C’est le chiffre qui mérite qu’on s’y attarde : le meilleur total du tableau, à environ 2 600 fois le coût par image de FastFrames-L.

• MiniMax-H3 33,1 B — 84,43 à 38 454 ms ; HunyuanVideo1.5 8,3 B — 83,18 à 1 555 508 ms.

Le schéma est un plateau de qualité plat de 83 à 85,5 pour chaque modèle de la liste, et un écart de latence de quatre ordres de grandeur. Quoi que mesure le total VBench, il a cessé de distinguer ces systèmes depuis un moment déjà. Ce qui les sépare désormais, c’est la vitesse à laquelle ils tournent et la résolution et l’audio qu’ils peuvent produire — et FastFrames gagne la première colonne de loin tout en perdant la seconde purement et simplement.

Ce que 36 millisecondes par image permettent réellement d'obtenir

Convertissez en unités qui intéressent une personne produit. Les auteurs rapportent le débit ainsi que la latence, et ces deux mesures racontent des histoires différentes selon le nombre de GPU dont vous disposez.

• FastFrames-S, un B200 — 36 ms par image, environ 28 requêtes par seconde. Un clip de 5 secondes en 2,9 secondes, soit 1,7× plus rapide que vous ne pouvez le regarder.

• FastFrames-L, huit B200 — 45 ms par image, environ 22 requêtes par seconde. Un clip de 5 secondes en 3,6 secondes.

• FastFrames-L, un seul GPU — 158 ms par image, environ 6,3 requêtes par seconde. Le même clip en 12,8 secondes, ce qui est plus lent que la lecture. Le grand modèle ne devient interactif que lorsqu’on le répartit sur un nœud.

• À 720p — 127 ms par image pour le petit modèle et 116 ms pour le grand sur huit GPU, soit le point où « interactif » cesse d’être vrai pour une session à flux unique.

• Sur H100 plutôt que B200 — l’article estime la pénalité à 25 à 50 pour cent, donc le petit modèle se situe quelque part autour de 45 à 54 ms par image.

L’affirmation qui tient est celle concernant le petit modèle sur le matériel actuel. FastFrames-S sur un seul B200 est véritablement plus rapide que le temps réel, ce qui rend faisable une boucle d’aperçu en direct, un avatar en streaming ou un modèle du monde contrôlable sans ferme de rendu. Le 14B n’est interactif qu’au sens du débit par lots.

L'exécuter vous-même

Le dépôt fournit un chemin d’inférence fonctionnel, et pas seulement des poids. Vous avez besoin de Linux x86-64, d’un GPU NVIDIA et de CUDA 12.8 ; ensuite, exécutez uv sync, puis uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4. Il existe un script de benchmark de latence qui prend en paramètre un nombre de GPU, un workflow d’évaluation VBench, ainsi qu’une application de démonstration sous apps/lingbot servie sur le port 8000. Apple a également publié chaque checkpoint d’étape d’entraînement du grand modèle — l’enseignant causal, l’étape distillée par cohérence, l’étape distillée par DMD, et le générateur final avec son décodeur de pixels et son réseau de raffinement KV — ce qui est inhabituel et rend la publication reproductible d’une manière que ne le sont pas la plupart des diffusions « open weights ».

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

Si vous n'avez pas les GPU, la réponse honnête est qu'OrcaRouter ne sert pas FastFrames, et personne d'autre non plus — il n'existe aucun endpoint hébergé vers lequel router. Ce qu'une clé OrcaRouter couvre, en revanche, ce sont les modèles vidéo hébergés qui fonctionnent déjà aujourd'hui, notamment Kling 3.0 et Kling 3 Turbo, Kling Video O1, et MiniMax H3, au tarif public du fournisseur, répercuté avec 0 % de marge, de sorte qu'un changement de prix du fournisseur vous parvient le jour même plutôt qu'au cycle de facturation suivant. Le schéma judicieux pour une équipe curieuse de FastFrames est de prototyper l'idée produit sur un modèle hébergé dont vous pouvez mesurer la latence, et de n'acheter du temps GPU qu'une fois certain que la boucle en vaut la peine.

Ce qu'il ne peut pas faire

Trois limites, et aucune d'entre elles ne sera corrigée la semaine prochaine.

• Résolution — 480p, un point c'est tout. Apple annonce des chiffres de latence en 720p, mais la configuration commercialisée est en 832×480. Tous les concurrents de cette gamme de prix proposent au moins du 1080p.

• Audio — aucun. FastFrames est silencieux. Veo, Kling, Grok Imagine et HiDream génèrent tous un audio synchronisé lors du même appel.

• Durée et contrôle — 81 images par génération avec chaînage autorégressif, uniquement des invites textuelles. Aucun conditionnement par image, aucune ressource de référence, aucune image clé, aucun contrôle de caméra, aucune API d’extension.

• Licence — les poids du modèle sont soumis aux conditions AMLR d’Apple, et les composants LingBot-World v2 sont sous CC BY-NC-SA 4.0. Lisez cela avant de bâtir un produit commercial sur l’application de démonstration ; « poids ouverts » et « librement commercialisable » ne sont pas synonymes, et cette publication est délibérément attentive à cette différence.

Ce qu'il faut surveiller

FastFrames se comprend mieux comme une démonstration du fait que le coût de la génération vidéo autorégressive n’a jamais été principalement celui du modèle. C’était le décodage et la mise à jour du cache, et Apple a supprimé les deux pour environ deux millisecondes et un mégaoctet de paramètres. Ce résultat se transpose : le décodeur de pixels est entraîné par modèle de base, mais le principe — figer le transformer, apprendre la plomberie — s’applique à toute pile de diffusion vidéo causale, et l’article montre déjà qu’il a été porté vers deux systèmes tiers, faisant passer LingBot-World de 1 085 à 52 millisecondes par image sur la variante 1,3B et de 3 862 à 233 sur la 14B.

Ce que cela signifie pour un acheteur : si votre produit a besoin d’un modèle vidéo dans une boucle en temps réel, l’exigence matérielle vient de chuter d’un ordre de grandeur et le coût en qualité semble faible. Si votre produit a besoin d’un clip fini en 1080p avec son, rien dans cette version ne s’adresse à vous, et les modèles hébergés restent la solution. C’est dans l’écart entre ces deux cas d’usage que se jouera la bataille des sorties de modèles vidéo des douze prochains mois.

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.