Cartão de título principal com os dizeres 'FastFrames Video Generation', subtítulo 'geração de vídeo com latência interativa', e três selos com os dizeres '36 ms por quadro', 'dois tamanhos: 1.3B e 14B' e '480p, pesos abertos', e o logotipo da OrcaRouter no canto inferior direito.
Engineering & Research

O FastFrames da Apple gera vídeo mais rápido do que você consegue assistir

Autor

jinhao.song

Data de publicação

Modelos mais recentes · 20Ver todos os modelos →
Benchmarks: Artificial Analysis · atualizado diariamente
Voltar para todas as publicações

Trinta e seis milissegundos por quadro. Esse é o número no topo de FastFrames Video Generation, o lançamento que a Apple publicou com a Cornell em 16 de novembro de 2026 — pesos no Hugging Face como FastFrames-S com 1,3 bilhão de parâmetros e FastFrames-L com 14 bilhões, e um artigo intitulado "FastFrames: Video Generation at Interactive Latency" no dia seguinte. Faça as contas antes de ler qualquer outra coisa: um clipe tem 81 quadros em 832×480 e 16 quadros por segundo, o que dá 5,06 segundos de vídeo. A 36 milissegundos por quadro em uma única B200, o modelo pequeno produz esse clipe em 2,9 segundos. Não mais rápido que as alternativas — mais rápido que a reprodução. A pergunta interessante não é se o número é real. É o que a Apple abriu mão para obtê-lo, e se essa troca é algo com que você consegue viver.

O que foi realmente lançado, e quando

Dois checkpoints, ambos de texto para vídeo, ambos sem restrições de acesso e disponíveis para download nesta semana. Os repositórios do Hugging Face foram criados em 16 de novembro de 2026 e ainda estavam sendo atualizados na manhã de 18 de novembro; o pré-print no arXiv (2611.23226) é datado de 17 de novembro. Portanto, este é um lançamento de dois dias, não um modelo com histórico comprovado, e nada aqui foi avaliado de forma independente. Tudo o que se segue é ou uma medição dos próprios autores ou um atributo dos pesos publicados.

• Tamanhos — FastFrames-S com 1,3B de parâmetros, FastFrames-L com 14B (14,3B contando as cabeças adicionadas).

• Modelos base — destilados de Wan2.1-T2V-1.3B e Wan2.1-T2V-14B, respectivamente, usando uma receita que os autores chamam de Causal Forcing++.

• Saída — 832×480 a 16 fps, 81 quadros por geração, autorregressivo para que os clipes possam ser encadeados.

• Pesos — abertos no Hugging Face, marcados com a licença AMLR da Apple; o código de demonstração do LingBot-World v2 é CC BY-NC-SA 4.0, que é não comercial, e o restante do repositório está sob a Licença de Código de Exemplo da Apple.

• Preços — nenhum. Não existe um endpoint FastFrames hospedado pela Apple; você o executa nas suas próprias GPUs.

Essa última linha é a que deve ser internalizada. O FastFrames é uma versão de pesquisa com pesos disponíveis para download, que é um objeto diferente de um produto. Não há preço por segundo, nem fila, nem SLA, e não há como chamá-lo sem uma GPU NVIDIA e CUDA 12.8.

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

Para onde foram os milissegundos

A ideia arquitetural é mais restrita do que “um modelo mais rápido” e mais interessante. FastFrames é um modelo de difusão de vídeo autorregressivo, o que significa que ele gera um bloco de quadros condicionado ao que veio antes. No baseline em que ele se baseia, o Causal Forcing++, gerar um bloco de 81 quadros custa 271,8 milissegundos por quadro, e boa parte disso não é o transformer — é o autoencoder variacional decodificando latentes de volta para pixels, além da etapa que atualiza o cache KV para que o próximo bloco saiba o que aconteceu neste.

A equipe da Apple substituiu ambas as extremidades desse loop por pequenas redes aprendidas e deixou o transformador de difusão intacto.

• O decodificador VAE foi removido. Um decodificador de pixels com 63,87 milhões de parâmetros — três blocos ConvNeXt causais e uma camada linear final que emite valores RGB 4×16×16 por token — produz quadros diretamente. A decodificação cai de cerca de 147 milissegundos para aproximadamente 1 milissegundo.

• A atualização do cache KV agora é uma pequena rede. Um stem compartilhado, quatro blocos de autoatenção com 8 cabeças e uma cabeça de reparo residual por camada DiT, custando 2 milissegundos no modelo pequeno e 6 no grande.

• O próprio transformer quase não mudou e é congelado durante o estágio final. No modelo 1,3B, o tempo do DiT passa de 41,6 para 16,4 milissegundos; no 14B, de 89,2 para 75,6.

Some tudo isso no modelo de 1,3B e 271,8 milissegundos viram 35,8. Esse é todo o truque, e é um bom truque: os autores não tornaram um transformer de difusão mais rápido; eles removeram as partes ao redor dele que nunca foram o ponto. O decodificador de pixels foi treinado em 32 B200s por cerca de uma semana ao longo de 150.000 rollouts, com um estágio adversarial em 8 B200s usando um discriminador DINOv3 ViT-S/16 congelado para impedir que produzisse quadros suaves.

A alegação de qualidade, e quem a verificou

Aqui está a parte que precisa de um rótulo. Os números do VBench abaixo são dos próprios autores, executados com os mesmos prompts e seeds em 480p, e reportados na Tabela 1 do artigo. Ninguém independente os reproduziu, e o VBench é um benchmark que recompensa o tipo de suavidade temporal em que modelos autorregressivos são bons. Trate-os como uma alegação de paridade, não como uma medição dela.

• FastFrames-S — 84,23 de VBench total, 85,30 de qualidade, 79,92 de semântica, a 36 ms por quadro.

• FastFrames-L — 84,44 total, 85,48 de qualidade, 80,29 semântico, a 45 ms por frame em oito B200s.

• Causal Forcing++, a linha de base da qual foi destilado — 84,11 no total a 272 ms por quadro, portanto cerca de 7,6× mais lento por 0,1 a 0,3 ponto a menos.

• Krea-Realtime — 84,42 no total a 1.675 ms por frame; o artigo afirma realismo, aderência ao prompt, composição e renderização de texto comparáveis, a uma velocidade mais de dez vezes maior.

• Self-Forcing — 84,10 a 717 ms; CausVid 83,18 a 662 ms; LongLive2.0 83,65 a 505 ms.

• Wan2.1 1.3B, o modelo base — 83,80 em 30.444 ms por quadro.

• Wan2.2 14.3B — 84,65 a 117.734 ms por quadro. Esse é o número que vale a pena assimilar: o melhor total disponível, a aproximadamente 2.600 vezes o custo por quadro do FastFrames-L.

• MiniMax-H3 33,1B — 84,43 em 38.454 ms; HunyuanVideo1.5 8,3B — 83,18 em 1.555.508 ms.

O padrão é um platô de qualidade estável, de 83 a 85,5, em todos os modelos da lista, e uma variação de latência de quatro ordens de magnitude. Independentemente do que o total do VBench mede, ele deixou de distinguir entre esses sistemas há um tempo. O que os separa agora é a velocidade de execução e a resolução e o áudio que conseguem produzir — e o FastFrames vence a primeira coluna com folga, enquanto perde a segunda por completo.

O que 36 milissegundos por frame realmente rende

Converta para as unidades com as quais uma pessoa de produto se importa. Os autores relatam throughput e latência, e os dois contam histórias diferentes dependendo de quantas GPUs você tem.

• FastFrames-S, uma B200 — 36 ms por quadro, cerca de 28 solicitações por segundo. Um clipe de 5 segundos em 2,9 segundos, ou 1,7× mais rápido do que você consegue assistir.

• FastFrames-L, oito B200s — 45 ms por frame, cerca de 22 solicitações por segundo. Um clipe de 5 segundos em 3,6 segundos.

• FastFrames-L, uma GPU — 158 ms por frame, cerca de 6,3 pedidos por segundo. O mesmo clipe em 12,8 segundos, o que é mais lento do que a reprodução. O modelo grande só se torna interativo quando você o distribui por um nó.

• A 720p — 127 ms por quadro para o modelo pequeno e 116 ms para o grande em oito GPUs, que é o ponto em que “interativo” deixa de ser verdade para uma sessão de fluxo único.

Em H100 em vez de B200 — o artigo estima a penalidade em 25 a 50 por cento, então o modelo pequeno fica em algum ponto em torno de 45 a 54 ms por quadro.

A afirmação que se sustenta é a relativa ao modelo pequeno no hardware atual. O FastFrames-S em uma B200 é genuinamente mais rápido que o tempo real, o que torna viável um loop de pré-visualização ao vivo, um avatar em streaming ou um modelo de mundo controlável sem uma render farm. O 14B é interativo apenas no sentido de throughput em lote.

Executando você mesmo

O repositório traz um caminho de inferência funcional, não apenas pesos. Você precisa de Linux x86-64, uma GPU NVIDIA e CUDA 12.8; depois uv sync, e uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4. Há um script de benchmark de latência que recebe uma contagem de GPUs, um fluxo de trabalho de avaliação do VBench, e um aplicativo de demonstração em apps/lingbot que serve na porta 8000. A Apple também publicou todos os checkpoints de cada estágio de treinamento do modelo grande — o professor causal, o estágio destilado por consistência, o estágio destilado por DMD, e o gerador final com seu decodificador de pixels e rede de refinamento KV — o que é incomum e torna o lançamento reproduzível de uma forma que a maioria dos lançamentos de "pesos abertos" não é.

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

Se você não tem as GPUs, a declaração honesta é que o OrcaRouter não serve o FastFrames, e ninguém mais serve — não há endpoint hospedado para o qual rotear. O que uma chave do OrcaRouter cobre são os modelos de vídeo hospedados que já funcionam hoje, incluindo Kling 3.0 e Kling 3 Turbo, Kling Video O1 e MiniMax H3, com preços de tabela do provedor repassados com 0% de markup, então uma mudança de preço do fornecedor chega até você no mesmo dia, e não no próximo ciclo de cobrança. O padrão sensato para uma equipe curiosa sobre o FastFrames é prototipar a ideia do produto com um modelo hospedado cuja latência você possa medir, e só comprar tempo de GPU depois de saber que o ciclo vale a pena.

O que não é possível fazer

Três limites, e nenhum deles será corrigido na próxima semana.

• Resolução — 480p, ponto final. A Apple informa números de latência de 720p, mas a configuração lançada é 832×480. Todos os concorrentes nesta faixa de preço oferecem pelo menos 1080p.

• Áudio — nenhum. O FastFrames é silencioso. Veo, Kling, Grok Imagine e HiDream geram áudio sincronizado na mesma chamada.

• Duração e controle — 81 quadros por geração com encadeamento autorregressivo, apenas prompts de texto. Sem condicionamento por imagem, sem recursos de referência, sem quadros-chave, sem controle de câmera, sem API de extensão.

• Licença — os pesos do modelo estão sujeitos aos termos AMLR da Apple, e os componentes do LingBot-World v2 são CC BY-NC-SA 4.0. Leia isso antes de criar um produto comercial baseado no aplicativo de demonstração; "pesos abertos" e "livre para comercialização" não são sinônimos, e esta versão é deliberadamente cuidadosa quanto à diferença.

A coisa a observar

FastFrames é mais bem compreendido como uma demonstração de que o custo da geração de vídeo autorregressiva nunca esteve majoritariamente no modelo. Estava na decodificação e na atualização de cache, e a Apple eliminou ambos por cerca de dois milissegundos e um megabyte de parâmetros. Esse resultado é transferível: o decodificador de pixels é treinado por modelo base, mas o princípio — congelar o transformer, aprender a infraestrutura de conexão — se aplica a qualquer pilha de difusão de vídeo causal, e o artigo já mostra que ele foi portado para dois sistemas de terceiros, levando o LingBot-World de 1.085 para 52 milissegundos por quadro na variante de 1,3B e de 3.862 para 233 na de 14B.

O que isso significa para um comprador: se o seu produto precisa de um modelo de vídeo em um loop em tempo real, o requisito de hardware acabou de cair uma ordem de magnitude, e o custo de qualidade parece ser pequeno. Se o seu produto precisa de um clipe finalizado em 1080p com som, nada neste lançamento é voltado para você, e os modelos hospedados continuam sendo a resposta. A lacuna entre esses dois casos de uso é onde os lançamentos de modelos de vídeo dos próximos doze meses serão disputados.

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.