Card del titolo hero con scritto 'FastFrames Generazione video', sottotitolo 'generazione video a latenza interattiva', con tre badge che riportano '36 ms per frame', 'due dimensioni: 1.3B e 14B' e '480p, pesi aperti', e il logo OrcaRouter in basso a destra.
Engineering & Research

FastFrames di Apple genera video più velocemente di quanto tu possa guardarli

Autore

jinhao.song

Data di pubblicazione

Ultimi modelli · 20Vedi tutti i modelli →
Benchmark: Artificial Analysis · aggiornato ogni giorno
Torna a tutti gli articoli

Trentasei millisecondi per fotogramma. È il numero in cima a FastFrames Video Generation, la release che Apple ha pubblicato con Cornell il 16 novembre 2026 — pesi su Hugging Face come FastFrames-S da 1,3 miliardi di parametri e FastFrames-L da 14 miliardi, un articolo intitolato "FastFrames: Video Generation at Interactive Latency" il giorno successivo. Fai i calcoli prima di leggere qualsiasi altra cosa: una clip è di 81 fotogrammi a 832×480 e 16 fotogrammi al secondo, cioè 5,06 secondi di video. A 36 millisecondi per fotogramma su una singola B200, il modello piccolo produce quella clip in 2,9 secondi. Non più veloce delle alternative — più veloce della riproduzione. La domanda interessante non è se il numero sia reale. È cosa Apple ha sacrificato per ottenerlo, e se quel compromesso è uno con cui puoi convivere.

Cosa è stato effettivamente rilasciato, e quando

Due checkpoint, entrambi text-to-video, entrambi senza restrizioni e scaricabili da questa settimana. Le repository Hugging Face sono state create il 16 novembre 2026 ed erano ancora in aggiornamento la mattina del 18 novembre; il preprint arXiv (2611.23226) è datato 17 novembre. Si tratta quindi di un rilascio di due giorni, non di un modello con uno storico consolidato, e nulla di quanto presentato è stato valutato in modo indipendente. Tutto ciò che segue è o una misurazione degli autori stessi o un attributo dei pesi pubblicati.

• Dimensioni — FastFrames-S con 1,3B parametri, FastFrames-L con 14B (14,3B contando le teste aggiunte).

• Modelli base — distillati rispettivamente da Wan2.1-T2V-1.3B e Wan2.1-T2V-14B, utilizzando una ricetta che gli autori chiamano Causal Forcing++.

• Output — 832×480 a 16 fps, 81 frame per generazione, autoregressivo così le clip possono essere concatenate.

• Pesi — disponibili in open su Hugging Face, contrassegnati con la licenza AMLR di Apple; il codice demo di LingBot-World v2 è CC BY-NC-SA 4.0, ovvero non commerciale, e il resto del repository è sotto la Apple's Sample Code Licence.

• Prezzi: nessuno. Apple non offre alcun endpoint FastFrames ospitato; lo esegui sulle tue GPU.

Quell'ultima frase è quella da interiorizzare. FastFrames è un rilascio di ricerca con pesi scaricabili, che è un oggetto diverso da un prodotto. Non c'è alcuna tariffa al secondo, nessuna coda, nessun SLA e nessun modo di chiamarlo senza una GPU NVIDIA e CUDA 12.8.

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

Dove sono finiti i millisecondi

L'idea architetturale è più circoscritta di "un modello più veloce" e più interessante. FastFrames è un modello di diffusione video autoregressivo, il che significa che genera un blocco di fotogrammi condizionato da ciò che è venuto prima. Nella baseline su cui è costruito, Causal Forcing++, generare un blocco di 81 fotogrammi costa 271,8 millisecondi per fotogramma, e gran parte di questo non è affatto il transformer — è l'autoencoder variazionale che decodifica i latenti riportandoli in pixel, più il passaggio che aggiorna la cache KV affinché il blocco successivo sappia cosa è successo in questo.

Il team di Apple ha sostituito entrambe le estremità di quel ciclo con piccole reti addestrate, lasciando invariato il diffusion transformer.

• Il decoder VAE non c'è più. Un decoder pixel da 63,87 milioni di parametri — tre blocchi ConvNeXt causali e uno strato lineare finale che emette valori RGB 4×16×16 per token — produce direttamente i frame. La decodifica scende da circa 147 millisecondi a circa 1 millisecondo.

• L'aggiornamento della cache KV è ora una piccola rete. Uno stem condiviso, quattro blocchi di self-attention a 8 teste e una testa di riparazione residua per ogni layer DiT, con un costo di 2 millisecondi sul modello piccolo e 6 su quello grande.

• Il transformer stesso è cambiato appena ed è congelato durante la fase finale. Sul modello 1.3B, il tempo DiT passa da 41.6 a 16.4 millisecondi; sul 14B, da 89.2 a 75.6.

Somma quei valori sul modello 1.3B e 271,8 millisecondi diventano 35,8. È tutto qui il trucco, ed è un buon trucco: gli autori non hanno reso più veloce un diffusion transformer, hanno rimosso le parti che lo circondavano e che non erano mai state il punto. Il pixel decoder è stato addestrato su 32 B200 per circa una settimana su 150.000 rollout, con una fase adversariale su 8 B200 che utilizzava un discriminatore DINOv3 ViT-S/16 congelato per impedirgli di produrre fotogrammi poco nitidi.

L'affermazione sulla qualità, e chi l'ha verificata

Ecco la parte che necessita di un'etichetta. I numeri VBench qui sotto sono quelli degli autori stessi, ottenuti con gli stessi prompt e seed a 480p, e riportati nella Tabella 1 del paper. Nessuno indipendente li ha riprodotti, e VBench è un benchmark che premia quel tipo di fluidità temporale in cui i modelli autoregressivi sono bravi. Trattali come un'affermazione di parità, non come una sua misurazione.

• FastFrames-S — 84,23 VBench totale, 85,30 qualità, 79,92 semantico, a 36 ms per frame.

FastFrames-L — 84,44 totale, 85,48 qualità, 80,29 semantico, a 45 ms per fotogramma su otto B200.

• Causal Forcing++, il baseline da cui è stato distillato — 84,11 totali a 272 ms per frame, quindi circa 7,6× più lento per 0,1–0,3 punti in meno.

• Krea-Realtime — 84.42 complessivo a 1.675 ms per frame; il documento sostiene un realismo, un'aderenza al prompt, una composizione e un rendering del testo comparabili a una velocità oltre dieci volte superiore.

• Self-Forcing — 84,10 a 717 ms; CausVid 83,18 a 662 ms; LongLive2.0 83,65 a 505 ms.

• Wan2.1 1.3B, il modello base — 83,80 a 30.444 ms per fotogramma.

• Wan2.2 14.3B — 84,65 a 117.734 ms per fotogramma. Questo è il numero su cui vale la pena soffermarsi: il miglior totale disponibile, a circa 2.600 volte il costo per fotogramma di FastFrames-L.

• MiniMax-H3 33,1B — 84,43 a 38.454 ms; HunyuanVideo1.5 8,3B — 83,18 a 1.555.508 ms.

Il quadro è un plateau di qualità piatto da 83 a 85,5 su ogni modello dell'elenco, e una dispersione della latenza di quattro ordini di grandezza. Qualunque cosa misuri il totale VBench, ha smesso da tempo di discriminare tra questi sistemi. Ciò che ora li distingue è la velocità con cui vengono eseguiti e la risoluzione e l'audio che possono produrre — e FastFrames vince la prima colonna di gran lunga, mentre perde del tutto la seconda.

Cosa ti dà davvero 36 millisecondi per frame

Converti nelle unità che interessano a chi si occupa di prodotto. Gli autori riportano sia il throughput sia la latenza, e questi due raccontano storie diverse a seconda di quante GPU si possiedono.

• FastFrames-S, una B200 — 36 ms per fotogramma, circa 28 richieste al secondo. Una clip di 5 secondi in 2,9 secondi, ovvero 1,7× più veloce di quanto si possa guardarla.

• FastFrames-L, otto B200: 45 ms per frame, circa 22 richieste al secondo. Una clip di 5 secondi in 3,6 secondi.

• FastFrames-L, una GPU — 158 ms per fotogramma, circa 6,3 richieste al secondo. Lo stesso clip in 12,8 secondi, il che è più lento della riproduzione. Il modello grande diventa interattivo solo quando lo si distribuisce su un nodo.

• A 720p — 127 ms per frame per il modello piccolo e 116 ms per quello grande su otto GPU, che è il punto in cui "interactive" smette di essere tale per una sessione a flusso singolo.

• Su H100 anziché B200 — lo studio stima la penalità tra il 25 e il 50 percento, quindi il modello piccolo si attesta intorno ai 45-54 ms per frame.

L'affermazione che regge è quella sul modello piccolo con l'hardware attuale. FastFrames-S su una singola B200 è davvero più veloce del tempo reale, ed è ciò che rende fattibile un ciclo di anteprima dal vivo, un avatar in streaming o un modello di mondo controllabile senza una render farm. Il 14B è interattivo solo nel senso del throughput in batch.

Eseguirlo da soli

Il repository fornisce un percorso di inferenza funzionante, non solo i pesi. Servono Linux x86-64, una GPU NVIDIA e CUDA 12.8; poi uv sync, e uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4. C'è uno script di benchmark della latenza che prende in input un numero di GPU, un workflow di valutazione VBench e un'app demo sotto apps/lingbot servita sulla porta 8000. Apple ha anche pubblicato ogni checkpoint delle fasi di addestramento per il modello grande — il teacher causale, la fase distillata per coerenza, la fase distillata con DMD e il generatore finale con il suo decoder pixel e la rete di raffinamento KV — cosa insolita, che rende il rilascio riproducibile in un modo in cui la maggior parte dei rilasci "open weights" non lo è.

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

Se non disponi delle GPU, la dichiarazione onesta è che OrcaRouter non serve FastFrames, e nemmeno chiunque altro — non esiste un endpoint ospitato a cui instradare. Ciò che una chiave OrcaRouter copre sono i modelli video ospitati che funzionano già oggi, inclusi Kling 3.0 e Kling 3 Turbo, Kling Video O1 e MiniMax H3, a prezzi di listino del fornitore trasferiti con 0% di ricarico, così una variazione di prezzo del fornitore ti raggiunge lo stesso giorno anziché al ciclo di fatturazione successivo. Il modello sensato per un team incuriosito da FastFrames è prototipare l'idea di prodotto su un modello ospitato di cui puoi misurare la latenza, e acquistare tempo GPU solo una volta che sai che il ciclo vale la spesa.

Cosa non può fare

Tre limiti, e nessuno di questi verrà corretto la prossima settimana.

• Risoluzione — 480p, punto e basta. Apple dichiara valori di latenza a 720p, ma la configurazione rilasciata è 832×480. Ogni concorrente in questa fascia di prezzo offre almeno 1080p.

• Audio — nessuno. FastFrames è silenzioso. Veo, Kling, Grok Imagine e HiDream generano tutti audio sincronizzato nella stessa chiamata.

• Durata e controllo — 81 frame per generazione con concatenamento autoregressivo, solo prompt testuali. Nessun condizionamento tramite immagini, nessun asset di riferimento, nessun keyframe, nessun controllo della camera, nessuna API di estensione.

• Licenza — i pesi del modello sono soggetti ai termini AMLR di Apple, e i componenti di LingBot-World v2 sono distribuiti con licenza CC BY-NC-SA 4.0. Leggilo prima di costruire un prodotto commerciale sull'app demo; "pesi aperti" e "liberi per uso commerciale" non sono sinonimi, e questa release è deliberatamente attenta alla differenza.

La cosa da tenere d'occhio

FastFrames si comprende meglio come una dimostrazione del fatto che il costo della generazione video autoregressiva non è mai stato principalmente il modello. Era la decodifica e l'aggiornamento della cache, e Apple li ha eliminati entrambi in circa due millisecondi e un megabyte di parametri. Quel risultato è trasferibile: il decodificatore di pixel viene addestrato per modello di base, ma il principio — congelare il transformer, apprendere l'idraulica — si applica a qualsiasi stack di diffusione video causale, e l'articolo mostra già che è stato portato su due sistemi di terze parti, portando LingBot-World da 1.085 a 52 millisecondi per frame nella variante 1.3B e da 3.862 a 233 nella 14B.

Che cosa significa per un acquirente: se il tuo prodotto richiede un modello video in un ciclo in tempo reale, il requisito hardware è appena diminuito di un ordine di grandezza e il costo in termini di qualità sembra essere contenuto. Se il tuo prodotto richiede una clip finita a 1080p con audio, nulla in questa release è pensato per te, e i modelli ospitati restano la risposta. Il divario tra questi due casi d’uso è il terreno su cui si combatterà, nei prossimi dodici mesi, la prossima tornata di rilasci di modelli video.

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.