主視覺標題卡顯示「FastFrames 影片生成」,副標題為「達到互動延遲的影片生成」,並有三個徽章寫著「每幀 36 毫秒」、「兩種尺寸:1.3B 與 14B」以及「480p,開放權重」,OrcaRouter 標誌位於右下角。
Engineering & Research

Apple 的 FastFrames 生成影片的速度比你看得還快

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

每幀三十六毫秒。這就是 FastFrames Video Generation 最上方的數字,這個版本由 Apple 與康乃爾於 2026 年 11 月 16 日共同發布——權重放在 Hugging Face,名為 FastFrames-S,有 13 億參數,以及 FastFrames-L,有 140 億參數;隔天則有一篇題為「FastFrames:互動延遲下的影片生成」的論文。在讀其他任何內容之前,先算一下:一段影片是 81 幀、解析度 832×480、每秒 16 幀,也就是 5.06 秒的影片。在單張 B200 上以每幀 36 毫秒計算,小模型只需 2.9 秒就能生成那段影片。不是比替代方案快——而是比播放快。有趣的問題不是這個數字是否真實,而是 Apple 為了得到它犧牲了什麼,以及那樣的取捨是不是你能接受的。

實際上出貨了什麼,以及何時出貨

兩個檢查點,皆為文字轉影片,且截至本週都無需申請即可下載。Hugging Face 儲存庫建立於 2026 年 11 月 16 日,且在 11 月 18 日上午仍有人持續修改;arXiv 預印本(2611.23226)日期為 11 月 17 日。所以這是才發布兩天的版本,不是已有實績紀錄的模型,而且這裡沒有任何內容經過獨立評估。以下所有內容,不是作者自己的量測結果,就是已發布權重的屬性。

• 大小 — FastFrames-S 為 1.3B 參數,FastFrames-L 為 14B(計入新增的頭部後為 14.3B)。

• 基礎模型——分別從 Wan2.1-T2V-1.3B 與 Wan2.1-T2V-14B 蒸餾而來,採用作者稱為 Causal Forcing++ 的方法。

• 輸出 — 832×480、16 fps,每次生成 81 幀,採自迴歸方式,因此可將片段串接起來。

• 權重 — 在 Hugging Face 上公開,標示為 Apple 的 AMLR 授權條款;LingBot-World v2 示範程式碼為 CC BY-NC-SA 4.0,屬於非商業性授權,而儲存庫其餘部分則採用 Apple 的 Sample Code Licence。

• 定價——無。Apple 並未提供託管的 FastFrames 端點;你必須在自己的 GPU 上自行執行。

最後那句才是需要內化的重點。FastFrames 是附有可下載權重的研究版本,這與產品是截然不同的東西。它沒有按秒計費的費率、沒有排隊機制、沒有 SLA,而且沒有 NVIDIA GPU 和 CUDA 12.8 就無法呼叫它。

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

毫秒都去了哪裡

這個架構構想比「更快的模型」更聚焦,也更有意思。FastFrames 是一種自迴歸影片擴散模型,這表示它會以先前的內容為條件,生成一個影格區塊。在作為其基礎的基準 Causal Forcing++ 中,生成一個 81 幀的區塊時,每幀要花 271.8 毫秒,而其中很大一部分根本與 transformer 無關——那是變分自編碼器把潛在表示解碼回像素,再加上更新 KV 快取、讓下一個區塊知道這一個區塊發生什麼事的步驟。

Apple 團隊把那個迴路的兩端都換成小型學習網路,並讓擴散 Transformer 保持不變。

• VAE 解碼器已被移除。一個擁有 6,387 萬參數的像素解碼器——由三個因果 ConvNeXt 區塊與一個最終線性層組成,每個 token 輸出 4×16×16 的 RGB 值——直接產生影格。解碼時間從約 147 毫秒降至約 1 毫秒。

• KV 快取更新現在是一個小型網路。一個共用主幹、四個 8 頭自注意力區塊,以及每個 DiT 層一個殘差修復頭,在小模型上耗時 2 毫秒,在大模型上耗時 6 毫秒。

• 轉換器本身幾乎沒有變動,並且在最後階段被凍結。在 1.3B 模型上,DiT 時間從 41.6 毫秒降至 16.4 毫秒;在 14B 模型上,則從 89.2 降至 75.6。

把這些加總到 1.3B 模型上,271.8 毫秒就變成 35.8。這就是全部的訣竅,而且是個好訣竅:作者並沒有讓擴散 Transformer 變得更快,而是移除了它周圍那些從來就不是重點的部分。像素解碼器在 32 張 B200 上訓練了約一週、涵蓋 150,000 次 rollout,並在 8 張 B200 上進行對抗階段,使用凍結的 DINOv3 ViT-S/16 判別器,以防止它產生模糊的影格。

品質聲明,以及由誰查核

這是需要加上標籤的部分。下方的 VBench 數字是作者自己的,使用相同的提示詞與種子、以 480p 執行,並報告於論文表 1。沒有任何獨立第三方重現過這些數字,而 VBench 是一個會獎勵自迴歸模型所擅長的那種時間平滑度的基準。把它們當作關於達到同等水準的主張,而不是對同等水準的測量。

• FastFrames-S — VBench 總分 84.23,品質 85.30,語意 79.92,每幀 36 毫秒。

FastFrames-L — 總分 84.44、品質 85.48、語意 80.29,在八張 B200 上每幀 45 毫秒。

• Causal Forcing++,也就是它蒸餾所依據的基準模型——在每幀 272 毫秒下總分為 84.11,因此速度約慢 7.6 倍,但分數只少 0.1 到 0.3 分。

• Krea-Realtime — 總分 84.42,每幀 1,675 毫秒;論文宣稱其真實感、提示詞遵循度、構圖與文字渲染可媲美,且速度超過十倍。

• Self-Forcing — 於 717 毫秒達 84.10;CausVid 於 662 毫秒達 83.18;LongLive2.0 於 505 毫秒達 83.65。

• Wan2.1 1.3B,基礎模型——每幀 30,444 毫秒下為 83.80。

• Wan2.2 14.3B — 每幀 117,734 毫秒下取得 84.65。這個數字值得細細玩味:全場最佳的總分,代價是每幀成本約為 FastFrames-L 的 2,600 倍。

• MiniMax-H3 33.1B — 84.43,耗時 38,454 毫秒;HunyuanVideo1.5 8.3B — 83.18,耗時 1,555,508 毫秒。

這個模式是:清單上每個模型的分數都落在 83 到 85.5 的平坦品質高原上,而延遲差距橫跨四個數量級。無論 VBench 總分衡量的是什麼,它老早就已無法區分這些系統。現在區分它們的是執行速度,以及它們能產出的解析度和音訊——而 FastFrames 在第一欄以大幅差距勝出,在第二欄則徹底落敗。

每幀 36 毫秒實際上能換來什麼

把單位換成產品人員會在意的單位。作者同時報告吞吐量和延遲,而這兩者會根據你擁有多少張 GPU,講出不同的故事。

• FastFrames-S,單張 B200 — 每幀 36 毫秒,約每秒 28 個請求。一段 5 秒的片段只需 2.9 秒,或比你觀看它的速度快 1.7 倍。

• FastFrames-L,八張 B200 —— 每幀 45 毫秒,每秒約 22 個請求。5 秒片段只需 3.6 秒。

• FastFrames-L,單一 GPU —— 每幀 158 毫秒,約每秒 6.3 次請求。同一段短片需時 12.8 秒,比播放速度還慢。大型模型唯有分散到整個節點上,才具備互動性。

• 在 720p 下——在八張 GPU 上,小模型每幀 127 毫秒,大模型每幀 116 毫秒,而這正是單一資料流工作階段中「互動式」不再成立的地步。

• 在 H100 而非 B200 上——論文將這一代价估在 25% 到 50%,因此小模型每幀大約落在 45 到 54 毫秒。

站得住腳的說法,是關於小模型在現行硬體上的那一項。單顆 B200 上的 FastFrames-S 確實比即時更快,而這正是讓即時預覽迴圈、串流虛擬人像,或可控世界模型得以在無需渲染農場的情況下成真的關鍵。14B 僅在批次吞吐量的意義上才稱得上具互動性。

自行運行

這個儲存庫隨附可運作的推論路徑,而不只是權重。你需要 Linux x86-64、NVIDIA GPU 與 CUDA 12.8;接著執行 uv sync,以及 uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4。另有一個延遲基準測試腳本,可接受 GPU 數量作為參數;還有一套 VBench 評測工作流程,以及 apps/lingbot 下一個在 8000 埠提供服務的示範應用程式。Apple 也公布了大型模型每個訓練階段的檢查點——因果教師、一致性蒸餾階段、DMD 蒸餾階段,以及附有像素解碼器與 KV 精煉網路的最終生成器——這很不尋常,也讓此發布版本能以大多數「開放權重」釋出做不到的方式重現。

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

如果你沒有 GPU,誠實的說法是 OrcaRouter 並不提供 FastFrames,其他任何人也一樣——沒有可路由的託管端點。一把 OrcaRouter 金鑰確實涵蓋的,是目前已經可用的託管影片模型,包括 Kling 3.0 與 Kling 3 Turbo、Kling Video O1 和 MiniMax H3,價格為以 0% 加成直接轉嫁的供應商定價,因此供應商價格一有變動,你會在當天收到反映,而不是等到下一個帳單週期。對於對 FastFrames 感到好奇的團隊,明智的做法是先針對延遲可量測的託管模型來製作產品構想原型,並且只有在確定這個循環值得之後,才購買 GPU 時間。

它做不到的事

三個限制,而且它們都不會在下週被修補。

• 解析度 — 480p,就是這樣。Apple 宣稱的延遲數據是 720p,但實際推出的配置是 832×480。這個價位帶的每個競爭對手至少都提供 1080p。

• 音訊 — 無。FastFrames 為靜音。Veo、Kling、Grok Imagine 和 HiDream 均在同一次呼叫中生成同步音訊。

• 時長與控制 — 每次生成 81 個影格,並以自回歸方式串接,僅接受文字提示。不支援影像條件輸入、參考素材、關鍵影格、攝影機控制,也沒有擴充 API。

• 授權 — 模型權重受 Apple 的 AMLR 條款約束,而 LingBot-World v2 元件採用 CC BY-NC-SA 4.0。在基於示範應用程式打造商業產品之前,請先閱讀相關條款;「開放權重」與「可自由商業化」並非同義詞,而本次發布特意審慎區分兩者。

值得留意的事

FastFrames 最適合被理解為一項論證:自迴歸影片生成的成本,從來主要都不是模型本身。成本在於解碼與快取更新,而 Apple 用大約兩毫秒和一個百萬位元組的參數,把這兩者都刪掉了。這個結果可以轉移:像素解碼器是針對每個基礎模型分別訓練的,但那個原則——凍結 transformer、學習管線——適用於任何因果式影片擴散堆疊,而且論文已經展示了它被移植到兩套第三方系統上,在 1.3B 版本上讓 LingBot-World 從每幀 1,085 毫秒降到 52 毫秒,在 14B 上則從 3,862 降到 233。

這對買家意味著什麼:如果你的產品需要在即時迴圈中運行影片模型,硬體需求剛剛下降了一個數量級,而品質代價似乎很小。如果你的產品需要帶聲音的 1080p 成品片段,這次發布中沒有任何東西是衝著你來的,託管模型仍然是答案。這兩種使用情境之間的差距,正是未來十二個月影片模型發布將競逐的戰場。

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.