主标题卡上写着“FastFrames 视频生成”,副标题为“交互级延迟的视频生成”,还有三个徽章,分别写着“每帧 36 毫秒”、“两种规模:1.3B 和 14B”以及“480p,开放权重”,右下角是 OrcaRouter 标志。
Engineering & Research

Apple 的 FastFrames 生成视频的速度比你观看它的速度还快

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

每帧三十六毫秒。这就是 FastFrames Video Generation 最醒目的数字——这是 Apple 与康奈尔于 2026 年 11 月 16 日联合发布的版本;权重在 Hugging Face 上以 FastFrames-S(13 亿参数)和 FastFrames-L(140 亿参数)的形式提供,次日还发表了一篇题为“FastFrames: Video Generation at Interactive Latency”的论文。先算一算,再读其他内容:一个片段是 832×480 下的 81 帧,每秒 16 帧,也就是 5.06 秒视频。在单块 B200 上以每帧 36 毫秒计算,小模型用 2.9 秒就能生成这个片段。不是比替代方案更快——而是比播放还快。有趣的问题不是这个数字是否真实,而是 Apple 为了得到它牺牲了什么,以及这种取舍你是否能接受。

实际发布的是什么,以及何时发布

两个检查点,都是文生视频,截至本周都无需申请且可下载。这些 Hugging Face 仓库创建于 2026 年 11 月 16 日,直到 11 月 18 日上午仍在被改动;arXiv 预印本(2611.23226)的日期是 11 月 17 日。所以这是一个仅发布两天的版本,而不是一个有历史验证记录的模型,这里的一切都尚未经过独立评估。接下来的所有内容,要么是作者自己的测量结果,要么是已发布权重本身的属性。

• 尺寸 — FastFrames-S 为 1.3B 参数,FastFrames-L 为 14B(计入新增头后为 14.3B)。

• 基础模型——分别从 Wan2.1-T2V-1.3B 和 Wan2.1-T2V-14B 蒸馏而来,采用作者称为 Causal Forcing++ 的方法。

• 输出 — 832×480、16 fps,每次生成 81 帧,自回归式,因此片段可以串联。

• 权重 — 已在 Hugging Face 上开放,标注为 Apple 的 AMLR 许可;LingBot-World v2 演示代码采用 CC BY-NC-SA 4.0 许可,即非商业性使用,而仓库其余部分则遵循 Apple 的示例代码许可(Sample Code Licence)。

• 定价 — 无。Apple 没有提供托管的 FastFrames 端点;你需要在自己的 GPU 上运行它。

最后那句话才是需要牢记的。FastFrames 是一个研究发布版,提供可下载的权重,这与产品是不同性质的东西。它没有按秒计费,没有队列,没有 SLA,而且没有 NVIDIA GPU 和 CUDA 12.8 就无法调用它。

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

毫秒都去哪儿了

这个架构思路比“更快的模型”更聚焦,也更有意思。FastFrames 是一种自回归视频扩散模型,这意味着它会基于此前的帧生成一个帧块。在它所基于的基线模型 Causal Forcing++ 中,生成一个 81 帧的块时,每帧耗时 271.8 毫秒,而其中很大一部分根本不在 transformer 上——而是变分自编码器将潜变量解码回像素,再加上更新 KV 缓存的步骤,以便下一个块知道这个块中发生了什么。

苹果团队用小型学习网络替换了该循环的两端,并保持扩散Transformer不变。

• VAE 解码器已被移除。一个拥有 6387 万参数的像素解码器——由三个因果 ConvNeXt 块和一个最终线性层组成,每个 token 直接输出 4×16×16 的 RGB 值——直接生成帧。解码耗时从约 147 毫秒降至约 1 毫秒。

• KV 缓存更新现在是一个小型网络。一个共享主干、四个 8 头自注意力块,以及每个 DiT 层一个残差修复头,在小模型上耗时 2 毫秒,在大模型上耗时 6 毫秒。

• 变换器本身几乎没有变化,并且在最后阶段被冻结。在 1.3B 模型上,DiT 时间从 41.6 毫秒降至 16.4 毫秒;在 14B 模型上,从 89.2 毫秒降至 75.6 毫秒。

在 1.3B 模型上把这些加起来,271.8 毫秒就变成了 35.8。这就是全部诀窍,而且是个好诀窍:作者并没有让扩散 Transformer 变得更快,而是去掉了它周围那些从来都不是重点的部分。像素解码器在 32 块 B200 上训练了大约一周,覆盖 150,000 次 rollout;其中还有一个在 8 块 B200 上进行的对抗阶段,使用冻结的 DINOv3 ViT-S/16 判别器,防止它生成发虚的帧。

质量声明,以及由谁核查

这是需要加标签的部分。下面的 VBench 数字是作者自己的结果,是在 480p 下使用相同的提示词和随机种子运行得到的,并报告在论文的表 1 中。没有独立第三方复现过这些数字,而 VBench 是一个奖励自回归模型所擅长的那种时间平滑性的基准。应把它们视为关于达到同等水平的主张,而不是对同等水平的实测。

• FastFrames-S — VBench 总分 84.23,质量 85.30,语义 79.92,每帧耗时 36 毫秒。

• FastFrames-L — 总分 84.44,质量 85.48,语义 80.29,在八块 B200 上每帧 45 毫秒。

• Causal Forcing++,即其蒸馏所基于的基线——每帧 272 ms 时总分为 84.11,因此约慢 7.6 倍,却只低 0.1 到 0.3 分。

• Krea-Realtime — 在每帧 1,675 毫秒下总分 84.42;论文声称,其以超过十倍的速度实现可比的真实感、提示词遵循度、构图和文本渲染。

• Self-Forcing — 717 毫秒时 84.10;CausVid 662 毫秒时 83.18;LongLive2.0 505 毫秒时 83.65。

• Wan2.1 1.3B,基础模型 — 每帧 30,444 ms 下为 83.80。

• Wan2.2 14.3B —— 每帧 117,734 毫秒下达到 84.65。这个数字值得好好琢磨:它是全场最佳总成绩,但每帧成本约为 FastFrames-L 的 2,600 倍。

• MiniMax-H3 33.1B — 84.43,耗时 38,454 毫秒;HunyuanVideo1.5 8.3B — 83.18,耗时 1,555,508 毫秒。

这张图呈现的是一个平坦的质量平台期:榜单上每个模型都落在 83 到 85.5 之间,而延迟跨度达到四个数量级。无论 VBench 总分衡量的是什么,它早就不再能区分这些系统了。如今拉开它们差距的,是它们的运行速度,以及它们能生成的分辨率和音频——而 FastFrames 在第一列遥遥领先,却在第二列彻底落败。

每帧 36 毫秒究竟能换来什么

换算成产品人员关心的单位。作者既报告了吞吐量,也报告了延迟,而这两者所反映的情况会因你拥有多少块 GPU 而有所不同。

• FastFrames-S,单块 B200 — 每帧 36 毫秒,约每秒 28 个请求。一段 5 秒的片段只需 2.9 秒,即比你正常观看它的速度快 1.7 倍。

• FastFrames-L,八块 B200 — 每帧 45 毫秒,约每秒 22 个请求。5 秒片段用时 3.6 秒。

• FastFrames-L,单块 GPU——每帧 158 毫秒,约每秒 6.3 次请求。同一段剪辑耗时 12.8 秒,比播放速度还慢。只有将大型模型分布到整个节点上,它才具备交互性。

• 在 720p 分辨率下——小模型每帧耗时 127 毫秒,大模型为 116 毫秒,且这是在八块 GPU 上的结果;此时对于单流会话而言,“交互式”已不再成立。

• 在 H100 而非 B200 上——论文给出的性能损失为 25% 到 50%,因此小模型每帧大约落在 45 到 54 毫秒。

站得住脚的说法,是关于小模型在当前硬件上的那一个。FastFrames-S 在单台 B200 上确实快于实时,这正是让实时预览循环、流式虚拟形象或可控世界模型无需渲染农场即可实现的原因。14B 只有在批处理吞吐的意义上才具备交互性。

自己运行

该仓库提供的是一条可用的推理路径,而不仅仅是权重。你需要 Linux x86-64、NVIDIA GPU 和 CUDA 12.8;然后运行 uv sync,以及 uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4。有一个延迟基准测试脚本(接收 GPU 数量)、一个 VBench 评估工作流,以及 apps/lingbot 下一个在 8000 端口提供服务的演示应用。Apple 还发布了大模型每个训练阶段的检查点——因果教师、一致性蒸馏阶段、DMD 蒸馏阶段,以及带有像素解码器和 KV 精炼网络的最终生成器——这很不寻常,并使该发布具有大多数“开放权重”发布所不具备的可复现性。

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

如果你没有 GPU,那么实话实说:OrcaRouter 并不提供 FastFrames,其他任何人也不提供——根本不存在可供路由的托管端点。一个 OrcaRouter 密钥确实覆盖的是如今已经可用的托管视频模型,包括 Kling 3.0 和 Kling 3 Turbo、Kling Video O1 以及 MiniMax H3,价格按供应商列表价透传,0% 加价,因此供应商调价当天就会反映到你这里,而不是等到下一个计费周期。对于对 FastFrames 好奇的团队,明智的做法是先用一个可以测量延迟的托管模型来验证产品想法,只有在确认这个闭环值得投入后,才购买 GPU 时间。

它不能做什么

三个限制,而且下周一个都不会被修补。

• 分辨率——480p,句号。Apple 报告的是 720p 下的延迟数据,但实际发布的配置是 832×480。这一价位段的所有竞品都至少提供 1080p。

• 音频——无。FastFrames 是无声的。Veo、Kling、Grok Imagine 和 HiDream 均在同一个调用中生成同步音频。

• 时长与控制 — 每次生成 81 帧,支持自回归链式续接,仅限文本提示。不支持图像条件输入,不支持参考素材,不支持关键帧,不支持镜头控制,不提供扩展 API。

• 许可 — 模型权重适用 Apple 的 AMLR 条款,LingBot-World v2 组件则采用 CC BY-NC-SA 4.0。在基于该演示应用构建商业产品之前,请先阅读这些条款;“开放权重”与“可自由商业化”并非同义词,本次发布有意对二者的区别保持审慎。

值得关注的事

FastFrames 最好被理解为一个证明:自回归视频生成的代价从来主要都不在模型本身,而在于解码和缓存更新;Apple 用大约两毫秒和一兆字节的参数就把这两者都消除了。这个结果可以迁移:像素解码器是按基础模型分别训练的,但原则——冻结 transformer、学习配套管线——适用于任何因果视频扩散技术栈,而且论文已经展示了它被移植到两个第三方系统:在 1.3B 变体上让 LingBot-World 从每帧 1,085 毫秒降到 52 毫秒,在 14B 上从 3,862 降到 233。

这对买家意味着什么:如果你的产品需要在实时循环中运行视频模型,硬件要求刚刚降低了一个数量级,而质量上的代价似乎很小。如果你的产品需要带声音的 1080p 成品片段,那么本次发布中没有任何内容是针对你的,托管模型仍然是答案。这两种用例之间的差距,正是未来十二个月视频模型发布将要角逐的战场。

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.