「FastFrames Video Generation」と表示されるヒーロータイトルカード。サブタイトルは「インタラクティブなレイテンシでの動画生成」、3つのバッジは「1フレームあたり36 ms」「2サイズ:1.3Bと14B」「480p、オープンウェイト」、右下にOrcaRouterのロゴ。
Engineering & Research

AppleのFastFramesは、あなたが視聴するより速く動画を生成する

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

1フレームあたり36ミリ秒。これがFastFrames Video Generationの冒頭に掲げられた数字だ。Appleが2026年11月16日にCornellと共同で公開したリリースで、重みはHugging FaceにFastFrames-Sが13億パラメータ、FastFrames-Lが140億パラメータとして置かれ、翌日には「FastFrames: Video Generation at Interactive Latency」と題する論文も発表された。何かを読む前にまず計算しよう。クリップは832×480で81フレーム、秒間16フレームなので、5.06秒の動画になる。単一のB200上で1フレーム36ミリ秒なら、小型モデルはそのクリップを2.9秒で生成する。代替手段より速いのではない。再生よりも速いのだ。興味深い問いは、その数字が本物かどうかではない。Appleがそれを手に入れるために何を犠牲にしたのか、そしてその取引に耐えられるのかどうかだ。

実際に何が出荷され、いつ出荷されたのか

2つのチェックポイントはどちらもテキストから動画を生成するもので、どちらもゲートなしで、今週時点でダウンロード可能だ。Hugging Faceのリポジトリは2026年11月16日に作成され、11月18日の朝にもまだ更新されていた。arXivプレプリント(2611.23226)の日付は11月17日である。つまりこれはリリースから2日しか経っていないもので、実績のあるモデルではなく、ここにある内容はどれも独立に評価されていない。以下はすべて、著者自身による測定値か、公開された重みの属性のいずれかである。

• サイズ — FastFrames-S は 1.3B パラメータ、FastFrames-L は 14B(追加されたヘッドを含めると 14.3B)。

• ベースモデル — それぞれ Wan2.1-T2V-1.3B と Wan2.1-T2V-14B から、著者らが Causal Forcing++ と呼ぶ手法を用いて蒸留されたもの。

• 出力 — 832×480、16 fps、1回の生成につき81フレーム、自己回帰式のためクリップを連結可能。

• 重み — Hugging Face で公開されており、Apple の AMLR ライセンスでタグ付けされています。LingBot-World v2 のデモコードは CC BY-NC-SA 4.0(非商用)で、リポジトリの残りは Apple の Sample Code Licence の下にあります。

• 価格 — なし。Apple がホストする FastFrames エンドポイントは存在しません。ご自身の GPU 上で実行する形になります。

最後の一文こそが、心に留めるべきものだ。FastFramesはダウンロード可能な重みを伴う研究リリースであり、製品とは別物だ。秒単位の料金も、キューも、SLAもなく、NVIDIA GPUとCUDA 12.8なしに呼び出す方法もない。

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

ミリ秒はどこへ消えたのか

アーキテクチャ上の着想は「より高速なモデル」よりも限定的だが、より興味深い。FastFramesは自己回帰型の動画拡散モデルであり、つまり以前の内容を条件としてフレームのブロックを生成する。その土台となっているベースラインのCausal Forcing++では、81フレームのブロックを1つ生成するのに1フレームあたり271.8ミリ秒かかり、その大きな割合を占めているのはトランスフォーマーではなく、潜在表現をピクセルに戻す変分オートエンコーダーのデコードと、次のブロックがこのブロックで何が起きたかを把握できるようにKVキャッシュを更新するステップである。

Appleのチームはそのループの両端を小さな学習済みネットワークに置き換え、拡散トランスフォーマーはそのままにした。

• VAEデコーダーは不要になりました。6,387万パラメータのピクセルデコーダー——3つの因果ConvNeXtブロックと、トークンごとに4×16×16のRGB値を出力する最終線形層——がフレームを直接生成します。デコード時間は約147ミリ秒から約1ミリ秒に短縮されます。

• KV キャッシュの更新は今や小さなネットワークです。共有ステム、4つの8ヘッド自己アテンションブロック、およびDiT層ごとに1つの残差修復ヘッドを備え、小さいモデルでは2ミリ秒、大きいモデルでは6ミリ秒かかります。

• トランスフォーマー自体はほとんど変更されておらず、最終段階では凍結されています。1.3BモデルではDiT時間が41.6ミリ秒から16.4ミリ秒に、14Bモデルでは89.2ミリ秒から75.6ミリ秒になります。

1.3Bモデルでそれらを合計すると、271.8ミリ秒が35.8になります。これが仕掛けのすべてであり、しかも優れた仕掛けです。著者らは拡散トランスフォーマーを速くしたのではなく、そもそも本質ではなかったその周辺部分を取り除いたのです。ピクセルデコーダは32台のB200上で約1週間、150,000回のロールアウトにわたって学習され、ぼやけたフレームを生成しないようにするため、8台のB200上で凍結したDINOv3 ViT-S/16識別器を用いた敵対的ステージも行われました。

品質に関する主張と、それを確認した人

ラベルが必要なのはこの部分です。以下のVBenchの数値は著者ら自身によるもので、同じプロンプトと同じシードを用いて480pで実行され、論文のTable 1で報告されています。独立した第三者による再現はなされておらず、VBenchは自己回帰モデルが得意とする種類の時間的な滑らかさを高く評価するベンチマークです。これらは同等性に関する主張として扱い、その測定結果として扱わないでください。

• FastFrames-S — VBench総合84.23、品質85.30、セマンティック79.92、1フレームあたり36 ms。

• FastFrames-L — 総合84.44、品質85.48、セマンティック80.29、8台のB200で1フレームあたり45 ms。

• Causal Forcing++は、その蒸留元となったベースラインで、1フレームあたり272 msで合計84.11。つまり0.1〜0.3ポイント低いだけで約7.6倍遅い。

• Krea-Realtime — 1フレームあたり1,675 msで合計84.42。論文では、10倍超の速度で同等のリアリズム、プロンプトへの追従性、構図、テキストレンダリングを実現すると主張している。

• Self-Forcing — 717 ms で 84.10、CausVid は 662 ms で 83.18、LongLive2.0 は 505 ms で 83.65。

• Wan2.1 1.3B、ベースモデル — 1フレームあたり30,444 msで83.80。

• Wan2.2 14.3B — 1フレームあたり117,734 msで84.65。これはじっくり考える価値のある数字だ:表の中で最高の合計値であり、FastFrames-Lの1フレームあたりコストの約2,600倍にあたる。

• MiniMax-H3 33.1B — 38,454 ms で 84.43、HunyuanVideo1.5 8.3B — 1,555,508 ms で 83.18。

パターンは、リスト上のすべてのモデルにわたる83から85.5までの平坦な品質プラトーであり、レイテンシのばらつきは4桁に及ぶ。VBenchの合計が何を測っていようと、それはしばらく前からこれらのシステムを区別しなくなっている。今それらを分けているのは、どれだけ速く実行できるか、そしてどの解像度と音声を生成できるかだ — そしてFastFramesは第1列で大差をつけて勝ちながら、第2列では完全に負けている。

1フレームあたり36ミリ秒で実際に何が得られるのか

プロダクト担当者が気にする単位に換算してください。著者らはスループットとレイテンシの両方を報告しており、GPUを何基持っているかによって、この2つは異なる示唆を与えます。

• FastFrames-S、B200 1台 — 1フレームあたり36 ms、毎秒約28リクエスト。5秒のクリップを2.9秒で処理、つまり視聴するより1.7倍高速です。

• FastFrames-L、B200×8 — 1フレームあたり45 ms、毎秒約22リクエスト。5秒のクリップを3.6秒で処理。

• FastFrames-L、GPU 1基 — 1フレームあたり158 ms、1秒あたり約6.3リクエスト。同じクリップを12.8秒で処理するため、再生よりも遅くなります。大規模モデルは、ノード全体に分散して初めてインタラクティブになります。

• 720p の場合 — 8 台の GPU 上で、小型モデルは 1 フレームあたり 127 ms、大型モデルは 116 ms。これは、単一ストリームのセッションにおいて「インタラクティブ」がもはや成り立たなくなる地点です。

• B200ではなくH100では——論文はペナルティを25~50パーセントと見積もっているため、小型モデルは1フレームあたりおよそ45~54 msになります。

生き残る主張は、現在のハードウェア上での小規模モデルに関するものだ。1台のB200上のFastFrames-Sは本当にリアルタイムより速く、そのおかげでライブプレビューループ、ストリーミングアバター、制御可能なワールドモデルがレンダーファームなしで実現可能になる。14Bはバッチスループットの意味でのみインタラクティブだ。

自分で実行する

リポジトリには重みだけでなく、動作する推論パスが含まれています。必要なのは Linux x86-64、NVIDIA GPU、CUDA 12.8 です。次に uv sync を実行し、uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4 を実行します。GPU 数を引数に取るレイテンシ・ベンチマークスクリプト、VBench 評価ワークフロー、apps/lingbot 配下でポート 8000 で提供されるデモアプリもあります。Apple は大規模モデルのすべてのトレーニング段階のチェックポイントも公開しました — 因果的教師、一貫性蒸留ステージ、DMD 蒸留ステージ、そして最終ジェネレーターとそのピクセルデコーダーおよび KV 改良ネットワーク — これは異例であり、ほとんどの「オープンウェイト」公開では実現できない形でリリースを再現可能にしています。

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

GPUをお持ちでない場合、正直に申し上げると、OrcaRouterがFastFramesを提供することはなく、他のどこも提供していません。ルーティング先となるホスト型エンドポイントが存在しないのです。OrcaRouterの1つのキーでカバーできるのは、すでに今日動作しているホスト型動画モデルであり、Kling 3.0とKling 3 Turbo、Kling Video O1、MiniMax H3をプロバイダーの定価をそのまま0%のマークアップで提供しています。そのため、ベンダーの価格変更は次の請求サイクルではなく当日に反映されます。FastFramesに興味を持つチームにとって賢明な進め方は、レイテンシを測定できるホスト型モデルに対して製品アイデアをプロトタイピングし、そのループに価値があると確認できてからGPU時間を購入することです。

できないこと

3つの制限があり、そのどれも来週パッチが当てられることはない。

• 解像度 — 480p、それで終わり。Appleは720pのレイテンシ値を報告しているが、リリースされた構成は832×480だ。この価格帯の競合他社はすべて少なくとも1080pを提供している。

• 音声 — なし。FastFrames は無音です。Veo、Kling、Grok Imagine、HiDream はいずれも同じ呼び出しで同期音声を生成します。

• 継続時間と制御 — 自己回帰チェーンにより1回の生成で81フレーム、テキストプロンプトのみ。画像コンディショニングなし、参照アセットなし、キーフレームなし、カメラ制御なし、拡張APIなし。

• ライセンス — モデルの重みには Apple の AMLR 条件が適用され、LingBot-World v2 のコンポーネントは CC BY-NC-SA 4.0 です。デモアプリを基に商用製品を構築する前に、これを読んでください。「オープンウェイト」と「商用化が自由」は同義語ではなく、今回のリリースはその違いについて意図的に慎重です。

注目すべきもの

FastFramesは、自己回帰型動画生成のコストが主にモデルによるものでは決してなかったことを示す実証として理解するのが最も適切だ。コストの正体はデコードとキャッシュ更新であり、Appleはその両方を削除して、およそ2ミリ秒と1メガバイトのパラメータで済ませた。この結果は転用できる。ピクセルデコーダーはベースモデルごとに学習されるが、トランスフォーマーを凍結し、配管部分を学習するという原則は、あらゆる因果的動画拡散スタックに当てはまる。論文ではすでに2つのサードパーティ製システムへの移植が示されており、LingBot-Worldを1.3B版では1フレームあたり1,085ミリ秒から52ミリ秒へ、14B版では3,862ミリ秒から233ミリ秒へ短縮している。

購入者にとってこれが意味するのは次のことだ。あなたの製品がリアルタイムループで動画モデルを必要とするなら、ハードウェア要件はちょうど桁違いに下がり、品質面のコストは小さいように見える。あなたの製品が音声付き1080pの完成クリップを必要とするなら、今回のリリースにはあなた向けのものは何もなく、ホスト型モデルが引き続き答えとなる。これら2つのユースケースの間のギャップこそが、今後12か月の動画モデルリリースで争われる領域だ。

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.