Главная титульная карточка с надписью «FastFrames Video Generation», подзаголовком «генерация видео с интерактивной задержкой» и тремя бейджами: «36 мс на кадр», «два размера: 1.3B и 14B» и «480p, открытые веса», а также логотип OrcaRouter в правом нижнем углу.
Engineering & Research

FastFrames от Apple генерирует видео быстрее, чем вы успеваете его посмотреть

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Тридцать шесть миллисекунд на кадр. Это число стоит в заголовке FastFrames Video Generation — релиза, который Apple опубликовала совместно с Cornell 16 ноября 2026 года; веса на Hugging Face под названиями FastFrames-S с 1,3 млрд параметров и FastFrames-L с 14 млрд, а на следующий день — статья под названием «FastFrames: Video Generation at Interactive Latency». Сначала посчитайте, прежде чем читать что-либо ещё: клип — это 81 кадр при 832×480 и 16 кадрах в секунду, то есть 5,06 секунды видео. При 36 миллисекундах на кадр на одном B200 небольшая модель создаёт этот клип за 2,9 секунды. Не быстрее альтернатив — быстрее воспроизведения. Интересный вопрос не в том, реально ли это число. А в том, чем Apple пожертвовала, чтобы его получить, и приемлем ли для вас этот компромисс.

Что именно было выпущено, и когда

Два чекпоинта, оба text-to-video, оба без ограничений доступа и доступны для скачивания по состоянию на эту неделю. Репозитории Hugging Face были созданы 16 ноября 2026 года, и с ними всё ещё работали утром 18 ноября; препринт arXiv (2611.23226) датирован 17 ноября. Таким образом, это релиз двухдневной давности, а не модель с проверенной историей, и здесь ничего не было независимо оценено. Всё последующее — либо собственные измерения авторов, либо характеристика опубликованных весов.

• Размеры — FastFrames-S с 1,3 млрд параметров, FastFrames-L с 14 млрд (14,3 млрд с учётом добавленных голов).

• Базовые модели — дистиллированные соответственно из Wan2.1-T2V-1.3B и Wan2.1-T2V-14B с использованием метода, который авторы называют Causal Forcing++.

• Выход — 832×480 при 16 кадрах/с, 81 кадр за генерацию, авторегрессивно, поэтому клипы можно объединять в цепочку.

• Веса — открыты на Hugging Face, помечены лицензией Apple AMLR; демонстрационный код LingBot-World v2 распространяется под CC BY-NC-SA 4.0, что означает некоммерческое использование, а остальная часть репозитория — под Apple's Sample Code Licence.

• Цены — отсутствуют. У Apple нет размещённого в облаке эндпоинта FastFrames; вы запускаете его на собственных GPU.

Именно это последнее утверждение и стоит усвоить. FastFrames — это исследовательский релиз со скачиваемыми весами, а это не то же самое, что продукт. Здесь нет ни посекундной тарификации, ни очереди, ни SLA, и вызвать его невозможно без NVIDIA GPU и CUDA 12.8.

A scoreboard for FastFrames Video Generation listing six rows: per-frame latency 36 ms, parameters 1.3B and 14B, output 832x480 at 81 frames and 16 fps, VBench total 84.23 and 84.44, audio none, access open weights and self-hosted, with a footer noting the figures are from Apple's own paper and not independently reproduced.

Куда ушли миллисекунды

Архитектурная идея уже, чем «более быстрая модель», и интереснее. FastFrames — это авторегрессионная модель видео-диффузии, то есть она генерирует блок кадров с учётом того, что было раньше. В базовой модели, на которой она построена, Causal Forcing++, генерация одного блока из 81 кадра стоит 271,8 миллисекунды на кадр, и значительная доля этого приходится вовсе не на трансформер — а на вариационный автоэнкодер, декодирующий латенты обратно в пиксели, плюс на шаг обновления KV-кэша, чтобы следующий блок знал, что произошло в этом.

Команда Apple заменила оба конца этого цикла небольшими обученными сетями и не тронула диффузионный трансформер.

• Декодер VAE удалён. Пиксельный декодер с 63,87 млн параметров — три каузальных блока ConvNeXt и финальный линейный слой, выдающий 4×16×16 значений RGB на токен, — напрямую формирует кадры. Время декодирования сокращается с примерно 147 миллисекунд до примерно 1 миллисекунды.

Обновление KV-кэша теперь представляет собой небольшую сеть. Общий stem, четыре блока self-attention с 8 головами и одна голова остаточного восстановления на каждый слой DiT, что занимает 2 миллисекунды на малой модели и 6 — на большой.

• Сам трансформер почти не изменился и заморожен на финальном этапе. На модели 1,3B время DiT снижается с 41,6 до 16,4 миллисекунды; на 14B — с 89,2 до 75,6.

Сложите эти значения для модели 1.3B — и 271,8 миллисекунды превратятся в 35,8. В этом и весь трюк, и он хорош: авторы не ускоряли диффузионный трансформер, а убрали окружавшие его части, которые никогда не были главным. Пиксельный декодер обучали на 32 B200 около недели на 150 000 роллаутах, с этапом состязательного обучения на 8 B200 с использованием замороженного дискриминатора DINOv3 ViT-S/16, чтобы он не создавал размытые кадры.

Заявление о качестве — и кто его проверял

Вот фрагмент, который требует пометки. Приведённые ниже показатели VBench — собственные показатели авторов, полученные на тех же промптах и с теми же seed-значениями при разрешении 480p и указанные в таблице 1 статьи. Ни один независимый исследователь их не воспроизвёл, а VBench — это бенчмарк, который поощряет именно тот вид временной гладкости, в котором сильны авторегрессионные модели. Считайте их заявлением о паритете, а не измерением паритета.

• FastFrames-S — 84.23 VBench в целом, 85.30 качество, 79.92 семантика, при 36 мс на кадр.

• FastFrames-L — 84,44 общий показатель, 85,48 качество, 80,29 семантика, при 45 мс на кадр на восьми B200.

• Causal Forcing++, базовая модель, из которой он был дистиллирован, — итоговый балл 84,11 при 272 мс на кадр, то есть примерно в 7,6 раза медленнее ради результата всего на 0,1–0,3 балла ниже.

• Krea-Realtime — 84,42 балла при 1 675 мс на кадр; в статье утверждается, что сопоставимые реализм, соответствие запросу, композиция и отрисовка текста достигаются при более чем десятикратной скорости.

• Self-Forcing — 84,10 при 717 мс; CausVid — 83,18 при 662 мс; LongLive2.0 — 83,65 при 505 мс.

• Wan2.1 1.3B, базовая модель — 83,80 при 30 444 мс на кадр.

• Wan2.2 14.3B — 84.65 при 117,734 мс на кадр. Вот над этим числом стоит задуматься: лучший совокупный результат в таблице — примерно в 2 600 раз выше по затратам на кадр, чем у FastFrames-L.

• MiniMax-H3 33.1B — 84,43 при 38 454 мс; HunyuanVideo1.5 8.3B — 83,18 при 1 555 508 мс.

Картина такова: ровное плато качества от 83 до 85,5 у всех моделей в списке и разброс задержки в четыре порядка. Что бы ни измерял суммарный показатель VBench, он уже давно перестал различать эти системы. Теперь их разделяет то, насколько быстро они работают и какое разрешение и звук могут выдавать, — и FastFrames с большим отрывом выигрывает по первому столбцу, зато безоговорочно проигрывает по второму.

Что на самом деле дают 36 миллисекунд на кадр

Переведите в метрики, которые важны продуктовому менеджеру. Авторы приводят и пропускную способность, и задержку, а эти две метрики говорят о разном в зависимости от того, сколько у вас GPU.

• FastFrames-S, один B200 — 36 мс на кадр, около 28 запросов в секунду. 5-секундный клип за 2,9 секунды, или в 1,7 раза быстрее, чем вы можете его посмотреть.

• FastFrames-L, восемь B200 — 45 мс на кадр, около 22 запросов в секунду. 5-секундный клип за 3,6 секунды.

• {{1}}FastFrames-L{{/1}}, одна GPU — {{2}}158 мс на кадр{{/2}}, около {{3}}6,3 запроса в секунду{{/3}}. Тот же клип за {{4}}12,8 секунды{{/4}}, что медленнее воспроизведения. Большая модель становится интерактивной, только если распределить её по {{5}}узлу{{/5}}.

• При 720p — 127 мс на кадр для малой модели и 116 мс для большой на восьми GPU; это тот момент, когда «интерактивность» перестаёт быть достижимой для сеанса с одним потоком.

• На H100, а не на B200 — в статье штраф оценивается в 25–50 процентов, поэтому малая модель показывает примерно 45–54 мс на кадр.

Утверждение, которое выдерживает проверку, — это утверждение о малой модели на текущем оборудовании. FastFrames-S на одном B200 действительно работает быстрее реального времени, что и делает возможным цикл живого предпросмотра, потокового аватара или управляемой модели мира без рендер-фермы. 14B интерактивна только в смысле пакетной пропускной способности.

Запуск самостоятельно

Репозиторий содержит рабочий путь инференса, а не только веса. Вам понадобятся Linux x86-64, GPU NVIDIA и CUDA 12.8; затем выполните uv sync и uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints --prompt "..." --seed 0 --output outputs/clip.mp4. Есть скрипт бенчмарка задержки, который принимает число GPU, рабочий процесс оценки VBench и демонстрационное приложение в apps/lingbot, работающее на порту 8000. Apple также опубликовала все контрольные точки каждой стадии обучения большой модели — каузального учителя, этап дистилляции консистентности, этап DMD-дистилляции и финальный генератор с его пиксельным декодером и сетью KV-уточнения, — что необычно и делает релиз воспроизводимым так, как не бывает в большинстве случаев публикации «открытых весов».

The Hugging Face model card for apple/FastFrames-L, showing the title 'FastFrames: Video Generation at Interactive Latency', both checkpoints described as autoregressive two-step video diffusion models generating 480p at interactive latency, the Wan-AI/Wan2.1-T2V-14B base model, arXiv 2611.23226, the apple-amlr licence and a latency benchmark command.

Если у вас нет GPU, честно говоря, OrcaRouter не предоставляет FastFrames, и никто другой тоже — нет хостинговой конечной точки, на которую можно было бы перенаправить запрос. А что покрывает один ключ OrcaRouter — это облачные видеомодели, которые уже работают сегодня, включая Kling 3.0 и Kling 3 Turbo, Kling Video O1 и MiniMax H3, по ценам из прайс-листа провайдера, передаваемым с наценкой 0%, поэтому изменение цены поставщика доходит до вас в тот же день, а не в следующем расчётном цикле. Разумный подход для команды, которая интересуется FastFrames, — прототипировать идею продукта на облачной модели, задержку которой вы можете измерить, и покупать GPU-время только когда вы знаете, что цикл того стоит.

Что он не может делать

Три ограничения, и ни одно из них не будет исправлено на следующей неделе.

• Разрешение — 480p, и точка. Apple сообщает о показателях задержки для 720p, но выпущенная конфигурация — 832×480. Каждый конкурент в этом ценовом классе предлагает как минимум 1080p.

• Аудио — нет. FastFrames работает без звука. Veo, Kling, Grok Imagine и HiDream генерируют синхронизированное аудио в том же вызове.

• Длительность и управление — 81 кадр за генерацию с авторегрессионным связыванием, только текстовые подсказки. Без обусловливания изображением, без референсных ассетов, без ключевых кадров, без управления камерой, без API расширения.

• Лицензия — на веса модели распространяются условия AMLR от Apple, а компоненты LingBot-World v2 — под лицензией CC BY-NC-SA 4.0. Прочитайте это, прежде чем строить коммерческий продукт на демо-приложении; «открытые веса» и «свободная коммерциализация» — не синонимы, и этот релиз намеренно тщательно подчёркивает разницу.

То, за чем стоит следить

FastFrames лучше всего понимать как демонстрацию того, что затраты на авторегрессионную генерацию видео никогда не определялись в основном моделью. Их определяли декодирование и обновление кэша, и Apple устранила и то, и другое ценой примерно двух миллисекунд и мегабайта параметров. Этот результат переносим: пиксельный декодер обучается отдельно для каждой базовой модели, но принцип — заморозить трансформер, обучить обвязку — применим к любому стеку каузальной видеодиффузии, и в статье уже показано, что он перенесён на две сторонние системы: LingBot-World на варианте 1.3B ускорился с 1,085 до 52 миллисекунд на кадр, а на 14B — с 3,862 до 233.

Что это означает для покупателя: если вашему продукту нужна видеомодель, работающая в реальном времени в цикле, требования к оборудованию только что снизились на порядок, а потеря качества, судя по всему, невелика. Если вашему продукту нужен готовый клип в 1080p со звуком, в этом релизе для вас ничего нет, и ответом остаются облачные модели. Именно в разрыве между этими двумя сценариями использования развернётся борьба за видеомодели, которые выйдут в ближайшие двенадцать месяцев.

The FastFrames project page from Apple and Cornell University, naming the seven authors, stating that both checkpoints generate 480p at under 50 milliseconds per frame, with tabs for an interactive demo, abstract, quality-latency plots, pipeline, samples and comparisons.