Титульная карточка с надписью «WeMM-Video-4B vs FastFrames Video Generation» и подзаголовком «Тихий шов», две панели, разделённые диском с «vs»: слева перечислено 5,61B, видео и аудио на входе, текст на выходе, 1,07B из них — «уши», максимум 16 кадров и Apache 2.0; справа перечислены 1,3B и 14B, текст на входе, видео на выходе, 81 кадр при 832 × 480, 36 мс на кадр на одном B200 и Apple AMLR; внизу колонтитул с надписью «Показатели WeMM — по данным поставщика; показатели FastFrames — по данным авторов».
Engineering & Research

WeMM-Video-4B против FastFrames Video Generation: тихий шов

Автор

jinhao.song

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

FastFrames Video Generation появился 16 ноября 2026 года, а WeMM-Video-4B — 17 ноября, оба в виде загрузок весов с приложенной статьёй, и ни у одного нет поста о запуске, который заслуживал бы упоминания. Это совпадение — единственная причина сопоставлять их, потому что они выполняют разные задачи: FastFrames превращает предложение в 81 кадр немого видео, а WeMM-Video-4B превращает видео в описание, включая описание того, что говорится поверх него. Интересный вопрос не в том, какой из них лучше. А в том, что происходит, когда ставишь один за другим, — и ответ состоит в том, что стык между ними немой, что незаметно отключает самую дорогую часть чекпоинта WeMM.

Всё ниже либо измеримо в двух репозиториях, либо сообщено авторами двух статей. Ни одну из моделей не запускал никто, кроме тех, кто писал раздел её оценки, и ни у одной нет ни цены хостинга, ни строки в арене, ни стороннего воспроизведения. Там, где показатель взят из таблицы поставщика, это помечено.

Что FastFrames записывает на диск

{{1}}FastFrames{{/1}} — это авторегрессионная модель видеодиффузии, дистиллированная из {{2}}Wan2.1{{/2}}, опубликованная Apple и Cornell как arXiv {{3}}2611.23226{{/3}} 17 ноября, а веса вышли на день раньше. Она выпускается в двух размерах — {{4}}FastFrames-S{{/4}} с 1,3 млрд параметров и {{5}}FastFrames-L{{/5}} с 14 млрд, — а главная ставка сделана на задержку, а не на точность. На одном {{6}}B200{{/6}} маленькая модель создаёт кадр за {{7}}36 миллисекунд{{/7}}, что быстрее, чем воспроизводится клип: генерация {{8}}5,06-секундного{{/8}} ролика занимает примерно {{9}}2,9 секунды{{/9}}. Большая модель выдаёт {{10}}45 миллисекунд{{/10}} на кадр при распределении по восьми {{11}}B200{{/11}}, а на одном GPU деградирует до {{12}}158 миллисекунд{{/12}}, что медленнее реального времени. Apple также сообщает о штрафе в {{13}}25–50 процентов{{/13}} при использовании {{14}}H100{{/14}} вместо {{15}}B200{{/15}}.

Формат вывода фиксированный и узкий. 832×480, 16 кадров в секунду, 81 кадр за генерацию — чуть больше пяти секунд — управляется только текстовым запросом. В выпущенной конфигурации нет ни обусловливания изображением, ни ввода ключевых кадров, ни режима продолжения, ни управления камерой. Также нет звука: ни аудиодекодера, ни аудиолатента, ни звуковой дорожки. Авторы сообщают итоговые показатели VBench 84,23 для малой модели и 84,44 для большой при 480p на совпадающих запросах и сидах, что является достойным результатом для модели, чья ключевая особенность — скорость, и это единственное число качества в релизе.

Куда уходят 1,07 миллиарда параметров

WeMM-Video-4B — средний ребёнок семейства из четырёх размеров от группы WeChat Vision компании Tencent — 2B, 4B, 9B (плотные) и 35B-A3B (смесь экспертов) — все они были загружены в течение девятнадцатиминутного окна 17 ноября, а технический отчёт arXiv 2611.26409 последовал 19 ноября. Название преуменьшает: метаданные safetensors содержат 5 611 746 312 параметров, или 10,45 ГиБ в BF16, потому что «4B» относится к языковой основе Qwen3.5-4B, а не к чекпоинту.

Чтение индекса тензоров объясняет почему. Из 1 268 тензоров языковая модель содержит 4,21 млрд параметров, визуальная башня — 0,33 млрд, а аудиостек — 1,07 млрд. Почти пятая часть этого чекпоинта — это энкодер-декодер в стиле Whisper: 32 слоя энкодера и 32 слоя декодера шириной 1 280, а также Q-Former оконного уровня, который сжимает 0,1-секундные окна в 10 аудиотокенов в секунду и получает входные данные на частоте 16 кГц 30-секундными фрагментами. Этот стек инициализирован из Qwen2.5-Omni.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing an Image-Text-to-Text pipeline tag, Safetensors and custom-code tags, an Apache 2.0 licence, a BF16 block reading 10.45 GiB of weight files, a size panel reading 6B params and 10.5 GB, and a Quantizations section listing four sibling repositories.

• Генерация видео FastFrames — текст на входе, кадры на выходе, без звука на всех этапах конвейера.

• WeMM-Video-4B — на входе кадры и звук, на выходе текст, причём звук обрабатывается выделенной башней на 1,07 млрд параметров, а не выводится из пикселей.

• Пересечение — на уровне модели отсутствует. Оба представляют собой наборы весов под лицензией Apache или Apple без стоящего за ними эндпоинта, и оба предполагают, что ускоритель у вас.

Единственный клип, который создаёт FastFrames, — беззвучный.

Если проследить эту мысль до конца, проблема композиции становится конкретной. Если подключить WeMM-Video-4B вслед за FastFrames Video Generation — отрендерить кадр, а затем описать его, чтобы можно было индексировать, фильтровать или проверять его качество, — то у каждого клипа, который вы передаёте модулю описания, не будет звуковой дорожки. Аудиобашне на 1,07 млрд параметров нечего слушать. Q-Former ничего не выдаёт, а этап слияния сводится к визуальному пути.

Это не недостаток ни одной из моделей; это свойство пайплайна, и у него есть измеримое следствие, поскольку в статье WeMM бенчмарки на видео без звука приводятся отдельно. Если смотреть только на зрение, WeMM-Video-4B набирает 75,7 на Video-MME, 65,3 на LVBench, 74,8 на LongVideoBench и 74,2 на EgoSchema. Именно её совместные аудиовизуальные показатели — 83,9 на Video-MME со звуком и 82,5 на Daily-Omni — оправдывают размер файла, и именно их не может достичь пайплайн, работающий на данных FastFrames.

Честная трактовка этого сочетания такова: FastFrames задействует около 80 процентов чекпоинта WeMM. Если ваша цель — цикл создания подписей для сгенерированных видеоматериалов, модель только с зрением вдвое меньшего размера выполняла бы ту же работу; если ваша цель — понимать видеоматериалы со звуком, FastFrames не может предоставить входные данные. Эти два инструмента сходятся в точке, где один из них наполовину простаивает.

Screenshot of the Tencent/WeMM-Video GitHub repository showing six stars and zero forks, a README describing an omni-modal video understanding family from WeChat Vision, and a file tree containing patch, native, examples, licenses and a THIRD_PARTY_NOTICES file.

Два значения скорости, без общих единиц измерения

Оба релиза начинаются с заявления о задержке, и эти заявления несоизмеримы — именно так это сравнение чаще всего и искажается в интернете.

Показатель FastFrames в 36 миллисекунд относится к одному выходному кадру на одном B200 и измерен относительно воспроизведения. WeMM-Video-4B не создаёт кадры; его затраты — это затраты на декодирование текста в рамках ограниченного медиабюджета. Этот бюджет жёстче, чем можно предположить по настройкам процессора по умолчанию. Рецепт vLLM в репозитории задаёт max_frames 16 при значении по умолчанию процессора 128, fps 2, и общий лимит пикселей 262 144 при длине контекста 8 192 токена. Аудио расходует 10 токенов за каждую секунду, прежде чем будет учтён хотя бы один кадр.

Практическая интерпретация: 20-секундный и 5-секундный клипы оба поступают в модуль описания как шестнадцать кадров, а клип со звуковой дорожкой расходует свой контекст на два потока одновременно. FastFrames обеспечивает движение с частотой 16 кадров в секунду на выходе; WeMM-Video-4B видит слайд-шоу и домысливает движение. Ни одно из этих чисел ничего не говорит о другом, а страница, ставящая «36 мс» рядом с «контекстом 8K», сравнивает бюджет рендеринга с бюджетом чтения.

Two-column scoreboard headed 'WeMM-Video-4B vs FastFrames Video Generation', the left column listing direction, 5.61B total parameters, a 1.07B audio stack, an 8,192-token and 16-frame budget, Apache 2.0 and no independent benchmark, the right listing text in and video out, 1.3B small and 14B large, no audio, 81 frames at 832 by 480, Apple AMLR and no independent benchmark, with a footer reading 'WeMM figures vendor-reported; FastFrames figures per the authors and not independently reproduced.'

Здесь лицензии значат больше, чем баллы.

Для сравнения, настолько скудного на независимые доказательства, строка о лицензии имеет больший вес при принятии решения, чем любой бенчмарк в любой из двух работ, и эти два пункта находятся на противоположных концах спектра.

• FastFrames Video Generation — условия AMLR от Apple в отношении весов, при этом демонстрационные компоненты LingBot-World v2 распространяются по лицензии CC BY-NC-SA 4.0. «NC» — это то ограничение, которое имеет значение: открытые веса, но не для коммерческого использования.

• WeMM-Video-4B — Apache 2.0 для всей коллекции, при этом лицензионный файл Tencent указывает, что сторонние компоненты «остаются под действием своих соответствующих исходных условий». Исключение не детализировано по пунктам, и это реальный пробел, а не формальность, учитывая, что аудиостек происходит от Qwen2.5-Omni, а бэкбон — от Qwen3.5, оба под Apache 2.0.

• Оба — полные контрольные точки этапов обучения и конвейер оценки в репозитории; это обладает необычной для релизов такого рода воспроизводимостью и является лучшей доступной заменой независимой оценки, которой нет ни у одного из них.

Подключение описателя за рендерером

Если вы всё равно строите этот цикл, инженерный вопрос заключается в том, где размещается текстовая модель, потому что в нём три текстовых перехода, и только один из них необязателен.

• Расширение промпта — заметка к кадру превращается в промпт FastFrames. Это необходимо, поскольку у дистиллированной диффузионной модели на 1,3 млрд параметров нет запаса для интерпретации расплывчатого указания.

• Описание — отрендеренный клип отправляется в WeMM-Video-4B и возвращается в виде прозы; именно этот шаг делает видеоматериал доступным для поиска.

• Отбор — текст решает, сохраняется ли клип; это этап, который должен быть дешёвым, потому что вы платите за него на каждом кандидате, а не только на выжившем.

Эти два внешних этапа — обычные задачи генерации текста, и именно эту часть стека OrcaRouter действительно покрывает: один OpenAI-совместимый ключ более чем на 200 моделей, прайс-листовые цены провайдеров без наценки — 0%, так что изменение цены у вендора отражается в тот же день, и автоматическое переключение при сбое, так что rate limit посреди пакета из тысячи клипов превращается в повторную попытку, а не в дыру. Ни FastFrames Video Generation, ни WeMM-Video-4B нет на платформе — обе представляют собой скачиваемые веса, и никакой слой маршрутизации не превращает чекпойнт в эндпоинт. Что роутер убирает, так это интеграционную работу вокруг двух моделей, которые вы хостите сами.

Что ещё не подтверждено

• Независимое качество — ни строки в Artificial Analysis, ни записи в арене, ни стороннего воспроизведения ни для одной из моделей. VBench 84.44 и Video-MME 83.9 заявлены авторами и не запускались никем другим.

• Условия оценки — в статье WeMM не указаны количество кадров, бюджет пикселей или длина контекста, использованные для её видеобенчмарков, а в прилагаемом рецепте используются 16 кадров, тогда как процессор по умолчанию принимает 128. Этот разрыв достаточно велик, чтобы повлиять на строки с длинными видео.

• Цена — ни у одного из них её нет. Ни хостингового эндпоинта, ни тарифа за секунду, ни списка партнёров. Затраты — это ваша собственная GPU плюс пропатченная надстройка vLLM или SGLang, которую требует репозиторий WeMM, поскольку ни один из этих движков не поддерживает данную архитектуру в upstream.

• Возможность коммерческого использования на стороне Apple — AMLR вместе с лицензией на некоммерческую демонстрацию означает, что именно рендерер, а не описатель, — та часть этого конвейера, которую остановит юридическая проверка.

Вопрос, который выбирает один

Спросите, что представляет собой ваш артефакт. Если это файл, его может создать только FastFrames, и вы ориентируетесь примерно на 480p, пять секунд, тишину и некоммерческую лицензию. Если это утверждение о уже имеющихся у вас видеоматериалах — что происходит, кто говорит, что слышно — его может создать только WeMM-Video-4B, и вы ориентируетесь примерно на шестнадцать выборочных кадров и восемь тысяч токенов.

Если это и то, и другое, вы строите двухмодельную систему, стык которой немой, и самая дешёвая корректная версия такой системы не использует omni-чекпоинт 5.61B для подписывания беззвучного выходного материала. Используйте модель компьютерного зрения для отрендеренных клипов, а WeMM-Video-4B оставьте для исходного материала, в котором есть звук. Это менее элегантная архитектура, чем одна модель для всего, но именно её поддерживают цифры.

Чего пока не даёт ни один из релизов, так это того, что решило бы вопрос: прогона, выполненного кем-то, кто не писал статью. Две лаборатории выпустили серьёзные видеоработы на одной и той же неделе без анонса — и это куда более интересный факт о ноябре 2026 года, чем любая отдельная ячейка бенчмарка.