Титульная карточка с надписью «WeMM-Video-2B», подзаголовком «выпущен без анонса» и четырьмя бейджами с надписями «2B dense, 3.28B всего», «видео + аудио + изображение + текст на входе», «Apache 2.0, четыре квантизации», «ноль загрузок на Hub».
Engineering & Research

WeMM-Video-2B: омнимодальная модель на 2B, о которой никто не объявлял

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

Нет анонсирующего поста. Нет карточки модели на странице продукта, нет листа ожидания, нет таблицы цен, нет твита с результатами бенчмарков от руководителя Tencent. Есть репозиторий Hugging Face, созданный в 08:58 UTC 17 ноября 2026 года, и репозиторий GitHub, первый коммит в который был сделан на шесть с половиной часов раньше, и оба они описывают WeMM-Video-2B как плотный 2B-чекпоинт в семействе китайско-английских омнимодальных видеомоделей от WeChat Vision в Tencent. Шесть дней спустя у репозитория два лайка, ноль загрузок и четыре квантованных собрата, созданных в течение одиннадцати минут после базовых весов. Поэтому честное первое предложение любого материала об этой модели — это предложение о её упаковке: она публична, её можно скачать, и никто не сказал о ней ни слова.

К этому пробелу стоит отнестись серьёзно, а не считать его поводом для заметки в тихий новостной день. Семейство моделей, которое за одну неделю выпускает веса, статью, четыре формата квантования, пропатченные рецепты для vLLM и SGLang, нативную среду выполнения на C++ и файл Docker Compose, — это не свалка исследовательских материалов, которую кто-то забыл анонсировать, а релиз, который подготовили, а затем выпустили без маркетинговой обёртки. Далее мы отделяем то, что доказывают артефакты, от того, что может подтвердить только Tencent, и намеренно не пытаемся решить, хороша ли модель.

Что на самом деле содержит репозиторий

Базовый чекпойнт — tencent/WeMM-Video-2B, Apache 2.0, 6,12 ГиБ BF16 safetensors в двух шардах. Индексный файл указывает в общей сложности 3 283 624 264 параметра, что говорит о том, чего не говорит название: «2B» — это языковая модель, а не система. Текстовый бэкбон — декодер семейства Qwen3.5: 24 слоя, размер скрытого состояния 2048, 8 голов внимания при 2 KV-головах, словарь на 248 320 токенов и максимальный позиционный эмбеддинг на 262 144 токена — с гибридной схемой внимания, в которой один слой полного внимания идет после каждых трех слоев линейного внимания. Перед ним находятся 24-слойный визуальный трансформер с размером скрытого состояния 1024 и аудиомодуль, построенный на 32-слойном энкодере Whisper, который подает данные в двухслойный Q-Former с размером скрытого состояния 4104. Остальные параметры находятся в этих двух энкодерах.

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

Эта архитектура отвечает на вопрос, который возникает из названия. Это не видеогенератор. Она принимает видео на вход — кадры плюс, опционально, оригинальную звуковую дорожку — и выдаёт текст. Собственные ID токенов конфигурации подтверждают это: токен видео, токен аудио, токен изображения и языковая модель, которая генерирует. Если вы пришли в надежде увидеть ещё одного участника гонки text-to-video, репозиторий разочарует вас уже при первом взгляде на тег pipeline, а именно image-text-to-text.

• Размеры в семействе — 2B, 4B, 9B (плотные) и 35B-A3B (смесь экспертов), все опубликованы одновременно 17 ноября.

• Квантования для 2B — FP8 Block128, AWQ W4A16, GGUF Q4_K_M и NVFP4 W4A16, каждое в отдельном репозитории, каждое создано в течение одиннадцати минут после базовых весов.

• Способы обслуживания — Transformers 5.2.0, пропатченные vLLM 0.18.0 или 0.31.0, SGLang 0.5.16 или 0.5.19, а также нативная среда выполнения для сборки GGUF, работающая на CPU или CUDA.

• Ограничения на входные данные в готовых рецептах — до четырёх изображений, двух видео и двух аудиоэлементов на запрос при длине контекста 8 192 токена.

• Лицензия — Apache 2.0 на веса, с отдельным файлом уведомлений третьих сторон, охватывающим компоненты LAVIS, vLLM и SGLang.

Именно эта деталь с патчами для сервинга отличает его от типичного релиза открытых весов. Tencent выпустил не репозиторий, который «работает в теории»; он выпустил оверлейные патчи для конкретных версий vLLM и SGLang, зафиксированные файлы зависимостей, Docker-образы с тегом CUDA 12.9 и заметку о валидации, где сказано, что контрольная точка загрузилась и завершила генерацию на оборудовании L20 и H20 для текста, изображений, аудио и видео со звуковой дорожкой. Выдержат ли эти патчи за пределами собственного кластера Tencent — это ровно тот вопрос, на который отвечает неделя, когда посторонние люди запускают их у себя, и эта неделя ещё не наступила.

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

Что утверждает статья и кто это проверил

Технический отчёт — arXiv 2611.26409, датированный 19 ноября 2026 года, через два дня после появления весов, — и это статья о семействе моделей, а не о модели 2B. Двенадцать авторов: первым указан Changli Tang, последним — Jing Lyu, все под вывеской WeChat Vision.

Главное утверждение касается модели 35B-A3B, а не 2B: что она задает новый передовой уровень для открытых решений в оценке омнимодального видео, существенно превосходя Qwen3.5-Omni-Flash и Seed2.0-Mini-0428 и сокращая разрыв с Gemini-3.0-Flash. Второе утверждение действительно относится к модели, вынесенной в заголовок этой статьи: что WeMM-Video-9B превосходит более крупную открытую Qwen3-Omni-30B-A3B-Instruct. Модель 2B фигурирует в описании семейства и в каталоге моделей, но основную аргументацию статьи обеспечивает ее самый крупный собрат.

Все эти цифры приведены производителем. Нет ни записи в Artificial Analysis, ни результата LMArena, ни независимого воспроизведения и — на момент написания — ни сторонней оценки какого-либо рода ни для одного представителя семейства. В статье говорится, что модели оценивали по более чем 120 бенчмаркам; там не сказано, кто их проводил, а ответ — Tencent. Это не обвинение, это обычное состояние для релиза, которому шесть дней. Но это означает, что правильное описание позиции 35B-A3B — «Tencent сообщает, что модель лидирует», а не «она лидирует».

Ещё одна оговорка носит структурный, а не редакционный характер. Набор бенчмарков из 120 задач, выбранных и взвешенных лабораторией, обучившей модель, — это измерение соответствия: он говорит вам, что модель хороша в том, что её авторы сочли нужным измерить. Он не говорит вам, что она хороша в том, что нужно вам. Разрыв между этими двумя утверждениями — вот где совершается большинство ошибок при выборе модели, и никакое количество чтения таблиц его не закрывает.

Четыре режима и почему аудиотракт важен

API инференса поддерживает пять форм запросов, и самая интересная — последняя. Текст и изображение ничем не примечательны. Одно только аудио ничем не примечательно. Только видеокадры — это стандартный случай мультимодального видео. Видео с оригинальной звуковой дорожкой — это тот случай, который меняет то, что можно поручить модели, и в API обслуживания это отдельный тип контента, а не неявное поведение.

На практике это означает, что можно передать модели клип и попросить её описать, что происходит на экране, и резюмировать, что говорится, одним вызовом, и получить ответ, отражающий и то, и другое. Примеры в самой карточке модели делают именно это — транскрибируют английскую речь из записи Apollo 11, а затем описывают тот же MP4 со звуковой дорожкой и без неё. Лучше ли совместное рассуждение, чем запуск видеомодели и речевой модели бок о бок со сшиванием выходных данных, — это эмпирический вопрос, и это самое полезное, что мог бы проверить независимый оценщик.

Ещё одно конструктивное решение, которое стоит назвать, — это шаблон чата с двумя режимами. Передача enable_thinking=False даёт прямой ответ; enable_thinking=True даёт цепочку рассуждений перед ответом. Это переключатель между задержкой и качеством, реализованный как флаг шаблона, а не как два чекпойнта, что является разумным выбором для модели на 2B — вы не платите за второй набор весов, чтобы получить второе поведение.

Запуск этого и честное состояние доступности

Путь быстрого старта — это окружение Python 3.12, GPU NVIDIA, драйвер, совместимый с CUDA 12.9, и FFmpeg. Установите Torch 2.10.0, TorchVision 0.25.0 и TorchCodec 0.10.0 из индекса CUDA 12.9, затем Transformers 5.2.0, Accelerate, Pillow, Librosa, SoundFile, SciPy и Requests. Модель загружается через AutoModelForImageTextToText с trust_remote_code=True — архитектура нестандартная, поэтому этот флаг несёт функциональную нагрузку, а не декоративную, и карточка верно советует прочитать пользовательский код перед его включением.

Если вам нужен сервер, а не скрипт, рецепт vLLM закрепляет пропатченную сборку 0.18.0 и передаёт --no-enable-prefix-caching вместе с --mamba-ssm-cache-dtype float32, и эта комбинация говорит о том, что у гибридных слоёв линейного внимания пока нет рабочего префиксного кэша. Это реальное ограничение пропускной способности для чат-нагрузок, и это та деталь, которая всплывает только когда кто-то действительно пытался это обслуживать.

Цена — вот чего нет ни в одном документе. Для WeMM-Video-2B нет ни эндпоинта, размещённого в Tencent, ни тарифа за токен, ни управляемого развёртывания. Вы скачиваете веса и владеете GPU. Со стороны OrcaRouter честная формулировка та же: мы не обслуживаем WeMM-Video-2B. А из T​encent мы действительно предлагаем линейку текстовых моделей Hunyuan — tencent/hy4, tencent/hy4-flash и preview-сборки — на одном OpenAI-совместимом эндпоинте по прайсовой цене провайдера с наценкой 0%, что полезно, если вашему пайплайну нужна текстовая модель из той же лаборатории, и бесполезно, если нужна именно эта. Два разных продукта, одно имя поставщика — и их смешение было бы лёгкой ошибкой, которую можно допустить в спешке.

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

От любопытства к рекомендации

Три вещи — в порядке того, насколько сильно они способны изменить ситуацию.

Первое — независимая оценка на бенчмарке, который T​encent не выбирал. Любой слепой прогон на арене — понимание видео, аудиовизуальный QA, что окажется ближе всего — сразу показал бы, выдержит ли заявленная позиция семейства проверку нейтральным набором промптов. Пока этого не существует, «новое SOTA в open-source» у 35B-A3B — это заявление о таблице в PDF.

Второй — отчёт о сервинге от сторонней организации, не T​encent. Патчи конкретные, оборудование конкретное, а примечание о валидации охватывает две модели GPU. Неизвестно, будет ли это без проблем работать на узле H100, узле A100 или арендованной 4090, и ответ определит, является ли 2B проектом на выходные или исследовательским артефактом.

Третье — анонс вендора, любой анонс вендора. Пост в блоге, карточка модели на странице продукта T​encent, тарифный план. Сейчас релиз понятен только тем, кто читает временные метки в репозиториях, и семидневное окно, в течение которого это так, закрывается. Если T​encent ничего не опубликует, наиболее вероятное прочтение таково: эти веса существуют, чтобы поддержать статью и 35B, а 2B — это удобный чекпоинт, а не продукт.

Вот в чём честная суть. WeMM-Video-2B — это реальная, доступная для скачивания омнимодальная модель под лицензией Apache-2.0, которую никто не анонсировал, никто не скачивал и никто независимо не тестировал. Если ваша работа связана с совместным аудиовизуальным пониманием и у вас есть свободный GPU и день, то цена выяснения того, что она умеет, — это скачивание. Если ваша работа связана с выпуском чего-то в следующем месяце, цена выяснения выше, и ответственный поступок — дождаться чужих цифр.

Сравнение в этой статье1

Определено по этой статье