Иллюстрация того, как три потока — киноплёнка, звуковая волна и стопка серых блоков данных — сходятся в один узкий пунктирный канал, а над ним парит более бледная копия этого канала, очерченная пунктиром.
Engineering & Research

WeMM-Video-35B-A3B: веса выложены, оценки — собственные у Tencent

Автор

Gideon Frost

Дата публикации

Новые модели · 20Все модели →
Бенчмарки: Artificial Analysis · обновляется ежедневно
Назад ко всем статьям

В течение трёх дней в репозитории Hugging Face tencent/WeMM-Video-35BA3B находился один файл размером 1,5 КБ: .gitattributes. Технический отчёт, описывающий WeMM-Video-35B-A3B, появился на arXiv 19 ноября; в нём чекпойнт назван новым открытым передовым результатом в области совместного аудиовизуального понимания, опережающим Qwen3.5-Omni-Flash и Seed2.0-Mini-0428 и приближающимся к Gemini-3.0-Flash. Читатель, который поверил отчёту и перешёл к весам, не нашёл ничего для скачивания. 67,39 ГиБ BF16-тензоров появились только в 03:57 UTC 20 ноября — сегодня утром. Флагман был анонсирован за день до того, как появился, и все цифры, связанные с ним на данный момент, исходят от команды, которая его обучала.

Эти сроки — не скандал, а обычный исследовательский релиз, просто этапы в нём переставлены местами. Но это означает, что полезный вопрос о WeMM-Video-35B-A3B — не «хороша ли она», на это отчёт отвечает в пользу команды, на семи таблицах, — а «что вы можете проверить сами уже сегодня, а что принимаете на веру». На первую часть репозиторий отвечает лучше, чем большинство релизов.

Грузы прибыли сегодня утром, а не 17-го числа.

Временные метки Hugging Face делают последовательность необычно легко читаемой. Девятнадцать репозиториев WeMM-Video в коллекции T​encent были созданы в пределах шестиминутного окна 17 ноября, между 08:53:50 и 08:59:06 UTC — характерный признак скрипта загрузки, а не человека, нажимающего «опубликовать». Для репозитория 35B-A3B коммит с заголовком initial commit в 08:53:50 содержит ровно один файл, и это не вес. Коммит с заголовком Upload WeMM-Video-35BA3B BF16 release, содержащий семнадцать шардов safetensors, датирован 2026-11-20T03:57:36Z.

Меньшие размеры появились в то же утро: 2B в 01:41, 4B в 04:08, 9B в 05:08. Репозиторий GitHub Tencent/WeMM-Video был создан 17 ноября в 02:29 UTC, а его README всё ещё дорабатывался 20 ноября в 05:09. Отчёт arXiv 2611.26409 был отправлен 19 ноября в 16:58 UTC.

Ничего из этого не является необычным для лаборатории, выпускающей семейство. Что это меняет — так это положение любого, кто читает об этой модели на этой неделе: в отчёте описывается контрольная точка, которая примерно на тридцать шесть часов была обещанием. Если вы читали материалы 19 ноября и пытались запустить её, сбой был не в вашей цепочке инструментов.

A screenshot of the GitHub repository Tencent/WeMM-Video showing the README revision timestamped about an hour earlier, eight commits, a main branch, and a description calling it a family of omni-modal foundation models by WeChat Vision at Tencent.

Что находится внутри чекпоинта 36.18B

Собственные метаданные Hugging Face указывают, что чекпойнт содержит 36 177 564 536 параметров — 36,18 млрд при маркировке «35B-A3B». Маркировка не ошибочна — она просто учитывает не то же самое, что размер файла, и разница между этими двумя значениями — самое практически важное в этой модели.

• Языковая башня — 40 слоёв при скрытой размерности 2 048, 16 голов запросов против 2 голов ключей-значений, размерность головы 256, словарь 248 320. Внимание гибридное: каждый четвёртый слой — полное внимание, а остальные три — линейное внимание, поэтому каждая команда обслуживания в репозитории несёт флаг float32 для SSM-кэша.

• Эксперты — 256 маршрутизируемых экспертов на слой при промежуточной ширине 512, маршрутизация top-8, плюс общий эксперт шириной 512. На 40 слоях это 10 240 маршрутизируемых экспертов.

• Башня зрения — 27 блоков при скрытой ширине 1 152, размере патча 16, пространственном объединении 2, временном патче 2, с проекцией на 2 048.

• Аудио — Архитектура в стиле Whisper: 32 слоя энкодера и 32 слоя декодера шириной 1 280, подающие данные в Q-Former оконного уровня, который сжимает каждое 0,1-секундное окно в один токен. Это даёт 10 аудиотокенов в секунду при входном сигнале 16 кГц, разбитом на 30-секундные фрагменты.

• Происхождение — в отчёте говорится, что MoE построена на Qwen3.6-35B-A3B и что аудиокодеры инициализированы из Qwen2.5-Omni. Видеокадры несут текстовые временные метки, а визуальные и аудиотокены чередуются в хронологическом порядке, а не объединяются в отдельные потоки.

• Обучение — примерно 1,2 трлн мультимодальных токенов в ходе прогрессивного предобучения, затем дистилляция по политике с несколькими учителями, этап предпочтений против повторов, который авторы называют MrDPO, и специализированное обучение с подкреплением.

• Лицензия — Apache 2.0 для всей коллекции, с исключением для сторонних компонентов, которые «остаются на условиях своих соответствующих исходных лицензий». Исключение заявлено, но не перечислено по пунктам.

Рядом с чекпоинтом BF16 опубликованы четыре квантованных варианта, и их файлы манифеста стоит прочитать хотя бы потому, насколько откровенно они помечены. AWQ W4A16 занимает в общей сложности 22,69 ГиБ, и в его манифесте указано quantized_unvalidated. NVFP4 W4A16 — это один файл safetensors размером 24,11 ГиБ, в манифесте которого заявлено только cpu_NVFP4_weight_artifact_independently_reread — веса были повторно прочитаны на CPU, а это контрольная сумма, а не оценка. Пакет GGUF Q4_K_M состоит из трёх файлов (22,61 ГиБ — языковая модель, 0,84 ГиБ — визуальный проектор, 1,99 ГиБ — аудио), и в его манифесте указано exported_unvalidated, а в файле области действия по тензорам указано quantized_candidate_not_validated.

Пятый вариант отсутствует. Карточка модели и таблица model-zoo на GitHub обе ссылаются на репозиторий FP8 Block128; Hub возвращает для него 401 — тот же ответ, который он даёт на имя репозитория, никогда не существовавшего, тогда как все существующие соседние репозитории возвращают 200. В коллекции Hugging Face есть пробел на позиции 1 — ровно там, где должен был находиться этот репозиторий. Это релиз, который всё ещё собирается, пока вы это читаете.

Одно измеренное число, и это аудио.

В карточке модели сообщается ровно об одной оценке, которую провёл сам вендор: MMAR1000 — 72,7%, 727 из 1000. Условия приведены полностью, и это хорошо: только аудио, полное аудио, декодированное на частоте 16 кГц, режим Instruct, жадное декодирование, не более 256 выходных токенов, пропатченный vLLM 0.18 на двух GPU H20 с тензорным параллелизмом.

Всё остальное на этой карточке — это утверждение о том, что что-то загрузилось. Пропатченный vLLM загрузил чекпоинт на H20 и выполнил проверки генерации для текста, изображений, аудио и видео со звуковой дорожкой; локальный чекпоинт прошёл прямую загрузку через Transformers и проверку генерации текста на CPU. Это нижняя граница того, что необходимо для решения о развёртывании, и T​encent не делает вид, что это не так.

Есть одна незакрытая деталь, которую стоит проверить. В руководстве по обслуживанию в том же репозитории GitHub есть таблица проверки, в последней строке которой написано: «Генерация на GPU после загрузки контрольной точки из Hub — в ожидании». В карточке модели сказано, что запуск на H20, который загружается из Hub, завершил генерацию для всех четырёх модальностей. Два документа, написанные одной и той же командой, расходятся в том, что именно было продемонстрировано. Утверждение в карточке более конкретно и, вероятно, более актуально; это расхождение — разумный повод заложить день на собственные smoke-тесты, а не неделю на интеграцию.

В аудиотаблице отчёта для этой контрольной точки также указано 73.6 по MMAR — это другой испытательный стенд, отличный от запуска MMAR1000 в карточке, и его нельзя вычитать из 72.7, чтобы получить «реальное» число. Единственное честное прочтение таково: собственный аудиопоказатель Tencent находится в районе низких 70-х, и никакая независимая сторона его не измеряла.

28 из 30 против omni flash от Qwen

Таблица 1 отчёта — это случай флагманской модели, и случай немалый. Среди 30 бенчмарков с одним показателем в этой таблице — совместные аудиовизуальные задачи, аудиовизуальные галлюцинации, понимание музыки, взаимодействие, описание — WeMM-Video-35B-A3B в режиме Thinking опережает Qwen3.5-Omni-Flash в 28 и уступает в 2. По сравнению с Seed2.0-Mini-0428 он опережает в 26 и уступает в 4. По сравнению с Gemini-3.0-Flash он опережает в 9 и уступает в 21.

Самые важные победы — не самые гладкие:

• Video-MME со звуком — 86,4 у WeMM-Video-35B-A3B, 79,3 у Qwen3.5-Omni-Flash, 83,6 у Seed2.0-Mini-0428, 88,6 у Gemini-3.0-Flash.

• Video-MME v2 с аудио — 54,9 против 36,6 и 51,7, при этом Gemini-3.0-Flash — 63,2. Преимущество в восемнадцать пунктов над ближайшим открытым конкурентом на более сложной части того же бенчмарка.

• AV-SpeakerBench — 72,6 против 65,2 и 68,5, всё ещё позади G​emini с 75,9. Определить по видео, кто говорил, — это задача, которая отличает настоящее аудиовизуальное слияние от модели зрения с прикрученной расшифровкой.

• SciVideoBench и EvaOmni — 69,4 против 51,3 и 57,8 против 30,4. Оба теста требуют интенсивных рассуждений; именно на них более слабая omni-модель обычно и разваливается.

Потери столь же конкретны и заслуживают упоминания, ведь таблица, показывающая только победы, — это именно то, чего этот блог и стремится избегать:

• JointAVBench — 65,9, позади Qwen3.5-Omni-Flash с 69,0 и Gemini-3.0-Flash с 68,4, впереди только Seed2.0-Mini-0428 с 64,7.

• MUSIC-AVQA — 79,5 против 82,1 у Qwen, хотя и опережает 76,2 у Gemini. Именно в музыке аудиостек Qwen всё ещё имеет преимущество.

• Против Seed2.0-Mini-0428 — OmniCompass-AV 46.3 против 47.9, OmniVChat 48.9 против 49.8, O-IN-Bench 49.0 против 49.4, тестовый набор video-SALMONN 2 — 28.3 против 32.7. Три из этих четырёх находятся в пределах одного пункта.

• По сравнению с Gemini-3.0-Flash — разрыв особенно велик на длительном и ориентированном на будущее видео: MMOU 74,5 против 84,7, FutureOmni 56,2 против 65,3, OmniVideoBench 55,3 против 63,3, LVOmniBench 52,6 против 59,8. «Сокращает разрыв» — справедливое описание; «закрывает его» — нет.

Все числа выше принадлежат Tencent. В отчёте это сказано прямо — «Для существующих моделей мы приводим официальные результаты, где они доступны, а в остальных случаях — наши собственные оценки» — и он переключается между режимами Instruct и Thinking в зависимости от таблицы, о чём там также указано. Ни одна третья сторона не воспроизвела ничего из этого, и ни Artificial Analysis, ни LMArena не указывают модель WeMM.

A two-column scoreboard headed 'WeMM-Video-35B-A3B vs Qwen3.5-Omni-Flash — the scoreboard', with six shared rows: Video-MME with audio 86.4 against 79.3, Video-MME v2 with audio 54.9 against 36.6, AV-SpeakerBench 72.6 against 65.2, SciVideoBench 69.4 against 51.3, JointAVBench 65.9 against 69.0, and MUSIC-AVQA 79.5 against 82.1.

Добавление ушей почти не повлияло на оценки зрения

Утверждение в этом релизе, которое заслуживает большего внимания, чем упомянутый в заголовке бенчмарк, — более тихое: что подключение аудиостека к визуально-языковой модели почти не стоило ей зрения. Омнимодальное обучение обычно чего-то да стоит — модель распределяет ёмкость между модальностями и уступает позиции на немом видео.

В отчете это проверяется напрямую путем сравнения WeMM-Video-35B-A3B с его собственной базовой моделью Qwen3.6-35B-A3B на 31 бенчмарке для видео без звука. Флагман опережает на 20 и отстает на 11, причем большинство из этих одиннадцати — в пределах одного пункта.

• Где прирост — TimeLens-Charades 54,8 против 47,4, F-16-NBA 89,9 против 82,8, CrossVid 50,2 против 45,2, OVO-Bench 63,9 против 61,0, TemporalBench 45,9 против 43,3.

• Где он уступил — EgoSchema 74,2 против 77,2, Video-MME 80,4 против 82,5, MVBench 73,1 против 74,6, MLVU 85,3 против 86,2. Остальные — доли балла.

Обращайте внимание на закономерность, а не на количество: прирост сосредоточен в temporal grounding и связывании длинных видео, а потери — в эгоцентричном видео от первого лица. Это правдоподобный компромисс для модели, настроенной на видео со звуком. В сравнении с Qwen3.5-Omni-Flash на той же таблице беззвучного видео она впереди в 30 из 31 случая, проигрывая только VideoVista — 83,5 против 84,1.

Таблицы изображений и текста показывают одинаковую картину. В сравнении с Qwen3.5-Omni-Flash 26 из 28 бенчмарков по изображениям достаются WeMM, исключения — RefCOCO (89.5 против 92.6) и TallyQA (80.7 против 81.2). В сравнении с собственным бэкбоном таблица изображений почти ничейная — 13 впереди, 14 позади — а вот на текстовой таблице и проявляется цена: MMLU-Pro 84.7 против 85.2, GPQA 83.8 против 86.0, IMOAnswerBench 74.8 против 78.9, SuperGPQA 63.4 против 64.7. Потеря нескольких баллов в сложных рассуждениях ради работающей пары ушей — нормальный и оправданный компромисс, но это всё же компромисс, и любой, кто прогоняет через этот чекпоинт текст уровня магистратуры, должен знать о нём.

36B памяти, 3B арифметики

Вот арифметика, которая определяет, пригодна ли эта модель для развёртывания у вас, и она следует из конфигурации, а не из описания. Из 36,18 млрд параметров примерно 32,2 млрд приходятся на маршрутизируемых экспертов: 40 слоёв × 256 экспертов × три проекции при ширине 2 048 на 512. Маршрутизация Top-8 задействует одну тридцать вторую этого объёма на токен — около 1,0 млрд параметров, — и заявленное в обозначении «3B active» согласуется с этим, если учесть внимание, общего эксперта и таблицу эмбеддингов.

Итак, счёт за вычисления небольшой, а счёт за память — нет:

• BF16 — 67,39 ГиБ на семнадцати шардах. Собственная проверка Tencent использовала тензорный параллелизм на двух H20. Для более крупных конфигураций опубликованного числа тензорного параллелизма нет; руководство по обслуживанию говорит только: «планируйте память под полные веса экспертов и при необходимости задавайте --tensor-parallel-size».

• NVFP4 W4A16 — 24,11 ГиБ, что помещается на одну карту объёмом 48 ГБ с запасом для кэша. Это отдельная пропатченная среда vLLM 0.31.0 с поддержкой смешанной точности ModelOpt и Marlin, и она запускается с --max-num-seqs 1.

• AWQ W4A16 — 22,69 ГиБ на пропатченном vLLM 0.18.0 с использованием собственной конфигурации compressed-tensors из чекпоинта.

• GGUF Q4_K_M — пакет из трёх файлов объёмом 24,6 GiB, но для собственной нативной среды выполнения T​encent, а не для llama.cpp или Ollama. В его манифесте указано, что он экспортирован и не прошёл проверку.

Здесь ничего не запускается на непропатченном движке. Репозиторий включает каталог patch: исходные оверлеи с манифестами SHA-256 ровно для четырёх upstream-релизов — vLLM 0.18.0 и 0.31.0, SGLang 0.5.16 и 0.5.19 — каждый привязан к конкретной комбинации PyTorch, Transformers и CUDA 12.9, при этом требуются Python 3.12 и FFmpeg, TorchCodec нуждается в CUDA 12 NPP в пути поиска компоновщика, а SGLang компилирует CUDA-ядра при первом использовании. Поиск по трекеру проблем vLLM не находит ни одного upstream-запроса на эту архитектуру. Это задача для самостоятельного хостинга с оверлеем, применённым к чужому движку инференса.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-35BA3B showing an Image-Text-to-Text pipeline tag with Transformers and Safetensors, English and Chinese language tags, the wemm_qwen3_5_moe architecture tag, an apache-2.0 licence, and a 36B-parameter BF16 model size.

Две детали конфигурации ограничивают то, что вы действительно можете подать на вход. Текстовая конфигурация объявляет 262 144 позиции, но собственная команда vLLM в карточке передаёт --max-model-len 8192, и каждый рецепт SGLang также ограничивает контекст до 8 192 — большое значение представляет собой запас, а не поддерживаемую настройку. С выборкой кадров ситуация та же: процессор по умолчанию настроен на 2 fps и до 128 кадров, тогда как опубликованный рецепт переопределяет это на 16 кадров и бюджет в 262 144 пикселя. При 10 аудиотокенах в секунду контекст на 8 192 токена — это чуть больше тринадцати минут аудио, и ничего более.

OrcaRouter не обслуживает WeMM-Video-35B-A3B, и в каталоге вообще нет ни одного чекпойнта WeMM, поэтому назвать хостинговую цену не получится. А обслуживаем мы модель, на основе которой создана эта: Qwen3.6-35B-A3B доступна на платформе по цене $0,25 за миллион входных токенов и $1,48 за миллион выходных токенов при контексте 262 144 токена, с вводом текста, изображений и видео. Если нужная вам половина этой задачи — «посмотреть клип и порассуждать о нём», а не «посмотреть клип и транскрибировать комнату», то это хостинговая замена, доступная уже сегодня после обеда, вместо скачивания 67 ГиБ и патча на уровне исходного кода. Цена из прайс-листа провайдера передаётся без наценки (0%), а доступ к каждой модели — через один ключ, совместимый с OpenAI, с автоматическим переключением при сбое, так что попробовать второе мнение стоит изменения конфигурации, а не второго контракта.

Что никто за пределами WeChat не проверял

Четыре вещи, которые покупатель обычно получает при запуске продукта, но не может получить здесь.

• Независимая оценка. Нет. Процесс оценки и воспроизведения открыт — это следующий лучший вариант, но не то же самое.

• Условия оценки. Количество кадров, бюджеты пикселей и длины контекста, использованные при прогонах бенчмарка, в отчёте не указаны, а поставляемый рецепт использует выборку из 16 кадров, тогда как процессор по умолчанию использует 128. Выборка из 16 кадров длинного клипа — это другой вход, чем выборка из 128 кадров того же клипа.

• Заявление о развёртывании. В отчёте говорится, что семейство «развёрнуто в нескольких ключевых видеосервисах WeChat», с указанием на торговлю через прямые трансляции, анализ короткометражных драм и интерактивное видео. Это серьёзное заявление, если оно соответствует действительности — производственный трафик является единственной оценкой, с которой никто не может спорить, — и это совершенно невозможно проверить извне. Нигде в релизе не опубликованы показатели задержки, пропускной способности, параллелизма или памяти.

• Квантованные артефакты. Три из четырёх опубликованных вариантов описывают себя в собственных манифестах как непроверенные. AWQ, GGUF и NVFP4 предлагаются, но не гарантируются.

Ничто из этого не является поводом отмахиваться от релиза. Это повод воспринимать его как то, чем он очевидно является: хорошо документированный исследовательский релиз, чьи флагманские веса появились всего несколько часов назад, чья статья вышла раньше, чей репозиторий FP8 ещё не создан, а преимущество в бенчмарках над лучшим открытым omni-конкурентом достаточно велико, чтобы его стоило воспроизвести, а не подвергать сомнению.

Окончательно решить вопрос мог бы всё тот же список, что и всегда. Апстрим-мердж в vLLM положил бы конец патчингу. Первое независимое воспроизведение на Video-MME v2 со звуком подтвердило бы или опровергло разрыв в восемнадцать пунктов. Цена за хостинг — или недостающий репозиторий FP8 — показала бы, намерена ли T​encent сделать так, чтобы это использовали, или же только цитировали. Пока не появится что-то из этого, честный итог таков: WeMM-Video-35B-A3B — самый интересный открытый омнимодальный чекпойнт месяца, его оценки по зрению, похоже, выдерживают добавление слуха, а все его цифры на данный момент исходят от людей, которые его обучали.

Сравнение в этой статье1

Определено по этой статье · Бенчмарки: Artificial Analysis · обновляется ежедневно