
WeMM-Video-9B: почему его 4-битные сборки всё ещё занимают 13 GiB
- OrcaНОВИНКАOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 за 1 млн токенов · 182 tok/s
- tencentНОВИНКАTencent: Hy4 Flash2026-11-16$0.02 / $0.07 за 1 млн токенов · 356 tok/s
- GoogleНОВИНКАGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 за 1 млн токенов · 87 tok/s
- AnthropicНОВИНКАAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 за 1 млн токенов · 147 tok/s
- orcaНОВИНКАOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 за 1 млн токенов · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 за 1 млн токенов · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 за 1 млн токенов · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 за 1 млн токенов · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 за 1 млн токенов · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 за 1 млн токенов · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 за 1 млн токенов · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Интеллект
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 за 1 млн токенов · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Интеллект
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 за 1 млн токенов · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Интеллект
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 за 1 млн токенов · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Интеллект
Четырёхбитная квантизация должна давать примерно четверть объёма исходного файла весов. WeMM-Video-9B в BF16 занимает 19,54 ГиБ, а его сборка AWQ W4A16 — 12,86 ГиБ. Это сокращение на 34%, а не на 75% — при этом сборки FP8, AWQ, NVFP4 и GGUF различаются по объёму не более чем на 0,42 ГиБ, так что выбор между ними почти не даёт выигрыша по памяти. Собственные манифесты экспортёров объясняют почему: 4-битные конвейеры сжимают только плотные матрицы прямой связи — 4,83 млрд параметров из 10,49 млрд — тогда как визуальная башня, аудиобашня, эмбеддинги, выходная голова и веса внимания сохраняют исходную точность, а 5,7 млрд параметров по два байта каждый задают нижний предел, ниже которого не может опуститься ни один рецепт W4. Tencent опубликовала веса, рецепты квантизации и технический отчёт с 12 авторами 17–19 ноября без анонса запуска, и часть, которую ещё никто не описал, — это арифметика, которая, к тому же, и решает, поместится ли эта модель на GPU, который у вас уже есть. По собственным таблицам Tencent она превосходит Qwen3-Omni-30B-A3B-Instruct по 35 из 37 общих аудиовизуальных показателей, которые есть у обеих; а вот насчёт того, безопасно ли развёртывать её четырёхбитные сборки, данных меньше, чем намекают девятнадцать репозиториев.
Стек 10,49B под ярлыком 9B
Репозиторий tencent/WeMM-Video-9B был создан в 08:55:54 UTC 17 ноября 2026 года — через четырнадцать секунд после своего собрата с AWQ и через одиннадцать минут после флагмана 35B-A3B. В организации Tencent существует девятнадцать репозиториев WeMM-Video, и все они были созданы в пределах пятиминутного окна тем утром, что является признаком скрипта загрузки, а не человека, публикующего модели по одной за раз. Проект Tencent/WeMM-Video на GitHub был создан на шесть часов раньше, в 02:29 UTC, его содержательный первоначальный коммит появился 19 ноября, а правки README всё ещё поступали 20 ноября. Статья arXiv 2611.26409 была отправлена в 16:58 UTC 19 ноября.

Ничего из этого не было анонсировано. Мы не смогли найти ни поста в блоге Tencent, ни страницы запуска WeChat Vision, ни пресс-релиза, ни платного тарифа, указывающих на это семейство. На момент написания все девятнадцать репозиториев показывали ноль загрузок и в сумме три лайка. Artificial Analysis не указывает модель WeMM. Ни один из этих фактов ничего не говорит о качестве — они говорят о том, что этап дистрибуции был пропущен.
«9B» в названии — это языковой бэкбон, а не чекпойнт. Hugging Face фиксирует 10,488,603,384 параметра в 1,305 тензорах, а чтение пяти шардов safetensors по именам раскладывает их на четыре группы:
• Языковая модель — 7,94 млрд параметров, включая эмбеддинг токенов на 1,02 млрд.
• Выходная голова — 1,02 млрд параметров. Эмбеддинги не связаны, поэтому это вторая полная копия словаря на 248 320 токенов при скрытой размерности 4 096.
• Аудиобашня — 1,08 млрд параметров. Кодер и декодер в стиле Whisper, по 32 слоя шириной 1 280 каждый, подающие данные в двухслойный Q-Former, который сжимает 0,1-секундные окна в 10 аудиотокенов в секунду.
• Визуальная башня — 0,46 млрд параметров. 27 блоков при скрытом размере 1 152, размере патча 16, пространственном объединении 2, временном патче 2.
Итак, примерно пятая часть файла — это уши и глаза. В статье явно указано происхождение: плотные модели 2B, 4B и 9B построены на Qwen3.5-2B, Qwen3.5-4B и Qwen3.5-9B, модель со смесью экспертов — на Qwen3.6-35B-A3B, аудиокодеры инициализированы из Qwen2.5-Omni, а нативные визуальные кодеры сохраняются, а не заменяются, и замораживаются начиная со второго этапа предварительного обучения, поскольку они «уже обеспечивают достаточно сильные визуальные представления».
Сам бэкбон представляет собой гибрид: 32 слоя, размер скрытого слоя 4 096, 16 голов внимания против 4 голов ключ-значение при размерности головы 256, с одним слоем полного внимания после каждых трёх слоёв линейного внимания и кэшем SSM в формате float32 — поэтому каждая команда обслуживания в репозитории несёт флаг mamba-ssm-cache-dtype float32. Позиционные эмбеддинги объявлены на 262 144 токена; чередующиеся мультимодальные секции RoPE — 11/11/10. Лицензия — Apache 2.0 с исключением для третьих сторон, которое не перечислено на карточке модели.
Четыре сборки, четыре почти одинаковых размера
Вот вся лестница квантования, измеренная по собственному перечню файлов каждого репозитория, а не по округлённому значению на карточке:
• BF16 base — 19,54 ГиБ в пяти шардах.
• FP8 Block128 — 13.10 GiB, один файл. Требуется GPU с поддержкой FP8 и пропатченный vLLM 0.18.0.
• AWQ W4A16 — 12,86 ГиБ, group-128 INT4 в формате compressed-tensors. Пропатченный vLLM 0.18.0.
• NVFP4 W4A16 — 13,07 ГиБ, смешанная точность ModelOpt 0.45.0 с размером группы 16. Пропатченный vLLM 0.31.0 с Marlin, эталонная конфигурация SM120.
• GGUF Q4_K_M — 13.28 GiB в виде набора из трёх файлов: 10.41 GiB — языковая модель, 2.01 GiB — аудиомодуль, 0.86 GiB — визуальный проектор.

Разброс по этим четырём сжатым сборкам составляет 0,42 ГиБ — это меньше запаса, который вы бы оставили на обновление драйвера. Если вы выбираете между ними, чтобы уместиться в карту, вы выбираете не ту переменную: выбирайте по тому, какой у вас GPU и какой рантайм вы можете пропатчить, потому что разницы по памяти там нет.
Наивное ожидание — четверть от 19,54 ГиБ, то есть около 4,9 ГиБ — расходится с реальностью в два с половиной раза. Даже запас относительно BF16 скромен: AWQ экономит 6,68 ГиБ, что действительно даёт 34%, но это совсем не похоже на «в четыре раза меньше», которое подразумевает метка W4.
Что защищают экспортёры и почему
Оба манифеста — AWQ и GGUF — точно указывают, какие тензоры им разрешено затрагивать, и ответ объясняет плато размера.
• Квантованы только плотные матрицы прямой связи. В манифесте AWQ зафиксировано 96 квантованных языковых матриц — по три на слой в 32 слоях, каждая размером 4 096 на 12 288. Это 4,83 млрд параметров из 10,49 млрд, или 46% чекпойнта. Всё остальное сохраняет свою точность.
• Путь внимания восстановлен до BF16. Манифест AWQ содержит attention_restoration блок, в котором перечислены 152 матрицы проекций внимания и 32 входные нормы, скопированные обратно из исходного чекпоинта вместе с их хешами SHA-256. Файл области GGUF сообщает то же количество — protected_attention_BF16: 152 — и добавляет, что эмбеддинг и выходные тензоры — единственные два других защищённых элемента.
• Фронтенд и обе медиабашни никогда не попадают в квантователь. В манифесте AWQ как защищённые тензоры фронтенда, эмбеддингов и головы перечислен 881 тензор — 333 из визуальной башни, 545 из аудиобашни, эмбеддинг токенов, отвязанная выходная голова и финальная норма. В BF16 это примерно 3,57 млрд параметров, или 7,1 ГБ из файла размером 21,0 ГБ, которые полностью находятся вне этапа сжатия.
Следствие — это число, которое реально нужно плану развёртывания: закладывайте 13–13,5 ГиБ видеопамяти под веса, какую бы сборку вы ни выбрали, а затем добавьте сверху KV-кэш и кэш SSM в float32. «4-битная 9B», которой требуется 13 ГиБ под веса, — это не проблема самой модели: один только словарь — это 248,320 токенов, встроенных дважды, а аудиобашня — это Whisper с 1,08 млрд параметров, сидящий в самом её центре, — но это разница между тем, чтобы поместиться на 16-ГБ видеокарту с запасом для работы, и тем, чтобы не поместиться вообще.
Проверено на загрузку, но не проверено на равенство
Каждая карточка квантования в этом семействе сообщает о дымовом тесте, а каждый манифест говорит о чём-то более прямолинейном. Читайте их бок о бок, потому что разрыв между ними — это и есть весь риск использования сжатой сборки.
• FP8 Block128 — карточка: пропатченный vLLM загрузил его на H20 и завершил проверки генерации текста, изображений, аудио и видео со звуком, а аудит точности во время выполнения подтвердил путь W8A8. Манифест: статус quantized_and_independently_reloaded_native_inference_pending, с native_inference_validated: false и native_low_precision_gemm_validated: false, зафиксированными как отдельные флаги.
• AWQ W4A16 — карта: пропатченный vLLM загрузил его на H20, выполнил те же четыре проверки, и аудит точности подтвердил использование весов feed-forward INT4 при attention BF16. Манифест: статус quantized_unvalidated, с diagnostic_variant, указывающим на эталонную сборку с attention BF16 наряду с версией INT4.
• NVFP4 W4A16 — карточка: пропатченный vLLM 0.31.0 загрузил и прогнал «эталонные веса PRO 5000» и прошёл пять проверок генерации, включая немое видео. Манифест: те же три утверждения записаны как флаги, и каждое из них читается как false — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — при статусе cpu_NVFP4_weight_artifact_independently_reread. А вот что манифест действительно подтверждает — это числовую проверку: 96 матриц и 4 831 838 208 элементов деквантованы независимо, средний относительный RMSE 0,095 при лимите 0,35, а 1 209 защищённых тензоров подтверждены как бит-в-бит точные. Это количество элементов — те же 4,83 млрд, что указаны в описании охвата, и именно так становится ясно, что арифметика в этом материале и у экспортёра совпадает.
• GGUF Q4_K_M — карточка: нативная среда выполнения CPU загрузила пакет и сгенерировала вывод текста, изображений, аудио и видео. Статус манифеста exported_unvalidated; статус области — quantized_candidate_not_validated.
«Оно загрузилось и сгенерировало» — это реальный результат, и его стоит иметь: множество квантованных мультимодальных чекпоинтов падают ровно на этом шаге. Но этот результат не решает вопрос о развёртывании, потому что ни одна из этих карточек не сообщает ни одного числа точности для сжатой сборки по сравнению с её собственным BF16-источником. Нет измеренной дельты ни на MMAU, ни на Video-MME, ни по WER транскрипции. Единственное где-либо сделанное утверждение о разрядности является структурным, из аудита AWQ: INT4 в feed-forward, BF16 в attention. Это описывает файл. Оно не говорит, во что обошлось сжатие, а для модели, чьё преимущество над Qwen3-Omni-30B-A3B-Instruct на Video-MME с аудио составляет 7,8 пункта, величина этой цены — не вопрос округления.
Итак, практическое правило для этого семейства — прежде чем доверять таблице из статьи, заново прогнать один важный для вас бенчмарк на той самой сборке, которую вы собираетесь выпускать, в сравнении с базовой версией BF16. Это несколько часов работы, и это единственный способ узнать, можно ли подставить INT4 feed-forward при сохранении результатов по видео — или же за 34%-ную экономию приходится расплачиваться показателями, на которых продаётся карта.

Под этим находятся две механические ловушки.
Первое — это GGUF. «GGUF Q4_K_M» читается как «запускается в llama.cpp или Ollama». Но это не так. Пакет собран для собственной нативной среды выполнения Tencent, которую вы компилируете из репозитория; в карточке модели быстрый старт — это install-cpu/bin и native/run_hf.py — лаунчер, а руководство по обслуживанию направляет GGUF в эту среду выполнения и никуда больше. Если ваш конвейер заточен под llama.cpp, эта контрольная точка — не такой короткий путь, каким кажется.
Второй — это недостаток документации, который стоит назвать, потому что он запутает любого, кто читает манифесты по порядку. Все три манифеста FP8 — для 2B, 4B и 9B — содержат одно и то же поле official_repo: Qwen/Qwen3.5-35B-A3B-FP8. Это скопированная строка происхождения в записи рецепта, а не утверждение, что чекпойнт 9B на самом деле является 35B mixture-of-experts. Ничто другое в файле не поддерживает такое прочтение: список источников того же манифеста указывает на пять шардов tencent/WeMM-Video-9B с совпадающими хешами, а блок архитектуры фиксирует плотную 32-слойную модель с нулём экспертов. 35B-A3B — это реальная отдельная модель; это также единственный размер в семействе без собственного репозитория FP8, имеющий только base, AWQ, GGUF и NVFP4.
9B против 30B на таблицах Tencent
Все приведённые ниже показатели бенчмарков принадлежат самим авторам, взяты из arXiv 2611.26409, и ни одна третья сторона не воспроизвела ни один из них. В статье прямо сказано: для существующих моделей приводятся «официальные результаты, где они доступны, и в остальных случаях наши собственные оценки». Рассматривайте этот раздел как описание утверждения, а не как измерение.
В совместной аудиовизуальной таблице в режиме Thinking модель 9B превосходит Qwen3-Omni-30B-A3B-Instruct по 35 из 37 показателей, общих для двух столбцов, — по одному показателю ничья, по одному поражение — при сравнении с моделью, примерно втрое превышающей её по размеру:
• Video-MME с аудио — 85,1 против 77,3. MiniCPM-o-4.5-9B находится на отметке 69,2.
• Video-MME-v2 с аудио — 51,6 против 36,3, разрыв в 15,3 пункта.
• Daily-Omni — 83,6 против 70,7, хотя 80,2 у MiniCPM-o-4.5-9B делает этот результат трёхсторонним, а не лёгкой победой.
• SciVideoBench и MMOU — 64,2 против 49,9 и 71,7 против 60,5.
• EvaOmni и OmniReasoningBench — 50,7 против 26,1 и 43,9 против 24,1.
• Единственное поражение — FutureOmni, 53,7 против 55,1. MiniCPM-o-4.5-9B набирает там 56,1.
Таблица по видео без звука полезнее, потому что в ней есть контрольная модель из того же семейства: Qwen3.5-9B — базовая модель, на которой построен этот чекпойнт. Если читать два столбца рядом, у посттренинга проявляется определённый профиль. Он выигрывает во временной локализации и временном восприятии — F-16-NBA 88,7 против 75,8, TimeLens-QVHighlights 66,8 против 64,3, TimeLens-ActivityNet 55,3 против 52,2, TOMATO 48,5 против 45,0 — и проигрывает в суммаризации длинных видео и общем распознавании: MLVU 82,4 против 84,4, LVBench 68,2 против 70,0, VideoVista 82,2 против 84,7, VSI-Bench 54,5 против 58,3, MVBench 71,4 против 74,4. Так что это не равномерное улучшение относительно унаследованной базовой модели. Это модель, настроенная на то, когда и где что-то произошло, — с измеримой ценой в виде совокупных оценок по видео и пространственного рассуждения, с которыми базовая модель справлялась лучше.
Аудио — это то, где 9B перестаёт побеждать. В режиме Instruct 9B набирает 70,9 на MMAU-Pro против 64,8 у Qwen3.5-Omni-Flash и 76,8 на MMSU против 72,2 — но проигрывает MMAU 77,0 против 80,4 и MMAR 72,8 против 74,0, а также полностью проигрывает в распознавании речи: частота ошибок в словах LibriSpeech 1,5 и 3,1 против 1,3 и 2,4, частота ошибок в символах WenetSpeech 5,4 и 6,8 против 4,4 и 5,5. Текст и знания рассказывают ту же историю: MMLU-Pro 81,6 против 82,5 у базовой модели Qwen3.5-9B, GPQA 77,8 против 81,7, HMMT 75,0 против 82,9. Если транскрипт — это продукт, специализированный распознаватель всё ещё побеждает.
Одно сравнение в статье следует читать с осторожностью. В омнимодальной таблице модели WeMM запускаются в режиме Thinking, тогда как в аудиотаблице — в режиме Instruct, поскольку авторы сочли стандартные аудиобенчмарки задачами прямого восприятия. Это оправданное разделение, и оно также означает, что строка WeMM в одной таблице несопоставима со строкой конкурента в другой.
Восемь секунд видео по умолчанию
Разрыв между тем, что чекпоинт может принимать, и тем, что ему передают поставляемые рецепты, достаточно велик, чтобы изменить результаты, поэтому его необходимо учитывать в любом плане оценки.
• Бюджет кадров — по умолчанию процессор использует 2 кадра/с, минимум 4 кадра, максимум 128 кадров и 100,663,296 пикселей всего. Рецепт vLLM переопределяет все четыре параметра на 2 кадра/с, 16 кадров и 262,144 пикселя. При 2 кадрах/с шестнадцать кадров — это восемь секунд покрытия из середины клипа.
• Контекст — в текстовой конфигурации объявлено 262 144 позиционных эмбеддинга. Каждая команда обслуживания, которую публикует Tencent, передаёт max-model-len 8192 или context-length 8192, и ничто в репозитории не объясняет, как достичь большего значения.
• Стоимость аудио — 10 токенов в секунду, поэтому бюджета в 8 192 токена хватит примерно на тринадцать минут аудио и ни на что больше. Видео со звуковой дорожкой расходует этот бюджет одновременно на кадры и аудио.
• Медиафайлы на запрос — четыре изображения, два видео, два аудиофайла, согласно установленным лимитам.
Никто за пределами WeChat Vision не публиковал сведений о том, какое сэмплирование использовалось в прогонах бенчмарка. Если вы воспроизводите какое-либо число из таблицы выше, это первая неясность, которую нужно установить, и поставляемое по умолчанию значение в 16 кадров — не то, с чего стоит начинать.
Что с этим можно реально сделать сегодня
OrcaRouter не обслуживает WeMM-Video-9B, и в его каталоге вообще нет ни одного чекпоинта WeMM. Нет ни размещённой цены, которую можно назвать, ни эндпоинта, к которому можно обратиться, поэтому сегодня это задача для самостоятельного развёртывания: пропатчить vLLM или SGLang из каталога overlay репозитория, зафиксировать точную комбинацию PyTorch, Transformers и CUDA 12.9, указанную в манифесте патча для вашей версии движка, и заложить в бюджет 13 ГиБ плюс кэш. Маршрут GGUF требует нативной среды выполнения Tencent, собранной из исходников.
Для визуальной половины задачи на платформе уже есть открытые альтернативы — Qwen3-VL-235B-A22B-Thinking и Qwen3-VL-8B-Thinking обе принимают изображения и видеокадры — доступ к ним открывается через один OpenAI-совместимый ключ наряду с более чем 200 другими моделями, по 0% наценки относительно прайс-листа провайдера. Ни одна из них ничего не слышит, и для аудио-половины нет эквивалента WeMM. Если вы хотите попробовать модель 9B в собственном хостинге, не выводя её на продакшн-путь, направить её за правилом отказоустойчивости — дешёвый способ выяснить, выдерживает ли пропатченный рантайм вашу нагрузку, прежде чем выделять под неё карту.
Четырёхбитные сборки, тем временем, — это то, чего стоит дождаться, а не то, что стоит внедрять. В их собственных манифестах они называют себя непроверенными, а арифметика размера говорит, что предлагаемое ими сжатие даёт 34% экономии на весах — это стоит иметь, но не стоит перестраивать под это развёртывание. Сигнал, за которым стоит следить, — не очередной репозиторий квантования. Это первый манифест в этом семействе, который убирает слово «pending», за которым последует первое независимое воспроизведение таблицы, которая сейчас существует ровно в одном месте: в PDF авторов.
Сравнение в этой статье1
Определено по этой статье
