主视觉标题卡写着“WeMM-Video-9B:为什么它的 4-bit 构建仍高达 13 GiB”,副标题为“腾讯于 2026 年 11 月 17 日发布了 19 个 WeMM-Video 仓库,却没有发布公告”,并列出四行内存芯片信息:BF16 基础版分布于五个分片、共 19.54 GiB,FP8 Block128 为 13.10 GiB,AWQ W4A16 为 12.86 GiB,NVFP4 W4A16 为 13.07 GiB;一条高亮行显示全部四个压缩版本之间的差距为 0.42 GiB,页脚则说明:尺寸均取自各 Hugging Face 仓库的文件列表,且为厂商报告值,未经独立验证。
Engineering & Research

WeMM-Video-9B:为什么它的 4 位构建版本仍有 13 GiB

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

4 位量化后的权重文件大小应约为原始权重文件的四分之一。WeMM-Video-9B在 BF16 下为 19.54 GiB,而其 AWQ W4A16 构建为 12.86 GiB。这是 34% 的缩减,而非 75%——并且 FP8、AWQ、NVFP4 和 GGUF 构建彼此相差都在 0.42 GiB 以内,因此它们之间的选择几乎不能为你节省任何内存。导出器自带的清单解释了原因:4 位流水线只压缩稠密前馈矩阵——104.9 亿参数中的 48.3 亿——而视觉塔、音频塔、嵌入层、输出头和注意力权重都保持原始精度,57 亿个参数、每个两字节,设定了任何 W4 方案都无法突破的下限。Tencent 于 11 月 17 日至 19 日发布了权重、量化方案以及一份由 12 位作者撰写的技术报告,却没有发布博文,而至今尚无人撰文说明的部分是算术——这也恰好是决定该模型能否装进你已有 GPU 的部分。在 Tencent 自己的表格上,它击败了Qwen3-Omni-30B-A3B-Instruct在两者共有的 37 项联合音视频指标中的 35 项;至于其 4 位构建是否可安全部署,现有记录比十九个代码库所暗示的要单薄。

一个 10.49B 的堆栈,却贴着 9B 的标签

仓库 tencent/WeMM-Video-9B 创建于 2026 年 11 月 17 日 08:55:54 UTC,比其 AWQ 同门版本晚十四秒,比 35B-A3B 旗舰版本晚十一分钟。T​encent 组织下共有十九个 WeMM-Video 仓库,全部创建于当天早上的一个五分钟窗口内,这更像是上传脚本的特征,而不是某个人一次发布一个模型。GitHub 项目 Tencent/WeMM-Video 创建于六小时前的 02:29 UTC,其首个实质性提交于 11 月 19 日落地,而 README 修订直到 11 月 20 日仍在陆续到达。论文 arXiv 2611.26409 于 11 月 19 日 16:58 UTC 提交。

Screenshot of the Hugging Face model page for tencent/WeMM-Video-9B, showing the model card, the file listing and the repository tab bar for a repository created on 17 November 2026 with no launch announcement linked from it.

上述内容均未对外公布。我们找不到任何指向该系列的 T​encent 博客文章、WeChat Vision 发布页面、新闻稿或付费档位。撰写本文时,全部十九个代码仓库的下载量均为零,合计只有三个点赞。Artificial Analysis 未列出任何 WeMM 模型。这两个事实都不能说明质量如何——它们说明的是分发环节被跳过了。

名称中的“9B”指的是语言骨干,而不是检查点。Hugging Face 记录了跨 1,305 个张量的 10,488,603,384 个参数,而按名称读取五个 safetensors 分片会将它们分成四堆:

• 语言模型 — 79.4亿参数,其中包括10.2亿token嵌入。

• 输出头 — 10.2亿参数。词嵌入未绑定,因此在 4,096 隐藏维度下,这是对 248,320 个 token 词表的第二份完整副本。

• 音频塔——10.8 亿参数。采用 Whisper 风格的编码器和解码器,各 32 层、宽度为 1,280,接入一个两层 Q-Former,将 0.1 秒的窗口压缩为每秒 10 个音频 token。

• 视觉塔——0.46B 参数。27 个块,隐藏大小为 1,152,patch 大小为 16,空间合并为 2,时间 patch 为 2。

因此,文件里大约五分之一是“耳朵和眼睛”。论文明确说明了来源:稠密的 2B、4B 和 9B 模型分别构建在 Qwen3.5-2B、Qwen3.5-4B 和 Qwen3.5-9B 之上,混合专家模型构建在 Qwen3.6-35B-A3B 之上,音频编码器从 Qwen2.5-Omni 初始化,而原生视觉编码器则被保留下来,而不是被替换,并且从第二预训练阶段开始就被冻结,因为它们“已经提供了足够强的视觉表示”。

骨干本身是混合架构:32 层、隐藏大小为 4,096、16 个注意力头对应 4 个键值头(头维度为 256),每三个线性注意力层后有一个全注意力层,并配有 float32 的 SSM 缓存——这就是为什么仓库中的每条服务命令都带有mamba-ssm-cache-dtype float32标志。位置嵌入声明为 262,144 个 token;交错的多模态 RoPE 分段为 11/11/10。许可证为 Apache 2.0,并带有一项未在模型卡中逐项列出的第三方例外条款。

四个构建版本,四种几乎相同的尺寸

以下是完整的量化阶梯,依据每个仓库自己的文件列表测量得出,而不是卡片上四舍五入后的数字:

• BF16 基础版 — 五个分片共 19.54 GiB。

• FP8 Block128 — 13.10 GiB,单个文件。需要支持 FP8 的 GPU 以及打过补丁的 vLLM 0.18.0。

• AWQ W4A16 — 12.86 GiB,采用 compressed-tensors 格式的 group-128 INT4。已打补丁的 vLLM 0.18.0。

• NVFP4 W4A16 — 13.07 GiB,ModelOpt 0.45.0 混合精度,组大小为 16。已打补丁的 vLLM 0.31.0,搭配 Marlin,SM120 参考配置。

• GGUF Q4_K_M — 13.28 GiB,作为三文件捆绑包:10.41 GiB 语言部分、2.01 GiB 音频部分、0.86 GiB 视觉投影器。

Generated single-column scoreboard titled 'WeMM-Video-9B — the scoreboard' with six memory-chip rows: BF16 base 19.54 GiB across five shards, FP8 Block128 13.10 GiB, AWQ W4A16 12.86 GiB, NVFP4 W4A16 13.07 GiB, GGUF Q4_K_M 13.28 GiB, and a spread of 0.42 GiB across the four compressed builds, with a footer stating the sizes are measured from each Hugging Face repository's file listing and are vendor-reported with no independent verification.

这四个压缩构建之间的差距是 0.42 GiB,比你为驱动更新预留的余量还要小。如果你是在它们之间做选择以适配某张显卡,那你选错了变量:应该根据你拥有哪款 GPU、能修补哪个运行时来选择,因为内存差异并不在那里。

天真的预期——19.54 GiB 的四分之一,也就是约 4.9 GiB——相差了 2.5 倍。即便是相对于 BF16 的余量也不算大:AWQ 节省了 6.68 GiB,这确实是实打实的 34%,但完全不像 W4 标签所暗示的“小四倍”。

出口商保护的是什么,以及为什么

AWQ 和 GGUF 清单都明确说明了它们被允许改动哪些张量,而答案解释了尺寸平台现象。

• 只有稠密前馈矩阵被量化。AWQ 清单记录了 96 个量化语言矩阵——32 层中每层三个,每个大小为 4,096 × 12,288。这在 10.49B 个参数中占 4.83B,即检查点的 46%。其余一切保持其精度。

• 注意力路径已恢复为 BF16。AWQ 清单中包含一个 attention_restoration 块,列出了从源检查点复制回来的 152 个注意力投影矩阵和 32 个输入归一化,并附有其 SHA-256 哈希。GGUF 范围文件报告了相同的数量——protected_attention_BF16: 152——并补充说,嵌入张量和输出张量是仅有的另外两个受保护项。

• 前端和两个媒体塔从不进入量化器。 在 AWQ 清单中,有 881 个张量被列为受保护的前端、嵌入和头部张量——其中 333 个来自视觉塔,545 个来自音频塔,还包括词元嵌入、未绑定的输出头和最终归一化。在 BF16 下,这大约是 3.57B 个参数,即 21.0 GB 文件中的 7.1 GB,完全处于压缩步骤之外。

后果是部署计划真正需要的那个数字:无论你选哪个构建版本,都要为权重预留 13–13.5 GiB 的显存,然后在此基础上再加上 KV 缓存和 float32 SSM 缓存。一个需要 13 GiB 权重的“4-bit 9B”并不是模型本身的问题——仅词表就有 248,320 个 token、被嵌入两次,而音频塔是位于其中间的 1.08B 参数 Whisper——但它决定了是能装进 16 GB 显卡并留出工作余地,还是根本装不下。

已验证可加载,未验证是否相等

这个系列中的每张量化卡都会报告一项冒烟测试,而每份清单报告的内容则更直白。请将两者并排阅读,因为它们之间的差距正是使用压缩构建的全部风险所在。

• FP8 Block128 — 显卡:打过补丁的 vLLM 在 H20 上加载了它,并完成了文本、图像、音频以及带音频的视频生成检查,运行时精度审计确认了 W8A8 路径。清单:状态 quantized_and_independently_reloaded_native_inference_pending,其中 native_inference_validated: false 和 native_low_precision_gemm_validated: false 被记录为单独的标志。

• AWQ W4A16 — 卡片:打过补丁的 vLLM 在 H20 上加载了它,完成了相同的四项检查,并且精度审计对照 BF16 注意力确认了 INT4 前馈权重。清单:状态 quantized_unvalidated,并带有一个 diagnostic_variant,它同时标明了 BF16 注意力参考构建和 INT4 构建。

• NVFP4 W4A16——卡片:打过补丁的 vLLM 0.31.0 已加载并运行了“PRO 5000 参考权重”,并通过了五项生成检查,包括无声视频。清单:同样的三项声明被记录为标志,且每一项均显示为 false——native_FP4_GEMM_validated、PRO5000_inference_validated、vllm_validated——其状态为 cpu_NVFP4_weight_artifact_independently_reread。清单确实证明的是一项数值检查:对 96 个矩阵和 4,831,838,208 个元素进行了独立反量化,平均相对 RMSE 为 0.095,相对于 0.35 的限值,并确认 1,209 个受保护张量逐位精确。该元素数量与范围说明中列出的 48.3 亿相同,由此可知,本文中的算术与导出器的算术一致。

• GGUF Q4_K_M — 卡片:原生 CPU 运行时已加载该包,并生成了文本、图像、音频和视频输出。清单状态 exported_unvalidated;范围状态 quantized_candidate_not_validated。

“它加载成功并生成了结果”是一个真实的结果,也有其价值——许多量化多模态检查点恰恰就败在这一步。但决定部署的并不是这个结果,因为这些模型卡没有一张报告压缩版本相对于其自身 BF16 源模型的任何准确率数字。在 MMAU、Video-MME、转写 WER 上都没有实测差值。任何地方唯一给出的精度说法是结构性的,来自 AWQ 审计:前馈层用 INT4,注意力层用 BF16。这描述的是文件本身。它并没有告诉你压缩付出了什么代价,而对于一个在带音频的 Video-MME 上比 Qwen3-Omni-30B-A3B-Instruct 领先 7.8 个百分点的模型来说,这个代价的大小并不是一个舍入问题。

因此,对这个系列来说,实用的规则是:在你打算交付的确切构建上,针对 BF16 基线重新运行一个你在意的基准测试,然后再去相信论文中的表格。这需要几个小时的工作,而这是唯一能知道 INT4 前馈层是否能在不影响视频结果的前提下换入,还是说这 34% 的节省其实是以这张卡所宣传的数字为代价的办法。

Screenshot of the raw quantization_manifest.json for the FP8 Block128 build of tencent/WeMM-Video-9B on Hugging Face, showing the status field quantized_and_independently_reloaded_native_inference_pending, an official_repo field naming Qwen/Qwen3.5-35B-A3B-FP8, and the algorithm field Transformers 5.5.3 Fp8Quantize.convert.

那下面藏着两个机械陷阱。

第一个是 GGUF。“GGUF Q4_K_M”读起来像是“可在 llama.cpp 或 Ollama 中运行”。但事实并非如此。这个包是为 T​encent 自己的原生运行时构建的,你需要从仓库中编译它;模型卡上的快速开始是 install-cpu/bin 和一个 native/run_hf.py 启动器,而服务指南会把 GGUF 路由到该运行时,且仅路由到那里。如果你的流水线是 llama.cpp 形态的,那么这个检查点并不是它看起来的那种捷径。

第二处是一个值得点名的文档缺陷,因为它会让任何按顺序阅读这些清单的人感到困惑。三份 FP8 清单——分别对应 2B、4B 和 9B——都带有相同的official_repo字段:Qwen/Qwen3.5-35B-A3B-FP8。这是配方记录中复制粘贴来的来源字符串,并不是说某个 9B 检查点暗中是一个 35B 的专家混合模型。文件里没有其他内容支持这种解读:同一份清单的源列表指向 tencent/WeMM-Video-9B 的五个分片,且哈希匹配;架构块记录的则是一个零专家的稠密 32 层模型。35B-A3B 是一个真实存在的独立模型;它也是该系列中唯一没有自己 FP8 仓库的规模,只有 base、AWQ、GGUF 和 NVFP4。

在 Tencent 的表格上,9B 对阵 30B

下面每一个基准测试数值都来自作者自己,出自 arXiv 2611.26409,且没有任何第三方复现过其中任何一项。论文本身也说明了这一点:现有模型报告的是“在可获得的情况下采用官方结果,否则采用我们自己的评估”。请将本节视为对一项主张的描述,而不是一次测量。

在联合音视频表格中,在思考模式下,9B 在两列共有的 37 个数字中有 35 个胜过 Qwen3-Omni-30B-A3B-Instruct,1 个打平、1 个落后——而对手的规模约为它的三倍:

• Video-MME(含音频)——85.1 对 77.3。MiniCPM-o-4.5-9B 为 69.2。

• 带音频的 Video-MME-v2 — 51.6 对 36.3,相差 15.3 个百分点。

• Daily-Omni——83.6 对 70.7,不过 MiniCPM-o-4.5-9B 的 80.2 让这一结果成为三方角逐,而非一边倒。

• SciVideoBench 和 MMOU — 64.2 对 49.9,以及 71.7 对 60.5。

• EvaOmni 和 OmniReasoningBench——50.7 对 26.1,以及 43.9 对 24.1。

• 唯一一次失利——FutureOmni,53.7 对 55.1。MiniCPM-o-4.5-9B 在该项上的得分为 56.1。

静音视频是更有用的表格,因为它包含同家族对照:Qwen3.5-9B,也就是该检查点所基于的骨干模型。并排阅读两列,后训练呈现出一种清晰形态。它在时间定位和时间感知上有所提升——F-16-NBA 88.7 对 75.8,TimeLens-QVHighlights 66.8 对 64.3,TimeLens-ActivityNet 55.3 对 52.2,TOMATO 48.5 对 45.0——但在长视频摘要和通用识别上有所下降:MLVU 82.4 对 84.4,LVBench 68.2 对 70.0,VideoVista 82.2 对 84.7,VSI-Bench 54.5 对 58.3,MVBench 71.4 对 74.4。因此,这并不是对其所继承骨干模型的全面升级。它是一个朝着“某件事在何时何地发生”方向调优的模型,代价则体现在骨干模型原本更擅长的总体视频得分和空间推理上,且这种代价是可测量的。

音频是 9B 不再占优的领域。在 Instruct 模式下,9B 在 MMAU-Pro 上得 70.9 分,而 Qwen3.5-Omni-Flash 为 64.8 分;在 MMSU 上得 76.8 分,而对方为 72.2 分——但在 MMAU 上以 77.0 对 80.4 落败,在 MMAR 上以 72.8 对 74.0 落败,并且在语音识别上直接落败:LibriSpeech 词错误率分别为 1.5 和 3.1,而对方为 1.3 和 2.4;WenetSpeech 字符错误率分别为 5.4 和 6.8,而对方为 4.4 和 5.5。文本与知识方面也如出一辙:MMLU-Pro 为 81.6,而 Qwen3.5-9B 主干为 82.5;GPQA 为 77.8,而对方为 81.7;HMMT 为 75.0,而对方为 82.9。如果产品交付的是转写文本,专用识别器仍然更胜一筹。

论文中的一处比较需要谨慎解读。全模态表以 Thinking 模式运行 WeMM 模型,而音频表以 Instruct 模式运行它们,因为作者认为标准音频基准是直接的感知任务。这是一个站得住脚的区分,也意味着一张表中的 WeMM 行无法与另一张表中的竞品行相比较。

默认情况下,视频时长为八秒

检查点能够接受的输入与随附配方传给它的输入之间的差距足以改变结果,因此它应纳入任何评估计划。

• 帧预算 — 处理器默认使用 2 fps、最少 4 帧、最多 128 帧以及总像素数 100,663,296。vLLM 方案会将这四项全部覆盖为 2 fps、16 帧和 262,144 像素。在 2 fps 下,十六帧相当于从片段中间起覆盖八秒。

• 上下文 — 文本配置声明了 262,144 个位置嵌入。T​encent 发布的每条服务命令都传入 max-model-len 8192 或 context-length 8192,而仓库中没有任何内容解释如何达到更大的数值。

• 音频成本 —— 每秒 10 个 token,因此 8,192 个 token 的预算大约相当于十三分钟的音频,除此之外别无其他。带配乐的视频则会同时将这份预算花在画面帧和音频上。

• 单次请求媒体——四张图片、两个视频、两个音频项,依据已发布的限制。

在 WeChat Vision 之外,没有人公布过基准测试运行使用了哪种采样方式。如果你要复现上表中的某个数字,这是首先要弄清楚的未知项,而随附的 16 帧默认值并不是合适的起点。

今天你实际上可以用它做什么

OrcaRouter 不提供 WeMM-Video-9B,其目录中也根本没有列出任何 WeMM 检查点。既没有可报价的托管价格,也没有可调用的端点,因此目前这是一项自托管任务:从仓库的 overlay 目录为 vLLM 或 SGLang 打补丁,锁定补丁清单中针对你的引擎版本指定的精确 PyTorch、Transformers 和 CUDA 12.9 组合,并为 13 GiB 加上缓存预留预算。GGUF 路线需要从源码构建 Tencent 的原生运行时。

就这项工作中视觉这一半而言,平台上已经有开放替代方案——Qwen3-VL-235B-A22B-Thinking 和 Qwen3-VL-8B-Thinking两者都能接收图像和视频帧——可通过一个 OpenAI 兼容密钥访问,并与 200+ 个其他模型一起,为0% 加价(相对提供商标价)。两者都听不到任何声音,而且音频这一半没有 WeMM 的对应方案。如果你想在不把生产路径压到它上面的情况下试用一个自托管的 9B,把它放在故障转移规则后面,是在你为它投入一张卡之前,低成本地弄清修补后的运行时能否在你的并发量下撑住的办法。

与此同时,4 位构建是应当等待而非应当采用的东西。它们自己的清单文件自称未经验证,而大小计算表明,它们提供的压缩能让权重节省 34%——值得拥有,但不值得为此重新设计部署架构。值得关注的信号不是又一个量化仓库,而是这一系列中首个去掉待定一词的清单,随后是首个独立复现,复现的是一张目前仅存在于一个地方的表格:作者的 PDF。

本文中的对比1

根据本文内容识别