
WeMM-Video-4B:腾讯低调的5.6B音视频模型
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百万 tokens · 185 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百万 tokens · 826 tok/s
- Alibaba新Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 每百万 tokens · 407 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 87 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百万 tokens · 83 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百万 tokens · 120 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 108 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 90 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 212 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百万 tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
标记为 WeMM-Video-4B 的文件重 10.45 GiB,按每个 BF16 参数占两个字节计算,这算出来是 56.1 亿个参数——不是 40 亿。腾讯自己的 safetensors 元数据也给出了同样的数字:5,611,746,312 个参数。名字里的“4B”指的是语言主干,而不是整个检查点。这个小小的算术疏漏,恰好是了解 WeMM-Video 家族的合适切入点,因为这次发布几乎所有有意思的地方,都存在于标签与实际事物之间的落差:一个包含四种尺寸、发布时却没有发布公告的家族;一套在视频上胜过 Qwen3-Omni-30B-A3B-Instruct 和 MiniCPM-o-4.5-9B、却在音频上输给 Qwen3.5-Omni-Flash 的基准测试;还有一个 256K 位置嵌入,而每个实际交付的配置都主动把它削减到 8,192 个 token。权重是真实的,论文是公开的,而到现在还没有任何人下载过其中任何一个。
下文将这一系列 Hugging Face 卡片混为一谈的三件事区分开来:仓库中可测量的内容、仅由腾讯自己的评估报告所说明的内容,以及尚未得到微信视觉(WeChat Vision)团队之外任何人确认的内容。
名为 4B 的文件包含 56.1 亿个参数
Hugging Face 会记录每个仓库的总参数数量,而对于四个 WeMM-Video 基础检查点,它们记录的总参数数量始终比名称中的规模高出约 12 亿到 16 亿。
• WeMM-Video-2B—— 总计 3.28B,而标签却写着“2B”。
• WeMM-Video-4B — 总计 5.61B,与“4B”的标称不符。
• WeMM-Video-9B——总参数量为 10.49B,却标为“9B”。
• WeMM-Video-35BA3B — 总参数为 36.18B,而“35B-A3B”标签所指的,是其中每个 token 仅有 30 亿处于激活状态。
阅读 4B 的 safetensors 索引,多余部分便一目了然。在其 1,268 个张量中,语言模型承载 4.21B 参数,音频栈承载 1.07B,视觉塔承载 0.33B。这个检查点里大约百分之十九是"耳朵"。论文证实这种命名方式是有意为之:三个稠密模型分别基于 Qwen3.5-2B、Qwen3.5-4B 和 Qwen3.5-9B 构建,混合专家模型则基于 Qwen3.6-35B-A3B。
这对任何要为部署做容量规划的人来说都很重要。一个需要容纳 5.61B 参数的“4B”模型——在 BF16 下为 10.45 GiB,还不包括任何 KV 缓存或激活值——最终会落在与卡上标注数字所暗示的不同的机器上。
十八个代码仓库,十九分钟,没有公告
这一系列并不是陆续零星发布的。Hugging Face 的创建时间戳显示,全部十八个仓库——四种规模乘以五种精度——都集中在 2026 年 11 月 17 日 UTC 08:53:50 至 08:59:06 这一时间窗口内,彼此相隔约十四秒,这正是上传脚本的典型特征,而不是有人手动点击发布。GitHub 仓库 Tencent/WeMM-Video 于同日 UTC 02:29:33 创建,其首次实质性提交于 11 月 19 日出现,README 修订则一直持续到 11 月 20 日。

论文随后于11月19日发布:arXiv 2611.26409,《WeMM-Video:推动开源全模态视频理解的前沿》,十二位作者,提交于 UTC 16:58。这是一份完整的技术报告,包含七张结果表,并附有一个指向评估与复现流水线的链接。因此,这不是一次没有文档的突然发布——而是一次有文档、却无人宣布的发布。我们找不到任何指向该系列的 Tencent 博客文章、WeChat Vision 发布页面、新闻稿或付费套餐;模型卡、GitHub README 和 arXiv 论文就是全部公开记录,而且它们仿佛是为彼此而写的。
这些反响数据也说明了同样的问题。在撰写本文时,四个基础检查点每一个的下载量都为零,而它们之间的十八个仓库总共只获得了三个点赞。Artificial Analysis 和 LMArena 都没有列出 WeMM 模型。这些都不能作为关于质量的证据——它们只是关于分发情况的证据,而这也正是为什么一个在多项视频基准上得分超过 30B 的 4B 检查点,却没有独立的数字与之对应。
检查点里面是什么
抛开系列框架不谈,4B 就是一个标准的三塔式全模态堆栈,只是采用了一个不同寻常的骨干选择。
• 语言塔——32 层,隐藏大小为 2,560,16 个注意力头对应 4 个键值头,头维度为 256,词表大小为 248,320。其主干采用混合架构:每四个块中有一个全注意力层,其余三个使用线性注意力,因此仓库中的每个服务方案都带有 float32 SSM 缓存标志。
• 视觉塔 — 在隐藏大小为 1,024、patch 大小为 16、空间合并为 2、时间 patch 为 2 的情况下采用 24 个块,并投影到 2,560。它是骨干网络的原生编码器,被保留而非替换;论文从第二个预训练阶段起将其冻结,因为它“已经提供了足够强的视觉表示”。
• 音频塔 —— Whisper 风格,包含 32 个编码器层和 32 个解码器层,宽度为 1,280,并带有一个窗口级 Q-Former,可将 0.1 秒的窗口压缩为每秒 10 个音频 token。音频以 16 kHz 采样率、按 30 秒分块的形式输入。这一部分从 Qwen2.5-Omni 初始化而来,参数规模为 1.07B,是名称与文件之间最大的单项差距。
• Fusion — 视觉与音频 token 按时间顺序交错排列,并带有明确的文本时间戳,而非被汇集到各自独立的流中。
• 模式 — 一种用于直接回答的 Instruct 模式,以及一种在响应前输出推理轨迹的 Thinking 模式,可通过在聊天模板层面切换 enable_thinking。
• 许可证 — 整个集合均采用 Apache 2.0,但 Tencent 的许可证文件将第三方组件排除在外,这些组件“仍受其各自原始条款的约束”。模型卡中并未逐项列出这一排除条款。
配置中是 256K,服务命令中是 8K
文本配置声明max_position_embeddings为 262,144。Tencent 发布的每一条服务命令——两个 vLLM 配置和两个 SGLang 配置——都传入max-model-len 8192或context-length 8192。256K 这个数字只是架构层面的余量,并非受支持的配置,而且仓库中没有任何内容说明如何达到该数值。
帧预算具有相同的形态。处理器自身的默认值很宽松:每秒 2 帧,最多 128 帧,总计 25,165,824 像素。vLLM 配方将这三项全部向下覆盖——fps 2、max_frames 16、total_pixels 262144。复制命令得到的就是十六帧。以 16 帧采样的片段与以 128 帧采样的片段是不同输入,而论文并未说明其视频评估使用的是哪种采样。
• 按发布版本的每次请求媒体限制 — 四张图片、两个视频、两个音频项。
• 上下文,按发布时 — 8,192 个 token,在计入任何视频帧之前,音频每秒消耗 10 个 token。
对于 4B 模型来说,这两个数字是实际工作中的硬性约束。八千个 token 大约相当于十三分钟的音频,仅此而已;带配乐的视频会同时把预算花在两个流上。下面的长视频基准测试是在该仓库未描述的条件下运行的。
基准测试是作者自己的
本文中的每个数字都来自 WeMM-Video 技术报告。论文明确写道:“对于现有模型,我们在有官方结果时报告官方结果,否则报告我们自己的评估”,而且没有任何第三方复现过其中任何内容。评估模式还会在不同表格之间变化,这一点比通常情况下更重要,因为 Thinking 模式并非没有成本:视频表格报告的是 2B、4B 和 9B 的 Thinking 结果,音频表格报告的是 Instruct,因为作者认为标准音频基准属于“直接感知”任务,而图像和文本表格又回到 Thinking。把音频表中 4B 的一行与视频表中竞品的一行相比较,并不构成有效比较。

附带这一前提后,全模态视频表正是 4B 证明其文件大小物有所值之处。
4B 在哪里胜过 30B
论文表2将WeMM-Video-4B与Qwen3-Omni-30B-A3B-Instruct和MiniCPM-o-4.5-9B在联合音视频基准上进行比较,且均处于Thinking模式。这个4B模型在其中大多数基准上胜出,而对手模型的规模是它的七倍。
• 含音频的 Video-MME — WeMM-Video-4B 83.9,Qwen3-Omni-30B-A3B-Instruct 77.3,MiniCPM-o-4.5-9B 69.2。
• 带音频的 Video-MME v2——48.1 对 36.3 和 28.1,是表中差距最大的一项。
• Daily-Omni — 82.5 对比 70.7 和 80.2。
• WorldSense—— 60.3 对比 54.0 和 55.7。
• OmniVideoBench —— 49.7,对比 45.4 和 37.2。
无声视频表格更强,而且它才应该成为购买决策的依据。剥离音轨、只测试视觉:Video-MME 75.7 对 70.5 和 70.4,LVBench 65.3 对 50.2 和 50.9,LongVideoBench 74.8 对 63.5 和 66.0,EgoSchema 74.2 对 66.4 和 60.4。在 4B 规模上,LVBench 领先 15 个百分点并非四舍五入造成的假象;长视频理解恰恰是小型全模态模型历来容易崩掉的地方。
图像和文本这两行具有竞争力,而非占据主导。MMMU 78.4 对 Qwen3.5-Omni-Flash 的 76.9,MathVista 85.2 对 82.9,DocVQA 96.5 对 95.3,IFEval 91.3 对 85.2。这些正是读者最可能真正需要的几行,而且它们站得住脚。
它在哪里失利,又输给了什么
这些损失是具体的,也值得被点名,因为一张只展示赢面的表格,正是这个博客存在所要避免的东西。
• 音频方面,对比一款专有 flash 模型——Qwen3.5-Omni-Flash 在 MMAU 上得分 80.4,在 MMAR 上得分 74.0,而 WeMM-Video-4B 分别为 75.2 和 67.3。4B 唯一一项音频胜出是 MMAU-Pro,以 68.1 对 64.8。
• 视频,在角落里——Video-Holmes 为 58.8,而 MiniCPM-o-4.5-9B 为 64.3;FutureOmni 为 50.9,而 Qwen3-Omni-30B-A3B-Instruct 为 55.1,MiniCPM 为 56.1。在这两项基准测试中,更小或更旧的竞争对手直接获胜。
• 图像与文本 — MMMU-Pro 为 64.7 对 68.2,OCRBench 为 85.7 对 89.1,GPQA 为 73.2 对 76.4,MMLU-Pro 为 78.3 对 79.9。落后于一个面向服务的专有模型 1 到 6 分,而对于一个 5.61B 检查点来说,这已经算是相当体面的落后幅度了。
解读是:WeMM-Video-4B 针对音视频联合视频进行了调优,在其他方面也守住了阵地。如果你的任务是描述片段中发生了什么,并总结其中说了什么,那么这些数字是不错的。如果你的任务是密集 OCR 或研究生水平的文本推理,那么同一个检查点就是一种妥协。
运行它就意味着要修补你自己的运行时

vLLM 和 SGLang 在上游均不支持此架构。在 vLLM 问题跟踪器中搜索也未发现 WeMM-Video 请求,而该仓库改为提供一个补丁目录:其中包含针对四个确切上游版本(vLLM 0.18.0 和 0.31.0、SGLang 0.5.16 和 0.5.19)的源码覆盖层及 SHA-256 清单,每个版本都固定到特定的 PyTorch、Transformers 和 CUDA 12.9 组合,并且需要 Python 3.12 和 FFmpeg,TorchCodec 还需要链接器路径中包含 CUDA 12 NPP。SGLang 还会在首次使用时编译 CUDA 内核,因此安装过程还需要 C++ 工具链和 Ninja。
GGUF 这条路径同样不是捷径。它是一个三文件捆绑包——4.90 GiB 的语言文件、0.63 GiB 的视觉投影器和 2.00 GiB 的音频文件——是为需要你从仓库自行编译的“WeMM 原生运行时”构建的,而不是为 llama.cpp 或 Ollama 构建的。腾讯自己的清单把该导出标记为exported_unvalidated,而随附的范围文件则写着quantized_candidate_not_validated。这种标注坦率得不同寻常,应当照字面理解:Q4_K_M 捆绑包只是被提供出来,并未获得担保。
腾讯声称已验证的内容很有限:打过补丁的 vLLM 在 H20 上加载了检查点,并完成了针对文本、图像、音频和带配乐视频的生成检查,且本地检查点通过了直接 Transformers 加载以及 CPU 文本生成检查。没有吞吐量,没有延迟,没有内存占用,也没有并发数。对于一个卖点是视频的模型来说,“它能生成”只是部署决策所需信息的下限。
OrcaRouter 不提供 WeMM-Video-4B。其目录中根本没有列出任何 WeMM 检查点,因此没有可报价的托管价格,也没有可指向的端点;目前这是一项自行托管的工作,需要给别人的推理引擎打补丁。对于这项工作中仅涉及视觉的那一半,平台上有开放替代方案——Qwen3-VL-235B-A22B-Thinking 和 Qwen3-VL-8B-Thinking 都接受图像和视频帧——可通过一个兼容 OpenAI 的密钥访问,而音频那一半没有 WeMM 的等效方案。如果真有兼容的托管方开始提供这些权重,提供方标价会以 0% 加价率原样透传,但那是条件,而非当前事实。
仍未确认的是什么?
买家通常能从一次发布中获得、但在这里得不到的四样东西。
• 价格。没有。没有托管端点,没有按 token 计费,没有合作伙伴列表。唯一的成本就是你已有的 GPU。
• 独立评估。没有 Artificial Analysis 条目,没有向 arena 提交,也没有第三方复现。评估流程是公开的,这已是次优之选,但两者并不等同。
• 评估条件。论文中未说明基准运行所使用的帧数、像素预算和上下文长度,而且随附的配方使用 16 帧,而处理器默认使用 128 帧。
• 第三方许可例外条款。 Tencent 表示,该集合中的组件仍受其原始条款约束,但并未逐一列出这些组件。音频栈源自 Qwen2.5-Omni,主干源自 Qwen3.5,二者均采用 Apache 2.0,这令人安心,但并非决定性依据。
这些都不是否定这次发布的理由。这恰恰是把它当作它显而易见的样子来对待的理由:十八个仓库和一份技术报告在十九分钟的时间窗口内上线,跳过了公告环节。文档比大多数正式公告过的发布都要好。分发为零。
对于需要在自有可控硬件上实现音视频联合理解的团队来说,WeMM-Video-4B 是本月发布的最有意思的小型检查点,而其视频指标也足以证明为其打补丁的投入是值得的。对于任何需要在周五之前拿到可用端点的人,实话实说,它还不是——权重已经有了,运行时只是一个源码叠加层,而唯一的基准测试结果来自作者自己。请关注首次独立复现、vLLM 上游合并,或托管价格。无论哪一个先落地,它告诉你的都会比表 2 中再多一行更多。
本文中的对比1
根据本文内容识别
