一幅示意图:三条数据流——电影胶片、音频波形和一叠灰色数据块——汇聚成一条狭窄的虚线通道,通道上方悬浮着该通道一个颜色更淡的虚线轮廓副本。
Engineering & Research

WeMM-Video-35B-A3B:权重已落地,评分是腾讯自家

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

连续三天,Hugging Face 仓库 tencent/WeMM-Video-35BA3B 中只有一个文件:一个 1.5 KB 的 .gitattributes。描述 WeMM-Video-35B-A3B 的技术报告于 11 月 19 日发布在 arXiv 上,称该检查点是联合音视频理解领域新的开源最先进水平,领先于 Qwen3.5-Omni-Flash 和 Seed2.0-Mini-0428,并逼近 Gemini-3.0-Flash。相信该报告并点击进入权重页面的读者会发现没有任何可下载的内容。67.39 GiB 的 BF16 张量直到 11 月 20 日 03:57 UTC——也就是今天早上——才上线。这个旗舰模型在它存在的前一天就被宣布了,而且迄今为止附在它身上的每一个数字都来自训练它的团队。

这个时间点并不是丑闻,而是一次步骤顺序错乱的普通研究发布。但这确实意味着,关于 WeMM-Video-35B-A3B 的有用问题不是“它好不好”——报告在七张表里以有利于团队自己的方式回答了这个问题——而是“你今天能自己验证什么,又要把什么当作信念来接受”。该仓库对前半部分的回答比大多数发布都更好。

重物今天早上到了,不是17号。

Hugging Face 的时间戳让这一序列异常清晰可辨。腾讯的集合中的十九个 WeMM-Video 仓库都是在 11 月 17 日一个六分钟窗口内创建的,时间为 UTC 08:53:50 至 08:59:06——这是上传脚本而非人工点击发布的典型特征。对于 35B-A3B 仓库,提交的标题为 初始提交,于 08:53:50 创建,其中恰好包含一个文件,而且不是权重文件。标题为 上传 WeMM-Video-35BA3B BF16 版本 的提交包含十七个 safetensors 分片,日期为 2026-11-20T03:57:36Z。

较小的尺寸在同一上午补齐:2B 于 01:41、4B 于 04:08、9B 于 05:08。GitHub 仓库 Tencent/WeMM-Video 创建于 11 月 17 日 02:29 UTC,其 README 到 11 月 20 日 05:09 仍在修订。arXiv 报告 2611.26409 于 11 月 19 日 16:58 UTC 提交。

对于一个要发布模型家族的实验室来说,这些都不稀奇。它改变的是本周任何读到该模型相关内容的人所处的处境:报告描述的是一个检查点,而在大约三十六小时里,它只是一个承诺。如果你读了 11 月 19 日的报道并尝试运行它,失败的原因不在你的工具链。

A screenshot of the GitHub repository Tencent/WeMM-Video showing the README revision timestamped about an hour earlier, eight commits, a main branch, and a description calling it a family of omni-modal foundation models by WeChat Vision at Tencent.

36.18B 检查点里有什么?

Hugging Face 自己的元数据显示,该检查点有 36,177,564,536 个参数——相较于“35B-A3B”这一标签,是 36.18B。这个标签并没有错,它只是统计的内容与文件大小不同,而两者之间的差距才是这个模型在实践中最重要的一点。

• 语言塔 — 40 层,隐藏宽度 2,048,16 个查询头对 2 个键值头,头维度 256,词表大小 248,320。注意力为混合式:每四层中的第四层为全注意力,其余三层为线性注意力,这就是为什么仓库中的每条服务命令都带有 float32 SSM 缓存标志。

• 专家 — 每层有 256 个路由专家,中间宽度为 512,采用 top-8 路由,另加一个宽度为 512 的共享专家。40 层合计为 10,240 个路由专家。

• 视觉塔 — 27 个块,隐藏宽度为 1,152,patch 大小为 16,空间合并为 2,时间 patch 为 2,投影至 2,048。

• 音频——采用 Whisper 式结构,具有 32 个编码器层和 32 个解码器层,宽度为 1,280,并接入一个窗口级 Q-Former,将每个 0.1 秒窗口压缩为单个 token。这样算下来,对于被切分为 30 秒块的 16 kHz 输入,每秒为 10 个音频 token。

• 来源 — 报告称,该 MoE 基于 Qwen3.6-35B-A3B 构建,音频编码器由 Qwen2.5-Omni 初始化。视频帧带有文本时间戳,视觉 token 与音频 token 按时间顺序交错排列,而不是汇集到独立的流中。

• 训练——通过渐进式预训练处理约1.2万亿多模态token,随后进行多教师同策略蒸馏、作者称为MrDPO的抗重复偏好阶段,以及专家强化学习。

• 许可证 — 整个集合采用 Apache 2.0,但对第三方组件设有例外,这些组件“仍受其各自原始条款的约束”。该例外已作说明,但未逐项列出。

BF16 检查点旁边发布了四个量化变体,它们的清单文件值得一读,因为其标注方式非常直白。AWQ W4A16 总计 22.69 GiB,其清单写的是 quantized_unvalidated。NVFP4 W4A16 是单个 24.11 GiB 的 safetensors 文件,其清单仅声称 cpu_NVFP4_weight_artifact_independently_reread——权重是在 CPU 上重新读取的,这只是校验和,不是评估。GGUF Q4_K_M 包包含三个文件(22.61 GiB 语言模型、0.84 GiB 视觉投影器、1.99 GiB 音频),其清单写的是 exported_unvalidated,而逐张量范围文件写的是 quantized_candidate_not_validated。

第五个变体缺失了。模型卡和 GitHub model-zoo 表格都链接到一个 FP8 Block128 仓库;Hub 对它返回 401,这与它为一个从未存在过的仓库名给出的回答相同,而所有仍在线的同类仓库都返回 200。Hugging Face 集合在第 1 个位置有一个空缺,正好是该仓库本应所在的位置。这是一个在你阅读时仍在拼装中的发布。

一个实测数值,而且是音频方面的

模型卡只报告了供应商自行运行的恰好一项评估:MMAR1000 达到 72.7%,即 1,000 条中 727 条。条件已完整给出,这是值得肯定的一点——仅音频、完整音频以 16 kHz 解码、Instruct 模式、贪心解码、最多 256 个输出 token、打过补丁的 vLLM 0.18,运行在两块 H20 GPU 上并采用张量并行。

那张卡片上的其他内容都只是在说明某项内容已经加载。打过补丁的 vLLM 在 H20 上加载了检查点,并完成了针对文本、图像、音频以及带音轨视频的生成检查;本地检查点通过了直接 Transformers 加载和 CPU 文本生成检查。这只是部署决策所需的最低门槛,而 T​encent 并没有假装并非如此。

有一个值得追查的疑点。同一 GitHub 仓库中的服务指南里有一张验证表,其最后一行写着:“从 Hub 下载检查点后的 GPU 生成尚未进行。”模型卡则称,从 Hub 加载的 H20 运行已完成全部四种模态的生成。同一团队撰写的两份文档对于已经证明了哪些内容存在分歧。模型卡的说法更具体,可能也更及时;这一分歧足以成为理由,让你预留一天做自己的冒烟测试,而不是花一周做集成。

报告中的音频表还列出该检查点在 MMAR 上的 73.6,这与模型卡中 MMAR1000 运行所用的测试框架不同,不应从 72.7 中减去它来得出一个“真实”数字。唯一诚实的解读是,Tencent 自己的音频数据落在七十出头,且尚无第三方对其进行测量。

30 次中有 28 次是对阵 Q​wen 的 omni flash

报告中的表1展示的是旗舰模型的情况,而且规模很大。在该表的30个单值基准上——联合音视频任务、音视频幻觉、音乐理解、交互、字幕生成——Thinking 模式下的 WeMM-Video-35B-A3B 在28项上领先 Qwen3.5-Omni-Flash,在2项上落后。对比 Seed2.0-Mini-0428,它在26项上领先,在4项上落后。对比 Gemini-3.0-Flash,它在9项上领先,在21项上落后。

最重要的胜利并不是那些干净利落的胜利:

• Video-MME 含音频——WeMM-Video-35B-A3B 为 86.4,Qwen3.5-Omni-Flash 为 79.3,Seed2.0-Mini-0428 为 83.6,Gemini-3.0-Flash 为 88.6。

• Video-MME v2(含音频) — 得分 54.9,对比 36.6 和 51.7,而 Gemini-3.0-Flash 为 63.2。在同一基准更难的划分上,领先最接近的开源竞争对手 18 个百分点。

• AV-SpeakerBench——72.6,相较65.2和68.5,仍落后于G​emini的75.9。在视频中分辨出谁在说话,这项任务将真正的视听融合与仅仅外挂了转录文本的视觉模型区分开来。

• SciVideoBench 和 EvaOmni——69.4 对 51.3,以及 57.8 对 30.4。两者都侧重推理;也都是较弱的全模态模型往往容易崩盘的地方。

这些损失同样具体,也值得一一列出,因为只展示胜绩的表格,正是本博客力求避免的:

• JointAVBench — 65.9,落后于 69.0 的 Qwen3.5-Omni-Flash 和 68.4 的 Gemini-3.0-Flash,仅领先于 64.7 的 Seed2.0-Mini-0428。

• MUSIC-AVQA —— 79.5 对 Qwen 的 82.1,但仍领先于 Gemini 的 76.2。在音乐方面,Qwen 的音频技术栈仍然占优。

• 对比 Seed2.0-Mini-0428 — OmniCompass-AV 46.3 对 47.9,OmniVChat 48.9 对 49.8,O-IN-Bench 49.0 对 49.4,video-SALMONN 2 的测试集 28.3 对 32.7。这四项中有三项相差不到一个点。

• 与 Gemini-3.0-Flash 相比——差距在长视频和面向未来的视频上最大:MMOU 74.5 对 84.7,FutureOmni 56.2 对 65.3,OmniVideoBench 55.3 对 63.3,LVOmniBench 52.6 对 59.8。“缩小了差距”是公允的描述;“消除了差距”则不然。

上面每一个数字都是腾讯的。报告自己就是这么说的——“对于现有模型,我们在有官方结果时报告官方结果,否则报告我们自己的评估”——并且根据表格在不同位置于 Instruct 和 Thinking 模式之间切换,报告也说明了这一点。没有任何第三方复现了其中任何结果,Artificial Analysis 和 LMArena 也都没有列出 WeMM 模型。

A two-column scoreboard headed 'WeMM-Video-35B-A3B vs Qwen3.5-Omni-Flash — the scoreboard', with six shared rows: Video-MME with audio 86.4 against 79.3, Video-MME v2 with audio 54.9 against 36.6, AV-SpeakerBench 72.6 against 65.2, SciVideoBench 69.4 against 51.3, JointAVBench 65.9 against 69.0, and MUSIC-AVQA 79.5 against 82.1.

添加耳朵几乎没有拉低视觉评分。

这份发布稿中,比头条基准更值得关注的是一个更低调的主张:给视觉语言模型加装音频栈,并没有让它损失多少视觉能力。全模态训练通常会付出一定代价——模型把容量分散到多个模态上,并在无声视频上有所退步。

报告通过将 WeMM-Video-35B-A3B 与其自身骨干模型 Qwen3.6-35B-A3B 在 31 个静音视频基准上直接对比来检验这一点。旗舰模型在 20 个基准上领先,在 11 个上落后,而这 11 个中大多数差距都在一个百分点以内。

• 提升之处——TimeLens-Charades 54.8 对 47.4,F-16-NBA 89.9 对 82.8,CrossVid 50.2 对 45.2,OVO-Bench 63.9 对 61.0,TemporalBench 45.9 对 43.3。

• 它落后之处 — EgoSchema 74.2 对 77.2,Video-MME 80.4 对 82.5,MVBench 73.1 对 74.6,MLVU 85.3 对 86.2。其余仅相差零点几分。

看模式而非数量:增益集中在时序定位和长视频关联上,损失则出现在第一人称视角视频中。对于在以有声视频调优的模型而言,这是合理的取舍。在同一张无声视频表上,与 Qwen3.5-Omni-Flash 相比,它在 31 项中领先 30 项,仅在 VideoVista 上以 83.5 比 84.1 落后。

图像表和文本表呈现出相同的态势。在与 Qwen3.5-Omni-Flash 对比时,28 个图像基准中有 26 个由 WeMM 胜出,例外是 RefCOCO(89.5 对 92.6)和 TallyQA(80.7 对 81.2)。与其自身骨干模型相比,图像表几乎打平——13 项领先、14 项落后——而文本表才体现出代价:MMLU-Pro 84.7 对 85.2,GPQA 83.8 对 86.0,IMOAnswerBench 74.8 对 78.9,SuperGPQA 63.4 对 64.7。为获得一双能工作的“耳朵”而放弃几分高难度推理能力,是一种正常且可辩护的权衡,但权衡终究是权衡,任何要把研究生级文本交给这个检查点处理的人都应该知道它存在。

36B 内存,3B 运算

决定这个模型对你是否可部署的是这笔算术,而它来自配置而非文字描述。在 36.18B 参数中,约 32.2B 位于路由专家中:40 层乘以 256 个专家乘以三个宽度为 2,048 × 512 的投影。Top-8 路由每个 token 只触及其中的三十二分之一,约 1.0B 参数;把注意力、共享专家和嵌入表算进去后,标签中的“3B active”便是一致的。

所以算力账单很小,而内存账单却不小:

• BF16 — 67.39 GiB,分布在十七个分片中。腾讯自己的验证在两张 H20 上使用了张量并行。对于更大的配置,没有公开的张量并行数值;服务指南只说“为完整的专家权重规划内存,并设置 --tensor-parallel-size,按需而定。”

• NVFP4 W4A16 — 24.11 GiB,可装入单张 48 GB 显卡,并为缓存留出空间。该方案是一个单独经过修补的 vLLM 0.31.0 环境,使用 ModelOpt 混合精度和 Marlin,并通过 --max-num-seqs 1 运行。

• AWQ W4A16 — 在已修补的 vLLM 0.18.0 上,使用检查点自带的 compressed-tensors 配置,占用 22.69 GiB。

• GGUF Q4_K_M ——一个 24.6 GiB 的三文件包,但面向腾讯自家的原生运行时,而非 llama.cpp 或 Ollama。其清单将其标称为已导出且未经验证。

这里的任何内容都不在未打补丁的引擎上运行。仓库附带一个 补丁目录:其中包含针对恰好四个上游版本的源代码覆盖层及 SHA-256 清单——vLLM 0.18.0 和 0.31.0、SGLang 0.5.16 和 0.5.19——每个版本都锁定到特定的 PyTorch、Transformers 和 CUDA 12.9 组合,并且需要 Python 3.12 和 FFmpeg,TorchCodec 要求链接器路径中包含 CUDA 12 NPP,而 SGLang 会在首次使用时编译 CUDA 内核。在 vLLM 问题跟踪器中搜索后,没有发现针对此架构的上游请求。这是一项自托管任务,需要将覆盖层应用到别人的推理引擎上。

A screenshot of the Hugging Face model page for tencent/WeMM-Video-35BA3B showing an Image-Text-to-Text pipeline tag with Transformers and Safetensors, English and Chinese language tags, the wemm_qwen3_5_moe architecture tag, an apache-2.0 licence, and a 36B-parameter BF16 model size.

有两个配置细节限制了你实际能提供给它的内容。文本配置声明了 262,144 个位置,但该显卡自身的 vLLM 命令传入的是 --max-model-len 8192,而且每个 SGLang 配置方案也把上下文上限设为 8,192——那个较长的数字只是余量,并不是受支持的设置。帧采样也是同样的情况:处理器默认 2 fps、最多 128 帧,而已发布的配置方案则覆盖为 16 帧和 262,144 像素预算。按每秒 10 个音频 token 计算,8,192 token 的上下文只略多于十三分钟的音频,除此之外别无其他。

OrcaRouter 不提供 WeMM-Video-35B-A3B,而且目录中根本没有列出任何 WeMM checkpoint,因此没有可报价的托管价格。我们确实提供的是它构建所基于的模型:Qwen3.6-35B-A3B 已在平台上提供,价格为 每百万输入 token 0.25 美元,在 262,144 token 的上下文窗口下,每百万输出 token 1.48 美元,支持文本、图像和视频输入。如果你这项工作需要的那一半是“观看片段并对其进行推理”,而不是“观看片段并转录房间里的内容”,那么这就是一个今天下午就能用上的托管替代方案,而无需下载 67 GiB 并打源码级补丁。提供商目录价按 0% 加价透传,而且每个模型都通过 同一个兼容 OpenAI 的密钥访问,并支持自动故障转移,因此想再获得一种意见,只需改一下配置,而不需要再签一份合同。

微信之外无人核实过的事

买家通常能从一次发布中获得、但在这里得不到的四样东西。

• 独立评估。无。评估与复现流程是公开的,这是退而求其次的最佳方案,但两者并不等同。

• 评估条件。报告中未说明基准测试运行所使用的帧数、像素预算和上下文长度,而交付的配方采样 16 帧,处理器默认则为 128 帧。对于同一段长片段,16 帧采样与 128 帧采样是不同的输入。

• 部署声明。报告称,该系列模型已“部署在微信内部的多个核心视频服务中”,并点名了直播电商、短剧分析和互动视频。如果属实,这是一个重大主张——生产流量是唯一无人能争辩的评估——但它完全无法从外部验证。发布材料中没有任何地方公布延迟、吞吐量、并发或内存数据。

• 量化制品。四种已发布变体中有三种在其自身的清单中自述为未经验证。AWQ、GGUF 和 NVFP4 只是提供,并未获得担保。

这些都不能成为否定这次发布的理由。它们恰恰是把它当作其显而易见的样子来解读的理由:一次文档完备的研究发布——其旗舰权重才上线几个小时,论文先于权重发布,FP8 仓库尚未创建,而它相对最佳开源全模态竞品的基准领先幅度足够大,值得复现而非质疑。

真正能定论的,还是那份老生常谈的清单。一次 vLLM 上游合并就能终结这些补丁。一次在带音频的 Video-MME v2 上的首次独立复现,就能证实或戳破那十八个百分点的差距。一个托管定价,或者那个缺失的 FP8 仓库,就能告诉你腾讯是打算让人用这个模型,还是仅仅引用它。在这些之中有任何一项落地之前,最诚实的总结是:WeMM-Video-35B-A3B 是本月最有趣的开放全模态检查点,它的视觉分数似乎在加入听觉之后依然成立,而它目前所有的数字都来自训练它的人。

本文中的对比1

根据本文内容识别 · 基准测试:Artificial Analysis · 每日更新