主视觉标题卡上写着“WeMM-Video-2B”,副标题为“未做任何公告便已发布”,并配有四枚徽章,分别写着“2B 稠密,总计 3.28B”“视频 + 音频 + 图像 + 文本输入”“Apache 2.0,四种量化”“Hub 上零下载”。
Engineering & Research

WeMM-Video-2B:一个无人宣布的 2B 全模态模型

作者

Gideon Frost

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

没有发布帖。没有产品页面上的模型卡,没有等候名单,没有定价表,也没有来自 T​encent 高管的基准测试推文。实际存在的,是一个创建于 2026 年 11 月 17 日 08:58 UTC 的 Hugging Face 仓库,以及一个首个提交在六个半小时前落地的 GitHub 仓库;二者都把WeMM-Video-2B描述为 T​encent 旗下 WeChat Vision 的中英全模态视频模型系列中的稠密 2B 检查点。六天后,该仓库有两个点赞、零次下载,以及四个在基础权重发布后十一分钟内创建的量化兄弟模型。因此,任何关于这个模型的文章,诚实的第一句话都得是关于它的包装:它公开了,它可下载,而且没有人提过它一个字。

这个差距值得认真对待,而不是把它当成新闻淡日来敷衍。一个模型系列能在同一周内发布权重、论文、四种量化格式、修补过的 vLLM 和 SGLang 配方、原生 C++ 运行时以及一个 Docker compose 文件,这并不是某人忘了公告的研究资料堆砌——而是一次经过准备、随后在没有营销包装层的情况下发布的版本。下文将区分哪些是这些产物所能证明的,哪些只有 T​encent 才能确认,并且刻意无意判断这个模型是否优秀。

仓库实际包含的内容

基础检查点是 tencent/WeMM-Video-2B,Apache 2.0,BF16 safetensors 共 6.12 GiB,分为两个分片。索引文件报告总参数量为 3,283,624,264,这揭示了名称未体现的信息:“2B”指的是语言模型,而非整个系统。文本主干是一个 Qwen3.5 系列解码器——24 层、隐藏维度 2048、8 个注意力头对应 2 个 KV 头、248,320 个 token 的词表以及 262,144 个 token 的最大位置嵌入——采用混合注意力布局,每三个线性注意力层之后放置一个全注意力层。其前方是一个 24 层、隐藏维度 1024 的视觉 Transformer,以及由 32 层 Whisper 编码器驱动一个隐藏维度为 4104 的两层 Q-Former 构成的音频栈。其余参数位于这两个编码器中。

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

这一架构回答了名称所引出的问题。这不是一个视频生成器。它接收视频——帧,以及可选的原始音轨——并输出文本。配置自身的 token ID 证实了这一点:一个视频 token、一个音频 token、一个图像 token,以及一个负责生成的语言模型。如果你原本期待看到文本到视频竞赛中的又一个参赛者,那么这个仓库在第一次读到流水线标签时就会让你失望,该标签即 image-text-to-text。

• 该系列的规模包括——2B、4B、9B 稠密模型,以及一个 35B-A3B 混合专家模型,均于 11 月 17 日一同发布。

• 2B 的量化版本——FP8 Block128、AWQ W4A16、GGUF Q4_K_M 和 NVFP4 W4A16,各自位于独立仓库中,且均在基础权重发布后的十一分钟内创建。

• 服务路径 — Transformers 5.2.0、已修补的 vLLM 0.18.0 或 0.31.0、已修补的 SGLang 0.5.16 或 0.5.19,以及用于 GGUF 构建的原生运行时,可在 CPU 或 CUDA 上运行。

• 随附配方中的输入限制——每个请求最多支持四张图像、两个视频和两个音频项,上下文长度为 8,192 个 token。

• 许可证 — 权重采用 Apache 2.0,并另有一个单独的第三方声明文件,涵盖 LAVIS、vLLM 和 SGLang 组件。

带补丁的 serving 细节,正是把它与典型的开放权重模型发布区分开来的那一点。Tencent 并没有发布一个“理论上可用”的代码仓库;它发布的是针对特定 vLLM 和 SGLang 版本的叠加补丁、锁定依赖文件、标记为 CUDA 12.9 的 Docker 镜像,以及一份验证说明,称该检查点已在 L20 和 H20 硬件上加载并完成生成,覆盖文本、图像、音频和带音轨的视频。这些补丁在 Tencent 自己的集群之外是否经得起考验,正是那种要靠一群陌生人跑上一周才能回答的问题,而那一周还没有到来。

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

论文声称了什么,以及谁核查了它

这份技术报告是 arXiv 2611.26409,日期为 2026 年 11 月 19 日——在权重出现两天后——它是一篇模型家族论文,而不是一篇 2B 论文。十二位作者,作者列表首位是 Changli Tang,末位是 Jing Lyu,均隶属于 WeChat Vision 旗下。

这篇论文的核心主张针对的是35B-A3B模型,而非2B模型:该模型在全模态视频评测方面确立了开源领域新的最先进水平,大幅优于Qwen3.5-Omni-Flash和Seed2.0-Mini-0428,并缩小了与Gemini-3.0-Flash的差距。第二项主张则确实涉及本文标题中的模型:WeMM-Video-9B超越了规模更大的开源模型Qwen3-Omni-30B-A3B-Instruct。2B模型出现在系列描述和模型库中,但论文的论证是由其最大的同系列模型来支撑的。

这些数字中的每一个都是由厂商报告的。没有 Artificial Analysis 条目,没有 LMArena 结果,没有独立复现,而且——截至本文撰写时——该系列的任何成员都没有任何形式的第三方评估。论文称这些模型在 120 多个基准上接受了评估;它没有说明是谁运行的,而答案是 Tencent。这不是指控,这是一个发布六天的版本的正常状态。但这确实意味着,对 35B-A3B 所处位置的正确描述是“Tencent 报告它领先”,而不是“它领先”。

还有一个更深层的提醒是结构性的,而非措辞层面的。一套包含 120 项任务的基准测试,由训练该模型的实验室挑选并加权,衡量的是契合度——它告诉你的是,模型擅长其作者认为值得测量的那些事情。它并不会告诉你,模型擅长你真正需要的事情。这两句话之间的差距,正是大多数模型选择错误发生的地方,而再多的表格阅读也无法弥合它。

四种模式,以及音频路径为何重要

推理 API 提供五种请求形态,而真正有意思的是最后一种。文本和图像平平无奇。单独音频也平平无奇。仅视频帧是标准的多模态视频场景。视频 带原始音轨才是改变模型可被要求做什么的那一种,而且它在服务 API 中是一种独立的内容类型,而非隐式行为。

实际上,这意味着你可以把一段视频片段交给模型,让它在一次调用中描述屏幕上有什么,并总结正在说什么,然后得到一个同时反映两者的答案。模型卡中的示例正是这样做的——转写阿波罗11号录音中的英语语音,然后在有音轨和没有音轨的情况下描述同一个 MP4。联合推理是否优于并排运行视频模型和语音模型再拼接输出,是一个实证问题,而这是独立评估者可以测试的最有用的一件事。

另一个值得说明的设计决策是双模式聊天模板。传入 enable_thinking=False会得到直接回答;enable_thinking=True则会在回答前给出推理轨迹。这是一种以模板标志而非两个检查点形式提供的延迟与质量权衡,对于 2B 模型来说是合理的选择——你无需为获得第二种行为而额外承担第二套权重的开销。

运行它,以及可用性的真实状况

快速开始所需的路径是:Python 3.12 环境、一块 NVIDIA GPU、与 CUDA 12.9 兼容的驱动,以及 FFmpeg。先从 CUDA 12.9 索引安装 Torch 2.10.0、TorchVision 0.25.0 和 TorchCodec 0.10.0,然后安装 Transformers 5.2.0、Accelerate、Pillow、Librosa、SoundFile、SciPy 和 Requests。AutoModelForImageTextToText 加载模型时需配合 trust_remote_code=True —— 该架构是自定义的,因此这个标志是承重结构而非装饰,模型卡也正确地提示你在启用它之前先阅读自定义代码。

如果你想运行的是服务器而不是脚本,vLLM 方案会固定使用一个打过补丁的 0.18.0 构建,并同时传入 --no-enable-prefix-caching 和 --mamba-ssm-cache-dtype float32;这种组合说明混合线性注意力层目前还没有可用的前缀缓存。对于聊天类工作负载来说,这是实实在在的吞吐量限制,而且这种细节只有真正尝试过部署服务的人才会发现。

每份文档都缺的是价格。没有 Tencent 托管的 WeMM-Video-2B 端点,没有按 token 计费的费率,也没有托管部署。你下载权重,GPU 归你所有。在 OrcaRouter 这边,诚实的说法也一样:我们不提供 WeMM-Video-2B。我们从 Tencent 实际提供的是 Hunyuan 文本系列——tencent/hy4、tencent/hy4-flash 以及预览版本——通过一个 OpenAI 兼容端点,按供应商标价、0% 加价提供;如果你的流水线需要同一实验室的文本模型,这有用;如果它需要的是这个模型,那就没用。两个不同产品,一个厂商名,匆忙之中把它们混为一谈会是最容易犯的错误。

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

从好奇到推荐

三件事,按它们能起多大作用排序。

第一个是在腾讯并未选择的基准上进行的独立评估。任何盲测竞技场跑分——视频理解、音视频问答,或任何最接近的类别——都会立即说明,该系列自称的排名能否经受住中性提示集的检验。在这一评估出现之前,35B-A3B 的“新的开源最先进水平”只是关于 PDF 中一张表格的声明。

第二份是来自 Tencent 外部的服务报告。补丁是具体的,硬件也是具体的,验证说明涵盖两款 GPU 型号。它能否在 H100 节点、A100 节点或租来的 4090 上顺利运行尚不可知,而答案将决定这个 2B 是周末项目还是研究产物。

第三项是厂商公告——任何厂商公告都行。一篇博客文章、T​encent 产品页面上的模型卡、一个定价层级。眼下,这次发布只有那些会看仓库时间戳的人才看得懂,而这种情况成立的七天窗口正在关闭。如果 T​encent 什么都不发布,最可能的解读是:这些权重是为了支撑论文和 35B 而存在,2B 只是一个便利性的检查点,而不是产品。

说到底,这才是最诚实的底线。WeMM-Video-2B 是一个真实存在、可下载、采用 Apache-2.0 许可的全模态模型,但没有人宣布过它,没有人下载过它,也没有人独立测试过它。如果你的工作涉及音视频联合理解,而且你有一块闲置的 GPU 和一个下午,那么弄清它能做什么的代价就是下载它。如果你的工作涉及下个月就要交付某个东西,那么弄清它能做什么的代价就更高,负责任的做法是等别人给出数据。

本文中的对比1

根据本文内容识别