标题卡写着“WeMM-Video-4B 对比 FastFrames 视频生成”,副标题为“一道无声的接缝”,两个面板由 vs 圆盘分隔,左侧列出 5.61B,视频和音频输入、文本输出,其中 1.07B 是听觉部分,最多 16 帧,采用 Apache 2.0,右侧列出 1.3B 和 14B,文本输入、视频输出,832×480 下 81 帧,单块 B200 和 Apple AMLR 上每帧 36 ms,页脚写着“WeMM 数据由厂商报告;FastFrames 数据依据作者。”
Engineering & Research

WeMM-Video-4B 与 FastFrames 视频生成:一道无声的接缝

作者

jinhao.song

发布日期

最新模型 · 20查看全部模型 →
基准测试:Artificial Analysis · 每日更新
返回全部文章

FastFrames Video Generation于2026年11月16日推出,WeMM-Video-4B则于11月17日推出,二者都以权重下载形式发布,附带论文,却都没有一个像模像样的发布帖。这个巧合是唯一值得把它们放在一起对照的理由,因为它们做的并不是同一件事:FastFrames 把一句话变成 81 帧无声视频,而 WeMM-Video-4B 把视频变成一段描述,包括描述视频里正在说的话。有趣的问题不是哪个更好,而是把一个接在另一个后面会发生什么——答案是,它们之间的接缝是无声的,而这悄然废掉了 WeMM 检查点中最昂贵的部分。

下文中的每项内容,要么可在两个代码仓库中测量,要么由两篇论文的作者报告。两个模型都未曾被任何未撰写其评估部分的人运行过,也都没有托管价格、竞技场榜单条目或第三方复现。若某个数字来自供应商表格,则会如实标注。

FastFrames 会在磁盘上放置哪些内容

FastFrames 是一个自回归视频扩散模型,由 Apple 和康奈尔大学于 11 月 17 日以 arXiv 2611.23226 发布,模型权重则提前一天上线。它有两种规模:FastFrames-S 拥有 13 亿参数,FastFrames-L 拥有 140 亿参数;其核心理念是低延迟而非高保真。在单块 B200 上,小模型生成一帧只需 36 毫秒,比视频片段播放还快:生成一段 5.06 秒的视频大约耗时 2.9 秒。大模型在八块 B200 上每帧耗时 45 毫秒,而在单块 GPU 上会退化到 158 毫秒,比实时更慢。Apple 还报告称,在 H100 而非 B200 上会有 25% 到 50% 的性能损失。

输出格式固定且范围狭窄:832×480、每秒16帧、每次生成81帧——刚过五秒——仅由文本提示驱动。在已发布的配置中,没有图像条件、没有关键帧输入、没有续写模式,也没有相机控制。同样没有音频:没有音频解码器、没有音频潜变量、没有配乐。作者报告,在匹配的提示词和随机种子下,480p 的小模型 VBench 总分为 84.23,大模型为 84.44;对于一个卖点是速度快的模型来说,这是相当不错的分数,而且这是此次发布中唯一的质量数值。

10.7亿参数的去向

WeMM-Video-4B 是腾讯微信视觉团队四尺寸家族中的中间成员——2B、4B、9B 稠密版以及一个 35B-A3B 混合专家版——它们全部在 11 月 17 日的十九分钟窗口内上传完毕,技术报告 arXiv 2611.26409 则于 11 月 19 日跟进发布。这个名字其实低估了它的体量:safetensors 元数据记录其参数量为 5,611,746,312,在 BF16 下即 10.45 GiB,因为"4B"指的是 Qwen3.5-4B 语言主干,而非该检查点本身。

阅读张量索引就能解释原因。在 1,268 个张量中,语言模型承载 42.1 亿个参数,视觉塔承载 3.3 亿个参数,音频栈承载 10.7 亿个参数。这个检查点近五分之一是一个 Whisper 风格的编码器-解码器——32 个编码器层和 32 个解码器层,宽度为 1,280,配有一个窗口级 Q-Former,可将 0.1 秒的窗口压缩为每秒 10 个音频 token,并以 16 kHz 输入、按 30 秒分块。该栈从 Qwen2.5-Omni 初始化。

Screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing an Image-Text-to-Text pipeline tag, Safetensors and custom-code tags, an Apache 2.0 licence, a BF16 block reading 10.45 GiB of weight files, a size panel reading 6B params and 10.5 GB, and a Quantizations section listing four sibling repositories.

• FastFrames 视频生成 — 输入文本,输出帧,整个流程中无音频。

• WeMM-Video-4B——输入帧和声音,输出文本;声音由专用的 1.07B 塔式组件处理,而非从像素推断。

• 重叠——在模型层面没有重叠。两者都是采用 Apache 或 Apple 许可的权重包,背后没有端点,且都期望你自己拥有加速器。

FastFrames 生成的唯一片段是无声的

顺着这个思路推下去,组合问题就变得具体了。如果你把 WeMM-Video-4B 接到 FastFrames Video Generation 后面——渲染一个镜头,再对它进行描述,以便索引、筛选或质检——那么你交给描述器的每个片段都没有音轨。这个拥有 10.7 亿参数的音频塔没有可听的内容。Q-Former 不输出任何东西,融合阶段则退化为仅剩视觉路径。

这并非任一模型的缺陷;这是流水线本身的事实,而且有可衡量的后果,因为 WeMM 论文单独报告了无声视频基准。仅从视觉来看,WeMM-Video-4B 在 Video-MME 上得 75.7,在 LVBench 上得 65.3,在 LongVideoBench 上得 74.8,在 EgoSchema 上得 74.2。其音视频联合指标——带音频的 Video-MME 上 83.9,Daily-Omni 上 82.5——才是证明文件大小合理的那组数字,而它们恰恰是由 FastFrames 供给的流水线无法达到的。

所以,对这对组合的诚实定位是:FastFrames 会用到 WeMM 检查点约 80% 的能力。如果你的目标是对生成素材跑字幕生成循环,那么一个规模减半的纯视觉模型也能完成同样的工作;如果你的目标是理解带声音的素材,FastFrames 无法提供相应输入。这两个工具的交汇点上,其中一个有一半是闲置的。

Screenshot of the Tencent/WeMM-Video GitHub repository showing six stars and zero forks, a README describing an omni-modal video understanding family from WeChat Vision, and a file tree containing patch, native, examples, licenses and a THIRD_PARTY_NOTICES file.

两个速度数值,没有共同单位

两个版本的发布都以一项延迟声明作为主打,而这两项声明并不可通约——这正是这一对比在互联网上最常被搞乱的地方。

FastFrames 的 36 毫秒是在单块 B200 上每个输出帧的耗时,并以播放为基准测得。WeMM-Video-4B 不生成帧;其成本是在设有上限的媒体预算下解码文本的成本。该预算比处理器默认值所暗示的更紧。仓库中的 vLLM 配方设置 max_frames 16,相对于处理器默认值 128,fps 2,以及总像素上限 262,144,上下文长度为 8,192 个 token。在计入哪怕一帧之前,音频每秒钟要消耗 10 个 token。

实际解读是:一个 20 秒片段和一个 5 秒片段到达描述器时都是十六帧,而带音轨的片段会同时把上下文花在两个流上。FastFrames 以每输出一秒 16 帧提供运动;WeMM-Video-4B 看到的是一组幻灯片,并据此推断运动。这两个数字彼此说明不了任何问题,而把“36 ms”放在“8K context”旁边的页面,是在拿渲染预算和阅读预算作比较。

Two-column scoreboard headed 'WeMM-Video-4B vs FastFrames Video Generation', the left column listing direction, 5.61B total parameters, a 1.07B audio stack, an 8,192-token and 16-frame budget, Apache 2.0 and no independent benchmark, the right listing text in and video out, 1.3B small and 14B large, no audio, 81 frames at 832 by 480, Apple AMLR and no independent benchmark, with a footer reading 'WeMM figures vendor-reported; FastFrames figures per the authors and not independently reproduced.'

在这里,许可证比分数更有决定权。

对于一项独立证据如此匮乏的比较而言,许可证那一行比两篇论文中的任何基准都更具决策分量,而二者又处于光谱的两端。

• FastFrames 视频生成 — 权重采用 Apple 的 AMLR 条款,LingBot-World v2 演示组件则遵循 CC BY-NC-SA 4.0 许可。其中“NC”才是关键约束:开放权重,但不开放商业使用。

• WeMM-Video-4B — 整个集合均采用 Apache 2.0,但 Tencent 的许可证文件指出,第三方组件“仍受其各自原始条款约束”。这一例外并未逐项列明;鉴于音频栈源自 Qwen2.5-Omni、主干源自 Q​wen3.5,而两者均为 Apache 2.0,这确实是实际缺口,而非形式问题。

• 两者皆是——仓库中提供了完整的训练阶段检查点与评估流水线,对于这类发布而言,其可复现性高得不寻常,也是二者都欠缺的独立评估所能获得的最佳替代方案。

在渲染器后面接入描述器

如果你无论如何都要构建这个循环,那么工程上的问题就是文本模型该放在哪里,因为一共有三个文本传递环节,而其中只有一个是可选的。

• 提示词扩展——镜头备注会变成 FastFrames 提示词。这是必要的,因为 1.3B 的蒸馏扩散模型没有余力去解读含糊的指令。

• 描述 — 渲染后的片段会发送到 WeMM-Video-4B,并以自然语言文本形式返回,正是这一步让素材变得可搜索。

• 筛选——由文字内容决定是否保留该片段,这一步必须成本低廉,因为你要为每个候选片段付费,而不是只为最终留下的片段付费。

那两个外层跳转都是普通的文本补全,而它们正是这套栈中 OrcaRouter 实际覆盖的部分:一个兼容 OpenAI 的密钥覆盖 200 多个模型,供应商标价以 0% 加价透传,因此供应商调价当天即可生效,并且自动故障转移,因此在上千个片段的批次处理到一半时遇到速率限制,会变成重试,而不是一个缺口。FastFrames Video Generation 和 WeMM-Video-4B 都不在该平台上——两者都是权重下载,没有任何路由层能把检查点变成端点。路由器省去的是围绕你自行托管的这两个模型的集成工作。

仍未确认的是什么?

• 独立质量——两个模型均未出现在 Artificial Analysis 榜单中,没有竞技场条目,也没有第三方复现。VBench 84.44 和 Video-MME 83.9 均为作者报告,未由其他任何人运行验证。

• 评估条件 — WeMM 论文未说明其视频基准测试所使用的帧数、像素预算或上下文长度,而随附的配置使用 16 帧,处理器则默认使用 128 帧。这一差距足以在长视频行上产生影响。

• 价格——两者都没有。没有托管端点,没有按秒费率,也没有合作伙伴列表。成本是你自己拥有的 GPU,加上 WeMM 仓库所需的已打补丁的 vLLM 或 SGLang overlay,因为这两个引擎在上游都不支持该架构。

• Apple 端的商业可用性——AMLR 加上非商业演示许可证意味着,这条流水线中法律审查会叫停的是渲染器,而不是描述器。

那个挑出一个的问题

先问清楚你的产物是什么。如果它是一个文件,只有 FastFrames 能生成它,你就按 480p、五秒、静音和非商业许可来规划。如果它是对你已有素材的陈述——发生了什么、谁在说话、能听到什么——只有 WeMM-Video-4B 能生成它,你就按十六个采样帧和八千个 token 来规划。

如果两者皆是,你正在构建的是一个双模型系统,其接缝是静默的,而该系统最便宜的正确版本并不会用 5.61B 全模态检查点来为无声输出生成字幕。对渲染片段使用视觉模型,并保留 WeMM-Video-4B 用于带声音的源素材。这不如一个模型处理所有事情那样优雅,但这是数据所支持的架构。

这两个发布目前都还没提供的,正是能一锤定音的东西:一次由论文作者之外的人完成的运行。两家实验室在同一周内未作公告就发布了扎实的视频工作,相比任何一个基准测试单元格,这才是 2026 年 11 月更有趣的事实。