
WeMM-Video-4B 与 FastFrames 视频生成:一道无声的接缝
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百万 tokens · 182 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百万 tokens · 356 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百万 tokens · 87 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百万 tokens · 147 tok/s
- orca新Orca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百万 tokens · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百万 tokens · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百万 tokens · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百万 tokens · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百万 tokens · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百万 tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百万 tokens · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百万 tokens · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百万 tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百万 tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
FastFrames Video Generation于2026年11月16日推出,WeMM-Video-4B则于11月17日推出,二者都以权重下载形式发布,附带论文,却都没有一个像模像样的发布帖。这个巧合是唯一值得把它们放在一起对照的理由,因为它们做的并不是同一件事:FastFrames 把一句话变成 81 帧无声视频,而 WeMM-Video-4B 把视频变成一段描述,包括描述视频里正在说的话。有趣的问题不是哪个更好,而是把一个接在另一个后面会发生什么——答案是,它们之间的接缝是无声的,而这悄然废掉了 WeMM 检查点中最昂贵的部分。
下文中的每项内容,要么可在两个代码仓库中测量,要么由两篇论文的作者报告。两个模型都未曾被任何未撰写其评估部分的人运行过,也都没有托管价格、竞技场榜单条目或第三方复现。若某个数字来自供应商表格,则会如实标注。
FastFrames 会在磁盘上放置哪些内容
FastFrames 是一个自回归视频扩散模型,由 Apple 和康奈尔大学于 11 月 17 日以 arXiv 2611.23226 发布,模型权重则提前一天上线。它有两种规模:FastFrames-S 拥有 13 亿参数,FastFrames-L 拥有 140 亿参数;其核心理念是低延迟而非高保真。在单块 B200 上,小模型生成一帧只需 36 毫秒,比视频片段播放还快:生成一段 5.06 秒的视频大约耗时 2.9 秒。大模型在八块 B200 上每帧耗时 45 毫秒,而在单块 GPU 上会退化到 158 毫秒,比实时更慢。Apple 还报告称,在 H100 而非 B200 上会有 25% 到 50% 的性能损失。
输出格式固定且范围狭窄:832×480、每秒16帧、每次生成81帧——刚过五秒——仅由文本提示驱动。在已发布的配置中,没有图像条件、没有关键帧输入、没有续写模式,也没有相机控制。同样没有音频:没有音频解码器、没有音频潜变量、没有配乐。作者报告,在匹配的提示词和随机种子下,480p 的小模型 VBench 总分为 84.23,大模型为 84.44;对于一个卖点是速度快的模型来说,这是相当不错的分数,而且这是此次发布中唯一的质量数值。
10.7亿参数的去向
WeMM-Video-4B 是腾讯微信视觉团队四尺寸家族中的中间成员——2B、4B、9B 稠密版以及一个 35B-A3B 混合专家版——它们全部在 11 月 17 日的十九分钟窗口内上传完毕,技术报告 arXiv 2611.26409 则于 11 月 19 日跟进发布。这个名字其实低估了它的体量:safetensors 元数据记录其参数量为 5,611,746,312,在 BF16 下即 10.45 GiB,因为"4B"指的是 Qwen3.5-4B 语言主干,而非该检查点本身。
阅读张量索引就能解释原因。在 1,268 个张量中,语言模型承载 42.1 亿个参数,视觉塔承载 3.3 亿个参数,音频栈承载 10.7 亿个参数。这个检查点近五分之一是一个 Whisper 风格的编码器-解码器——32 个编码器层和 32 个解码器层,宽度为 1,280,配有一个窗口级 Q-Former,可将 0.1 秒的窗口压缩为每秒 10 个音频 token,并以 16 kHz 输入、按 30 秒分块。该栈从 Qwen2.5-Omni 初始化。

• FastFrames 视频生成 — 输入文本,输出帧,整个流程中无音频。
• WeMM-Video-4B——输入帧和声音,输出文本;声音由专用的 1.07B 塔式组件处理,而非从像素推断。
• 重叠——在模型层面没有重叠。两者都是采用 Apache 或 Apple 许可的权重包,背后没有端点,且都期望你自己拥有加速器。
FastFrames 生成的唯一片段是无声的
顺着这个思路推下去,组合问题就变得具体了。如果你把 WeMM-Video-4B 接到 FastFrames Video Generation 后面——渲染一个镜头,再对它进行描述,以便索引、筛选或质检——那么你交给描述器的每个片段都没有音轨。这个拥有 10.7 亿参数的音频塔没有可听的内容。Q-Former 不输出任何东西,融合阶段则退化为仅剩视觉路径。
这并非任一模型的缺陷;这是流水线本身的事实,而且有可衡量的后果,因为 WeMM 论文单独报告了无声视频基准。仅从视觉来看,WeMM-Video-4B 在 Video-MME 上得 75.7,在 LVBench 上得 65.3,在 LongVideoBench 上得 74.8,在 EgoSchema 上得 74.2。其音视频联合指标——带音频的 Video-MME 上 83.9,Daily-Omni 上 82.5——才是证明文件大小合理的那组数字,而它们恰恰是由 FastFrames 供给的流水线无法达到的。
所以,对这对组合的诚实定位是:FastFrames 会用到 WeMM 检查点约 80% 的能力。如果你的目标是对生成素材跑字幕生成循环,那么一个规模减半的纯视觉模型也能完成同样的工作;如果你的目标是理解带声音的素材,FastFrames 无法提供相应输入。这两个工具的交汇点上,其中一个有一半是闲置的。

两个速度数值,没有共同单位
两个版本的发布都以一项延迟声明作为主打,而这两项声明并不可通约——这正是这一对比在互联网上最常被搞乱的地方。
FastFrames 的 36 毫秒是在单块 B200 上每个输出帧的耗时,并以播放为基准测得。WeMM-Video-4B 不生成帧;其成本是在设有上限的媒体预算下解码文本的成本。该预算比处理器默认值所暗示的更紧。仓库中的 vLLM 配方设置 max_frames 16,相对于处理器默认值 128,fps 2,以及总像素上限 262,144,上下文长度为 8,192 个 token。在计入哪怕一帧之前,音频每秒钟要消耗 10 个 token。
实际解读是:一个 20 秒片段和一个 5 秒片段到达描述器时都是十六帧,而带音轨的片段会同时把上下文花在两个流上。FastFrames 以每输出一秒 16 帧提供运动;WeMM-Video-4B 看到的是一组幻灯片,并据此推断运动。这两个数字彼此说明不了任何问题,而把“36 ms”放在“8K context”旁边的页面,是在拿渲染预算和阅读预算作比较。

在这里,许可证比分数更有决定权。
对于一项独立证据如此匮乏的比较而言,许可证那一行比两篇论文中的任何基准都更具决策分量,而二者又处于光谱的两端。
• FastFrames 视频生成 — 权重采用 Apple 的 AMLR 条款,LingBot-World v2 演示组件则遵循 CC BY-NC-SA 4.0 许可。其中“NC”才是关键约束:开放权重,但不开放商业使用。
• WeMM-Video-4B — 整个集合均采用 Apache 2.0,但 Tencent 的许可证文件指出,第三方组件“仍受其各自原始条款约束”。这一例外并未逐项列明;鉴于音频栈源自 Qwen2.5-Omni、主干源自 Qwen3.5,而两者均为 Apache 2.0,这确实是实际缺口,而非形式问题。
• 两者皆是——仓库中提供了完整的训练阶段检查点与评估流水线,对于这类发布而言,其可复现性高得不寻常,也是二者都欠缺的独立评估所能获得的最佳替代方案。
在渲染器后面接入描述器
如果你无论如何都要构建这个循环,那么工程上的问题就是文本模型该放在哪里,因为一共有三个文本传递环节,而其中只有一个是可选的。
• 提示词扩展——镜头备注会变成 FastFrames 提示词。这是必要的,因为 1.3B 的蒸馏扩散模型没有余力去解读含糊的指令。
• 描述 — 渲染后的片段会发送到 WeMM-Video-4B,并以自然语言文本形式返回,正是这一步让素材变得可搜索。
• 筛选——由文字内容决定是否保留该片段,这一步必须成本低廉,因为你要为每个候选片段付费,而不是只为最终留下的片段付费。
那两个外层跳转都是普通的文本补全,而它们正是这套栈中 OrcaRouter 实际覆盖的部分:一个兼容 OpenAI 的密钥覆盖 200 多个模型,供应商标价以 0% 加价透传,因此供应商调价当天即可生效,并且自动故障转移,因此在上千个片段的批次处理到一半时遇到速率限制,会变成重试,而不是一个缺口。FastFrames Video Generation 和 WeMM-Video-4B 都不在该平台上——两者都是权重下载,没有任何路由层能把检查点变成端点。路由器省去的是围绕你自行托管的这两个模型的集成工作。
仍未确认的是什么?
• 独立质量——两个模型均未出现在 Artificial Analysis 榜单中,没有竞技场条目,也没有第三方复现。VBench 84.44 和 Video-MME 83.9 均为作者报告,未由其他任何人运行验证。
• 评估条件 — WeMM 论文未说明其视频基准测试所使用的帧数、像素预算或上下文长度,而随附的配置使用 16 帧,处理器则默认使用 128 帧。这一差距足以在长视频行上产生影响。
• 价格——两者都没有。没有托管端点,没有按秒费率,也没有合作伙伴列表。成本是你自己拥有的 GPU,加上 WeMM 仓库所需的已打补丁的 vLLM 或 SGLang overlay,因为这两个引擎在上游都不支持该架构。
• Apple 端的商业可用性——AMLR 加上非商业演示许可证意味着,这条流水线中法律审查会叫停的是渲染器,而不是描述器。
那个挑出一个的问题
先问清楚你的产物是什么。如果它是一个文件,只有 FastFrames 能生成它,你就按 480p、五秒、静音和非商业许可来规划。如果它是对你已有素材的陈述——发生了什么、谁在说话、能听到什么——只有 WeMM-Video-4B 能生成它,你就按十六个采样帧和八千个 token 来规划。
如果两者皆是,你正在构建的是一个双模型系统,其接缝是静默的,而该系统最便宜的正确版本并不会用 5.61B 全模态检查点来为无声输出生成字幕。对渲染片段使用视觉模型,并保留 WeMM-Video-4B 用于带声音的源素材。这不如一个模型处理所有事情那样优雅,但这是数据所支持的架构。
这两个发布目前都还没提供的,正是能一锤定音的东西:一次由论文作者之外的人完成的运行。两家实验室在同一周内未作公告就发布了扎实的视频工作,相比任何一个基准测试单元格,这才是 2026 年 11 月更有趣的事实。
