標題卡寫著「WeMM-Video-4B vs FastFrames 影片生成」,副標題為「一道無聲的接縫」,兩個面板由一個 vs 圓盤分隔,左側列出 5.61B、影片與音訊輸入、文字輸出、其中 1.07B 是耳朵部分、最多 16 幀以及 Apache 2.0,右側列出 1.3B 與 14B、文字輸入、影片輸出、832 x 480 下 81 幀、在單張 B200 與 Apple AMLR 上每幀 36 ms,頁腳寫著「WeMM 數字由廠商提供;FastFrames 數字依作者所述。」
Engineering & Research

WeMM-Video-4B 與 FastFrames 影片生成:無聲的接縫

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

FastFrames Video Generation於 2026 年 11 月 16 日登場,而WeMM-Video-4B則於 11 月 17 日推出;兩者皆以權重下載形式發布,並附有論文,且都沒有值得一提的發布貼文。這個巧合是唯一值得把兩者對照閱讀的理由,因為它們做的不是同一件事:FastFrames 把一句話變成 81 幀無聲影片,而 WeMM-Video-4B 則把影片變成描述,包括描述影片裡正在說些什麼。有趣的問題不是哪個更好,而是把其中一個接在另一個後面會發生什麼事——而答案是:它們之間的接縫是無聲的,這悄悄使 WeMM 檢查點中最昂貴的部分失效。

以下所有內容,要嘛可在這兩個儲存庫中實際測量,要嘛由兩篇論文的作者所報告。這兩個模型都未曾由未撰寫其評測章節的任何人實際運行過,且兩者都沒有託管價格、競技場排行資料列或第三方重現結果。若某項數據來自廠商表格,則會如此標註。

FastFrames 在磁碟上存放的內容

FastFrames 是從 Wan2.1 蒸餾而來的自迴歸影片擴散模型,由 Apple 與 Cornell 於 11 月 17 日以 arXiv 2611.23226 發表,權重則提前一天上線。它提供兩種規模:FastFrames-S 為 13 億參數,FastFrames-L 為 140 億參數;其核心主張是延遲而非保真度。在單一 B200 上,小模型每 36 毫秒產生一個影格,比影片播放速度還快:生成 5.06 秒的內容約需 2.9 秒。大型模型分散在八張 B200 上時,每影格為 45 毫秒;在單一 GPU 上則退化為每影格 158 毫秒,慢於即時。Apple 也回報,若改用 H100 而非 B200,會有 25% 到 50% 的效能折損。

輸出格式固定且範圍狹窄:832×480、每秒 16 幀、每次生成 81 幀——略超過五秒——僅由文字提示驅動。在釋出的配置中,沒有影像條件輸入、沒有關鍵影格輸入、沒有續接模式,也沒有鏡頭控制。同樣沒有音訊:沒有音訊解碼器、沒有音訊潛在表徵、沒有配樂。作者報告,在 480p、相同提示與隨機種子下,VBench 總分為小型模型 84.23、大型模型 84.44;對於一款以「快」為賣點的模型而言,這是相當不錯的分數,而這也是此次釋出中唯一的品質數字。

10.7 億個參數都去了哪裡

WeMM-Video-4B 是 Tencent 的 WeChat Vision 團隊「四種尺寸家族」中的中間成員——2B、4B、9B 稠密模型,以及 35B-A3B 混合專家模型——全部都在 11 月 17 日一個十九分鐘的時間窗內上傳,技術報告 arXiv 2611.26409 則於 11 月 19 日隨後發布。這個名稱低估了它:safetensors 中繼資料記錄了 5,611,746,312 個參數,也就是 BF16 格式下的 10.45 GiB,因為「4B」指的是 Qwen3.5-4B 語言主幹,而不是該檢查點。

讀取張量索引就能解釋原因。在 1,268 個張量中,語言模型承載 42.1 億個參數,視覺塔 3.3 億個,音訊堆疊 10.7 億個。這個檢查點將近五分之一是 Whisper 風格的編碼器-解碼器——32 個編碼器層與 32 個解碼器層、寬度為 1,280,並搭配一個視窗級 Q-Former,將 0.1 秒的視窗壓縮成每秒 10 個音訊 token,以 16 kHz、30 秒區塊輸入。該堆疊是從 Qwen2.5-Omni 初始化而來。

Screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing an Image-Text-to-Text pipeline tag, Safetensors and custom-code tags, an Apache 2.0 licence, a BF16 block reading 10.45 GiB of weight files, a size panel reading 6B params and 10.5 GB, and a Quantizations section listing four sibling repositories.

• FastFrames 影片生成 — 輸入文字,輸出影格,整個流程中皆無聲音。

• WeMM-Video-4B — 輸入影格與聲音,輸出文字,聲音由專用的 1.07B 塔處理,而非從像素推斷。

• 重疊 — 在模型層級沒有重疊。兩者都是採用 Apache 或 Apple 授權的權重包,背後沒有端點,且兩者都預期你自己擁有加速器。

FastFrames 唯一製作的短片是無聲的。

順著這個思路推下去,組合問題就變得具體了。如果你把 WeMM-Video-4B 接在 FastFrames Video Generation 後面——先渲染一個鏡頭,再對它進行描述,以便建立索引、篩選或做 QA——你交給描述器的每個片段都沒有音軌。這個 10.7 億參數的音訊塔無物可聽。Q-Former 不會輸出任何東西,融合階段就退化為視覺路徑。

那不是任一模型的缺陷;而是管線本身的一項事實,而且這項事實有可量測的後果,因為 WeMM 論文會分開報告無聲影片基準。僅就視覺而言,WeMM-Video-4B 在 Video-MME 上得分 75.7、在 LVBench 上 65.3、在 LongVideoBench 上 74.8、在 EgoSchema 上 74.2。它的聯合音視覺數據——在含音訊的 Video-MME 上為 83.9、在 Daily-Omni 上為 82.5——才是足以證明該檔案大小合理的數據,而這些數據也正是以 FastFrames 餵入的管線無法達到的。

誠實地說,這個搭配的定位是:FastFrames 大約只會用到 WeMM 檢查點的 80%。如果你的目標是對生成的影片跑字幕生成迴圈,那麼一個只有視覺、規模只有一半的模型也能完成同樣的工作;如果你的目標是理解帶有聲音的影片,FastFrames 無法提供所需的輸入。這兩個工具的交會點,正是其中一方處於半閒置狀態的地方。

Screenshot of the Tencent/WeMM-Video GitHub repository showing six stars and zero forks, a README describing an omni-modal video understanding family from WeChat Vision, and a file tree containing patch, native, examples, licenses and a THIRD_PARTY_NOTICES file.

兩個速度數值,沒有共用單位

兩次發布都主打延遲方面的說法,但這些說法無法相提並論,而這正是網路上這類比較最常被扭曲的方式。

FastFrames 的 36 毫秒是在單一 B200 上每個輸出影格的耗時,並以播放為基準測量。WeMM-Video-4B 不會產生影格;其成本是在受限的媒體預算下解碼文字的成本。該預算比處理器預設值所暗示的更緊。儲存庫中的 vLLM 配方設定 max_frames 16,而處理器預設為 128,fps 2,總像素上限為 262,144,上下文長度為 8,192 個 token。在計入任何單一影格之前,音訊每秒會消耗 10 個 token。

實務上的解讀是:一支 20 秒的片段和一支 5 秒的片段,送到描述器時都是十六幀;而帶有原聲的片段,則是一次把上下文花在兩路串流上。FastFrames 以每秒輸出 16 幀的方式呈現動作;WeMM-Video-4B 看到的是一張張投影片,再據此推斷動作。這兩個數字彼此說明不了對方任何事,而一個把「36 ms」擺在「8K context」旁邊的頁面,其實是拿渲染預算去比閱讀預算。

Two-column scoreboard headed 'WeMM-Video-4B vs FastFrames Video Generation', the left column listing direction, 5.61B total parameters, a 1.07B audio stack, an 8,192-token and 16-frame budget, Apache 2.0 and no independent benchmark, the right listing text in and video out, 1.3B small and 14B large, no audio, 81 frames at 832 by 480, Apple AMLR and no independent benchmark, with a footer reading 'WeMM figures vendor-reported; FastFrames figures per the authors and not independently reproduced.'

在這裡,牌照比分數更能決定結果。

對於一場獨立證據如此薄弱的比較而言,授權條款那句話所承載的決策份量,勝過兩篇論文裡的任何基準測試,而這兩者正處於光譜的兩端。

• FastFrames 影片生成 — weights 適用 Apple 的 AMLR 條款,而 LingBot-World v2 示範元件則採用 CC BY-NC-SA 4.0 授權。當中的「NC」才是關鍵限制:權重開放,但不開放商業使用。

• WeMM-Video-4B — 整個集合採用 Apache 2.0,並附有 T​encent 授權檔案,載明第三方元件「仍受其各自原始條款約束」。這類除外項目並未逐項列出,這是有實質影響的缺口,而非形式問題,因為音訊堆疊源自 Qwen2.5-Omni,主幹則源自 Q​wen3.5,兩者皆為 Apache 2.0。

• 兩者—— 儲存庫中提供完整的訓練階段檢查點與評估流程,這在同類發布中異常可重現,也是兩者皆缺乏的獨立評估的最佳可用替代方案。

將描述器串接在渲染器後方

如果你無論如何都要建立這個迴圈,工程上的問題就是文字模型該放在哪裡,因為其中有三次文字傳遞,而只有一次是可選的。

• 提示詞擴展 — 將鏡頭筆記轉化為 FastFrames 提示詞。這是必要的,因為 1.3B 的蒸餾擴散模型沒有餘裕解讀含糊的指令。

• 描述 — 渲染後的片段會送到 WeMM-Video-4B,再以文字敘述的形式回傳,而這一步正是讓影片素材可供搜尋的關鍵。

• 篩選 — 文字內容決定該片段是否保留,而這一步必須成本低廉,因為你是在每個候選片段上付費,而不是在每個存活下來的片段上付費。

那兩個外層跳轉是一般的文字補全,而它們正是這個堆疊中 OrcaRouter 實際涵蓋的部分:一組與 OpenAI 相容的金鑰可橫跨 200 多個模型,供應商牌價以 0% 加價原樣傳遞,因此廠商調價當天就會反映,並且自動容錯切換,讓一千個影片片段的批次處理到一半遇到速率限制時,變成重試而不是缺口。FastFrames Video Generation 和 WeMM-Video-4B 都不在平台上——兩者都是權重下載,而沒有任何路由層能把檢查點變成端點。路由器省去的是圍繞你自行託管的這兩個模型所做的整合工作。

還有什麼仍未確認

• 獨立品質 — 兩個模型都沒有 Artificial Analysis 評測列、沒有競技場收錄項目,也沒有第三方重現。VBench 84.44 與 Video-MME 83.9 為作者自行回報,並未由其他人執行。

• 評估條件——WeMM 論文並未說明其影片基準測試所使用的影格數、像素預算或上下文長度,而隨附的配方使用 16 個影格,處理器卻預設為 128。這個差距大到足以在長影片的資料列上造成影響。

• 價格——兩者都沒有。沒有託管端點、沒有每秒費率、沒有合作夥伴名單。成本是你自己擁有的 GPU,再加上 WeMM 儲存庫所需的已修補 vLLM 或 SGLang 覆蓋層,因為這兩個引擎在上游皆不支援該架構。

• Apple 端的商業可用性 — AMLR 加上非商業示範授權,意味著法務審查會擋下的是這條流程中的渲染器,而非描述器。

選出一個的那個問題

先問你的產物是什麼。如果它是檔案,就只有 FastFrames 能產出它,而你要以 480p、五秒、無聲和非商業授權來規劃。如果它是關於你手上已有影片素材的主張——發生了什麼、誰在說話、聽得到什麼——就只有 WeMM-Video-4B 能產出它,而你要以十六個取樣影格和八千個 token 來規劃。

如果兩者皆是,你正在打造一個接縫無聲的雙模型系統,而該系統最便宜的正確版本,不會用 5.61B omni 檢查點來為無聲輸出生成字幕。對渲染後的片段使用視覺模型,並把 WeMM-Video-4B 保留給帶有聲音的來源素材。這比起用一個模型處理所有事情較不優雅,但這正是數字所支持的架構。

這兩次發布目前都還沒提供的,正是能讓事情定案的那項東西:一次由論文作者以外的人所進行的跑分。兩間實驗室在同一週內推出了扎實的影片成果,卻沒有任何公告;對 2026 年 11 月來說,這比任何單一基準測試表格中的格子都更有趣。