Hero 標題卡上寫著「WeMM-Video-2B」,副標題為「未經公告即發布」,並有四枚徽章,分別寫著「2B 稠密參數,總計 3.28B」、「影片 + 音訊 + 圖像 + 文字輸入」、「Apache 2.0,四種量化」、「Hub 上零次下載」。
Engineering & Research

WeMM-Video-2B:一個無人宣布的 2B 全模態模型

作者

Gideon Frost

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

沒有發布貼文。沒有產品頁面上的模型卡、沒有候補名單、沒有價格表,也沒有騰訊高層的基準測試推文。存在的只有一個建立於 2026 年 11 月 17 日 08:58 UTC 的 Hugging Face 儲存庫,以及一個首個提交早六個半小時完成的 GitHub 儲存庫,而兩者都把WeMM-Video-2B描述為騰訊 WeChat Vision 的中英雙語全模態影片模型家族中的稠密 2B 檢查點。六天後,該儲存庫有兩個讚、零次下載,以及四個與基礎權重相隔不到十一分鐘便建立的量化兄弟模型。所以,任何關於這個模型的文章,最誠實的第一句話都是關於它的包裝:它是公開的、可下載的,而且沒有人對它提過半個字。

那個落差值得認真看待,而不是把它當成新聞淡日。一個模型系列在同一週內釋出權重、論文、四種量化格式、修補過的 vLLM 與 SGLang 使用指南、原生 C++ 執行環境,以及 Docker Compose 檔案,這並不是有人忘了公告的研究資料堆——而是一個早已準備好、卻在少了行銷包裝的情況下發布的版本。下文將區分哪些是這些產物所能證明的,哪些只有 T​encent 能確認,並且刻意不打算判斷這個模型是否優秀。

儲存庫實際包含的內容

基礎檢查點是 tencent/WeMM-Video-2B,Apache 2.0,6.12 GiB 的 BF16 safetensors,分佈於兩個分片。索引檔回報總計 3,283,624,264 個參數,這揭示了名稱未說明的事:「2B」指的是語言模型,而非整個系統。文字主幹是 Qwen3.5 系列解碼器——24 層、隱藏大小 2048、8 個注意力頭對上 2 個 KV 頭、248,320 個 token 的詞彙表,以及 262,144 個 token 的最大位置嵌入——並採用混合注意力配置,每三層線性注意力層之後放置一層完整注意力層。其前方是一個 24 層、隱藏大小 1024 的視覺 Transformer,以及一個音訊堆疊,由 32 層 Whisper 編碼器饋入隱藏大小為 4104 的兩層 Q-Former 所組成。其餘參數則存在於這兩個編碼器中。

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

那個架構回答了這個名稱所引發的疑問。這不是影片生成器。它接收影片輸入——影格,以及可選的原始音軌——並輸出文字。設定檔本身的 token ID 就證實了這一點:一個影片 token、一個音訊 token、一個圖像 token,以及一個負責生成的語言模型。如果你是抱著期待、想看到文字轉影片競賽中又一個新成員而來的,那麼這個儲存庫在你第一次讀到 pipeline 標籤時就會讓你失望,那個標籤是 image-text-to-text。

• 此系列中的規模——2B、4B、9B 稠密模型,以及 35B-A3B 混合專家模型,全部於 11 月 17 日一同發布。

• 2B 模型的量化版本 — FP8 Block128、AWQ W4A16、GGUF Q4_K_M 與 NVFP4 W4A16,各自位於獨立的儲存庫中,且每一項都在基礎權重推出後的十一分鐘內完成。

• 服務路徑 — Transformers 5.2.0、修補過的 vLLM 0.18.0 或 0.31.0、修補過的 SGLang 0.5.16 或 0.5.19,以及可在 CPU 或 CUDA 上執行之 GGUF 建置的原生執行環境。

• 隨附配方中的輸入限制——每次請求最多可包含四張圖片、兩段影片與兩個音訊項目,上下文長度為 8,192 個 token。

• 授權條款 — 權重採用 Apache 2.0,另附一份獨立的第三方聲明文件,涵蓋 LAVIS、vLLM 與 SGLang 元件。

「帶修補的推論服務」這個細節,正是它與一般開放權重釋出不同之處。Tencent 交出的不是一個「理論上可行」的儲存庫;它提供了針對特定 vLLM 與 SGLang 版本的覆蓋層修補、鎖定的相依性檔案、標記為 CUDA 12.9 的 Docker 映像,以及一份驗證說明,指出該檢查點已能在 L20 與 H20 硬體上載入並完成生成,涵蓋文字、影像、音訊,以及帶配樂的影片。那些修補在 Tencent 自家叢集之外是否站得住腳,正是要靠一週的外人實際跑起來才能回答的問題,而那一週還沒發生。

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

這篇論文的主張,以及由誰查核

這份技術報告是 arXiv 2611.26409,日期為 2026 年 11 月 19 日——比權重釋出晚了兩天——而且它是一篇涵蓋整個系列的論文,並非只談 2B 模型的論文。作者共有十二人,列名首位的是 Changli Tang,列名末位的是 Jing Lyu,全都在 WeChat Vision 的名義之下。

標題主張是關於 35B-A3B 模型,而非 2B:它建立了全模態影片評估的新開源最先進水準,大幅超越 Qwen3.5-Omni-Flash 與 Seed2.0-Mini-0428,並縮小與 Gemini-3.0-Flash 的差距。第二項主張則確實涉及本文標題中的模型:WeMM-Video-9B 超越了更大的開源模型 Qwen3-Omni-30B-A3B-Instruct。2B 出現在系列描述與模型庫中,但論文的論證是由其最大的同系列模型所承載。

那些數字每一個都是廠商回報的。沒有 Artificial Analysis 的條目、沒有 LMArena 的結果、沒有獨立重現,而且——截至本文撰寫時——這個系列的任何成員都沒有任何形式的第三方評估。論文稱這些模型在超過 120 項基準上接受了評估;它沒說是由誰執行的,而答案就是 T​encent。這不是指控,這是發布六天後的正常狀態。但這確實意味著,對 35B-A3B 定位的正確描述是「T​encent 回報它領先」,而不是「它領先」。

還有一個但書是結構性的,而非編輯取捨上的。一套由訓練該模型的實驗室挑選並加權的 120 項任務基準測試套件,是對契合度的量測——它告訴你,模型擅長其作者認為值得量測的事情。它不會告訴你,模型擅長你需要的事情。這兩句話之間的落差,正是大多數模型選擇錯誤發生的地方,而再怎麼讀表格也無法彌補。

四種模式,以及音訊路徑為何重要

推論 API 提供五種請求形式,而最有趣的是最後一種。文字與圖像沒什麼特別。單獨的音訊也沒什麼特別。單獨的視訊影格是標準的多模態視訊案例。視訊 搭配其原始音軌則是會改變模型可被要求做什麼的那一種,而且它在服務 API 中是獨立的內容類型,而非隱含行為。

實務上,這意味著你可以把一段影片交給模型,要求它在一次呼叫中描述螢幕上的內容並摘要正在說的話,然後得到同時反映兩者的答案。模型卡本身的範例正是如此——從阿波羅 11 號錄音轉錄英語語音,接著分別描述同一個 MP4 在有無音軌時的情況。聯合推理是否優於並行執行影片模型與語音模型並拼接輸出,是個實證問題,也是獨立評測者所能測試的最有用的一件事。

另一個值得提及的設計決策是雙模式聊天模板。傳入 enable_thinking=False 會給出直接回應;enable_thinking=True 則會在答案前給出推理軌跡。這是一個以模板旗標形式提供的延遲與品質之間的調節旋鈕,而不是兩個檢查點;對 2B 模型而言這是合理的選擇——你不需要為了獲得第二種行為而付出第二組權重的成本。

實際運行,以及可用性的真實狀態

快速入門路徑是 Python 3.12 環境、NVIDIA GPU、與 CUDA 12.9 相容的驅動程式,以及 FFmpeg。從 CUDA 12.9 索引安裝 Torch 2.10.0、TorchVision 0.25.0 與 TorchCodec 0.10.0,然後安裝 Transformers 5.2.0、Accelerate、Pillow、Librosa、SoundFile、SciPy 與 Requests。模型透過 AutoModelForImageTextToText 載入,並搭配 trust_remote_code=True——此架構是自訂的,因此該旗標是關鍵且不可或缺,而非裝飾用途;模型卡也正確地提醒你在啟用前先閱讀自訂程式碼。

如果你要的是伺服器而不是腳本,vLLM 配方會固定採用經過修補的 0.18.0 建置,並傳入 --no-enable-prefix-caching,同時傳入 --mamba-ssm-cache-dtype float32,這樣的組合說明混合線性注意力層還沒有可用的前綴快取。對聊天工作負載而言,這是實質的輸送量限制,而這正是只有當有人真的試著把這個東西跑起來提供服務時,才會浮現的細節。

每份文件都少了的一項資訊,就是價格。WeMM-Video-2B 沒有騰訊託管的端點、沒有按權杖計價的費率,也沒有代管部署。你得自行下載權重,GPU 也得自己負責。在 OrcaRouter 這邊,誠實的說法同樣是:我們不提供 WeMM-Video-2B。我們從騰訊實際提供的是 Hunyuan 文字系列——tencent/hy4、tencent/hy4-flash以及預覽版本——透過單一 OpenAI 相容端點,以供應商定價提供,0% 加價,如果你的流程需要同一實驗室的文字模型,這很有用;如果需要的是這個模型,那就毫無用處。兩個不同產品、同一個廠商名稱,匆忙之下最容易犯的錯,就是把兩者混為一談。

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

從好奇到推薦

三件事,按它們能帶來多少實質影響排序。

第一項是在騰訊並未選擇的基準測試上進行的獨立評估。任何盲測競技場評測——影片理解、影音問答,或任何最接近的項目——都會立刻告訴你,這個模型家族所宣稱的地位能否在接觸到一組中立提示詞後依然成立。在那出現之前,35B-A3B 的「新的開源最先進水準」只是關於 PDF 中一張表格的宣稱。

第二份是來自 T​encent 外部的服務報告。這些修補程式很具體,硬體也很具體,而驗證註記涵蓋了兩款 GPU 型號。這能否在 H100 節點、A100 節點或租來的 4090 上順利運行仍屬未知,而答案將決定這個 2B 是週末專案還是研究產物。

第三項是廠商公告——任何廠商公告。一篇部落格文章、T​encent 產品頁面上的模型卡、一個定價層級。目前,這項發布只有會解讀儲存庫時間戳的人才看得懂,而這種情況成立的七天窗口正在關閉。如果 T​encent 什麼都不公布,最可能的解讀是:這些權重用來支援論文和 35B,而 2B 只是方便使用的檢查點,而非產品。

說到底,實情就是這樣。WeMM-Video-2B 是一個真實存在、可下載、採用 Apache-2.0 的全模態模型,但沒有人宣布它、沒有人下載它,也沒有人獨立測試過它。如果你的工作涉及音視覺聯合理解,而你還有一張閒置的 GPU 和一個下午,那麼弄清楚它能做什麼的代價,就是下載它。如果你的工作涉及下個月就要交付某樣東西,那麼弄清楚它的代價就比那更高,而負責任的做法是等別人給出數據。

本文中的比較1

根據本文內容識別