
WeMM-Video-4B:騰訊低調的 5.6B 音視覺模型
- Orca新OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 每百萬 tokens · 185 tok/s
- tencent新Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 每百萬 tokens · 826 tok/s
- Alibaba新Qwen: Qwen4 Max2026-11-16$1.50 / $4.50 每百萬 tokens · 407 tok/s
- Google新Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 每百萬 tokens · 87 tok/s
- Anthropic新Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 每百萬 tokens · 150 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 每百萬 tokens · 99 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 每百萬 tokens · 134 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 每百萬 tokens · 83 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 每百萬 tokens · 120 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 每百萬 tokens · 108 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 每百萬 tokens · 67 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 90 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 每百萬 tokens · 41 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447智能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 每百萬 tokens · 212 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929智能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 每百萬 tokens · 111 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733智能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 每百萬 tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740智能
標示為WeMM-Video-4B的檔案大小為 10.45 GiB,而若以每個 BF16 參數佔 2 位元組計算,換算下來是 56.1 億個參數——不是 40 億。騰訊自家的 safetensors 中繼資料也這麼說:5,611,746,312 個參數。名稱中的「4B」指的是語言主幹,不是檢查點。這個小小的算術出入,正是認識 WeMM-Video 系列的正確切入點,因為這次發布幾乎所有有趣之處,都在於標籤與實物之間的落差:一個有四種尺寸、發布時卻沒有發布公告的系列;一套在影片上勝過 Qwen3-Omni-30B-A3B-Instruct 與 MiniCPM-o-4.5-9B、卻在音訊上輸給 Qwen3.5-Omni-Flash 的基準測試套件;以及一個 256K 位置嵌入,而每個出貨配置都自願把它砍到 8,192 個 token。權重是真的,論文是公開的,而目前還沒有人下載過其中任何一部分。
以下是將這個系列的 Hugging Face 卡片混為一談的三件事區分開來:可在儲存庫中衡量的內容、只有 Tencent 自家評估報告才提及的內容,以及尚未獲得 WeChat Vision 以外任何人證實的內容。
名為 4B 的檔案包含 56.1 億個參數
Hugging Face 會記錄每個儲存庫的總參數量;而對四個 WeMM-Video 基礎檢查點而言,其總參數量一貫比名稱中的規模多出約 12 億到 16 億。
• WeMM-Video-2B — 總計 3.28B,卻標著「2B」。
• WeMM-Video-4B — 總計 5.61B,與「4B」標示不符。
• WeMM-Video-9B — 總計 10.49B,與「9B」標示不符。
• WeMM-Video-35BA3B — 總計 36.18B,卻標示為「35B-A3B」,而每個 token 僅有三十億個參數處於啟用狀態。
閱讀 4B 的 safetensors 索引,就能看見多出來的部分。它的 1,268 個張量中,語言模型承載 4.21B 個參數,音訊堆疊承載 1.07B,視覺塔則承載 0.33B。整個檢查點大約有百分之十九是耳朵。論文確認這套命名慣例是刻意設計的:三個稠密模型分別建立在 Qwen3.5-2B、Qwen3.5-4B 與 Qwen3.5-9B 之上,而混合專家模型則建立在 Qwen3.6-35B-A3B 之上。
這對任何在規劃部署規模的人來說都很重要。一個「4B」模型需要容納 5.61B 個參數——在任何 KV 快取或活化之前,BF16 下就是 10.45 GiB——它會落在與規格卡上數字所暗示不同的機器規格上。
十八個儲存庫,十九分鐘,沒有公告
這個系列並非逐步釋出。Hugging Face 的建立時間戳顯示,全部十八個儲存庫——四種尺寸乘以五種精度——都落在 2026 年 11 月 17 日 08:53:50 至 08:59:06 UTC 的時間窗口內,彼此相隔約十四秒,這是上傳腳本的特徵,而非有人點擊發佈。GitHub 儲存庫 Tencent/WeMM-Video 於同一天 02:29:33 UTC 建立,其具實質內容的初始提交於 11 月 19 日出現,README 修訂則持續到 11 月 20 日。

論文隨後於 11 月 19 日發布:arXiv 2611.26409,〈WeMM-Video:推動開源全模態影片理解的前沿〉,十二位作者,於 UTC 16:58 提交。這是一份完整的技術報告,內含七張結果表,並附有評估與重現流程的連結。因此,這並非沒有文件記錄的突襲發布,而是有文件記錄、卻無人宣布的發布。我們找不到任何指向該系列的 Tencent 部落格文章、WeChat Vision 發布頁、新聞稿或付費層級;模型卡、GitHub README 與 arXiv 論文就是全部的公開紀錄,而且它們是彼此配套寫成的。
市場反應數據也說明了同樣的情況。撰寫本文時,四個基礎檢查點每一個都顯示零下載,而這十八個儲存庫合計只收到三個讚。Artificial Analysis 和 LMArena 都沒有列出 WeMM 模型。這些都不是關於品質的證據——而是關於分發的證據,也正是為什麼一個在多項影片基準測試中得分高於 30B 的 4B 檢查點,卻沒有獨立的評測數字附在它身上。
檢查點裡面有什麼?
撇開家族框架不談,4B 是標準的三塔式全向堆疊,只有一個不尋常的主幹選擇。
• 語言塔 — 32 層、隱藏大小 2,560、16 個注意力頭對應 4 個鍵值頭、頭維度 256、詞彙量 248,320。主幹為混合式:每四個區塊中有一個全注意力層,其餘三個使用線性注意力,這就是為什麼儲存庫中的每個 serving 配方都帶有 float32 SSM 快取旗標。
• 視覺塔 — 24 個區塊,隱藏維度為 1,024,patch 大小為 16,空間合併為 2,時間 patch 為 2,投影至 2,560。它是主幹網路原生的編碼器,予以保留而非替換;論文從第二預訓練階段起將其凍結,因為它「已能提供足夠強的視覺表徵」。
• 音訊塔——Whisper 風格,32 層編碼器與 32 層解碼器、寬度 1,280,並以視窗層級的 Q-Former 將 0.1 秒的視窗壓縮為每秒 10 個音訊 token。音訊以 16 kHz、每 30 秒一塊的方式送入。這部分是以 Qwen2.5-Omni 初始化而來,而在 1.07B 參數下,它是名稱與檔案之間最大的落差。
• Fusion — 視覺與音訊 token 依時間順序交錯,並附有明確的文字時間戳,而非被彙整到各自獨立的串流中。
• 模式 — 提供用於直接回答的 Instruct 模式,以及會在回應前輸出推理軌跡的 Thinking 模式,並可在聊天範本層級切換,使用 enable_thinking。
• 授權 — 整個系列皆採用 Apache 2.0,而騰訊的授權檔案則排除第三方元件,這些元件「仍受其各自原始條款約束」。此排除條款並未在模型卡中逐項列出。
256K 在設定檔中,8K 在服務指令中
文字設定宣告max_position_embeddings為 262,144。Tencent 所發布的每個服務指令——無論是兩個 vLLM 設定檔還是兩個 SGLang 設定檔——都會傳入max-model-len 8192或context-length 8192。256K 這個數字是架構上的餘裕,不是受支援的設定,而且儲存庫中沒有任何內容說明如何達到它。
影格預算也有相同的形狀。處理器本身的預設值相當寬鬆:每秒 2 幀、最多 128 幀、總像素 25,165,824。vLLM 配方將這三項全都向下覆寫——fps 2、max_frames 16、total_pixels 262144。只要複製指令,就會得到十六幀。以 16 幀取樣的影片片段,與以 128 幀取樣的片段是不同輸入,而論文並未說明其影片評估使用的是哪種取樣。
• 每次請求的媒體限制,依出貨設定——四張圖片、兩段影片、兩個音訊項目。
• 出貨時的上下文 — 8,192 個 token;在計入任何視訊幀之前,音訊每秒消耗 10 個 token。
對 4B 模型來說,這兩個數字是實際工作上的硬性限制。八千個 token 大約等於十三分鐘的音訊,別無其他;帶有音軌的影片會同時把預算花在兩個串流上。下方的長影片基準測試是在該儲存庫未說明的條件下執行的。
這些基準測試是作者自己的
本文中的每一個數字都來自 WeMM-Video 技術報告。論文明確如此說明——「對於現有模型,我們在有官方結果時報告官方結果,否則報告我們自己的評估」——且沒有任何第三方復現過其中任何內容。這個模式也在各表格之間切換,這一點比通常更重要,因為 Thinking 模式並非沒有代價:影片表格報告的是 2B、4B 和 9B 的 Thinking,音訊表格報告的是 Instruct,因為作者判定標準音訊基準是「直接感知」任務,而圖像和文字表格又回到 Thinking。將音訊表中 4B 的那一行與影片表中競爭對手的那一行相比,並不構成比較。

有這項但書的前提下,全模態影片表格正是 4B 展現其檔案大小價值之處。
4B 在哪裡勝過 30B
論文表 2 將 WeMM-Video-4B 與 Qwen3-Omni-30B-A3B-Instruct 及 MiniCPM-o-4.5-9B 在聯合音視覺基準上比較,且全數採用 Thinking 模式。這個 4B 模型在大多數項目中勝出,對手還是規模達其七倍的模型。
• 含音訊的 Video-MME — WeMM-Video-4B 83.9、Qwen3-Omni-30B-A3B-Instruct 77.3、MiniCPM-o-4.5-9B 69.2。
• 含音訊的 Video-MME v2 — 48.1 對比 36.3 與 28.1,為表中差距最大者。
• Daily-Omni — 82.5,相較於 70.7 與 80.2。
• WorldSense — 60.3 對比 54.0 與 55.7。
• OmniVideoBench — 49.7 對比 45.4 與 37.2。
靜音影片的測試表還要更強,而這正是應該作為購買依據的一張表。去掉音軌、只測試視覺:Video-MME 75.7 對比 70.5 與 70.4,LVBench 65.3 對比 50.2 與 50.9,LongVideoBench 74.8 對比 63.5 與 66.0,EgoSchema 74.2 對比 66.4 與 60.4。在 4B 規模下於 LVBench 領先 15 分並不是四捨五入造成的假象;長影片理解正是小型全模態模型歷來最容易崩潰的地方。
圖像與文字方面的項目是具競爭力,而非壓倒性領先。MMMU 以 78.4 對上 Qwen3.5-Omni-Flash 的 76.9,MathVista 以 85.2 對上 82.9,DocVQA 以 96.5 對上 95.3,IFEval 以 91.3 對上 85.2。這些正是讀者最可能真正需要的項目,而它們確實經得起檢驗。
它在哪裡失利,又敗給什麼
這些損失是具體的,值得一一點名,因為一張只呈現勝績的表格,正是這個部落格存在的目的所要避免的東西。
• 音訊,對比專有閃電模型 — Qwen3.5-Omni-Flash 在 MMAU 上得分 80.4、在 MMAR 上得分 74.0,對比 WeMM-Video-4B 的 75.2 與 67.3。4B 唯一在音訊上的勝利是 MMAU-Pro,以 68.1 對比 64.8。
• 影片,在角落 — Video-Holmes 58.8 對上 MiniCPM-o-4.5-9B 的 64.3,而 FutureOmni 50.9 對上 Qwen3-Omni-30B-A3B-Instruct 的 55.1 與 MiniCPM 的 56.1。這兩項基準測試中,較小或較舊的競爭者徹底勝出。
• 圖像與文字 — MMMU-Pro 64.7 對 68.2,OCRBench 85.7 對 89.1,GPQA 73.2 對 76.4,MMLU-Pro 78.3 對 79.9。相較於一個以服務為導向的專有模型,落後一到六分;對於一個 5.61B 的檢查點來說,這樣落後是相當體面的位置。
解讀是:WeMM-Video-4B 是針對聯合音視訊影片調校的,在其他方面也都維持水準。如果你的工作是描述短片裡發生什麼事,並總結影片中說了什麼,這些數字表現不錯。如果你的工作是密集 OCR 或研究所程度的文字推理,同一個檢查點就是一種妥協。
執行它就意味著要修補你自己的執行環境

vLLM 與 SGLang 上游皆不支援此架構。搜尋 vLLM 問題追蹤器也找不到任何 WeMM-Video 請求,而該儲存庫反而提供 patch 目錄:內含針對四個確切上游版本的原始碼疊加層與 SHA-256 清單——vLLM 0.18.0 與 0.31.0、SGLang 0.5.16 與 0.5.19——每個版本都鎖定搭配特定的 PyTorch、Transformers 與 CUDA 12.9 組合,並要求 Python 3.12 與 FFmpeg,TorchCodec 則需在連結器路徑上具備 CUDA 12 NPP。SGLang 還會在首次使用時編譯 CUDA 核心,因此 C++ 工具鏈與 Ninja 也是安裝的一部分。
GGUF 路徑也不是捷徑。它是一個三檔案組合包——4.90 GiB 的語言檔、0.63 GiB 的視覺投影器和 2.00 GiB 的音訊檔——是為「WeMM native runtime」打造,而你得從儲存庫自行編譯這個執行環境,並非供 llama.cpp 或 Ollama 使用。Tencent 自家的 manifest 將這個匯出標為 exported_unvalidated,隨附的 scope 檔則寫著 quantized_candidate_not_validated。這種標示異常坦白,而且應該照字面解讀:Q4_K_M 套件是「有提供」,不是「有背書」。
騰訊確實聲稱已驗證的範圍很窄:修補後的 vLLM 在 H20 上載入了該檢查點,並完成了文字、圖像、音訊,以及帶配樂影片的生成檢查;本地檢查點則通過了直接以 Transformers 載入,以及 CPU 文字生成檢查。沒有吞吐量、延遲、記憶體佔用或併發數等數據。對於一個賣點是影片的模型而言,「它能生成」只是部署決策所需資訊的最低門檻。
OrcaRouter 並未提供 WeMM-Video-4B。其型錄完全沒有列出任何 WeMM 檢查點,因此沒有可報價的託管價格,也沒有可指向的端點;目前這是一項自行託管的工作,還得在別人的推論引擎上套用修補程式。至於這項工作中僅涉及視覺的那一半,平台上確有開放式替代方案——Qwen3-VL-235B-A22B-Thinking 與 Qwen3-VL-8B-Thinking 都能接受圖片與影片影格——可透過同一把 OpenAI 相容金鑰存取,但音訊那一半沒有對應的 WeMM 方案。若有相容的託管服務真的開始提供這些權重,供應商定價會以 0% 加成原樣反映,但那是附帶條件,並非目前事實。
還有什麼仍未確認
買家通常能從一場發布會得到、卻無法在這裡得到的四件事。
• 價格。沒有。沒有託管端點,沒有按 token 計費的費率,也沒有合作夥伴名單。唯一的成本,就是你已經擁有的 GPU。
• 獨立評測。未收錄於 Artificial Analysis、未提交至 arena,也沒有第三方重現。評估流程是公開的,這雖是次佳選擇,但並不代表同一回事。
• 評估條件。基準測試執行時所用的幀數、像素預算與上下文長度並未在論文中說明,且隨附的配方使用 16 幀,而處理器預設為 128。
• 第三方授權除外條款。 Tencent 表示,該集合內的元件仍受其原始條款約束,但並未逐一列明。音訊堆疊源自 Qwen2.5-Omni,主幹則源自 Qwen3.5,兩者皆為 Apache 2.0,這令人安心,但並非決定性依據。
這些都不是否定這次發布的理由。這反倒是有理由把這個系列看成它顯而易見的樣子:十八個儲存庫和一份技術報告在十九分鐘的時間窗口內上線,而公告步驟被略過了。文件品質比大多數有公告的發布更好。傳播為零。
對於需要在可自行掌控的硬體上進行聯合音視覺理解的團隊來說,WeMM-Video-4B 是本月發布的最有意思的小型檢查點,而且其影片數據也證明投入修補工夫是值得的。對於任何需要在週五前取得端點的人,老實說,這還不是一個端點——權重已經存在,執行階段只是原始碼疊加層,而唯一的基準測試是作者自己的。請留意首個獨立重現、vLLM 上游合併,或託管價格。無論哪個先出現,都會比表 2 再多一列更能說明問題。
本文中的比較1
根據本文內容識別
