主視覺標題卡寫著「WeMM-Video-9B:為何其 4-bit 版本仍高達 13 GiB」,副標題為「騰訊於 2026 年 11 月 17 日發布了十九個 WeMM-Video 儲存庫,卻沒有推出公告」,並有四列記憶體晶片資料:BF16 基礎版本為 19.54 GiB,分佈於五個分片;FP8 Block128 為 13.10 GiB;AWQ W4A16 為 12.86 GiB;NVFP4 W4A16 為 13.07 GiB。另有一行醒目文字寫著:四個壓縮版本之間的差距為 0.42 GiB;頁尾則寫著,尺寸是依據各個 Hugging Face 儲存庫的檔案清單測量,且為廠商自行回報,未經獨立驗證。
Engineering & Research

WeMM-Video-9B:為何其 4 位元版本仍佔 13 GiB

作者

jinhao.song

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

四位元量化後的結果,應該大約是原始權重檔的四分之一。WeMM-Video-9B在 BF16 下為 19.54 GiB,而其 AWQ W4A16 建置版本則是 12.86 GiB。這是 34% 的縮減,而不是 75% 的縮減——而且 FP8、AWQ、NVFP4 與 GGUF 版本彼此的大小差距都在 0.42 GiB 以內,因此從中選擇幾乎不會替你省下任何記憶體。匯出工具自身的資訊清單說明了原因:4 位元流程只壓縮密集前饋矩陣——104.9 億個參數中的 48.3 億個——而視覺塔、音訊塔、嵌入層、輸出頭與注意力權重全都維持原始精度,且 57 億個參數每個佔兩位元組,設下了任何 W4 配方都無法低於的下限。騰訊在 11 月 17 日至 19 日公布了權重、量化配方,以及一份由 12 位作者撰寫的技術報告,卻沒有發布上市貼文,而至今尚無人詳細撰寫的部分正是算術——這也恰好是決定這個模型能否裝進你現有 GPU 的部分。在騰訊自家的表格上,它在兩者共有的 37 項聯合音視覺指標中,有 35 項擊敗 Qwen3-Omni-30B-A3B-Instruct;至於它的四位元版本是否可安全部署,現有紀錄比十九個儲存庫所暗示的還要薄弱。

一個 10.49B 的堆疊,卻貼著 9B 的標籤

儲存庫 tencent/WeMM-Video-9B 於 2026 年 11 月 17 日 UTC 08:55:54 建立,比其 AWQ 同系列版本晚十四秒,比 35B-A3B 領頭模型晚十一分鐘。T​encent 組織之下共有十九個 WeMM-Video 儲存庫,全都在當天早上五分鐘的窗口內建立,這正是上傳腳本的特徵,而非有人逐一發布模型。GitHub 專案 Tencent/WeMM-Video 早六小時於 UTC 02:29 建立,其首個實質提交在 11 月 19 日落地,README 修訂版直到 11 月 20 日仍陸續出現。論文 arXiv 2611.26409 於 11 月 19 日 UTC 16:58 提交。

Screenshot of the Hugging Face model page for tencent/WeMM-Video-9B, showing the model card, the file listing and the repository tab bar for a repository created on 17 November 2026 with no launch announcement linked from it.

這些都沒有對外公布。我們找不到任何騰訊部落格文章、微信 Vision 發布頁面、新聞稿,或是指向這個系列的付費方案。在撰寫本文時,全部十九個儲存庫的下載次數都是零,合計只有三個讚。Artificial Analysis 並未列出任何 WeMM 模型。這兩項事實都與品質無關——它們說明的是,發布推廣這一步被跳過了。

名稱中的「9B」是語言主幹,不是檢查點。Hugging Face 記錄了橫跨 1,305 個張量的 10,488,603,384 個參數,而按名稱讀取五個 safetensors 分片會把它們分成四堆:

• 語言模型 — 7.94B 個參數,其中包括 1.02B 個詞元嵌入。

• 輸出頭 — 10.2 億個參數。嵌入未綁定,因此這是 248,320 個詞元詞彙表在 4,096 維隱藏層下的第二份完整副本。

• 音訊塔 — 1.08B 參數。Whisper 風格的編碼器與解碼器,各 32 層、寬度 1,280,饋入兩層 Q-Former,將 0.1 秒的視窗壓縮成每秒 10 個音訊 token。

• 視覺塔 — 0.46B 參數。27 個區塊,隱藏維度 1,152,patch 大小 16,空間合併 2,時間 patch 2。

所以,這個檔案大約有五分之一是耳朵和眼睛。論文明確說明了來源:稠密 2B、4B 與 9B 模型建構於 Qwen3.5-2B、Qwen3.5-4B 與 Qwen3.5-9B 之上,混合專家模型建構於 Qwen3.6-35B-A3B 之上,音訊編碼器初始化自 Qwen2.5-Omni,而原生視覺編碼器則予以保留而非替換,並自第二預訓練階段起凍結,因為它們「已提供足夠強大的視覺表徵」。

主幹本身即為混合架構:32 層、隱藏大小 4,096、16 個注意力頭對上 4 個鍵值頭且頭維度為 256,每三個線性注意力層後接一個全注意力層,並搭配 float32 SSM 快取——這就是為何儲存庫中的每個服務指令都帶有 mamba-ssm-cache-dtype float32 旗標。位置嵌入宣告為 262,144 個 token;交錯的多模態 RoPE 區段為 11/11/10。授權為 Apache 2.0,並含有一項未在模型卡上逐項列出的第三方除外條款。

四種建置,四種幾乎相同的尺寸

以下是完整的量化階梯,這是根據每個儲存庫自己的檔案清單測量得出,而不是根據卡片上四捨五入後的數字:

• BF16 base — 19.54 GiB,分佈於五個分片。

• FP8 Block128 — 13.10 GiB,單一檔案。需要支援 FP8 的 GPU,以及已修補的 vLLM 0.18.0。

• AWQ W4A16 — 12.86 GiB,採用 compressed-tensors 格式的 group-128 INT4。修補版 vLLM 0.18.0。

• NVFP4 W4A16 — 13.07 GiB,ModelOpt 0.45.0 混合精度,群組大小為 16。已修補的 vLLM 0.31.0 搭配 Marlin,SM120 參考配置。

• GGUF Q4_K_M — 13.28 GiB,以三檔案組合形式提供:10.41 GiB 語言、2.01 GiB 音訊、0.86 GiB 視覺投影器。

Generated single-column scoreboard titled 'WeMM-Video-9B — the scoreboard' with six memory-chip rows: BF16 base 19.54 GiB across five shards, FP8 Block128 13.10 GiB, AWQ W4A16 12.86 GiB, NVFP4 W4A16 13.07 GiB, GGUF Q4_K_M 13.28 GiB, and a spread of 0.42 GiB across the four compressed builds, with a footer stating the sizes are measured from each Hugging Face repository's file listing and are vendor-reported with no independent verification.

那四個壓縮建置版本之間的差距是 0.42 GiB,比你為驅動程式更新會預留的緩衝空間還小。如果你是在它們之間做選擇,好讓某張顯示卡能裝得下,那你選錯了變數:應該根據你擁有哪張 GPU、以及你能修補哪個執行階段來選,因為記憶體差異並不在那裡。

天真的預期——19.54 GiB 的四分之一,也就是約 4.9 GiB——差了 2.5 倍。即使是相對於 BF16 的餘裕也相當有限:AWQ 節省了 6.68 GiB,這確實是 34%,但完全不像 W4 標籤所暗示的「小四倍」。

出口商保護什麼,以及為什麼

AWQ 與 GGUF 的清單都明確指出它們被允許觸及哪些張量,而答案解釋了大小停滯的現象。

• 只有稠密前饋矩陣被量化。 AWQ 清單記錄了 96 個量化語言矩陣——32 層中每層三個,每個為 4,096 乘 12,288。那是 10.49B 中的 4.83B 參數,或檢查點的 46%。其他所有內容都保持其精度。

• 注意力路徑已還原為 BF16。 AWQ manifest 帶有一個 attention_restoration 區塊,列出 152 個注意力投影矩陣與 32 個輸入歸一化,並附上從來源檢查點複製回來的 SHA-256 雜湊值。GGUF 範圍檔案回報相同的數量——protected_attention_BF16: 152——並補充說明嵌入與輸出張量是僅有的另外兩個受保護項目。

• 前端與兩座媒體塔從不進入量化器。在 AWQ manifest 中,有 881 個張量被列為受保護的前端、嵌入與頭部張量——其中 333 個來自視覺塔、545 個來自音訊塔,以及 token embedding、未綁定的輸出頭與最終 norm。以 BF16 計算,這約為 3.57B 個參數,也就是 21.0 GB 檔案中的 7.1 GB,完全位於壓縮步驟之外。

其結果正是部署計畫實際需要的數字:無論你選哪個版本,都要為權重編列 13–13.5 GiB 的 VRAM 預算,然後再往上加 KV 快取與 float32 SSM 快取。一個需要 13 GiB 權重的「4 位元 9B」並不是模型本身的問題——光是詞彙表就有 248,320 個 token、被嵌入兩次,而音訊塔還是個坐鎮其中、具備 1.08B 參數的 Whisper——但這正是「能在 16 GB 顯卡上運作還留有餘裕」與「完全放不下」之間的差別。

已驗證可載入,未驗證是否相等

這個系列中的每一張量化卡都會回報一項冒煙測試,而每一份 manifest 則會回報更直白的內容。請把兩者並排閱讀,因為它們之間的落差,正是使用壓縮建置的全部風險所在。

• FP8 Block128 — 卡片:修補後的 vLLM 在 H20 上載入它,並完成文字、圖像、音訊以及帶音訊影片的生成檢查,且執行時精度稽核確認了 W8A8 路徑。Manifest:狀態 quantized_and_independently_reloaded_native_inference_pending,並將 native_inference_validated: false 與 native_low_precision_gemm_validated: false 記錄為獨立旗標。

• AWQ W4A16 — 顯示卡:修補後的 vLLM 在 H20 上成功載入,完成相同的四項檢查,且精度稽核確認前饋權重為 INT4、注意力為 BF16。清單:狀態 quantized_unvalidated,並有一個 diagnostic_variant 同時標示 BF16 注意力參考版本與 INT4 版本。

• NVFP4 W4A16 — 卡片:已修補的 vLLM 0.31.0 載入並執行「PRO 5000 參考權重」,且通過五項生成檢查,包括無聲影片。資訊清單:同樣這三項主張被記錄為旗標,而每一項的讀值都是 false — native_FP4_GEMM_validated、PRO5000_inference_validated、vllm_validated — 其狀態為 cpu_NVFP4_weight_artifact_independently_reread。資訊清單確實證明的是數值檢查:96 個矩陣與 4,831,838,208 個元素皆經獨立反量化,平均相對 RMSE 為 0.095,未超過 0.35 的上限,並確認 1,209 個受保護張量位元完全一致。該元素數量正是範圍聲明所指的 48.3 億,由此可知本文中的算術與匯出器的算術一致。

• GGUF Q4_K_M — 卡片:原生 CPU 執行階段已載入套件組合,並產生文字、圖像、音訊與視訊輸出。清單狀態 exported_unvalidated;範圍狀態 quantized_candidate_not_validated。

「它能載入,也能生成」是真實的結果,而且值得擁有——許多量化多模態檢查點正是在這一步失敗。但這不是能決定部署與否的結果,因為這些模型卡中沒有任何一張回報壓縮版本相對於其自身 BF16 來源的任何準確率數字。在 MMAU、Video-MME、轉錄 WER 上,都沒有實測到的差異值。各處唯一提出的精度說法是結構性的,來自 AWQ 稽核:前饋層用 INT4,注意力層用 BF16。那描述的是檔案本身。它沒有告訴你壓縮付出了什麼代價,而對於一個在含音訊的 Video-MME 上領先 Qwen3-Omni-30B-A3B-Instruct 達 7.8 個百分點的模型來說,這個代價的大小不是四捨五入的問題。

所以,對這個系列來說,實用的原則是:在你信任論文中的表格之前,先在你打算出貨的確切版本上,以 BF16 基準版本為對照,重新跑一個你在意的基準測試。那只是幾小時的工作,而這是唯一能知道 INT4 前饋層能否在影片結果之下換入,或者那 34% 的節省是否正以這張卡所宣傳的數據為代價的方法。

Screenshot of the raw quantization_manifest.json for the FP8 Block128 build of tencent/WeMM-Video-9B on Hugging Face, showing the status field quantized_and_independently_reloaded_native_inference_pending, an official_repo field naming Qwen/Qwen3.5-35B-A3B-FP8, and the algorithm field Transformers 5.5.3 Fp8Quantize.convert.

那底下有兩個機械陷阱。

第一個是 GGUF。「GGUF Q4_K_M」會被理解為「可在 llama.cpp 或 Ollama 中執行」。但事實並非如此。這個套件是為 Tencent 自家的原生執行環境所建置,而該執行環境需從儲存庫自行編譯;模型卡上的快速入門是install-cpu/bin 以及一個 native/run_hf.py 啟動器,而服務指南會將 GGUF 導向該執行環境,且不會導向其他任何地方。如果你的管線是 llama.cpp 的形式,這個檢查點就不是它表面上看起來那樣的捷徑。

第二點是值得指出的文件瑕疵,因為它會讓任何依序閱讀 manifest 的人感到困惑。三份 FP8 manifest——分別對應 2B、4B 與 9B——都帶有相同的official_repo欄位:Qwen/Qwen3.5-35B-A3B-FP8。這是 recipe 記錄中複製貼上的來源字串,並不是在聲稱某個 9B checkpoint 其實是 35B 的混合專家模型。檔案中沒有其他內容支持這種解讀:同一份 manifest 的來源清單指向 tencent/WeMM-Video-9B 的五個 shard,且雜湊值相符,而架構區塊記錄的是一個零專家的稠密 32 層模型。35B-A3B 是確實存在的獨立模型;它也是該系列中唯一沒有自己 FP8 儲存庫的尺寸,僅有 base、AWQ、GGUF 與 NVFP4。

在 T​encent 的表格上,9B 對上 30B

以下每個基準測試數字都是作者自己的,出自 arXiv 2611.26409,且沒有任何第三方重現過其中任何一項。論文本身也這麼說:現有模型係以「有官方結果時採用官方結果,否則採用我們自己的評估」來報告。請將本節視為對一項主張的描述,而非測量結果。

在聯合影音表格上,於思考模式中,9B 在兩欄共有的 37 個數值裡有 35 個勝過 Qwen3-Omni-30B-A3B-Instruct,1 個平手、1 個落敗——而對手模型的規模約為它的三倍:

• 含音訊的 Video-MME——85.1 對 77.3。MiniCPM-o-4.5-9B 為 69.2。

• 含音訊的 Video-MME-v2 — 51.6 對 36.3,差距達 15.3 個百分點。

• Daily-Omni — 83.6 對 70.7,不過 MiniCPM-o-4.5-9B 的 80.2 讓這成為三方鼎立的結果,而非一面倒的勝利。

• SciVideoBench 與 MMOU — 64.2 對 49.9,以及 71.7 對 60.5。

• EvaOmni 與 OmniReasoningBench — 50.7 對 26.1,以及 43.9 對 24.1。

• 唯一一項落敗——FutureOmni,53.7 對 55.1。MiniCPM-o-4.5-9B 在該項拿下 56.1。

無聲影片是更有用的表格,因為它包含同系列對照:Qwen3.5-9B,也就是此檢查點所基於的主幹模型。把兩欄並排來看,後訓練呈現出明顯取向。它在時間定位與時間感知上有所提升——F-16-NBA 88.7 對 75.8、TimeLens-QVHighlights 66.8 對 64.3、TimeLens-ActivityNet 55.3 對 52.2、TOMATO 48.5 對 45.0——但在長影片摘要與一般辨識上退步:MLVU 82.4 對 84.4、LVBench 68.2 對 70.0、VideoVista 82.2 對 84.7、VSI-Bench 54.5 對 58.3、MVBench 71.4 對 74.4。因此,這並非對其所繼承主幹的全面升級。它是一個朝「事情發生在何時、何地」調校的模型,代價是可量測地反映在整體影片分數與空間推理上,而這些正是主幹原本做得更好的地方。

音訊正是 9B 不再勝出的地方。在 Instruct 模式下,9B 在 MMAU-Pro 拿到 70.9,對比 Qwen3.5-Omni-Flash 的 64.8;在 MMSU 拿到 76.8,對比 72.2——但在 MMAU 以 77.0 對 80.4 落敗,在 MMAR 以 72.8 對 74.0 落敗,而且在語音辨識上徹底敗下陣來:LibriSpeech 詞錯誤率為 1.5 和 3.1,對比 1.3 和 2.4;WenetSpeech 字元錯誤率為 5.4 和 6.8,對比 4.4 和 5.5。文字與知識也呈現相同情況:MMLU-Pro 81.6,對比 Qwen3.5-9B 主幹的 82.5;GPQA 77.8,對比 81.7;HMMT 75.0,對比 82.9。如果轉錄稿就是產品,專用辨識器仍然勝出。

論文中的一項比較應謹慎解讀。全模態表是以 Thinking 模式執行 WeMM 模型,而音訊表則是以 Instruct 模式執行這些模型,因為作者認為標準音訊基準屬於直接的感知任務。這是站得住腳的區分,也意味著某一張表中的 WeMM 橫列不能與另一張表中的競爭對手橫列相比。

影片預設為八秒

檢查點能接受的內容與隨附配方實際傳給它的內容之間的差距,大到足以改變結果,因此應納入任何評估計畫。

• 影格預算 — 處理器預設為 2 fps、最少 4 個影格、最多 128 個影格,以及總像素 100,663,296。vLLM 配方會將這四項全部覆寫為 2 fps、16 個影格與 262,144 像素。在 2 fps 下,十六個影格相當於從片段中段起算八秒的涵蓋範圍。

• 上下文 — 文字設定宣告 262,144 個位置嵌入。T​encent 發布的每個服務指令都會傳入 max-model-len 8192 或 context-length 8192,而儲存庫中沒有任何內容說明如何達到更大的數值。

• 音訊成本 — 每秒 10 個 token,因此 8,192 個 token 的預算大約是十三分鐘的音訊,別無其他。含配樂的影片會同時把這筆預算花在影格與音訊上。

• 每次請求的媒體 — 四張圖片、兩段影片、兩個音訊項目,依據已發布的限制。

WeChat Vision 以外沒有人公開過基準測試執行時採用哪種取樣設定。如果你要重現上表中的某個數字,那就是第一個必須釐清的未知數,而隨附的 16 幀預設值正是錯誤的起點。

你今天實際上可以用它做什麼

OrcaRouter 並未提供 WeMM-Video-9B,其目錄中也完全沒有列出任何 WeMM checkpoint。沒有可報價的託管價格,也沒有可呼叫的端點,因此目前這是自行託管的工作:從儲存庫的 overlay 目錄為 vLLM 或 SGLang 套用修補,並鎖定修補清單中針對你的引擎版本所指名的確切 PyTorch、Transformers 與 CUDA 12.9 組合,還要將 13 GiB 加上快取納入預算。GGUF 路線則需要從原始碼建置 Tencent 的原生執行環境。

就這項工作的視覺部分而言,平台上已有開放替代方案—— Qwen3-VL-235B-A22B-Thinking 與 Qwen3-VL-8B-Thinking兩者都能接收圖像與影片影格——可透過同一把 OpenAI 相容金鑰,與 200+ 個其他模型,以0% 加價相對供應商定價計費。兩者都聽不到任何聲音,而音訊部分也沒有 WeMM 的對等方案。如果你想試用自架的 9B,又不讓它承擔生產路徑,將它放在容錯移轉規則後面進行路由,是在你投入一張顯示卡給它之前,低成本確認修補後的執行環境能否在你的併發量下撐得住的方法。

至於 4 位元建置版本,則是值得等待、而非值得採用的選擇。它們自己的資訊清單自稱未經驗證,而尺寸計算顯示,它們提供的壓縮可在權重上節省 34%——值得擁有,但不值得為此重新架構一套部署。值得關注的訊號不是又一個量化儲存庫,而是這個系列中第一個資訊清單,它不再帶有 pending 一詞,隨後是第一個獨立重現某張表格——這張表目前只存在於一個地方:作者的 PDF。

本文中的比較1

根據本文內容識別