一幅插圖,顯示三股流——一條電影膠片、一段音訊波形和一疊灰色資料區塊——匯聚成一條狹窄的點狀通道,而該通道上方漂浮著一個更淡的點狀輪廓複本。
Engineering & Research

WeMM-Video-35B-A3B:權重釋出,成績由騰訊自報

作者

Gideon Frost

發佈日期

最新模型 · 20查看全部模型 →
基準測試:Artificial Analysis · 每日更新
返回全部文章

連續三天,Hugging Face 儲存庫 tencent/WeMM-Video-35BA3B 裡只有一個檔案:一個 1.5 KB 的 .gitattributes。描述 WeMM-Video-35B-A3B 的技術報告於 11 月 19 日登上 arXiv,稱這個檢查點是聯合音視覺理解的新開源最先進成果,領先 Qwen3.5-Omni-Flash 與 Seed2.0-Mini-0428,並逼近 Gemini-3.0-Flash。相信該報告並點擊前往權重頁面的讀者,卻找不到任何可下載的內容。67.39 GiB 的 BF16 張量直到 11 月 20 日 03:57 UTC——也就是今天早上——才上線。這款旗艦模型在其存在前一天就被宣布,而目前附加於它的一切數字都來自訓練它的團隊。

那個時程不是醜聞,而是一次步驟順序錯亂的正常研究發布。但這確實意味著,關於 WeMM-Video-35B-A3B 的有用問題不是「它好不好」——報告在七張表中給出對團隊自己有利的答案——而是「你今天能自己驗證什麼,又有什麼是你憑信念接受的」。這個儲存庫對前半部的回答,比大多數發布都來得好。

那些負重器材今天早上送到了,不是17號。

Hugging Face 的時間戳讓這段序列異常清晰易讀。Tencent 集合中的十九個 WeMM-Video 儲存庫是在 11 月 17 日一個六分鐘的時間窗內建立的,時間介於 UTC 08:53:50 與 08:59:06 之間——這是上傳腳本的特徵,而不是有人手動點擊發佈。對於 35B-A3B 儲存庫,標題為 initial commit、時間為 08:53:50 的提交恰好包含一個檔案,而且它不是權重檔。標題為 Upload WeMM-Video-35BA3B BF16 release、帶有十七個 safetensors 分片的提交,日期為 2026-11-20T03:57:36Z。

較小尺寸的模型在同一個上午陸續補齊:2B 於 01:41、4B 於 04:08、9B 於 05:08。GitHub 儲存庫 Tencent/WeMM-Video 建立於 11 月 17 日 02:29 UTC,其 README 在 11 月 20 日 05:09 時仍在修訂。arXiv 報告 2611.26409 於 11 月 19 日 16:58 UTC 提交。

這些對一個正在推出模型系列的實驗室來說都不算罕見。它改變的是本週任何閱讀這個模型相關內容的人所處的處境:這份報告描述的是一個曾在大約三十六小時內僅止於承諾的檢查點。如果你在11月19日讀了相關報導並試圖運行它,那次失敗並不是你的工具鏈造成的。

A screenshot of the GitHub repository Tencent/WeMM-Video showing the README revision timestamped about an hour earlier, eight commits, a main branch, and a description calling it a family of omni-modal foundation models by WeChat Vision at Tencent.

36.18B 檢查點裡面有什麼?

Hugging Face 自身的中繼資料顯示,該檢查點有 36,177,564,536 個參數——相對於「35B-A3B」標籤,這是 36.18B。這個標籤並沒有錯,只是它計算的東西與檔案大小不同,而這兩者之間的差距是這個模型在實務上最重要的一點。

• 語言塔 — 40 層、隱藏寬度 2,048,16 個查詢頭對 2 個鍵值頭,頭維度 256,詞彙表 248,320。注意力採混合式:每四層中的一層為完整注意力,其餘三層為線性注意力,因此儲存庫中的每個服務命令都帶有 float32 SSM 快取旗標。

• 專家 — 每層有 256 個路由專家,中間寬度為 512,採用 top-8 路由,外加一個寬度 512 的共享專家。在 40 層中,共有 10,240 個路由專家。

• 視覺塔 — 27 個區塊,隱藏寬度 1,152,patch 大小 16,空間合併 2,時間 patch 2,投影至 2,048。

• 音訊 — 採 Whisper 形態,32 層編碼器與 32 層解碼器、寬度為 1,280,再接上視窗級 Q-Former,將每個 0.1 秒視窗壓縮成單一 token。換算下來,從切成 30 秒區塊的 16 kHz 輸入中,每秒可得 10 個音訊 token。

• 來源 — 報告指出,MoE 建構於 Qwen3.6-35B-A3B 之上,且音訊編碼器是從 Qwen2.5-Omni 初始化。視訊影格帶有文字時間戳,視覺與音訊 token 依時間順序交錯排列,而非彙整成各自獨立的串流。

• 訓練——約 1.2 兆個多模態 token 的漸進式預訓練,接著是多教師同策略蒸餾、作者稱為 MrDPO 的防重複偏好階段,以及專家強化學習。

• 授權 — 整個集合採用 Apache 2.0,並對第三方元件設有例外條款,這些元件「仍受其各自原始條款約束」。該例外條款僅有聲明,並未逐項列出。

在 BF16 檢查點旁發布了四個量化變體,其 manifest 檔值得一讀,因為它們的標示方式非常直白。AWQ W4A16 總計 22.69 GiB,其 manifest 寫著 quantized_unvalidated。NVFP4 W4A16 是單一 24.11 GiB 的 safetensors 檔,其 manifest 僅聲稱 cpu_NVFP4_weight_artifact_independently_reread——權重是在 CPU 上重新讀取,這只是校驗碼,並非評估。GGUF Q4_K_M 套件包含三個檔案(22.61 GiB 語言、0.84 GiB 視覺投影器、1.99 GiB 音訊),其 manifest 寫著 exported_unvalidated,而各 tensor 範圍檔寫著 quantized_candidate_not_validated。

第五個變體不見了。模型卡和 GitHub model-zoo 表格都連到一個 FP8 Block128 儲存庫;Hub 對它回傳 401,這與它對從未存在過的儲存庫名稱所給的回應相同,而每個現存的同系列項目都回傳 200。Hugging Face 集合在位置 1 有個空洞,正好是那個儲存庫原本該所在的位置。這是一個在你閱讀當下仍在組裝的版本。

一個量測出來的數字,而它是音訊

模型卡僅回報了一項廠商自行進行的評估:MMAR1000 達 72.7%,即 1,000 題中的 727 題。條件完整列出,這是優點——僅音訊、完整音訊以 16 kHz 解碼、Instruct 模式、貪婪解碼、最多 256 個輸出 token、在兩張 H20 GPU 上以張量平行執行修補後的 vLLM 0.18。

那張卡片上其餘的每一項,都只是在陳述某個東西已經載入。經過修補的 vLLM 在 H20 上載入了該檢查點,並完成了文字、圖像、音訊,以及附帶配樂的影片等生成檢查;本地檢查點則通過了直接以 Transformers 載入,以及 CPU 文字生成檢查。這只是做出部署決策所需的最低門檻,而騰訊並不諱言這一點。

有一條值得追查的未解線索。同一個 GitHub 儲存庫中的服務指南有一張驗證表,最後一列寫著「從 Hub 下載 checkpoint 後的 GPU 生成尚待進行」。模型卡則說,從 Hub 載入的 H20 執行已完成全部四種模態的生成。同一個團隊撰寫的兩份文件,對於已證明到什麼程度彼此不一致。模型卡的說法更具體,而且可能更為最新;這項不一致是合理的理由,讓你寧可預留一天做自己的冒煙測試,而不是預留一週做整合。

報告的音訊表也列出此檢查點在 MMAR 上的 73.6;這與模型卡中 MMAR1000 的執行使用不同的評測框架,不應從 72.7 中扣除以得出「真實」數字。唯一誠實的解讀是:Tencent 自家的音訊數字落在七十出頭,且尚無第三方對其進行測量。

30 次中有 28 次對上 Qwen's omni flash

報告的表 1 是旗艦模型的主場,而且優勢相當大。在該表 30 項單值基準測試中——聯合音視覺任務、音視覺幻覺、音樂理解、互動、描述生成——WeMM-Video-35B-A3B 在 Thinking 模式下對 Qwen3.5-Omni-Flash 在 28 項上領先、在 2 項上落後;對 Seed2.0-Mini-0428 在 26 項上領先、在 4 項上落後;對 Gemini-3.0-Flash 在 9 項上領先、在 21 項上落後。

最重要的勝利,往往不是那些乾淨俐落的:

• 含音訊的 Video-MME — WeMM-Video-35B-A3B 為 86.4,Qwen3.5-Omni-Flash 為 79.3,Seed2.0-Mini-0428 為 83.6,Gemini-3.0-Flash 為 88.6。

• Video-MME v2 含音訊 — 54.9 對上 36.6 與 51.7,而 Gemini-3.0-Flash 為 63.2。在同一基準較難的子集上,領先最接近的開放競爭對手 18 個百分點。

• AV-SpeakerBench — 72.6,對比 65.2 與 68.5,仍落後於 G​emini 的 75.9。在影片中辨別是誰在說話,正是區分真正音視訊融合與僅硬加上轉錄稿的視覺模型的任務。

• SciVideoBench 與 EvaOmni — 69.4 對 51.3,以及 57.8 對 30.4。兩者都高度仰賴推理;也都是較弱的全模態模型往往會崩潰的地方。

這些損失同樣具體,值得一一點名,因為只展示勝績的表格,正是這個部落格存在所要避免的東西:

• JointAVBench — 65.9 分,落後於 Qwen3.5-Omni-Flash 的 69.0 分與 Gemini-3.0-Flash 的 68.4 分,僅領先 Seed2.0-Mini-0428 的 64.7 分。

• MUSIC-AVQA — 79.5,相較於 Q​wen 的 82.1,但仍領先 G​emini 的 76.2。音樂正是 Q​wen 的音訊堆疊仍具優勢之處。

• 對比 Seed2.0-Mini-0428 — OmniCompass-AV 46.3 對 47.9,OmniVChat 48.9 對 49.8,O-IN-Bench 49.0 對 49.4,video-SALMONN 2 的測試集 28.3 對 32.7。這四項中有三項差距在一分以內。

• 相較於 Gemini-3.0-Flash——在長影片與面向未來的影片上差距最大:MMOU 74.5 對 84.7,FutureOmni 56.2 對 65.3,OmniVideoBench 55.3 對 63.3,LVOmniBench 52.6 對 59.8。「縮小差距」是公允的說法;「消除差距」則不然。

上方每個數字都來自 Tencent。報告自己也這麼說——「對於現有模型,我們在可取得官方結果時報告官方結果,否則報告我們自己的評估」——而且會依表格不同,在 Instruct 與 Thinking 模式之間切換,這一點報告也有說明。沒有任何第三方重現過其中任何一項,且 Artificial Analysis 與 LMArena 都未列出 WeMM 模型。

A two-column scoreboard headed 'WeMM-Video-35B-A3B vs Qwen3.5-Omni-Flash — the scoreboard', with six shared rows: Video-MME with audio 86.4 against 79.3, Video-MME v2 with audio 54.9 against 36.6, AV-SpeakerBench 72.6 against 65.2, SciVideoBench 69.4 against 51.3, JointAVBench 65.9 against 69.0, and MUSIC-AVQA 79.5 against 82.1.

加入耳朵幾乎沒有拉低視覺分數。

這份新聞稿中,有一項主張比頭條基準更值得關注,而且它較不張揚:將音訊堆疊加裝到視覺語言模型上,並沒有讓它犧牲多少視覺能力。全模態訓練通常確實會付出代價——模型會將容量分散到各模態,並在無聲影片上退步。

該報告透過在 31 個無聲影片基準測試上,將 WeMM-Video-35B-A3B 與其自身骨幹 Qwen3.6-35B-A3B 直接對比,來檢驗這一點。這款旗艦模型在 20 項上領先、在 11 項上落後,而這 11 項中大多數的差距都在一分以內。

• 提升之處 — TimeLens-Charades 54.8 對 47.4,F-16-NBA 89.9 對 82.8,CrossVid 50.2 對 45.2,OVO-Bench 63.9 對 61.0,TemporalBench 45.9 對 43.3。

• 落後之處 — EgoSchema 74.2 對 77.2,Video-MME 80.4 對 82.5,MVBench 73.1 對 74.6,MLVU 85.3 對 86.2。其餘僅相差零點幾分。

要看模式而非數量:增益集中在時間定位與長影片關聯,損失則落在第一人稱自我中心影片。對一個在帶聲音影片上調校的模型而言,這是合理的取捨。在相同的無聲影片表格上,相較於 Qwen3.5-Omni-Flash,它在 31 項中領先 30 項,僅在 VideoVista 以 83.5 比 84.1 落後。

圖像與文字表格呈現相同的格局。對上 Qwen3.5-Omni-Flash,28 個圖像基準中有 26 個由 WeMM 勝出,例外是 RefCOCO(89.5 對 92.6)與 TallyQA(80.7 對 81.2)。對上自家主幹模型,圖像表格幾乎打成平手——13 項領先、14 項落後——而代價則反映在文字表格上:MMLU-Pro 84.7 對 85.2、GPQA 83.8 對 86.0、IMOAnswerBench 74.8 對 78.9、SuperGPQA 63.4 對 64.7。為了換取一對能用的耳朵而放棄幾分硬推理,是正常且站得住腳的取捨,但這終究是取捨,任何要把研究生等級文字交給這個檢查點處理的人都應該知道這件事存在。

36B 的記憶體,3B 的運算量

決定這個模型對你而言是否可部署的算術如下,而它是從組態而非文字說明得出的。在 36.18B 個參數中,約有 32.2B 位於路由專家:40 層乘以 256 個專家,再乘以三個寬度為 2,048 乘 512 的投影。Top-8 路由在每個 token 只觸及其中三十二分之一,約 1.0B 個參數;一旦把注意力、共享專家和嵌入表計算在內,標示的「3B active」便一致了。

所以運算費用不高,但記憶體費用可不是如此:

• BF16 — 共 67.39 GiB,分佈於十七個分片。Tencent 自家的驗證在兩張 H20 上使用了張量平行化。針對更大的組態,並沒有公開的張量平行化數量;服務指南只說「請為完整的專家權重規劃記憶體,並視需要設定 --tensor-parallel-size」。

• NVFP4 W4A16 — 24.11 GiB,可容納於單張 48 GB 顯示卡內,並仍有空間供快取使用。此配方是獨立的已修補 vLLM 0.31.0 環境,搭配 ModelOpt 混合精度與 Marlin,並以 --max-num-seqs 1 執行。

• AWQ W4A16 — 在修補過的 vLLM 0.18.0 上,使用檢查點本身的 compressed-tensors 設定,佔用 22.69 GiB。

• GGUF Q4_K_M—— 一個 24.6 GiB 的三檔案組合包,但供 Tencent 自家的原生執行環境使用,而非 llama.cpp 或 Ollama。其 manifest 標示它為已匯出且未經驗證。

這裡沒有任何東西能在未修補的引擎上執行。儲存庫提供了一個 patch 目錄:內含帶有 SHA-256 清單的原始碼疊加層,正好對應四個上游版本——vLLM 0.18.0 與 0.31.0、SGLang 0.5.16 與 0.5.19——每個版本都綁定到特定的 PyTorch、Transformers 與 CUDA 12.9 組合,並要求 Python 3.12 與 FFmpeg,TorchCodec 需要在連結器路徑上具備 CUDA 12 NPP,而 SGLang 會在首次使用時編譯 CUDA 核心。搜尋 vLLM 問題追蹤器後,並未發現任何針對此架構的上游請求。這是一項自架工作,並將疊加層套用到別人的推論引擎上。

A screenshot of the Hugging Face model page for tencent/WeMM-Video-35BA3B showing an Image-Text-to-Text pipeline tag with Transformers and Safetensors, English and Chinese language tags, the wemm_qwen3_5_moe architecture tag, an apache-2.0 licence, and a 36B-parameter BF16 model size.

有兩個配置細節限制了實際上能餵給它的內容。文字配置宣告了 262,144 個位置,但這張卡本身的 vLLM 指令卻傳入--max-model-len 8192,而且每份 SGLang 配方也把上下文上限設在 8,192——那個較長的數字只是預留空間,並不是受支援的設定。影格取樣也是同樣情況:處理器預設為 2 fps、最多 128 幀,而公開的配方則覆寫成 16 幀與 262,144 像素的預算。以每秒 10 個音訊 token 計算,8,192-token 的上下文只有略超過十三分鐘的音訊,別無其他。

OrcaRouter 不提供 WeMM-Video-35B-A3B,且目錄中完全沒有列出任何 WeMM 檢查點,因此沒有託管價格可報。我們有提供的是這個模型所基於的模型:Qwen3.6-35B-A3B 已在平台上,價格為 每百萬輸入 token 0.25 美元,輸出則為每百萬 token 1.48 美元,上下文長度為 262,144 個 token,並支援文字、圖像與影片輸入。如果你這項工作所需的那一半是「觀看短片並對其推理」,而不是「觀看短片並轉錄房間內容」,那就是今天下午即可使用的託管替代方案,而不必下載 67 GiB 並進行原始碼層級的修補。供應商列表價格以 0% 加價直接傳遞,且每個模型都位於 單一具備自動容錯移轉的 OpenAI 相容金鑰之後,因此嘗試第二意見只需變更設定,而不是再簽一份合約。

微信之外無人查證過的事

買家通常能從一場發布會得到、卻無法在這裡得到的四件事。

• 獨立評估。無。評估與重現流程是公開的,這已是次佳做法,但並不相同。

• 評估條件。報告中並未說明基準測試執行時所使用的影格數、像素預算與上下文長度,而隨附的配方取樣 16 個影格,處理器則預設為 128。對長片段取樣 16 個影格,與對同一片段取樣 128 個影格,是截然不同的輸入。

• 部署宣稱。 報告指出,該模型系列「已部署於微信內多項核心影片服務」,並點名直播電商、短劇分析與互動式影片。若此說屬實,這是一項重大的宣稱——正式環境的流量是唯一無人能爭辯的評估依據——但從外部完全無法驗證。整份發布資料中,沒有任何地方公布延遲、吞吐量、併發數或記憶體數據。

• 量化產物。四種已發佈的變體中,有三種在自己的清單檔中自稱未經驗證。AWQ、GGUF 與 NVFP4 僅是提供,並未獲得背書。

這些都不是否定這次發布的理由。這反而是應該按其顯而易見的本來面目來看待它的理由:這是一份文件齊備的研究發布,其旗艦權重才剛上線數小時、論文先一步問世、FP8 儲存庫尚未建立,而且它在基準測試上對最佳開源全模態競爭對手的領先幅度,大到值得重現而非質疑。

能讓這件事有定論的,始終還是同一份清單。vLLM 上游合併就能終結修補。首次在帶音訊的 Video-MME v2 上獨立重現,就能證實或戳破那 18 個百分點的差距。一個託管價格,或那個缺失的 FP8 儲存庫,就能告訴你騰訊是打算讓它被實際使用,還是僅供引用。在上述任一實現之前,誠實的總結是:WeMM-Video-35B-A3B 是本月最有趣、最值得關注的開源全模態檢查點,它的視覺分數似乎在加入聽覺能力後仍站得住腳,而它目前的所有數字都來自訓練它的人。