3つのストリーム——フィルムストリップ、音声波形、灰色のデータブロックの積み重なり——が1本の細い点線チャネルに収束し、そのチャネルのより淡い点線輪郭のコピーがその上に浮かんでいるイラスト。
Engineering & Research

WeMM-Video-35B-A3B:重みを公開、スコアはTencent自社によるもの

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

3日間、Hugging Face のリポジトリ tencent/WeMM-Video-35BA3B にはファイルが1つだけ入っていた。1.5 KB の .gitattributes。技術レポートはWeMM-Video-35B-A3B について11月19日に arXiv で公開され、そのチェックポイントを音声と視覚の統合理解における新たなオープンソースの最先端だと評し、Qwen3.5-Omni-Flash と Seed2.0-Mini-0428 を上回り、Gemini-3.0-Flash に迫るとした。レポートを信じて重みへアクセスした読者は、ダウンロードできるものを何も見つけられなかった。67.39 GiB の BF16 テンソルが実際にアップロードされたのは、11月20日 03:57 UTC、つまり今朝のことだ。フラッグシップは存在する前日に発表され、これまでにそれに付された数字はすべて、それを訓練したチームによるものだ。

そのタイミングはスキャンダルではなく、手順の順序が入れ替わった通常の研究リリースだ。しかしそれは、{{1}}WeMM-Video-35B-A3B{{/1}}についての有用な問いが「{{2}}優れているのか{{/2}}」ではないことを意味する——報告書は7つの表にわたり、チームに有利な形でそれに答えている——「{{3}}今日、自分で何を検証でき、何を信じて受け入れているのか{{/3}}」だ。リポジトリは、その前半についてはほとんどのリリースよりもうまく答えている。

ウェイトは17日ではなく今朝届きました

Hugging Face のタイムスタンプにより、この並びは異例なほど明瞭になる。Tencent のコレクションにある19個の WeMM-Video リポジトリは、11月17日の08:53:50から08:59:06 UTCまでの6分間の窓内に作成された——人が公開をクリックしたというより、アップロードスクリプトの痕跡である。35B-A3B リポジトリでは、次のタイトルのコミットinitial commitは08:53:50時点でファイルをちょうど1つだけ含んでおり、それは重みではない。次のタイトルのコミットUpload WeMM-Video-35BA3B BF16 releaseは、17個のsafetensorsシャードを含み、日付は2026-11-20T03:57:36Zである。

小さいサイズは同じ朝に揃った:2Bが01:41、4Bが04:08、9Bが05:08。GitHubリポジトリTencent/WeMM-Videoは11月17日02:29 UTCに作成され、そのREADMEは11月20日05:09時点でもまだ改訂中だった。arXivレポート2611.26409は11月19日16:58 UTCに投稿された。

モデルファミリーをリリースするラボにとって、そうしたことのいずれも異例ではない。それが変えるのは、今週このモデルについて読むすべての人の立ち位置だ。その報告が記述しているのは、およそ36時間にわたり「約束」だったチェックポイントである。11月19日の報道を読んでそれを実行しようとしたなら、失敗したのはあなたのツールチェーンのせいではない。

A screenshot of the GitHub repository Tencent/WeMM-Video showing the README revision timestamped about an hour earlier, eight commits, a main branch, and a description calling it a family of omni-modal foundation models by WeChat Vision at Tencent.

36.18Bチェックポイントの中には何が入っていますか

Hugging Face自身のメタデータでは、このチェックポイントは36,177,564,536パラメータ、つまり「35B-A3B」というラベルに対して36.18Bとされています。このラベルは誤りではなく、単にファイルサイズとは別のものを数えているだけであり、その2つの差こそがこのモデルについて実用上最も重要な点です。

• 言語タワー — 隠れ幅2,048で40層、2個のキー・バリューヘッドに対して16個のクエリヘッド、ヘッド次元256、語彙数248,320。アテンションはハイブリッド方式で、4層ごとに1層がフルアテンション、残りの3層は線形アテンションです。そのため、リポジトリ内のすべてのサービングコマンドにはfloat32のSSMキャッシュフラグが付いています。

• エキスパート — 各層256のルーティング対象エキスパート(中間幅512、トップ8ルーティング)、加えて幅512の共有エキスパート。40層全体で10,240のルーティング対象エキスパートになります。

• ビジョンタワー — 隠れ幅1,152で27ブロック、パッチサイズ16、空間マージ2、時間パッチ2、2,048へ射影。

• 音声 — Whisper型で、幅1,280の32エンコーダ層と32デコーダ層を持ち、各0.1秒のウィンドウを単一トークンに圧縮するウィンドウレベルのQ-Formerに供給します。これにより、16 kHzの入力を30秒のチャンクに分割した場合、毎秒10音声トークンになります。

• 由来 — 報告書によると、MoE は Qwen3.6-35B-A3B に基づいて構築されており、音声エンコーダーは Qwen2.5-Omni から初期化されています。動画フレームにはテキスト形式のタイムスタンプが付与され、視覚トークンと音声トークンは別々のストリームにまとめられるのではなく、時系列順にインターリーブされます。

• トレーニング — 段階的な事前学習により約1.2兆のマルチモーダルトークンを処理し、続いてマルチティーチャーによるオンポリシー蒸留、著者らがMrDPOと呼ぶ反復防止の選好段階、そして専門特化型の強化学習を行います。

• ライセンス — コレクション全体で Apache 2.0。ただし、第三者コンポーネントについては「それぞれの元の条件に引き続き従う」とする除外規定がある。除外規定は明記されているが、個別に列挙はされていない。

BF16チェックポイントの隣には4つの量子化バリアントが公開されており、それらのマニフェストファイルは、ラベルの付け方がいかに率直かという点で読む価値がある。AWQ W4A16は合計22.69 GiBで、そのマニフェストにはquantized_unvalidatedと記されている。NVFP4 W4A16は単一の24.11 GiB safetensorsファイルで、そのマニフェストが主張するのはcpu_NVFP4_weight_artifact_independently_rereadのみである — 重みはCPU上で再読み取りされたが、それはチェックサムであり、評価ではない。GGUF Q4_K_Mバンドルは3ファイル(言語22.61 GiB、視覚プロジェクター0.84 GiB、音声1.99 GiB)で、そのマニフェストにはexported_unvalidatedと書かれており、テンソルごとのスコープファイルにはquantized_candidate_not_validatedと書かれている。

第5のバリアントが欠けている。モデルカードとGitHubのmodel-zooの表はどちらもFP8 Block128リポジトリにリンクしているが、Hubはそれに対して401を返す。これは、これまで一度も存在したことのないリポジトリ名に対して返すのと同じ応答であり、一方、現存する兄弟リポジトリはすべて200を返す。Hugging Faceのコレクションには位置1に穴があり、そこはまさにそのリポジトリが置かれるはずだった場所だ。これは、あなたがこれを読んでいる今もなお組み立てられている途中のリリースである。

測定された数値は1つだけ、そしてそれは音声です

モデルカードには、ベンダー自身が実施した評価がちょうど1件だけ報告されています。MMAR1000で72.7%、1,000件中727件です。条件はすべて明記されているのが良い点です。音声のみ、16 kHzでデコードされた完全な音声、Instructモード、貪欲法によるデコーディング、最大256出力トークン、2台のH20 GPU上でテンソル並列を用いたパッチ適用済みvLLM 0.18です。

そのカード上の他のすべては、何かがロードされたという記述です。パッチ適用済みのvLLMはH20上でチェックポイントをロードし、テキスト、画像、音声、およびサウンドトラック付き動画の生成チェックを完了しました。ローカルチェックポイントは直接のTransformersロードとCPUでのテキスト生成チェックに合格しました。それはデプロイ判断に必要な最低限のものであり、T​encentはそうでないふりをしていません。

追及する価値のある未解決点が一つある。同じGitHubリポジトリにあるサービングガイドには検証表があり、その最終行には「Hubからチェックポイントをダウンロードした後のGPU生成は保留中」と書かれている。モデルカードでは、Hubから読み込むH20での実行が4つのモダリティすべてで生成を完了したとされている。同じチームが書いた2つの文書は、何が実証済みかについて食い違っている。モデルカードの主張のほうがより具体的で、おそらくより最新である。この食い違いは、統合に1週間をかけるのではなく、自分たちのスモークテストに1日を確保する妥当な理由になる。

レポートの音声表には、このチェックポイントのMMARが73.6とも記載されている。これはカードのMMAR1000実行とは別のハーネスであり、72.7から差し引いて「本当の」数値を導出すべきではない。唯一誠実な読み方は、Tencent自身の音声数値は70台前半にとどまり、他者による測定は存在しない、というものだ。

Q​wenのomni flashに対して30回中28回

報告書の表1はフラッグシップモデルの事例であり、規模の大きいものです。その表にある30の単一値ベンチマーク(音声視覚統合タスク、音声視覚ハルシネーション、音楽理解、インタラクション、キャプション生成)全体で、ThinkingモードのWeMM-Video-35B-A3BはQwen3.5-Omni-Flashに対して28項目で上回り、2項目で下回っています。Seed2.0-Mini-0428に対しては26項目で上回り、4項目で下回っています。Gemini-3.0-Flashに対しては9項目で上回り、21項目で下回っています。

最も重要な勝利は、きれいに整った勝利ではない:

• 音声付きVideo-MME — WeMM-Video-35B-A3Bは86.4、Qwen3.5-Omni-Flashは79.3、Seed2.0-Mini-0428は83.6、Gemini-3.0-Flashは88.6。

• 音声付きのVideo-MME v2 — 36.6と51.7に対して54.9、Gemini-3.0-Flashは63.2。同じベンチマークのより難しい分割において、最も近いオープンな競合に対して18ポイントのリードを築いています。

• AV-SpeakerBench — 65.2 と 68.5 に対して 72.6、それでも Gemini の 75.9 にはまだ及ばない。映像上で誰が話したかを見分けることは、本物の音声視覚融合と、文字起こしを後付けした視覚モデルを分けるタスクである。

• SciVideoBench と EvaOmni — 69.4 対 51.3、57.8 対 30.4。どちらも推論重視であり、どちらも弱いオムニモデルが崩れがちな領域です。

損失も同じくらい具体的で、きちんと名付ける価値がある。勝ちだけを示す表こそ、このブログが存在する理由である回避すべきものだから:

• JointAVBench — 65.9で、69.0のQwen3.5-Omni-Flashと68.4のGemini-3.0-Flashに後れをとり、64.7のSeed2.0-Mini-0428だけを上回っています。

• MUSIC-AVQA — Qwenの82.1に対して79.5、ただしGeminiの76.2は上回る。音楽は、Qwenのオーディオスタックが依然として優位な分野だ。

• Seed2.0-Mini-0428との比較 — OmniCompass-AVは46.3対47.9、OmniVChatは48.9対49.8、O-IN-Benchは49.0対49.4、video-SALMONN 2のテストセットは28.3対32.7。これら4つのうち3つは1ポイント以内の差である。

• Gemini-3.0-Flashと比較して — 差が最も大きいのは、長尺動画と未来志向の動画です:MMOUは74.5対84.7、FutureOmniは56.2対65.3、OmniVideoBenchは55.3対63.3、LVOmniBenchは52.6対59.8。「差を縮める」は妥当な表現ですが、「差を埋める」はそうではありません。

上記の数値はすべてTencentによるものです。報告書自身がそう述べており——「既存モデルについては、利用可能な場合は公式結果を、それ以外は独自評価を報告する」——さらに、表に応じてInstructモードとThinkingモードを使い分けていることも明記しています。第三者がこれを再現したことはなく、Artificial AnalysisにもLMArenaにもWeMMモデルは掲載されていません。

A two-column scoreboard headed 'WeMM-Video-35B-A3B vs Qwen3.5-Omni-Flash — the scoreboard', with six shared rows: Video-MME with audio 86.4 against 79.3, Video-MME v2 with audio 54.9 against 36.6, AV-SpeakerBench 72.6 against 65.2, SciVideoBench 69.4 against 51.3, JointAVBench 65.9 against 69.0, and MUSIC-AVQA 79.5 against 82.1.

耳を追加しても、視覚スコアはほとんど低下しなかった

このリリースで、見出しを飾るベンチマーク以上に注目に値する主張は、もっと控えめなものだ。視覚言語モデルに音声スタックを後付けしても、視覚能力をほとんど犠牲にしなかったという主張である。オムニモーダル学習は通常、何かを犠牲にする——モデルは能力を複数のモダリティに分散させ、音声なしの動画では後退する。

報告書は、WeMM-Video-35B-A3B をそのバックボーンである Qwen3.6-35B-A3B と 31 の無音動画ベンチマークで直接比較することで、その点を検証している。フラッグシップモデルは 20 項目で上回り、11 項目で下回っており、その 11 項目の大半は 1 ポイント以内の差に収まっている。

• 向上した点 — TimeLens-Charades 54.8 対 47.4、F-16-NBA 89.9 対 82.8、CrossVid 50.2 対 45.2、OVO-Bench 63.9 対 61.0、TemporalBench 45.9 対 43.3。

• 失点したのは — EgoSchema 74.2 対 77.2、Video-MME 80.4 対 82.5、MVBench 73.1 対 74.6、MLVU 85.3 対 86.2。残りは1点未満の差です。

数ではなくパターンを読み取ると、向上は時間的グラウンディングと長尺動画の関連付けに集中し、低下は一人称視点の動画にある。これは音声付き動画で調整されたモデルにとって妥当なトレードオフだ。同じ無音動画の表で Qwen3.5-Omni-Flash と比べると、31 項目中 30 項目で上回り、負けるのは VideoVista のみで、83.5 対 84.1 だ。

画像とテキストの表は同じ傾向を示している。Qwen3.5-Omni-Flashに対しては、28の画像ベンチマークのうち26でWeMMが勝ち、例外はRefCOCO(89.5対92.6)とTallyQA(80.7対81.2)だ。自身のバックボーンに対しては、画像の表はほぼ互角——13勝14敗——であり、コストが現れるのはテキストの表だ:MMLU-Proは84.7対85.2、GPQAは83.8対86.0、IMOAnswerBenchは74.8対78.9、SuperGPQAは63.4対64.7。機能する一対の耳を得るために難度の高い推論が数ポイント犠牲になるのは、普通かつ擁護可能なトレードオフだが、トレードオフであることに変わりはなく、大学院レベルのテキストをこのチェックポイントに通す人は、その存在を知っておくべきだ。

36Bのメモリ、3Bの演算

このモデルがあなたにとってデプロイ可能かどうかを決める計算は次のとおりで、それは文章ではなく設定から導かれます。36.18Bパラメータのうち、約32.2Bはルーティングされるエキスパートにあります。40層 × 256エキスパート × 幅2,048×512の3つの射影です。Top-8ルーティングはトークンあたりその32分の1、約1.0Bパラメータに触れ、アテンション、共有エキスパート、埋め込みテーブルを数えれば、ラベルの「3B active」は整合します。

つまり、コンピューティングの請求額は小さく、メモリの請求額はそうではない:

• BF16 — 17個のシャードにわたる67.39 GiB。Tencent自身の検証では、2台のH20にまたがるテンソル並列を使用していました。より大規模な構成について公開されたテンソル並列の数値はありません。サービングガイドには「エキスパートの全ウェイト分のメモリを計画し、必要に応じて--tensor-parallel-sizeを設定する」とだけ記載されています。

• NVFP4 W4A16 — 24.11 GiB。キャッシュ用の余裕を残しつつ、48 GBカード1枚に収まります。このレシピは、ModelOptの混合精度とMarlinを組み込んだパッチ適用済みの別個のvLLM 0.31.0環境で、--max-num-seqs 1で実行されます。

• AWQ W4A16 — パッチ適用済みの vLLM 0.18.0 上で、チェックポイント自身の compressed-tensors 設定を使用した場合は 22.69 GiB。

• GGUF Q4_K_M — 24.6 GiB の3ファイル構成バンドルですが、llama.cpp や Ollama 向けではなく、Tencent 独自のネイティブランタイム向けです。そのマニフェストでは、エクスポート済みかつ未検証であると謳われています。

ここにあるものは未パッチのエンジンでは動作しません。リポジトリにはパッチディレクトリが同梱されています。SHA-256マニフェスト付きのソースオーバーレイが、ちょうど4つの上流リリース、vLLM 0.18.0と0.31.0、SGLang 0.5.16と0.5.19向けに用意されており、それぞれが特定のPyTorch、Transformers、CUDA 12.9の組み合わせに固定され、Python 3.12とFFmpegが必要で、TorchCodecはリンカーパス上のCUDA 12 NPPを必要とし、SGLangは初回使用時にCUDAカーネルをコンパイルします。vLLMのIssueトラッカーを検索しても、このアーキテクチャに対する上流のリクエストは見つかりません。これは、他者製の推論エンジンにオーバーレイを適用するセルフホスト作業です。

A screenshot of the Hugging Face model page for tencent/WeMM-Video-35BA3B showing an Image-Text-to-Text pipeline tag with Transformers and Safetensors, English and Chinese language tags, the wemm_qwen3_5_moe architecture tag, an apache-2.0 licence, and a 36B-parameter BF16 model size.

実際に投入できる内容は、2つの設定項目によって制限されます。テキスト設定では262,144ポジションが宣言されていますが、このカード自身のvLLMコマンドでは--max-model-len 8192を渡しており、さらにすべてのSGLangレシピでもコンテキストは8,192に制限されています — この長い数値は余裕分であり、サポートされる設定ではありません。フレームサンプリングも同様です。プロセッサのデフォルトは2 fpsで最大128フレームですが、公開されているレシピでは16フレームと262,144ピクセルの予算に上書きされます。音声トークンが毎秒10個の場合、8,192トークンのコンテキストは13分強の音声だけで、それ以外は入りません。

OrcaRouterはWeMM-Video-35B-A3Bを提供しておらず、カタログにはWeMMのチェックポイントが一切掲載されていないため、提示できるホステッド価格はありません。当社が提供しているのは、これの基になったモデルです。Qwen3.6-35B-A3Bがプラットフォーム上にあり、入力100万トークンあたり$0.25、出力100万トークンあたり$1.48、262,144トークンのコンテキストで、テキスト・画像・動画入力に対応します。この作業のうち必要なのが「クリップを見て推論する」ことであって「クリップを見て部屋を文字起こしする」ことではないなら、それは67 GiBのダウンロードとソースレベルのパッチではなく、今日の午後には利用できるホステッド代替です。プロバイダーの定価は0%のマークアップでパススルーされ、すべてのモデルは自動フェイルオーバーを備えた1つのOpenAI互換キーの背後にあるため、セカンドオピニオンを試すのに必要なのは2つ目の契約ではなく設定変更だけです。

WeChatの外で誰も確認していないこと

購入者が通常はローンチから得られるのに、ここでは得られない4つのこと。

• 独立した評価。なし。評価と再現のパイプラインは公開されており、それは次善の策ではあるが、同じものではない。

• 評価条件。ベンチマーク実行に使用されたフレーム数、ピクセルバジェット、コンテキスト長はレポートに記載されておらず、出荷されたレシピは16フレームをサンプリングする一方、プロセッサのデフォルトは128である。長いクリップの16フレームサンプルは、同じクリップの128フレームサンプルとは異なる入力である。

• デプロイの主張。 このレポートは、同ファミリーが「WeChat内の複数の主要動画サービスにまたがってデプロイされている」と述べており、ライブ配信コマース、ショートドラマ分析、インタラクティブビデオを名指ししている。それが事実なら重大な主張である——本番トラフィックは誰も異論を挟めない唯一の評価だが、外部からはまったく検証できない。リリースのどこにも、レイテンシ、スループット、同時実行数、メモリの数値は公表されていない。

• 量子化された成果物。公開されている4つのバリアントのうち3つは、自身のマニフェスト内で未検証だと記載しています。AWQ、GGUF、NVFP4は提供されていますが、保証されているわけではありません。

そのどれも、このリリースを切り捨てる理由にはならない。むしろ、見たままのものとして読むべき理由だ。つまり、十分に文書化された研究リリースであり、そのフラッグシップ重みは公開からまだ数時間しか経っておらず、論文が先に登場し、FP8リポジトリはまだ作成されておらず、最高のオープンなオムニ競合に対するベンチマーク上のリードは、疑うよりも再現する価値があるほど大きい。

決着をつけるのは、いつもと同じリストだ。vLLMへの上流マージが実現すれば、パッチ作業は終わる。音声付きのVideo-MME v2で最初の独立再現が行われれば、18ポイント差が確認されるか、覆される。ホスト版の価格、あるいは見当たらないFP8リポジトリがあれば、T​encentがこれを実際に使われることを意図しているのか、それとも単に引用されるだけなのかが分かる。それらのどれかが実現するまでは、正直な要約はこうだ。WeMM-Video-35B-A3Bは今月最も興味深いオープンなオムニモーダルチェックポイントであり、その視覚スコアは聴覚の追加後も生き残っているように見え、その数値は現時点ではすべて、それを訓練した人々によるものだ。

この記事で比較したモデル1

この記事から検出 · ベンチマーク:Artificial Analysis · 毎日更新