「WeMM-Video-4B」という見出しのタイトルカード。サブタイトルは「テンセントのオーディオビジュアルモデル、ローンチ投稿なしでHugging Faceに公開」。3枚のカードは「カード上の名称は4B/実際のパラメータ数は5.61B」「リポジトリ数は18/19分で作成」「ホスト版の価格はなし/セルフホストのみ」。フッターは「数値はHugging FaceのリポジトリとarXiv 2611.26409による。独立したベンチマークはなし。」
Engineering & Research

WeMM-Video-4B:テンセントの静かな5.6Bオーディオビジュアルモデル

著者

jinhao.song

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

ラベル付けされたファイルWeMM-Video-4Bは10.45 GiBで、BF16パラメータ1つあたり2バイトとすると56.1億パラメータになります——40億ではありません。Tencent自身のsafetensorsメタデータも同じことを示しており、5,611,746,312パラメータです。名前の「4B」はチェックポイントではなく言語バックボーンを指します。この小さな算術のずれは、WeMM-Videoファミリーへの格好の入口です。というのも、このリリースの興味深い点はほとんどすべて、ラベルと実物の間の隔たりだからです。ローンチ記事なしで公開された4サイズのファミリー、動画ではQwen3-Omni-30B-A3B-InstructとMiniCPM-o-4.5-9Bを上回る一方で音声ではQwen3.5-Omni-Flashに負けるベンチマークスイート、そして出荷されるすべての構成が自発的に8,192トークンに切り詰めている256K位置埋め込み。重みは実在し、論文も公開されていますが、まだ誰もそれをダウンロードしていません。

以下では、このファミリーのHugging Faceカードが混同している3つの事柄を切り分ける。すなわち、リポジトリ内で測定できるもの、Tencent自身の評価報告にしか記載されていないもの、そしてWeChat Visionの外部の誰にも確認されていないものだ。

4Bという名前のファイルには56.1億個のパラメータが含まれています

Hugging Faceはリポジトリごとに総パラメータ数を記録しており、WeMM-Videoの4つのベースチェックポイントでは、その数は名前に含まれるサイズを一貫して約12億~16億上回っています。

• WeMM-Video-2B — 「2B」という表示に対して合計3.28B。

• WeMM-Video-4B — 「4B」という表記に対して合計5.61B。

• WeMM-Video-9B — 「9B」という表示に対して合計10.49B。

• WeMM-Video-35BA3B — 「35B-A3B」というラベルに対して合計36.18Bですが、そのうちトークンあたりアクティブなのはわずか30億です。

4Bのsafetensorsインデックスを読むと、余剰が可視化される。その1,268個のテンソルのうち、言語モデルが4.21Bパラメータを担い、音声スタックが1.07B、視覚タワーが0.33Bを担っている。チェックポイントの約19%は耳である。論文は、命名規則が意図的であることを確認している。3つの密モデルはQwen3.5-2B、Qwen3.5-4B、Qwen3.5-9Bに基づいて構築され、混合エキスパートモデルはQwen3.6-35B-A3Bに基づいている。

{{1}}これはデプロイのサイジングを行うすべての人にとって重要です。{{/1}} {{2}}5.61Bパラメータ分の余地を必要とする「4B」モデルは、KVキャッシュやアクティベーションを一切考慮する前のBF16で10.45 GiBであり、カードに書かれた数字から連想されるのとは別のマシンに収まることになります。{{/2}}

18個のリポジトリ、19分、事前告知なし

このファミリーは少しずつ公開されたわけではなかった。Hugging Face の作成タイムスタンプによると、18 個のリポジトリすべて——4 つのサイズ×5 つの精度——が 2026 年 11 月 17 日 UTC 08:53:50 から 08:59:06 の間に、およそ 14 秒間隔で並んでおり、これは人が公開をクリックしたというより、アップロードスクリプトの兆候である。GitHub リポジトリ Tencent/WeMM-Videoは同日 UTC 02:29:33 に作成され、実質的な最初のコミットは 11 月 19 日に到着し、README の改訂は 11 月 20 日まで続いた。

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

論文は続いて11月19日に公開された。arXiv 2611.26409、「WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding」で、著者は12名、16:58 UTCに提出された。7つの結果表と評価・再現パイプラインへのリンクを備えた完全な技術報告書である。つまりこれは、文書化されていない電撃公開ではなく、誰も告知していない文書化された公開である。Tencentのブログ投稿、WeChat Visionのローンチページ、プレスリリース、このファミリーを指す有料ティアは見つからなかった。モデルカード、GitHub README、arXiv論文が公開記録のすべてであり、それらは互いを補完するように書かれていた。

受けた反応を示す数字も同じことを物語っている。執筆時点で、4つのベースチェックポイントはいずれもダウンロード数ゼロで、それら18のリポジトリを合わせても「いいね」は3件しか集まっていなかった。Artificial AnalysisもLMArenaもWeMMモデルを掲載していない。これはいずれも品質の証拠ではなく、流通の証拠であり、いくつかの動画ベンチマークで30Bを上回る4Bチェックポイントに独立した数値が付いていない理由でもある。

チェックポイントの中には何がありますか

ファミリーという枠組みを取り除けば、4Bは標準的な3タワー構成のオムニスタックであり、バックボーンの選択が1点だけ異例だ。

• 言語タワー — 32層、隠れサイズ2,560、16のアテンションヘッド対4のキーバリューヘッド、ヘッド次元256、語彙数248,320。バックボーンはハイブリッド構成で、4ブロックごとに1つのフルアテンション層があり、残りの3つは線形アテンションを使用しています。そのため、リポジトリ内のすべてのサービングレシピにはfloat32のSSMキャッシュフラグが付いています。

• ビジョンタワー — 隠れ次元数1,024、パッチサイズ16、空間マージ2、時間パッチ2で24ブロックを備え、2,560次元に射影します。これはバックボーンのネイティブエンコーダであり、差し替えられずに維持されており、論文では「すでに十分に強力な視覚表現を提供している」として、第2事前学習段階以降はこれを凍結しています。

• オーディオタワー — Whisperスタイルで、幅1,280の32エンコーダ層と32デコーダ層を備え、ウィンドウレベルのQ-Formerが0.1秒のウィンドウを毎秒10個のオーディオトークンに圧縮します。音声は16 kHzで30秒単位のチャンクで到着します。これはQwen2.5-Omniから初期化された部分であり、1.07Bパラメータで、名前とファイルの間の最大のギャップです。

• Fusion — 視覚トークンと音声トークンは、別々のストリームにまとめられるのではなく、明示的なテキストのタイムスタンプとともに時系列順に交互に配置されます。

• モードは で切り替えられます — 直接回答用の Instruct モードと、応答前に推論トレースを出力する Thinking モードがありますenable_thinking。

• ライセンス — コレクション全体でApache 2.0ですが、T​encentのライセンスファイルでは、第三者コンポーネントが除外され、それらは「それぞれの元の条件に引き続き従う」とされています。この除外はモデルカードに項目別には記載されていません。

設定では256K、サービングコマンドでは8K

テキスト設定は次のように宣言しています:max_position_embeddingsが 262,144 であると。Tencent が公開しているすべてのサービングコマンド — vLLM の両プロファイルと SGLang の両プロファイル — はmax-model-len 8192またはcontext-length 8192を渡します。256K という数値はアーキテクチャ上の余裕であり、サポートされる構成ではなく、リポジトリ内にはそこに到達する方法を説明しているものは何もありません。

フレーム予算も同じ構造になっています。プロセッサ自体のデフォルトは余裕を持った設定です。毎秒 2 フレーム、最大 128 フレーム、合計 25,165,824 ピクセルです。vLLM のレシピは 3 つすべてをより低い値に上書きします — fps 2、max_frames 16、total_pixels 262144。コマンドをコピーすると 16 フレームになります。16 フレームでサンプリングしたクリップは 128 フレームでサンプリングしたクリップとは異なる入力であり、論文は動画評価でどちらのサンプリングを使用したかを明記していません。

• リクエストごとのメディア上限(提供時仕様) — 画像4枚、動画2本、音声2件。

• 出荷時のコンテキスト — 8,192トークン。映像フレームがカウントされる前の時点で、音声が1秒あたり10トークンを消費します。

4Bモデルにとって、この2つの数値は実作業における制約条件です。8,000トークンは約13分の音声だけで精一杯であり、音声付き動画では予算を音声と映像の両ストリームに同時に費やすことになります。以下の長尺動画ベンチマークは、リポジトリに記述のない条件下で実行されています。

ベンチマークは著者自身によるものです。

この記事のすべての数値は、WeMM-Video テクニカルレポートに由来している。論文はそれを明言している——「既存モデルについては、利用可能な場合は公式結果を報告し、それ以外は独自評価を報告する」——そして、そのいずれも第三者が再現したことはない。また、モードは表の間で変わる。これは通常より重要なことだ。なぜなら Thinking モードは無料ではないからである。動画の表では 2B、4B、9B について Thinking を報告し、音声の表では Instruct を報告している。著者らが標準的な音声ベンチマークを「直接的な知覚」タスクと判断したためであり、画像とテキストの表では Thinking に戻る。音声表の 4B の行を動画表の競合モデルの行と比較することは、比較にならない。

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

その注意点を踏まえると、オムニモーダルの動画テーブルこそ、4Bがファイルサイズ分の価値を発揮する場面だ。

4Bが30Bに勝る場面

論文のTable 2では、WeMM-Video-4BをQwen3-Omni-30B-A3B-InstructおよびMiniCPM-o-4.5-9Bと、音声と視覚を組み合わせたベンチマークで比較しており、いずれもThinkingモードで評価している。4Bは、自身の7倍のサイズのモデルを相手に、そのほとんどで勝利している。

• 音声付きVideo-MME — WeMM-Video-4B 83.9、Qwen3-Omni-30B-A3B-Instruct 77.3、MiniCPM-o-4.5-9B 69.2。

• Video-MME v2 with audio — 36.3と28.1に対して48.1で、表の中で最も大きな差です。

• Daily-Omni — 82.5 対 70.7 および 80.2。

• WorldSense — 60.3 対 54.0 および 55.7。

• OmniVideoBench — 45.4および37.2に対して49.7。

無音動画の表はさらに強く、購入判断を決めるべきなのはこちらだ。サウンドトラックを除いて視覚だけをテストすると、Video-MMEは75.7対70.5および70.4、LVBenchは65.3対50.2および50.9、LongVideoBenchは74.8対63.5および66.0、EgoSchemaは74.2対66.4および60.4。4BでのLVBenchにおける15ポイントのリードは丸め誤差ではない。長尺動画の理解こそ、小型オムニモデルが歴史的に崩れてきた領域なのだ。

画像とテキストの行は、支配的というより競争力がある。MMMUは78.4対Qwen3.5-Omni-Flashの76.9、MathVistaは85.2対82.9、DocVQAは96.5対95.3、IFEvalは91.3対85.2だ。これらは読者が実際に最も必要とする可能性が高い行であり、十分に通用する。

どこで負けるのか、そして何に負けるのか

損失は具体的であり、名指しする価値がある。なぜなら、勝ちだけを示す表こそ、このブログが避けるために存在しているものだからだ。

• 音声、独自のフラッシュモデルに対して — Qwen3.5-Omni-FlashはMMAUで80.4、MMARで74.0を記録し、WeMM-Video-4Bの75.2と67.3を上回っています。4Bが音声で唯一勝っているのはMMAU-Proの68.1対64.8です。

• 動画、細部では — Video-Holmesの58.8に対しMiniCPM-o-4.5-9Bは64.3、FutureOmniの50.9に対しQwen3-Omni-30B-A3B-Instructは55.1、MiniCPMは56.1。より小型または旧世代の競合が完全に勝利する2つのベンチマーク。

• 画像とテキスト — MMMU-Proは64.7対68.2、OCRBenchは85.7対89.1、GPQAは73.2対76.4、MMLU-Proは78.3対79.9。サービング向けのプロプライエタリモデルに1〜6ポイント後れを取っているが、5.61Bのチェックポイントとしては、後れを取る位置としても悪くない。

解釈としては、WeMM-Video-4B は音声と映像を統合した動画向けに調整されており、それ以外の領域でも健闘した、というものだ。クリップ内で何が起きているかを説明し、その上で話されている内容を要約することが仕事なら、数値は良好だ。高密度な OCR や大学院レベルのテキスト推論が仕事なら、同じチェックポイントは妥協策になる。

これを実行するということは、自分自身のランタイムにパッチを当てることを意味します

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

vLLMもSGLangも、このアーキテクチャを上流でサポートしていません。vLLMのIssueトラッカーを検索してもWeMM-Videoのリクエストは見つからず、代わりにリポジトリにはpatchディレクトリが含まれています。これは4つの特定の上流リリース(vLLM 0.18.0および0.31.0、SGLang 0.5.16および0.5.19)向けのSHA-256マニフェスト付きソースオーバーレイで、それぞれが特定のPyTorch、Transformers、CUDA 12.9の組み合わせに固定されており、Python 3.12とFFmpegが必要で、TorchCodecはリンカーパス上にCUDA 12 NPPを必要とします。さらにSGLangは初回使用時にCUDAカーネルをコンパイルするため、C++ツールチェーンとNinjaもインストールの一部です。

GGUF パスも近道ではありません。これは3ファイルのバンドル — 4.90 GiB の言語ファイル、0.63 GiB の視覚プロジェクター、2.00 GiB の音声ファイル — であり、llama.cpp や Ollama 向けではなく、リポジトリから自分でコンパイルする「WeMM ネイティブランタイム」向けに構築されています。Tencent 自身のマニフェストはこのエクスポートを exported_unvalidated とラベル付けしており、付随するスコープファイルには quantized_candidate_not_validated と記されています。これは異例なほど率直なラベリングであり、文字どおりに受け取るべきです。つまり Q4_K_M バンドルは提供されているだけであって、品質が保証されているわけではありません。

テンセントが検証済みだと実際に主張している範囲は限定的だ。パッチ適用済みのvLLMがH20上でチェックポイントを読み込み、テキスト、画像、音声、およびサウンドトラック付き動画の生成チェックを完了したこと、またローカルのチェックポイントがTransformersによる直接読み込みとCPUでのテキスト生成チェックに合格したことだ。スループット、レイテンシ、メモリフットプリント、同時実行数の数値は一切ない。動画を売り文句とするモデルにとって、「生成できた」は導入判断に必要なものの最低ラインにすぎない。

OrcaRouter は WeMM-Video-4B を提供していません。カタログには WeMM のチェックポイントが一切掲載されていないため、提示できるホステッド価格も、案内できるエンドポイントもありません。現時点では、他社製の推論エンジンにパッチを当てて自前でホストする作業になります。作業のうち視覚のみの部分については、プラットフォーム上にオープンな代替モデルがあります — Qwen3-VL-235B-A22B-Thinking と Qwen3-VL-8B-Thinking はどちらも画像と動画フレームを入力でき、アクセスできるのは1 つの OpenAI 互換キーですが、音声の部分については WeMM に相当するものはありません。互換ホストがこれらの重みの提供を開始した場合、プロバイダーの定価は 0% のマークアップでそのまま適用されますが、それは条件であって現時点の事実ではありません。

まだ確認されていないものは何ですか

購入者が通常はローンチから得られるのに、ここでは得られない4つのこと。

• 価格。 ありません。ホスト型エンドポイントも、トークンあたりの料金も、パートナーリストも存在しません。唯一のコストは、すでにお持ちのGPUだけです。

• 独立評価。 Artificial Analysisへの登録も、アリーナへの提出も、第三者による再現もありません。評価パイプラインは公開されており、それは次善の策ではありますが、同じことではありません。

• 評価条件。 ベンチマーク実行に使用されたフレーム数、ピクセル予算、コンテキスト長は論文に記載されておらず、出荷済みのレシピでは、プロセッサのデフォルトが128フレームであるのに対して16フレームを使用しています。

• 第三者ライセンスの除外規定。 T​encentは、コレクション内のコンポーネントは元の条件の下にとどまると述べているが、それらを列挙してはいない。音声スタックはQwen2.5-Omniに由来し、バックボーンはQ​wen3.5に由来する。いずれもApache 2.0であり、これは安心材料ではあるが、決定的ではない。

そうしたことは、リリースを切り捨てる理由にはならない。むしろ、このファミリーを、目に見えるとおりのものとして扱うべき理由である。すなわち、十八のリポジトリと一本の技術報告が十九分間のうちにオンラインに置かれ、告知の段階が飛ばされた、ということだ。ドキュメントは、告知済みのローンチの大半より優れている。配布はゼロだ。

ハードウェアを自ら管理し、音声と映像の統合理解を必要とするチームにとって、WeMM-Video-4Bは今月公開された中で最も興味深い小型チェックポイントであり、その動画に関する数値はパッチ適用の労力に見合うものです。金曜日までにエンドポイントが必要な人にとって、正直なところ、これはまだその段階ではありません。重みは存在し、ランタイムはソースオーバーレイであり、ベンチマークは著者によるものだけです。最初の独立再現、vLLM上流へのマージ、ホスト型の価格のいずれかに注目してください。どれが最初に実現しても、表2にもう一行加えるよりも多くのことを教えてくれます。

この記事で比較したモデル1

この記事から検出