{{1}}「WeMM-Video-2B」と書かれたヒーロータイトルカード。サブタイトルは「告知なしでリリース」、4つのバッジには「2B dense、合計3.28B」「動画+音声+画像+テキスト入力」「Apache 2.0、4つの量子化」「Hubでのダウンロード数ゼロ」と表示。{{/1}}
Engineering & Research

WeMM-Video-2B:誰も発表しなかった2Bオムニモーダルモデル

著者

Gideon Frost

公開日

最新モデル · 20すべてのモデルを見る →
ベンチマーク:Artificial Analysis · 毎日更新
すべての記事に戻る

ローンチ投稿はない。製品ページのモデルカードも、ウェイトリストも、価格表も、T​encent幹部によるベンチマークのツイートもない。あるのは、2026年11月17日08:58 UTCに作成されたHugging Faceリポジトリと、その6時間半前に最初のコミットが入ったGitHubリポジトリだけで、どちらもWeMM-Video-2Bを、T​encentのWeChat Visionによる中国語・英語のオムニモーダル動画モデルファミリーにおけるdense 2Bチェックポイントだと説明している。6日後、このリポジトリには2件のいいね、0ダウンロード、そしてベースウェイトの11分以内に作成された4つの量子化された兄弟モデルがある。だから、このモデルについて書くどんな記事の正直な最初の一文も、そのパッケージングについての一文になる。それは公開されており、ダウンロード可能で、そして誰もそれについて一言も発していないのだ。

そのギャップは、閑散としたニュースの日として片づけるのではなく、真剣に受け止める価値がある。同じ週に、重み、論文、4つの量子化形式、パッチを当てた vLLM と SGLang のレシピ、ネイティブ C++ ランタイム、Docker compose ファイルを出すモデルファミリーは、誰かが告知を忘れた研究の投げっぱなしではない——マーケティング層なしで準備され、そのままリリースされたものだ。以下では、成果物が証明するものと、T​encent だけが確認できるものを分ける。そして、そのモデルが良いかどうかを決めることには意図的に関心を向けない。

リポジトリに実際に含まれているもの

ベースチェックポイントはtencent/WeMM-Video-2Bで、Apache 2.0、BF16 safetensors が 2 つのシャードに分かれて 6.12 GiB あります。インデックスファイルには合計 3,283,624,264 パラメータと報告されており、これは名前からは分からないことを示しています。つまり「2B」はシステム全体ではなく言語モデルのことです。テキストバックボーンは Qwen3.5 ファミリーのデコーダーで、24 層、隠れサイズ 2048、8 個のアテンションヘッドに対して 2 個の KV ヘッド、ボキャブラリは 248,320 トークン、最大位置埋め込みは 262,144 トークンで、ハイブリッドアテンション構成により 3 つの線形アテンション層ごとに 1 つのフルアテンション層が配置されています。その手前には隠れサイズ 1024 の 24 層ビジョントランスフォーマーと、32 層の Whisper エンコーダーが隠れサイズ 4104 の 2 層 Q-Former に供給するオーディオスタックがあります。残りのパラメータはこれら 2 つのエンコーダーに存在します。

Generated scoreboard titled 'WeMM-Video-2B — the scoreboard' with six rows: parameters 3.28B total with a 2B language model, modalities in text, image, audio and video plus soundtrack, output text only, video sampling 2 fps from 4 to 16 frames, an 8,192-token context, and no hosted endpoint as the price. A footer reads 'Vendor-reported; no independent evaluations published.'

そのアーキテクチャは、名前が提起する問いに答えている。これは動画生成器ではない。動画を入力として受け取り——フレームに加え、任意で元のサウンドトラックも——テキストを出力する。設定自体のトークンIDがそれを裏付ける。動画トークン、音声トークン、画像トークン、そして生成を行う言語モデルだ。テキストから動画への競争に新たな参加作を期待して来たなら、このリポジトリは、パイプラインタグを最初に読んだ時点で期待を裏切るだろう。そのタグはimage-text-to-text。

• ファミリー内のサイズ展開 — 2B、4B、9Bのdenseモデル、および35B-A3Bのmixture-of-expertsモデルで、いずれも11月17日にまとめて公開されました。

• 2B 用の量子化 — FP8 Block128、AWQ W4A16、GGUF Q4_K_M、NVFP4 W4A16。それぞれが独自のリポジトリにあり、いずれもベース重みから11分以内に作成されています。

• サービングパス — Transformers 5.2.0、パッチ適用済みの vLLM 0.18.0 または 0.31.0、パッチ適用済みの SGLang 0.5.16 または 0.5.19、および CPU または CUDA で動作する GGUF ビルド用のネイティブランタイム。

• 出荷済みレシピの入力制限 — リクエストあたり最大4枚の画像、2本の動画、2つの音声項目、コンテキスト長8,192トークン。

• ライセンス — 重みはApache 2.0、LAVIS、vLLM、SGLangのコンポーネントを対象とする別途のサードパーティ通知ファイルあり。

パッチ適用済みのサービングという詳細こそ、これを典型的なオープンウェイト公開と一線を画す点だ。Tencentは「理論上は動く」リポジトリを出荷したのではない。特定のvLLMとSGLangのバージョン向けのオーバーレイパッチ、固定された依存関係ファイル、CUDA 12.9にタグ付けされたDockerイメージ、そしてチェックポイントがL20およびH20ハードウェア上でテキスト、画像、音声、サウンドトラック付き動画にわたって読み込まれ生成を完了したという検証メモを出荷した。それらのパッチがTencent自身のクラスタ外でも持ちこたえるかどうかは、まさに何十人もの他人が1週間動かしてみて答えが出る類の問いであり、その1週間はまだ来ていない。

Screenshot of the Hugging Face model card for tencent/WeMM-Video-2B, showing the image-text-to-text pipeline tag, Transformers and Safetensors, the qwen3_5 architecture with custom code, an Apache-2.0 licence, a model size of 3B parameters, a downloads figure with no deployments, and a Quantizations section listing the four sibling repositories.

論文が主張していること、そして誰がそれを検証したか

技術報告書はarXiv 2611.26409で、日付は2026年11月19日——重みが公開されてから2日後——であり、2B論文ではなくファミリー論文です。著者は12名で、筆頭はChangli Tang、最後はJing Lyu、全員がWeChat Visionの名義です。

見出しの主張は2Bではなく35B-A3Bモデルに関するもので、オムニモーダル動画評価において新たなオープンソースの最先端を確立し、Qwen3.5-Omni-FlashやSeed2.0-Mini-0428を大幅に上回り、Gemini-3.0-Flashとの差を縮めるというものだ。2つ目の主張は本記事のタイトルにあるモデルに関するもので、WeMM-Video-9Bがより大規模なオープンソースのQwen3-Omni-30B-A3B-Instructを上回るというものだ。2Bはファミリーの説明とモデルズーに登場するが、論文の論旨を支えているのは最大の兄弟モデルである。

これらの数値はすべてベンダー報告によるものだ。Artificial Analysisの登録も、LMArenaの結果も、独立した再現もなく、そして——これを書いている時点では——ファミリーのどのモデルについても、いかなる種類の第三者評価も存在しない。論文には、モデルが120以上のベンチマークで評価されたと書かれているが、誰が実施したかは書かれていない。その答えはTencentだ。それは告発ではなく、公開から6日しか経っていないリリースとしては普通の状態だ。ただし、それは35B-A3Bの位置づけを正しく表現するなら「Tencentが首位だと報告している」であり、「首位だ」ではないということを意味する。

もう一つ注意すべき点は、編集上のものではなく構造上のものだ。モデルを訓練したラボが選び、重み付けした120タスクのベンチマークスイートは、適合性の測定である——モデルが、その作者たちが測定しようと考えた事柄に優れていることを教えてくれる。だが、あなたが必要とする事柄に優れているかどうかは教えてくれない。これら二つの文の間のギャップこそ、ほとんどのモデル選択ミスが起こる場所であり、どれだけ表を読み込んでもそのギャップは埋まらない。

4つのモードと、オーディオ経路が重要な理由

推論APIは5つのリクエスト形状を公開しており、興味深いのは最後のものです。テキストと画像は特筆すべきものではありません。音声単体も特筆すべきものではありません。動画フレーム単体は標準的なマルチモーダル動画のケースです。動画に元のサウンドトラックが付いたものは、モデルに何をさせられるかを変えるものであり、serving API では暗黙の動作ではなく別個のコンテンツタイプです。

実際には、つまりモデルにクリップを渡し、画面に何が映っているかを説明し、何が話されているかを要約するよう一度の呼び出しで求めると、その両方を反映した回答が得られるということだ。モデルカードの例はまさにそうしていて、Apollo 11の録音から英語の音声を文字起こしし、その後、同じMP4を音声トラックありとなしで説明している。この統合的な推論が、動画モデルと音声モデルを並行して動かし出力を継ぎ合わせるより優れているかどうかは実証的な問いであり、独立した評価者がテストできる最も有用な事柄である。

言及する価値のあるもう一つの設計判断は、2モードのチャットテンプレートです。enable_thinking=Falseを渡すと直接応答が返り、enable_thinking=Trueを渡すと回答の前に推論トレースが返ります。これは2つのチェックポイントではなくテンプレートフラグとして提供される、レイテンシと品質の調整ダイヤルであり、2Bモデルにとって妥当な選択です。2つ目の挙動を得るために2セット目の重みのコストを払うわけではありません。

実行すること、そして可用性の正直な現状

クイックスタートの手順は、Python 3.12環境、NVIDIA GPU、CUDA 12.9互換ドライバー、FFmpegです。CUDA 12.9のインデックスからTorch 2.10.0、TorchVision 0.25.0、TorchCodec 0.10.0をインストールし、次にTransformers 5.2.0、Accelerate、Pillow、Librosa、SoundFile、SciPy、Requestsをインストールします。モデルはAutoModelForImageTextToTextをtrust_remote_code=True付きで読み込みます — アーキテクチャはカスタムなので、このフラグは飾りではなく必須であり、カードにも有効化する前にカスタムコードを読むよう正しく記載されています。

スクリプトではなくサーバーが必要なら、vLLMレシピはパッチ適用済みの0.18.0ビルドを固定し、次を渡します:--no-enable-prefix-cachingと一緒に--mamba-ssm-cache-dtype float32。この組み合わせは、ハイブリッド線形アテンション層にまだ動作するプレフィックスキャッシュがないことを示しています。これはチャットワークロードにとって実際のスループット制約であり、実際にこれをサーブしようと試した人にしか表面化しない種類の詳細です。

どの文書にも欠けているのは価格です。WeMM-Video-2B 向けの Tencent ホスト型エンドポイントはなく、トークンごとの料金も、マネージドデプロイメントもありません。重みをダウンロードし、GPU は自前で持つことになります。OrcaRouter 側についても正直に言えば同じです。当社は WeMM-Video-2B を提供していません。Tencent から当社が扱っているのは Hunyuan のテキスト系 — tencent/hy4、tencent/hy4-flash とプレビュービルド — を、プロバイダー定価の OpenAI 互換エンドポイント1つで、0% のマークアップで提供しています。これは、パイプラインに同じラボのテキストモデルが必要なら有用で、このモデルが必要なら役に立ちません。2つの異なる製品に1つのベンダー名。急いでいると、それらを混同するのがありがちな間違いです。

Screenshot of the OrcaRouter catalogue page for tencent/hy4, showing pricing of $0.56 per million input tokens and $2.24 per million output tokens, a quality score of 90, a speed score of 67, a 1M-token context window, a 64k maximum output, zero-data-retention support and a release date of 4 November 2026.

好奇心から推薦へ

効果の大きさ順に、3つのこと。

最初は、T​encent が選んでいないベンチマークでの独立評価だ。ブラインドのアリーナ実行——動画理解、視聴覚QA、最も近いものは何であれ——があれば、そのファミリーが主張する位置づけが中立なプロンプト群に触れても生き残るかどうかが即座に分かる。それが存在するまで、35B-A3B の「新たなオープンソースの最先端」は PDF 内の表についての主張にすぎない。

2つ目はT​encent外からのサービングレポートです。パッチは具体的で、ハードウェアも具体的であり、検証ノートは2つのGPUモデルを対象としています。これがH100ノード、A100ノード、またはレンタルの4090上で問題なく動作するかは不明で、その答えによって、2Bが週末プロジェクトなのか研究成果物なのかが決まります。

3つ目はベンダーの発表だ——どんなベンダー発表でもよい。ブログ記事、Tencentの製品ページにあるモデルカード、料金プラン。現時点で、このリリースが読み取れるのはリポジトリのタイムスタンプを読む人だけであり、そうした状態が当てはまる7日間の窓は閉じつつある。Tencentが何も公開しなければ、最もあり得る解釈は、これらの重みは論文と35Bを支えるために存在し、2Bは製品ではなく利便性のためのチェックポイントだというものだ。

これが正直なところの結論だ。WeMM-Video-2Bは実在するダウンロード可能なApache-2.0のオムニモーダルモデルだが、誰も発表しておらず、誰もダウンロードしておらず、誰も独立に検証していない。あなたの仕事が音声と視覚の統合的理解に関わるもので、空いているGPUと午後の時間があるなら、それが何をするものか確かめるコストはダウンロード1回分だ。来月リリースするものがある仕事なら、確かめるコストはそれより高く、責任ある対応は誰か他の人の数値が出るのを待つことだ。

この記事で比較したモデル1

この記事から検出