
WeMM-Video-9B:なぜその4ビットビルドは依然として13 GiBなのか
- OrcaNEWOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 100万トークンあたり · 182 tok/s
- tencentNEWTencent: Hy4 Flash2026-11-16$0.02 / $0.07 100万トークンあたり · 356 tok/s
- GoogleNEWGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 100万トークンあたり · 87 tok/s
- AnthropicNEWAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 100万トークンあたり · 147 tok/s
- orcaNEWOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 100万トークンあたり · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 100万トークンあたり · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 100万トークンあたり · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 100万トークンあたり · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 100万トークンあたり · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 100万トークンあたり · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 100万トークンあたり · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447知能
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 100万トークンあたり · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929知能
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 100万トークンあたり · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733知能
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 100万トークンあたり · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740知能
4ビット量子化は、元になった重みファイルのおよそ4分の1に収まるはずだ。WeMM-Video-9BはBF16で19.54 GiB、そのAWQ W4A16ビルドは12.86 GiBだ。これは75%削減ではなく34%削減であり、FP8、AWQ、NVFP4、GGUFの各ビルドはすべて互いに0.42 GiB以内に収まるため、どれを選んでもメモリはほとんど削減されない。エクスポーター自身のマニフェストが理由を説明している。4ビットパイプラインは密なフィードフォワード行列のみを圧縮し(104.9億パラメータのうち48.3億パラメータ)、視覚タワー、音声タワー、埋め込み、出力ヘッド、アテンション重みはすべて元の精度を保ち、各2バイトの57億パラメータが、どのW4レシピも下回れない下限を設定する。Tencentは11月17~19日に、ローンチ投稿なしで重み、量子化レシピ、12名執筆の技術レポートを公開した。そしてまだ誰も記事にしていない部分は算術だ。しかもそれは、このモデルが手持ちのGPUに収まるかどうかを決める部分でもある。Tencent自身の表では、両者が共有する37の音声視覚統合指標のうち35で上回る相手はQwen3-Omni-30B-A3B-Instructだ。ただし、その4ビットビルドが安全にデプロイできるかどうかについては、記録は19個のリポジトリが示唆するよりも薄い。
9Bのラベルをまとった10.49Bのスタック
リポジトリ tencent/WeMM-Video-9B は、2026年11月17日 08:55:54 UTC に作成された。AWQ 版の姉妹リポジトリの14秒後、35B-A3B の旗艦の11分後のことである。Tencent 組織の下には19個の WeMM-Video リポジトリが存在し、いずれもその朝の5分間の時間枠内に作成されている。これは、人がモデルを1つずつ公開するのではなく、アップロードスクリプトによるものだという特徴である。GitHub プロジェクト Tencent/WeMM-Video は6時間前の 02:29 UTC に作成され、実質的な初回コミットは11月19日に反映され、README の改訂は11月20日にもまだ届いていた。論文 arXiv 2611.26409 は11月19日 16:58 UTC に投稿された。

そのどれも告知されていなかった。Tencentのブログ投稿、WeChat Visionのローンチページ、プレスリリース、あるいはこのファミリーを指す有料プランは見つからなかった。執筆時点で、19個のリポジトリはすべてダウンロード数がゼロで、合計してもいいねは3件だった。Artificial AnalysisにWeMMモデルは掲載されていない。これらの事実はどちらも品質について何も語っていない——語っているのは、配布の段階が飛ばされたということだ。
名前の「9B」は言語バックボーンを指し、チェックポイントではありません。Hugging Face には 10,488,603,384 個のパラメータが 1,305 個のテンソルにわたって記録されており、5 つの safetensors シャードを名前で読むと、それらは 4 つのグループに分かれます:
• 言語モデル — 79.4億パラメータ(10.2億のトークン埋め込みを含む)。
• 出力ヘッド — 10.2億パラメータ。埋め込みが非共有であるため、これは隠れ次元4,096における248,320トークン語彙の完全な2つ目のコピーです。
• Audio tower — 10.8億パラメータ。Whisperスタイルのエンコーダとデコーダを各32層・幅1,280で備え、0.1秒のウィンドウを毎秒10個のオーディオトークンに圧縮する2層のQ-Formerに供給します。
• ビジョンタワー — 0.46B パラメータ。隠れサイズ 1,152 の 27 ブロック、パッチサイズ 16、空間マージ 2、時間パッチ 2。
ファイルのおよそ5分の1は耳と目で占められている。論文は出自について明示している。デンスな2B、4B、9BモデルはQwen3.5-2B、Qwen3.5-4B、Qwen3.5-9Bを基に構築され、Mixture-of-ExpertsモデルはQwen3.6-35B-A3Bを基に構築されている。音声エンコーダーはQwen2.5-Omniから初期化され、ネイティブ視覚エンコーダーは差し替えられずに維持され、第2事前学習段階以降は凍結される。なぜならそれらは「すでに十分に強力な視覚表現を提供している」からだ。
バックボーン自体はハイブリッドです。32 層、隠れサイズ 4,096、ヘッド次元 256 で 16 個のアテンションヘッドに対して 4 個のキー・バリューヘッドを持ち、線形アテンション層 3 層ごとにフルアテンション層を 1 層配置し、float32 の SSM キャッシュを備えています。これが、リポジトリ内のすべてのサービングコマンドがmamba-ssm-cache-dtype float32フラグを伴う理由です。位置埋め込みは 262,144 トークンで宣言されており、インターリーブされたマルチモーダル RoPE セクションは 11/11/10 です。ライセンスは Apache 2.0 で、モデルカードに項目別に記載されていないサードパーティ向けの除外規定があります。
4つの造り、4つのほぼ同じサイズ
以下が、各リポジトリ自身のファイル一覧から測定した量子化ラダー全体です(カード上の丸められた数値からではなく):
• BF16 base — 5つのシャード全体で合計19.54 GiB。
• FP8 Block128 — 13.10 GiB、1ファイル。FP8対応GPUとパッチ適用済みのvLLM 0.18.0が必要です。
• AWQ W4A16 — 12.86 GiB、compressed-tensors形式のgroup-128 INT4。パッチ適用済みのvLLM 0.18.0。
• NVFP4 W4A16 — 13.07 GiB、グループサイズ16のModelOpt 0.45.0混合精度。Marlin対応のパッチ適用済みvLLM 0.31.0、SM120リファレンス構成。
• GGUF Q4_K_M — 3ファイルのバンドルで13.28 GiB:言語10.41 GiB、音声2.01 GiB、視覚プロジェクター0.86 GiB。

その4つの圧縮ビルド間の差は0.42 GiBしかなく、ドライバ更新用に残すバッファよりも小さい。カードに収めるためにどれを選ぶかで悩んでいるなら、見ている変数が間違っている。所有しているGPUとパッチを当てられるランタイムで選ぶべきだ。メモリの差はそこにはないのだから。
素朴な予想 — 19.54 GiBの4分の1、つまり約4.9 GiB — は2.5倍もずれている。BF16に対する余裕でさえ控えめだ。AWQによって6.68 GiB節約でき、これは実際に34%ではあるが、W4というラベルが示唆する「4分の1のサイズ」とは程遠い。
輸出業者が何を守っているのか、そしてその理由
AWQ と GGUF の両方のマニフェストは、触れることが許可されていたテンソルを正確に示しており、その答えがサイズの頭打ちを説明している。
• 量子化されるのは密なフィードフォワード行列のみです。AWQマニフェストには、量子化された96個の言語行列が記録されています。32層にわたり各層3つ、それぞれ4,096×12,288です。これは10.49B中4.83Bのパラメータ、つまりチェックポイントの46%に相当します。それ以外はすべて精度を維持します。
• アテンションパスがBF16に復元されました。 AWQマニフェストにはattention_restorationブロックが含まれており、ソースチェックポイントからコピーし直された152個のアテンション射影行列と32個の入力ノルムが、それぞれのSHA-256ハッシュとともに列挙されています。GGUFスコープファイルも同じ件数を報告しています — protected_attention_BF16: 152 — さらに、埋め込みテンソルと出力テンソルの2つだけが、他に保護されている項目であると付け加えています。
• フロントエンドと両方のメディアタワーは量子化器に一切入りません。 881個のテンソルが、AWQマニフェストで保護対象のフロントエンド、埋め込み、ヘッドテンソルとしてリストされています — 視覚タワーから333個、音声タワーから545個、トークン埋め込み、非結合の出力ヘッド、そして最終ノルムです。BF16では、これは約3.57Bパラメータ、つまり21.0 GBファイルのうち7.1 GBが圧縮ステップの完全に外側にあります。
結論として出てくるのは、デプロイ計画が実際に必要とする数値だ。どのビルドを選んでも重み用に13~13.5 GiBのVRAMを確保し、その上にKVキャッシュとfloat32のSSMキャッシュを加える必要がある。重みに13 GiBを要する「4ビットの9B」は、モデル側の問題ではない。語彙だけで248,320トークンが2回埋め込まれており、その中央には1.08BパラメータのWhisperであるオーディオタワーが鎮座しているからだ。だがこれは、16 GBのカードに載せて余裕を持って動かせるか、まったく載らないかの分かれ目になる。
読み込みは検証済み、等価性は未検証
このファミリーのどの量子化カードもスモークテストを報告しており、どのマニフェストもより露骨なことを報告している。両者を並べて読んでほしい。というのも、その間の隔たりこそが、圧縮ビルドを使うことのリスクのすべてだからだ。
• FP8 Block128 — カード: パッチ適用済みの vLLM が H20 上でこれを読み込み、テキスト、画像、音声、および音声付き動画の生成チェックを完了しました。さらにランタイム精度監査により W8A8 パスが確認されました。マニフェスト: ステータス quantized_and_independently_reloaded_native_inference_pending、および native_inference_validated: false と native_low_precision_gemm_validated: false が個別のフラグとして記録されています。
• AWQ W4A16 — カード: パッチ適用済みのvLLMがH20上でこれをロードし、同じ4つのチェックを完了しました。また、精度監査により、BF16アテンションに対するINT4フィードフォワード重みが確認されました。マニフェスト: ステータス quantized_unvalidated、および diagnostic_variantがINT4のものと並んでBF16アテンションの参照ビルドを指定しています。
• NVFP4 W4A16 — カード: パッチ適用済みの vLLM 0.31.0 が「PRO 5000 の参照重み」を読み込んで実行し、無音動画を含む5つの生成チェックに合格しました。マニフェスト: 同じ3つの主張がフラグとして記録されており、そのすべてが false と読み取れます — native_FP4_GEMM_validated、PRO5000_inference_validated、vllm_validated — ステータス cpu_NVFP4_weight_artifact_independently_reread の下で。マニフェストが実際に証明しているのは数値チェックです。96 個の行列と 4,831,838,208 個の要素を独立に逆量子化し、平均相対 RMSE は上限 0.35 に対して 0.095、保護された 1,209 個のテンソルはビット完全一致であることが確認されました。その要素数はスコープ記述が挙げている 48.3 億と同じであり、これにより本稿の計算とエクスポーターの計算が一致していることがわかります。
• GGUF Q4_K_M — カード:ネイティブCPUランタイムがバンドルを読み込み、テキスト、画像、音声、動画の出力を生成しました。マニフェストのステータス exported_unvalidated、スコープのステータス quantized_candidate_not_validated。
「読み込まれ、生成もできた」は実際の結果であり、価値のあるものだ。量子化されたマルチモーダルチェックポイントの多くは、まさにその段階で失敗する。だが、それがデプロイを決める結果ではない。これらのカードのどれも、圧縮ビルドについて自身のBF16ソースに対する精度数値を1つも報告していないからだ。MMAU、Video-MME、文字起こしWERのいずれについても、測定された差分はない。どこかでなされている唯一の精度に関する主張は構造的なもので、AWQ監査によるものだ。フィードフォワードではINT4、アテンションではBF16。それはファイルを説明している。圧縮が何を犠牲にしたかは教えてくれない。そして、音声付きVideo-MMEでQwen3-Omni-30B-A3B-Instructに対する優位幅が7.8ポイントであるモデルでは、そのコストの大きさは丸めの問題ではない。
したがって、このファミリーに関する実用的なルールは、論文の表を信頼する前に、出荷予定の正確なビルドで、気になるベンチマークを1つ、BF16ベースに対して再実行することです。それは数時間の作業であり、INT4フィードフォワードを動画の結果を維持したまま差し替えられるのか、それともその34%の削減がカードが売り文句にしている数値の代償として支払われているのかを知る唯一の方法です。

その下には2つの機械式トラップが設置されています。
1つ目はGGUFです。「GGUF Q4_K_M」は「llama.cppまたはOllamaで動作する」と受け取れますが、そうではありません。このバンドルはTencent独自のネイティブランタイム向けにビルドされており、それはリポジトリからコンパイルするものです。モデルカードのクイックスタートはinstall-cpu/binとnative/run_hf.pyランチャーであり、サービングガイドではGGUFをそのランタイムにのみルーティングし、それ以外にはルーティングしません。パイプラインがllama.cpp向けの形なら、このチェックポイントは見た目ほど近道ではありません。
二つ目は、マニフェストを順番に読む人を必ず混乱させるため、名指しする価値のあるドキュメント上の欠陥だ。2B、4B、9B向けの3つのFP8マニフェストはいずれも、同じofficial_repoフィールド、Qwen/Qwen3.5-35B-A3B-FP8を持っている。これはレシピ記録にコピペされた由来文字列であり、9Bチェックポイントが実は35BのMixture-of-Expertsであるという主張ではない。ファイル内の他のどこもその読み方を裏付けていない。同じマニフェストのソース一覧はtencent/WeMM-Video-9Bの5つのシャードを一致するハッシュとともに指しており、アーキテクチャブロックにはエキスパート数ゼロの密な32層モデルが記録されている。35B-A3Bは実在する別個のモデルであり、またこのファミリーで唯一、base、AWQ、GGUF、NVFP4のみを持ち、独自のFP8リポジトリを持たないサイズでもある。
Tencentの表で、9B対30B
以下のベンチマーク数値はすべて著者自身によるもので、arXiv 2611.26409 に基づいており、第三者による再現は一切行われていません。論文自体もそう述べています。既存モデルについては「公式結果が利用可能な場合は公式結果、それ以外は独自評価」として報告されています。このセクションは測定結果ではなく主張の記述として扱ってください。
音声視覚の統合表では、Thinkingモードにおいて、9Bは2つの列が共通して含む37項目のうち35項目でQwen3-Omni-30B-A3B-Instructを上回り、1項目で引き分け、1項目で敗れている——およそ3倍の規模のモデルに対して:
• 音声付きVideo-MME — 77.3に対して85.1。MiniCPM-o-4.5-9Bは69.2です。
• Video-MME-v2 with audio — 36.3に対して51.6、15.3ポイントの差。
• Daily-Omni — 83.6対70.7ですが、MiniCPM-o-4.5-9Bの80.2により、これは楽勝ではなく三つ巴の結果となっています。
• SciVideoBench と MMOU — 64.2 対 49.9、および 71.7 対 60.5。
• EvaOmniとOmniReasoningBench — 26.1に対して50.7、24.1に対して43.9。
• 唯一の負け — FutureOmni、53.7 対 55.1。そこでは MiniCPM-o-4.5-9B が 56.1 を記録しています。
サイレント動画の表のほうが有用だ。このチェックポイントの基盤となっているバックボーン、Qwen3.5-9B という同系統の対照を含んでいるからだ。2つの列を並べて見ると、事後学習の輪郭が見えてくる。時間的グラウンディングと時間的知覚では向上している——F-16-NBA は 88.7 対 75.8、TimeLens-QVHighlights は 66.8 対 64.3、TimeLens-ActivityNet は 55.3 対 52.2、TOMATO は 48.5 対 45.0——一方で、長尺動画要約と一般認識では低下している——MLVU は 82.4 対 84.4、LVBench は 68.2 対 70.0、VideoVista は 82.2 対 84.7、VSI-Bench は 54.5 対 58.3、MVBench は 71.4 対 74.4。つまりこれは、継承したバックボーンに対する一律のアップグレードではない。何かがいつどこで起きたかに向けて調整されたモデルであり、バックボーンがすでにより得意としていた総合動画スコアと空間推論に、測定可能な犠牲を払っている。
音声は9Bが勝ち続けられない領域だ。Instructモードでは、9BはMMAU-Proで70.9(Qwen3.5-Omni-Flashは64.8)、MMSUで76.8(同72.2)を記録するが、MMAUでは77.0対80.4、MMARでは72.8対74.0で負け、音声認識では完全に負けている。LibriSpeechの単語誤り率は1.5と3.1対1.3と2.4、WenetSpeechの文字誤り率は5.4と6.8対4.4と5.5だ。テキストと知識も同じ結果を示している。MMLU-Proは81.6対Qwen3.5-9Bバックボーンの82.5、GPQAは77.8対81.7、HMMTは75.0対82.9である。トランスクリプトが製品なら、専用の認識器が依然として勝る。
論文内の1つの比較は注意して読むべきだ。オムニモーダル表ではWeMMモデルをThinkingモードで実行している一方、音声表ではInstructで実行している。なぜなら著者らは標準的な音声ベンチマークを直接的な知覚タスクと判断したからだ。これは擁護可能な区分けであり、また、一方の表のWeMMの行は他方の表の競合モデルの行と比較できないことも意味する。
デフォルトで8秒のビデオ
チェックポイントが受け入れられるものと、出荷済みのレシピがそれに渡すものとの間のギャップは、結果を変えるのに十分な大きさがあるため、どの評価計画にも含めるべきだ。
• フレームバジェット — プロセッサのデフォルトは2 fpsで、最小4フレーム、最大128フレーム、総ピクセル数100,663,296です。vLLMレシピは4つすべてを2 fps、16フレーム、262,144ピクセルに上書きします。2 fpsでは、16フレームはクリップの中央から8秒間のカバレッジに相当します。
• コンテキスト — テキスト設定では 262,144 個の位置埋め込みが宣言されています。Tencent が公開しているすべてのサービングコマンドは max-model-len 8192 または context-length 8192 を渡しており、リポジトリ内には、より大きな値に到達する方法を説明するものはありません。
• 音声のコスト — 1秒あたり10トークンなので、8,192トークンの予算では約13分の音声だけで使い切ってしまいます。映像とサウンドトラックを合わせた動画では、その予算をフレームと音声に同時に費やすことになります。
• リクエストごとのメディア — 出荷済みの制限に基づき、画像4枚、動画2本、音声2件です。
WeChat Vision 以外に、そのベンチマークでどのサンプリング設定が使われたかを公開した人はいません。上の表の数値を再現しようとするなら、まずそこを確定すべき未知の点であり、出荷時のデフォルトである16フレームから始めるのは間違いです。
今日、実際にそれでできること
OrcaRouter は WeMM-Video-9B を提供しておらず、そのカタログには WeMM チェックポイントが一切掲載されていません。提示できるホスト型の価格も、呼び出せるエンドポイントもないため、現時点ではこれはセルフホスト作業です。リポジトリのオーバーレイディレクトリから vLLM または SGLang にパッチを当て、パッチマニフェストがエンジンバージョン向けに指定する PyTorch、Transformers、CUDA 12.9 の正確な組み合わせを固定し、13 GiB に加えてキャッシュ分も見込んでください。GGUF ルートでは、Tencent のネイティブランタイムをソースからビルドする必要があります。
この作業の視覚側には、プラットフォーム上にすでにオープンな代替手段があります——Qwen3-VL-235B-A22B-ThinkingとQwen3-VL-8B-Thinkingはどちらも画像と動画フレームを扱え、1つのOpenAI互換キーで200以上の他のモデルと並んで、プロバイダー定価に対して0%のマークアップで利用できます。どちらも音声を聴き取ることはできず、音声側に相当するWeMMはありません。本番経路に載せずにセルフホストの9Bを試したいなら、フェイルオーバールールの背後にルーティングするのが、GPUカードをそれに割く前に、パッチ適用済みランタイムがあなたの同時実行数で持ちこたえるかどうかを安上がりに確かめる方法です。
一方、4ビット版は、採用すべきものではなく、待つべきものだ。彼ら自身のマニフェストは自らを未検証と称しており、サイズの計算によれば、提供される圧縮は重みの34%削減に相当する——手に入れる価値はあるが、そのためにデプロイを再設計する価値はない。注視すべきシグナルは、別の量子化リポジトリではない。この系統で初めて、次の語を落としたマニフェストだ——pending——、続いて、現在たった一箇所にしか存在しない表、すなわち著者らのPDFの最初の独立再現である。
この記事で比較したモデル1
この記事から検出
