Kartu judul hero bertuliskan 'WeMM-Video-9B: mengapa build 4-bit-nya masih 13 GiB', dengan subjudul 'Tencent menerbitkan sembilan belas repositori WeMM-Video pada 17 November 2026 tanpa postingan peluncuran', dengan empat baris chip memori untuk basis BF16 sebesar 19,54 GiB di lima shard, FP8 Block128 sebesar 13,10 GiB, AWQ W4A16 sebesar 12,86 GiB, dan NVFP4 W4A16 sebesar 13,07 GiB, baris disorot bertuliskan 0,42 GiB di antara keempat build terkompresi, dan footer yang menyatakan ukuran diukur dari daftar file setiap repositori Hugging Face dan dilaporkan vendor tanpa verifikasi independen.
Engineering & Research

WeMM-Video-9B: Mengapa Build 4-Bitnya Masih 13 GiB

Penulis

jinhao.song

Tanggal Terbit

Model terbaru · 20Lihat semua model →
Benchmark: Artificial Analysis · diperbarui setiap hari
Kembali ke semua artikel

Kuantisasi empat bit seharusnya menghasilkan sekitar seperempat dari berkas bobot asalnya. WeMM-Video-9B berukuran 19,54 GiB dalam BF16, dan build AWQ W4A16-nya 12,86 GiB. Itu pemotongan 34%, bukan 75% — dan build FP8, AWQ, NVFP4, serta GGUF semuanya hanya berselisih dalam 0,42 GiB satu sama lain, jadi memilih di antara semuanya hampir tidak menghemat memori sama sekali. Manifes milik para eksportir sendiri menjelaskan alasannya: pipeline 4-bit hanya mengompresi matriks feed-forward padat — 4,83 miliar parameter dari 10,49 miliar — sementara vision tower, audio tower, embedding, output head, dan bobot attention semuanya mempertahankan presisi aslinya, dan 5,7 miliar parameter yang masing-masing berukuran dua byte menetapkan batas bawah yang tidak bisa dilampaui resep W4 mana pun. Tencent menerbitkan bobot, resep kuantisasi, dan laporan teknis 12 penulis pada 17–19 November tanpa posting peluncuran, dan bagian yang belum ditulis oleh siapa pun adalah aritmetikanya — yang kebetulan juga merupakan bagian yang menentukan apakah model ini muat di GPU yang sudah Anda miliki. Berdasarkan tabel Tencent sendiri, model ini mengalahkan Qwen3-Omni-30B-A3B-Instruct pada 35 dari 37 angka audio-visual gabungan yang dimiliki keduanya; soal apakah build empat bit-nya aman untuk diterapkan, rekam jejaknya lebih tipis daripada yang disiratkan oleh sembilan belas repositori.

Tumpukan 10,49B yang memakai label 9B

Repositori tencent/WeMM-Video-9B dibuat pada pukul 08:55:54 UTC tanggal 17 November 2026, empat belas detik setelah saudara AWQ-nya dan sebelas menit setelah model unggulan 35B-A3B. Sembilan belas repositori WeMM-Video berada di bawah organisasi Tencent, semuanya dibuat dalam jendela lima menit pagi itu, yang merupakan ciri khas skrip pengunggahan, bukan seseorang yang menerbitkan model satu per satu. Proyek GitHub Tencent/WeMM-Video dibuat enam jam lebih awal, pada pukul 02:29 UTC, commit awal yang substantif masuk pada 19 November, dan revisi README masih berdatangan pada 20 November. Makalah, arXiv 2611.26409, dikirimkan pada pukul 16:58 UTC tanggal 19 November.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-9B, showing the model card, the file listing and the repository tab bar for a repository created on 17 November 2026 with no launch announcement linked from it.

Tidak ada satu pun dari itu yang diumumkan. Kami tidak dapat menemukan postingan blog Tencent, halaman peluncuran WeChat Vision, siaran pers, atau tier berbayar yang mengarah ke keluarga model tersebut. Pada saat penulisan, kesembilan belas repositori menunjukkan nol unduhan dan, secara keseluruhan, tiga suka. Artificial Analysis tidak mencantumkan model WeMM. Kedua fakta itu tidak mengatakan apa pun tentang kualitas — keduanya mengatakan bahwa langkah distribusi dilewati.

“9B” dalam nama itu adalah tulang punggung bahasa, bukan checkpoint. Hugging Face mencatat 10.488.603.384 parameter di 1.305 tensor, dan membaca lima shard safetensors berdasarkan namanya menempatkannya dalam empat kelompok:

• Model bahasa — 7,94 miliar parameter, termasuk embedding token 1,02 miliar.

• Kepala keluaran — 1,02B parameter. Embedding-nya tidak terikat, jadi ini adalah salinan penuh kedua dari kosakata 248.320 token pada 4.096 hidden.

• Menara audio — 1,08 miliar parameter. Encoder dan decoder bergaya Whisper, masing-masing 32 lapisan dengan lebar 1.280, yang memberi masukan ke Q-Former dua lapis yang memadatkan jendela 0,1 detik menjadi 10 token audio per detik.

• Menara visi — 0,46B parameter. 27 blok pada ukuran tersembunyi 1.152, ukuran patch 16, penggabungan spasial 2, patch temporal 2.

Jadi, sekitar seperlima dari berkas itu adalah telinga dan mata. Makalah tersebut eksplisit mengenai asal-usul: model dense 2B, 4B, dan 9B dibangun di atas Qwen3.5-2B, Qwen3.5-4B, dan Qwen3.5-9B; model mixture-of-experts di atas Qwen3.6-35B-A3B; encoder audio diinisialisasi dari Qwen2.5-Omni; dan encoder visual native dipertahankan alih-alih diganti serta dibekukan sejak tahap pra-pelatihan kedua dan seterusnya karena encoder tersebut "sudah memberikan representasi visual yang cukup kuat."

Backbone itu sendiri adalah hibrida: 32 lapisan, ukuran tersembunyi 4.096, 16 kepala atensi terhadap 4 kepala key-value pada dimensi kepala 256, dengan satu lapisan full-attention setelah setiap tiga lapisan linear-attention dan cache SSM float32 — itulah sebabnya setiap perintah serving di repositori membawa mamba-ssm-cache-dtype float32 flag. Embedding posisi dideklarasikan pada 262.144 token; bagian RoPE multimodal yang disisipkan adalah 11/11/10. Lisensinya Apache 2.0 dengan pengecualian pihak ketiga yang tidak dirinci pada kartu model.

Empat build, empat ukuran yang hampir identik

Berikut adalah seluruh tangga kuantisasi, diukur dari daftar berkas masing-masing repositori, bukan dari angka yang dibulatkan pada kartu:

• BF16 base — 19,54 GiB di lima shard.

• FP8 Block128 — 13.10 GiB, satu file. Memerlukan GPU yang mendukung FP8 dan vLLM 0.18.0 yang sudah dipatch.

• AWQ W4A16 — 12,86 GiB, INT4 grup-128 dalam format compressed-tensors. vLLM 0.18.0 yang telah ditambal.

• NVFP4 W4A16 — 13,07 GiB, presisi campuran ModelOpt 0.45.0 dengan ukuran grup 16. vLLM 0.31.0 yang telah ditambal dengan Marlin, konfigurasi referensi SM120.

• GGUF Q4_K_M — 13,28 GiB sebagai bundel tiga file: 10,41 GiB bahasa, 2,01 GiB audio, 0,86 GiB proyektor visi.

Generated single-column scoreboard titled 'WeMM-Video-9B — the scoreboard' with six memory-chip rows: BF16 base 19.54 GiB across five shards, FP8 Block128 13.10 GiB, AWQ W4A16 12.86 GiB, NVFP4 W4A16 13.07 GiB, GGUF Q4_K_M 13.28 GiB, and a spread of 0.42 GiB across the four compressed builds, with a footer stating the sizes are measured from each Hugging Face repository's file listing and are vendor-reported with no independent verification.

Selisih antar keempat build terkompresi itu adalah 0.42 GiB, yang lebih kecil daripada buffer yang akan Anda sisakan untuk pembaruan driver. Jika Anda memilih di antara semuanya agar muat di satu kartu, Anda memilih variabel yang salah: pilihlah berdasarkan GPU mana yang Anda miliki dan runtime mana yang dapat Anda tambal, karena perbedaan memorinya bukan ada di situ.

Ekspektasi naif — seperempat dari 19.54 GiB, jadi sekitar 4.9 GiB — meleset dengan faktor dua setengah. Bahkan ruang cadangan terhadap BF16 pun terbatas: 6.68 GiB dihemat oleh AWQ, yang merupakan 34% sungguhan, tetapi tidak seperti "empat kali lebih kecil" yang tersirat dari label W4.

Apa yang dilindungi para eksportir, dan mengapa

Manifes AWQ dan GGUF sama-sama menyatakan secara persis tensor mana yang diizinkan untuk disentuh, dan jawabannya menjelaskan plateau ukuran.

• Hanya matriks feed-forward padat yang dikuantisasi. Manifes AWQ mencatat 96 matriks bahasa terkuantisasi — tiga per lapisan di 32 lapisan, masing-masing 4.096 x 12.288. Itu 4,83B parameter dari 10,49B, atau 46% dari checkpoint. Sisanya mempertahankan presisinya.

• Jalur attention dipulihkan ke BF16. Manifes AWQ memuat blok attention_restoration yang mencantumkan 152 matriks proyeksi attention dan 32 norm input yang disalin kembali dari checkpoint sumber beserta hash SHA-256-nya. Berkas cakupan GGUF melaporkan jumlah yang sama — protected_attention_BF16: 152 — dan menambahkan bahwa tensor embedding dan output adalah satu-satunya dua item terlindungi lainnya.

• Frontend dan kedua menara media tidak pernah masuk ke kuantiser. 881 tensor terdaftar sebagai tensor frontend, embedding, dan head yang dilindungi dalam manifes AWQ — 333 dari menara visual, 545 dari menara audio, embedding token, head output yang tidak terikat, dan norm final. Dalam BF16 itu sekitar 3,57B parameter, atau 7,1 GB dari berkas 21,0 GB, yang sepenuhnya berada di luar langkah kompresi.

Konsekuensinya adalah angka yang benar-benar dibutuhkan oleh rencana penyebaran: anggarkan 13–13,5 GiB VRAM untuk bobot, apa pun build yang Anda pilih, lalu tambahkan cache KV dan cache SSM float32 di atasnya. Sebuah "4-bit 9B" yang membutuhkan 13 GiB bobot bukanlah masalah pada modelnya — kosakatanya saja terdiri atas 248,320 token yang di-embed dua kali, dan tower audionya adalah Whisper berparameter 1,08B yang berada di tengah-tengahnya — tetapi itulah perbedaan antara muat di kartu 16 GB dengan ruang untuk bekerja dan tidak muat sama sekali.

Tervalidasi untuk dimuat, tetapi tidak tervalidasi untuk setara

Setiap kartu kuantisasi dalam keluarga ini melaporkan smoke test, dan setiap manifes melaporkan sesuatu yang lebih terus terang. Baca keduanya secara berdampingan, karena kesenjangan di antara keduanya adalah seluruh risiko menggunakan build terkompresi.

• FP8 Block128 — kartu: vLLM yang ditambal memuatnya di H20 dan menyelesaikan pemeriksaan generasi teks, gambar, audio, dan video-dengan-audio, serta audit presisi runtime mengonfirmasi jalur W8A8. Manifes: status quantized_and_independently_reloaded_native_inference_pending, dengan native_inference_validated: false dan native_low_precision_gemm_validated: false dicatat sebagai flag terpisah.

• AWQ W4A16 — kartu: vLLM yang ditambal memuatnya di H20, menyelesaikan empat pemeriksaan yang sama, dan audit presisi mengonfirmasi bobot feed-forward INT4 terhadap attention BF16. Manifest: status quantized_unvalidated, dengan diagnostic_variant yang menyebutkan build referensi attention BF16 di samping versi INT4.

• NVFP4 W4A16 — kartu: vLLM 0.31.0 yang ditambal dimuat dan menjalankan "bobot referensi PRO 5000" serta lulus lima pemeriksaan generasi, termasuk video senyap. Manifest: tiga klaim yang sama dicatat sebagai flag dan semuanya terbaca false — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — di bawah status cpu_NVFP4_weight_artifact_independently_reread. Yang benar-benar dibuktikan oleh manifest adalah pemeriksaan numerik: 96 matriks dan 4,831,838,208 elemen didekuantisasi secara independen, RMSE relatif rata-rata 0.095 terhadap batas 0.35, dengan 1,209 tensor yang dilindungi dikonfirmasi bit-exact. Jumlah elemen itu sama dengan 4.83 miliar yang disebutkan dalam pernyataan cakupan, yang membuat Anda tahu bahwa aritmetika dalam tulisan ini dan aritmetika eksportir cocok.

• GGUF Q4_K_M — kartu: runtime CPU native memuat bundel dan menghasilkan keluaran teks, gambar, audio, dan video. Status manifes exported_unvalidated; status cakupan quantized_candidate_not_validated.

"Model berhasil dimuat dan menghasilkan output" adalah hasil nyata dan layak dimiliki — banyak checkpoint multimodal terkuantisasi gagal tepat pada langkah itu. Namun itu bukan hasil yang menentukan deployment, karena tidak ada satu pun kartu ini yang melaporkan satu angka akurasi pun untuk build terkompresi terhadap sumber BF16-nya sendiri. Tidak ada delta terukur pada MMAU, Video-MME, atau WER transkripsi. Satu-satunya klaim presisi yang dibuat di mana pun bersifat struktural, dari audit AWQ: INT4 di feed-forward, BF16 di attention. Itu menjelaskan file-nya. Itu tidak memberi tahu Anda berapa biaya kompresinya, dan pada model yang selisihnya terhadap Qwen3-Omni-30B-A3B-Instruct pada Video-MME dengan audio adalah 7,8 poin, besarnya biaya itu bukanlah persoalan pembulatan.

Jadi aturan praktis untuk keluarga ini adalah menjalankan ulang satu benchmark yang Anda pedulikan pada build persis yang ingin Anda kirim, terhadap basis BF16, sebelum Anda mempercayai tabel dari makalah. Itu hanya pekerjaan beberapa jam dan merupakan satu-satunya cara untuk mengetahui apakah feed-forward INT4 dapat dipasang tanpa mengorbankan hasil video, atau apakah penghematan 34% itu dibayar dengan angka yang dijual kartu tersebut.

Screenshot of the raw quantization_manifest.json for the FP8 Block128 build of tencent/WeMM-Video-9B on Hugging Face, showing the status field quantized_and_independently_reloaded_native_inference_pending, an official_repo field naming Qwen/Qwen3.5-35B-A3B-FP8, and the algorithm field Transformers 5.5.3 Fp8Quantize.convert.

Dua perangkap mekanis terletak di bawah itu.

Yang pertama adalah GGUF. "GGUF Q4_K_M" terdengar seperti "berjalan di llama.cpp atau Ollama." Kenyataannya tidak. Bundel ini dibuat untuk runtime native milik Tencent sendiri, yang Anda kompilasi dari repositori; quick start pada model card adalah install-cpu/bin dan sebuah native/run_hf.py peluncur, dan panduan serving mengarahkan GGUF ke runtime itu dan tidak ke yang lain. Jika pipeline Anda berbentuk llama.cpp, checkpoint ini bukan jalan pintas seperti yang terlihat.

Yang kedua adalah cacat dokumentasi yang layak disebut karena akan membingungkan siapa pun yang membaca manifes secara berurutan. Ketiga manifes FP8 — untuk 2B, 4B, dan 9B — memuat official_repo bidang yang sama: Qwen/Qwen3.5-35B-A3B-FP8. Itu adalah string asal-usul yang disalin-tempel dalam catatan resep, bukan pernyataan bahwa checkpoint 9B diam-diam merupakan campuran-pakar 35B. Tidak ada hal lain dalam file yang mendukung pembacaan itu: daftar sumber manifes yang sama menunjuk ke lima shard tencent/WeMM-Video-9B dengan hash yang cocok, dan blok arsitektur mencatat model padat 32 lapisan dengan nol pakar. 35B-A3B adalah model terpisah yang nyata; itu juga satu-satunya ukuran dalam keluarga ini yang tidak memiliki repositori FP8 sendiri, hanya memiliki base, AWQ, GGUF, dan NVFP4.

9B melawan 30B, di tabel Tencent

Setiap angka benchmark di bawah ini adalah milik penulis sendiri, dari arXiv 2611.26409, dan belum ada pihak ketiga yang mereproduksi satu pun darinya. Makalah tersebut menyatakan hal itu: model yang ada dilaporkan pada "hasil resmi jika tersedia dan evaluasi kami sendiri jika tidak." Perlakukan bagian ini sebagai deskripsi atas suatu klaim, bukan sebagai pengukuran.

Pada tabel audio-visual gabungan, dalam mode Thinking, 9B mengalahkan Qwen3-Omni-30B-A3B-Instruct pada 35 dari 37 angka yang dimiliki bersama oleh kedua kolom, seri pada satu dan kalah pada satu — melawan model yang ukurannya sekitar tiga kali lipat:

• Video-MME dengan audio — 85,1 dibandingkan 77,3. MiniCPM-o-4.5-9B berada di 69,2.

• Video-MME-v2 dengan audio — 51,6 berbanding 36,3, selisih 15,3 poin.

• Daily-Omni — 83,6 berbanding 70,7, meskipun 80,2 dari MiniCPM-o-4.5-9B menjadikan ini hasil tiga arah alih-alih kemenangan mudah.

• SciVideoBench dan MMOU — 64,2 berbanding 49,9, dan 71,7 berbanding 60,5.

• EvaOmni dan OmniReasoningBench — 50,7 dibandingkan dengan 26,1, dan 43,9 dibandingkan dengan 24,1.

• Satu-satunya kekalahan — FutureOmni, 53,7 berbanding 55,1. MiniCPM-o-4.5-9B mencetak 56,1 di sana.

Video tanpa suara adalah tabel yang lebih berguna, karena memuat kontrol dari keluarga yang sama: Qwen3.5-9B, backbone yang menjadi dasar checkpoint ini. Bandingkan kedua kolom secara berdampingan, dan pelatihan pasca memperlihatkan pola yang jelas. Model ini unggul dalam temporal grounding dan persepsi temporal — F-16-NBA 88.7 versus 75.8, TimeLens-QVHighlights 66.8 versus 64.3, TimeLens-ActivityNet 55.3 versus 52.2, TOMATO 48.5 versus 45.0 — dan kalah dalam peringkasan video panjang serta pengenalan umum: MLVU 82.4 versus 84.4, LVBench 68.2 versus 70.0, VideoVista 82.2 versus 84.7, VSI-Bench 54.5 versus 58.3, MVBench 71.4 versus 74.4. Jadi ini bukan peningkatan seragam atas backbone yang diwarisinya. Ini adalah model yang disetel ke arah kapan dan di mana sesuatu terjadi, dengan biaya terukur pada skor video agregat dan penalaran spasial yang sudah lebih baik dilakukan backbone.

Audio adalah area di mana 9B berhenti unggul. Dalam mode Instruct, 9B mencetak 70,9 pada MMAU-Pro dibandingkan 64,8 milik Qwen3.5-Omni-Flash dan 76,8 pada MMSU dibandingkan 72,2 — tetapi kalah di MMAU 77,0 vs 80,4 dan MMAR 72,8 vs 74,0, serta kalah langsung dalam pengenalan ucapan: tingkat kesalahan kata LibriSpeech 1,5 dan 3,1 versus 1,3 dan 2,4, tingkat kesalahan karakter WenetSpeech 5,4 dan 6,8 versus 4,4 dan 5,5. Teks dan pengetahuan menunjukkan cerita yang sama: MMLU-Pro 81,6 versus 82,5 milik backbone Qwen3.5-9B, GPQA 77,8 versus 81,7, HMMT 75,0 versus 82,9. Jika transkrip adalah produknya, pengenal khusus tetap menang.

Satu perbandingan dalam makalah ini perlu dibaca dengan cermat. Tabel omni-modal menjalankan model WeMM dalam mode Thinking, sedangkan tabel audio menjalankannya dalam mode Instruct, karena para penulis menilai tolok ukur audio standar sebagai tugas persepsi langsung. Pemisahan itu dapat dipertahankan, dan itu juga berarti baris WeMM dalam satu tabel tidak dapat dibandingkan dengan baris pesaing di tabel lainnya.

Video delapan detik, secara default

Celah antara apa yang dapat diterima checkpoint dan apa yang diberikan oleh resep-resep yang disertakan cukup besar untuk mengubah hasil, sehingga hal ini harus menjadi bagian dari rencana evaluasi apa pun.

• Anggaran frame — prosesor secara default menggunakan 2 fps, minimal 4 frame, maksimal 128 frame, dan total 100,663,296 piksel. Resep vLLM mengganti keempatnya menjadi 2 fps, 16 frame, dan 262,144 piksel. Pada 2 fps, enam belas frame setara dengan delapan detik cakupan dari tengah klip.

• Konteks — konfigurasi teks mendeklarasikan 262.144 penyematan posisi. Setiap perintah penyajian yang diterbitkan T​encent menggunakan max-model-len 8192 atau context-length 8192, dan tidak ada apa pun di repositori yang menjelaskan cara mencapai angka yang lebih besar tersebut.

• Biaya audio — 10 token per detik, jadi anggaran 8.192 token kira-kira tiga belas menit audio dan tidak ada yang lain. Video dengan trek suaranya membelanjakan anggaran itu untuk frame dan audio sekaligus.

• Media per permintaan — empat gambar, dua video, dua item audio, sesuai batas yang sudah diterapkan.

Tidak ada pihak di luar WeChat Vision yang telah memublikasikan sampling mana yang dipakai dalam menjalankan benchmark. Jika Anda mereproduksi angka dari tabel di atas, itulah hal tak diketahui pertama yang harus dipastikan, dan default 16 frame yang disertakan adalah titik awal yang keliru.

Apa yang sebenarnya bisa Anda lakukan dengan ini hari ini

OrcaRouter tidak menyediakan WeMM-Video-9B, dan katalognya tidak mencantumkan checkpoint WeMM sama sekali. Tidak ada harga hosted untuk dikutip dan tidak ada endpoint untuk dipanggil, jadi saat ini ini adalah pekerjaan self-host: patch vLLM atau SGLang dari direktori overlay repositori, sematkan kombinasi persis PyTorch, Transformers, dan CUDA 12.9 yang disebutkan manifes patch untuk versi engine Anda, dan anggarkan 13 GiB plus cache. Rute GGUF memerlukan runtime native T​encent yang dibangun dari sumber.

Untuk bagian visi dari pekerjaan ini, sudah ada alternatif terbuka di platform — Qwen3-VL-235B-A22B-Thinking dan Qwen3-VL-8B-Thinking keduanya menerima gambar dan frame video — dapat diakses melalui satu kunci yang kompatibel dengan OpenAI bersama 200+ model lainnya, dengan markup 0% di atas harga daftar penyedia. Tidak satu pun dari keduanya mendengar apa pun, dan tidak ada padanan WeMM untuk bagian audio. Jika Anda ingin mencoba 9B yang di-host sendiri tanpa menempatkannya di jalur produksi, merutekannya di balik aturan failover adalah cara murah untuk mengetahui apakah runtime yang ditambal tetap bertahan pada tingkat konkurensi Anda sebelum Anda mengalokasikan kartu untuknya.

Sementara itu, build empat-bit adalah hal yang tepat untuk ditunggu, bukan hal yang tepat untuk diadopsi. Manifes mereka sendiri menyebut diri mereka belum divalidasi, dan aritmetika ukuran menunjukkan bahwa kompresi yang mereka tawarkan adalah penghematan 34% pada bobot — layak dimiliki, bukan alasan untuk merancang ulang suatu deployment. Sinyal yang perlu diperhatikan bukanlah repositori kuantisasi lain. Ini adalah manifes pertama dalam keluarga ini yang menghilangkan kata pending, diikuti oleh reproduksi independen pertama dari tabel yang saat ini hanya ada di satu tempat: PDF para penulis.

Dibandingkan dalam artikel ini1

Terdeteksi dari artikel ini