
WeMM-Video-9B: ทำไมบิลด์ 4 บิตจึงยังมีขนาด 13 GiB
- Orcaใหม่OrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 ต่อ 1 ล้านโทเค็น · 182 tok/s
- tencentใหม่Tencent: Hy4 Flash2026-11-16$0.02 / $0.07 ต่อ 1 ล้านโทเค็น · 356 tok/s
- Googleใหม่Google: Gemini 4 Carbon2026-11-10$2.00 / $10.00 ต่อ 1 ล้านโทเค็น · 87 tok/s
- Anthropicใหม่Anthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 ต่อ 1 ล้านโทเค็น · 147 tok/s
- orcaใหม่Orca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 ต่อ 1 ล้านโทเค็น · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 ต่อ 1 ล้านโทเค็น · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 ต่อ 1 ล้านโทเค็น · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447ความฉลาด
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 ต่อ 1 ล้านโทเค็น · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929ความฉลาด
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 ต่อ 1 ล้านโทเค็น · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733ความฉลาด
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 ต่อ 1 ล้านโทเค็น · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740ความฉลาด
การควอนไทซ์แบบสี่บิตควรอยู่ที่ประมาณหนึ่งในสี่ของไฟล์น้ำหนักต้นทาง WeMM-Video-9Bมีขนาด 19.54 GiB ใน BF16 และบิลด์ AWQ W4A16 ของมันมีขนาด 12.86 GiB นั่นคือการลดลง 34% ไม่ใช่ 75% — และบิลด์ FP8, AWQ, NVFP4 และ GGUF ต่างก็อยู่ในระยะห่างกันไม่เกิน 0.42 GiB ดังนั้นการเลือกระหว่างบิลด์เหล่านี้จึงแทบไม่ได้ช่วยประหยัดหน่วยความจำเลย แมนิเฟสต์ของผู้ส่งออกเองอธิบายว่าทำไม: ไปป์ไลน์ 4 บิตบีบอัดเฉพาะเมทริกซ์ฟีดฟอร์เวิร์ดแบบเดนส์ — 4.83 พันล้านพารามิเตอร์จาก 10.49 พันล้าน — ในขณะที่วิชันทาวเวอร์ ออดิโอทาวเวอร์ เลเยอร์ embedding หัวเอาต์พุต และน้ำหนัก attention ยังคงความแม่นยำดั้งเดิมไว้ทั้งหมด และพารามิเตอร์ 5.7 พันล้านตัวที่ตัวละสองไบต์กำหนดพื้นขั้นต่ำที่สูตร W4 ใดก็ลดลงไปต่ำกว่านั้นไม่ได้ Tencent เผยแพร่ weights สูตรการควอนไทซ์ และรายงานทางเทคนิคที่มีผู้เขียน 12 คนในวันที่ 17–19 พฤศจิกายน โดยไม่มีโพสต์เปิดตัว และส่วนที่ยังไม่มีใครเขียนถึงก็คือการคำนวณ — ซึ่งบังเอิญเป็นส่วนที่ตัดสินว่าโมเดลนี้ใส่ GPU ที่คุณมีอยู่แล้วได้หรือไม่ ในตารางของ Tencent เอง มันชนะQwen3-Omni-30B-A3B-Instructใน 35 จาก 37 ตัวเลขด้านเสียงและภาพร่วมที่ทั้งสองมีร่วมกัน ส่วนคำถามที่ว่าบิลด์สี่บิตของมันปลอดภัยพอจะนำไปใช้งานหรือไม่นั้น หลักฐานที่มีอยู่นั้นบางกว่าที่สิบเก้ารีโพซิทอรีบ่งชี้
สแต็ก 10.49B ที่ติดป้ายว่า 9B
รีโพซิทอรี tencent/WeMM-Video-9B ถูกสร้างเมื่อเวลา 08:55:54 UTC ของวันที่ 17 พฤศจิกายน 2026 ซึ่งเป็นเวลา 14 วินาทีหลังจากรุ่นพี่น้อง AWQ และ 11 นาทีหลังจากรุ่นผู้นำ 35B-A3B มีรีโพซิทอรี WeMM-Video จำนวนสิบเก้าแห่งภายใต้องค์กร Tencent โดยทั้งหมดถูกสร้างขึ้นภายในช่วงเวลา 5 นาทีในเช้าวันนั้น ซึ่งเป็นลักษณะเฉพาะของสคริปต์อัปโหลดมากกว่าที่จะเป็นบุคคลที่เผยแพร่ทีละโมเดล โปรเจกต์ GitHub Tencent/WeMM-Video ถูกสร้างขึ้นก่อนหน้านั้นหกชั่วโมง เมื่อเวลา 02:29 UTC คอมมิตเริ่มต้นที่มีเนื้อหาสำคัญถูกบันทึกเมื่อวันที่ 19 พฤศจิกายน และการแก้ไข README ยังคงเข้ามาในวันที่ 20 พฤศจิกายน บทความ arXiv 2611.26409 ถูกส่งเมื่อเวลา 16:58 UTC ของวันที่ 19 พฤศจิกายน

ไม่มีสิ่งใดในนั้นถูกประกาศ เราไม่พบโพสต์บล็อกของ Tencent หน้าเปิดตัว WeChat Vision ข่าวประชาสัมพันธ์ หรือแพ็กเกจแบบจ่ายเงินที่ชี้มาที่ตระกูลนี้ ณ เวลาที่เขียน รีโพซิทอรีทั้งสิบเก้าแห่งแสดงยอดดาวน์โหลดเป็นศูนย์ และเมื่อรวมกันแล้วมีไลก์สามครั้ง Artificial Analysis ไม่ได้ระบุโมเดล WeMM ไว้ ข้อเท็จจริงทั้งสองข้อนั้นไม่ได้บอกอะไรเกี่ยวกับคุณภาพ — มันบอกว่าขั้นตอนการเผยแพร่ถูกข้ามไป
"9B" ในชื่อคือแกนหลักทางภาษา ไม่ใช่เช็กพอยต์ Hugging Face บันทึกพารามิเตอร์ 10,488,603,384 ตัวกระจายอยู่ในเทนเซอร์ 1,305 ตัว และเมื่ออ่านชาร์ด safetensors ทั้งห้าไฟล์ตามชื่อ จะจัด它們ออกเป็นสี่กลุ่ม:
• โมเดลภาษา — พารามิเตอร์ 7.94B รวมถึงการฝังโทเค็นขนาด 1.02B
• หัวเอาต์พุต — พารามิเตอร์ 1.02B embedding ไม่ได้ผูกกัน ดังนั้นนี่จึงเป็นสำเนาเต็มชุดที่สองของคำศัพท์ 248,320 โทเคนที่ขนาดซ่อน 4,096
• ทาวเวอร์เสียง — พารามิเตอร์ 1.08B เอนโคเดอร์และดีโคเดอร์สไตล์ Whisper อย่างละ 32 เลเยอร์ที่ความกว้าง 1,280 ป้อนเข้าสู่ Q-Former สองเลเยอร์ซึ่งบีบอัดหน้าต่าง 0.1 วินาทีให้เป็น 10 โทเค็นเสียงต่อวินาที
• Vision tower — พารามิเตอร์ 0.46B จำนวน 27 บล็อก ที่ขนาดซ่อน 1,152 ขนาดแพตช์ 16 การผสานเชิงพื้นที่ 2 แพตช์เชิงเวลา 2
ดังนั้นประมาณหนึ่งในห้าของไฟล์คือหูและตา เปเปอร์ระบุที่มาอย่างชัดเจนว่าโมเดล dense ขนาด 2B, 4B และ 9B สร้างขึ้นบน Qwen3.5-2B, Qwen3.5-4B และ Qwen3.5-9B ส่วนโมเดล mixture-of-experts สร้างบน Qwen3.6-35B-A3B เอนโคเดอร์เสียงได้รับการกำหนดค่าเริ่มต้นจาก Qwen2.5-Omni และเอนโคเดอร์ภาพแบบเนทีฟถูกเก็บไว้แทนที่จะสลับเปลี่ยน และถูกฟรีซตั้งแต่ช่วง pre-training ระยะที่สองเป็นต้นไป เนื่องจากเอนโคเดอร์เหล่านี้ "ให้การแทนข้อมูลภาพที่แข็งแกร่งเพียงพออยู่แล้ว"
แบ็กโบนเองเป็นแบบไฮบริด: 32 เลเยอร์ ขนาด hidden 4,096 หัว attention 16 หัว เทียบกับหัว key-value 4 หัวที่มิติหัว 256 โดยมีเลเยอร์ full-attention หนึ่งเลเยอร์ทุก ๆ สามเลเยอร์ linear-attention และแคช SSM แบบ float32 — ซึ่งเป็นเหตุผลว่าทุกคำสั่ง serving ในรีโพซิทอรีจึงมี mamba-ssm-cache-dtype float32 เป็นแฟล็ก Position embedding ถูกประกาศไว้ที่ 262,144 โทเคน; ส่วน RoPE แบบมัลติโมดัลที่สลับแทรกกันคือ 11/11/10 สัญญาอนุญาตคือ Apache 2.0 โดยมีข้อยกเว้นสำหรับบุคคลที่สามซึ่งไม่ได้ระบุรายละเอียดไว้ใน model card
สี่บิลด์ สี่ขนาดที่เกือบเหมือนกัน
นี่คือขั้นบันไดการควอนไทซ์ทั้งหมด โดยวัดจากรายการไฟล์ของแต่ละรีโพซิทอรีเอง แทนที่จะมาจากตัวเลขที่ปัดเศษบนการ์ด:
• ฐาน BF16 — 19.54 GiB กระจายอยู่ในห้าชาร์ด
• FP8 Block128 — 13.10 GiB ไฟล์เดียว ต้องใช้ GPU ที่รองรับ FP8 และ vLLM 0.18.0 ที่แพตช์แล้ว
• AWQ W4A16 — 12.86 GiB, group-128 INT4 ในรูปแบบ compressed-tensors vLLM 0.18.0 ที่แพตช์แล้ว
• NVFP4 W4A16 — 13.07 GiB, ความแม่นยำแบบผสม ModelOpt 0.45.0 พร้อมขนาดกลุ่ม 16 vLLM 0.31.0 ที่แพตช์แล้วพร้อม Marlin การกำหนดค่าอ้างอิง SM120
• GGUF Q4_K_M — 13.28 GiB ในรูปแบบชุดรวมสามไฟล์: ภาษา 10.41 GiB, เสียง 2.01 GiB, ตัวฉายภาพสำหรับวิชัน 0.86 GiB

ช่วงต่างระหว่างบิลด์ที่บีบอัดแล้วทั้งสี่ตัวคือ 0.42 GiB ซึ่งน้อยกว่าบัฟเฟอร์ที่คุณจะเผื่อไว้สำหรับอัปเดตไดรเวอร์ หากคุณกำลังเลือกระหว่างบิลด์เหล่านี้เพื่อให้พอดีกับการ์ด คุณกำลังเลือกตัวแปรผิด: ให้เลือกจาก GPU ที่คุณมีและรันไทม์ที่คุณแพตช์ได้ เพราะความแตกต่างด้านหน่วยความจำไม่ได้อยู่ตรงนั้น
ความคาดหวังแบบตรงไปตรงมา — หนึ่งในสี่ของ 19.54 GiB ซึ่งก็ประมาณ 4.9 GiB — คลาดเคลื่อนไปถึงสองเท่าครึ่ง แม้แต่พื้นที่เผื่อเมื่อเทียบกับ BF16 ก็ยังมีไม่มาก: AWQ ประหยัดได้ 6.68 GiB ซึ่งเป็น 34% จริง แต่ไม่ใกล้เคียงกับคำว่า "เล็กกว่าสี่เท่า" ที่ป้าย W4 บอกเป็นนัยเลย
สิ่งที่ผู้ส่งออกปกป้อง และเพราะเหตุใด
ทั้ง manifest ของ AWQ และ GGUF ระบุอย่างชัดเจนว่าเทนเซอร์ใดบ้างที่ได้รับอนุญาตให้แตะต้อง และคำตอบก็อธิบายถึงภาวะขนาดที่นิ่งตัว
• เฉพาะเมทริกซ์ฟีดฟอร์เวิร์ดแบบเดนส์เท่านั้นที่ถูกควอนไทซ์ แมนิเฟสต์ AWQ บันทึกเมทริกซ์ภาษาที่ถูกควอนไทซ์ไว้ 96 เมทริกซ์ — สามเมทริกซ์ต่อเลเยอร์ใน 32 เลเยอร์ โดยแต่ละเมทริกซ์มีขนาด 4,096 คูณ 12,288 นั่นคือพารามิเตอร์ 4.83B จาก 10.49B หรือ 46% ของเช็กพอยต์ ส่วนอื่นทั้งหมดยังคงความแม่นยำเดิม
• เส้นทาง attention ได้รับการคืนค่าเป็น BF16 แล้ว แมนิเฟสต์ของ AWQ มีบล็อก attention_restoration ที่ระบุเมทริกซ์การฉายภาพ attention จำนวน 152 รายการ และนอร์มอินพุตจำนวน 32 รายการที่คัดลอกกลับมาจากเช็กพอยต์ต้นทางพร้อมแฮช SHA-256 ของรายการเหล่านั้น ไฟล์ขอบเขต GGUF รายงานจำนวนเดียวกัน — protected_attention_BF16: 152 — และระบุเพิ่มเติมว่าเทนเซอร์ embedding และ output เป็นรายการป้องกันอื่นเพียงสองรายการเท่านั้น
• ฟรอนต์เอนด์และทาวเวอร์สื่อทั้งสองไม่เคยเข้าสู่ตัวควอนไทเซอร์เลย มีเทนเซอร์ 881 ตัวที่ถูกระบุว่าเป็นเทนเซอร์ฟรอนต์เอนด์ เทนเซอร์การฝัง และเทนเซอร์หัวที่ได้รับการป้องกันใน AWQ manifest — 333 ตัวจากทาวเวอร์ภาพ, 545 ตัวจากทาวเวอร์เสียง, การฝังโทเคน, หัวเอาต์พุตแบบ untied และนอร์มสุดท้าย ที่ BF16 นั่นคือพารามิเตอร์ประมาณ 3.57B หรือ 7.1 GB จากไฟล์ 21.0 GB ซึ่งอยู่นอกขั้นตอนการบีบอัดทั้งหมด
ผลลัพธ์ที่ได้คือตัวเลขที่แผนการติดตั้งใช้งานจำเป็นต้องใช้จริง ๆ: กันงบ VRAM ไว้ 13–13.5 GiB สำหรับ weights ไม่ว่าจะเลือกบิลด์ไหนก็ตาม จากนั้นจึงเพิ่ม KV cache และ float32 SSM cache เข้าไปบนนั้นอีกที "4-bit 9B" ที่ต้องใช้ weights 13 GiB ไม่ใช่ปัญหาของตัวโมเดล — เพราะแค่ vocabulary อย่างเดียวก็มี 248,320 โทเคนที่ถูกฝังไว้สองครั้ง และ audio tower ก็คือ Whisper ขนาด 1.08B พารามิเตอร์ที่อยู่ตรงกลางของมัน — แต่มันคือความแตกต่างระหว่างการใส่พอดีบนการ์ด 16 GB ที่ยังมีพื้นที่ให้ทำงาน กับการใส่ไม่ได้เลย
ตรวจสอบแล้วว่าสามารถโหลดได้ แต่ไม่ได้ตรวจสอบว่ามีค่าเท่ากัน
การ์ดการควอนไทเซชันทุกใบในตระกูลนี้รายงานผลการทดสอบแบบ smoke test และแมนนิเฟสต์ทุกรายการรายงานสิ่งที่ตรงไปตรงมามากกว่า อ่านทั้งสองอย่างเทียบกัน เพราะช่องว่างระหว่างสิ่งเหล่านั้นคือความเสี่ยงทั้งหมดของการใช้บิลด์ที่ถูกบีบอัด
• FP8 Block128 — การ์ด: vLLM ที่แพตช์แล้วโหลดบน H20 และผ่านการตรวจสอบการสร้างข้อความ รูปภาพ เสียง และวิดีโอพร้อมเสียง และการตรวจสอบความแม่นยำขณะรันยืนยันเส้นทาง W8A8 Manifest: สถานะ quantized_and_independently_reloaded_native_inference_pending โดยมี native_inference_validated: false และ native_low_precision_gemm_validated: false บันทึกเป็นแฟล็กแยกกัน
• AWQ W4A16 — การ์ด: vLLM ที่แพตช์แล้วโหลดบน H20 ผ่านการตรวจสอบสี่รายการเดียวกัน และการตรวจสอบความแม่นยำยืนยันน้ำหนัก feed-forward แบบ INT4 เทียบกับ attention แบบ BF16 แมนนิเฟสต์: สถานะ quantized_unvalidated โดยมี diagnostic_variant ที่ระบุบิลด์อ้างอิงแบบ BF16-attention ควบคู่กับบิลด์ INT4.
• NVFP4 W4A16 — การ์ด: vLLM 0.31.0 ที่แพตช์แล้วโหลดและรัน "น้ำหนักอ้างอิง PRO 5000" และผ่านการตรวจสอบการสร้างผลลัพธ์ห้ารายการ รวมถึงวิดีโอแบบไม่มีเสียง แมนิเฟสต์: ข้ออ้างสามข้อเดียวกันนี้ถูกบันทึกเป็นแฟล็ก และทุกข้ออ่านค่าเป็นเท็จ — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — ภายใต้สถานะ cpu_NVFP4_weight_artifact_independently_reread สิ่งที่แมนิเฟสต์ยืนยันได้จริงคือการตรวจสอบเชิงตัวเลข: เมทริกซ์ 96 ชุดและ 4,831,838,208 องค์ประกอบถูกดีควอนไทซ์อย่างอิสระ ค่าเฉลี่ย RMSE สัมพัทธ์ 0.095 เทียบกับขีดจำกัด 0.35 โดยมีเทนเซอร์ที่ได้รับการป้องกัน 1,209 ชุดซึ่งยืนยันแล้วว่าตรงกันทุกบิต จำนวนองค์ประกอบดังกล่าวคือ 4.83 พันล้านตัวเดียวกับที่ข้อความขอบเขตระบุไว้ ซึ่งเป็นสิ่งที่ทำให้รู้ว่าการคำนวณในชิ้นงานนี้กับของผู้ส่งออกสอดคล้องกัน
• GGUF Q4_K_M — การ์ด: รันไทม์ CPU แบบเนทีฟโหลดบันเดิลและสร้างเอาต์พุตข้อความ รูปภาพ เสียง และวิดีโอ สถานะแมนิเฟสต์ exported_unvalidated; สถานะขอบเขต quantized_candidate_not_validated.
“มันโหลดขึ้นและสร้างผลลัพธ์ได้” ถือเป็นผลลัพธ์จริงและมีคุณค่า — checkpoint แบบหลายโมดัลที่ถูกควอนไทซ์จำนวนมากล้มเหลวตรงขั้นตอนนั้นพอดี แต่มันไม่ใช่ผลลัพธ์ที่ใช้ตัดสินการนำไปใช้งาน เพราะการ์ดเหล่านี้ไม่ได้รายงานตัวเลขความแม่นยำแม้แต่ตัวเดียวสำหรับบิลด์ที่ถูกบีบอัดเมื่อเทียบกับต้นฉบับ BF16 ของตัวเอง ไม่มีค่าความต่างที่วัดได้บน MMAU บน Video-MME หรือบน WER ของการถอดเสียง ข้อกล่าวอ้างเรื่องความแม่นยำเพียงข้อเดียวที่มีอยู่ที่ไหนก็ตามเป็นเชิงโครงสร้าง จากผลตรวจสอบ AWQ: INT4 ในฟีดฟอร์เวิร์ด, BF16 ในแอตเทนชัน นั่นอธิบายตัวไฟล์ แต่ไม่ได้บอกว่าการบีบอัดมีต้นทุนเท่าไร และบนโมเดลที่ช่วงห่างเหนือ Qwen3-Omni-30B-A3B-Instruct บน Video-MME แบบมีเสียงอยู่ที่ 7.8 จุด ขนาดของต้นทุนนั้นไม่ใช่คำถามเรื่องการปัดเศษ
ดังนั้นหลักปฏิบัติสำหรับตระกูลนี้คือการรัน benchmark หนึ่งตัวที่คุณสนใจใหม่บนบิลด์ที่คุณตั้งใจจะปล่อยจริง เทียบกับฐาน BF16 ก่อนที่คุณจะเชื่อตารางจากเปเปอร์ นั่นเป็นงานไม่กี่ชั่วโมง และเป็นวิธีเดียวที่จะรู้ว่า INT4 feed-forward สามารถสลับเข้ามาโดยที่ผลลัพธ์วิดีโอยังคงเดิมได้หรือไม่ หรือว่าการประหยัด 34% นั้นต้องแลกมาด้วยตัวเลขที่การ์ดกำลังขายอยู่

ภายใต้สิ่งนั้นมีกับดักเชิงกลสองอัน
ตัวแรกคือ GGUF "GGUF Q4_K_M" มักถูกอ่านว่า "รันใน llama.cpp หรือ Ollama" แต่ไม่ใช่เช่นนั้น บันเดิลนี้สร้างขึ้นสำหรับรันไทม์เนทีฟของ Tencent เอง ซึ่งคุณต้องคอมไพล์จากรีโพซิทอรี; quick start ในโมเดลการ์ดคือ install-cpu/bin และ native/run_hf.py ตัวเรียกใช้งาน และคู่มือการเสิร์ฟกำหนดให้ GGUF ไปยังรันไทม์นั้นเท่านั้น หากไปป์ไลน์ของคุณมีลักษณะแบบ llama.cpp เช็กพอยต์นี้ไม่ใช่ทางลัดอย่างที่ดูเหมือน
ประการที่สองเป็นข้อบกพร่องด้านเอกสารที่ควรระบุไว้ เพราะจะทำให้ใครก็ตามที่อ่านไฟล์ manifest ตามลำดับสับสน แมนนิเฟสต์ FP8 ทั้งสามไฟล์ — สำหรับ 2B, 4B และ 9B — มีฟิลด์ official_repoเดียวกัน: Qwen/Qwen3.5-35B-A3B-FP8 มันเป็นสตริงแหล่งที่มาที่คัดลอกมาวางในบันทึกสูตร ไม่ใช่ข้อความที่บอกว่าเช็กพอยต์ 9B เป็นโมเดล mixture-of-experts ขนาด 35B แอบแฝง ไม่มีอย่างอื่นในไฟล์ที่สนับสนุนการตีความนั้น: รายการแหล่งที่มาในแมนนิเฟสต์เดียวกันชี้ไปที่ห้าชาร์ดของ tencent/WeMM-Video-9B พร้อมแฮชที่ตรงกัน และบล็อกสถาปัตยกรรมบันทึกว่าเป็นโมเดล dense 32 เลเยอร์ที่ไม่มีผู้เชี่ยวชาญเลย 35B-A3B เป็นโมเดลแยกจริง และยังเป็นขนาดเดียวในตระกูลที่ไม่มีคลัง FP8 ของตัวเอง โดยมีเฉพาะ base, AWQ, GGUF และ NVFP4 เท่านั้น
9B เทียบกับ 30B บนตารางของ Tencent
ตัวเลข benchmark ทุกตัวด้านล่างเป็นข้อมูลของผู้เขียนเอง จาก arXiv 2611.26409 และยังไม่มีบุคคลที่สามรายใดทำซ้ำผลลัพธ์ใด ๆ เหล่านี้ได้ เอกสารระบุไว้เช่นนั้นว่า โมเดลที่มีอยู่ถูกรายงานที่ "{{1}}ผลลัพธ์อย่างเป็นทางการเมื่อมีข้อมูล และเป็นการประเมินของเราเองในกรณีอื่น{{/1}}" โปรดถือว่าส่วนนี้เป็นคำอธิบายของข้อกล่าวอ้าง ไม่ใช่การวัด
บนตารางเสียง-ภาพร่วม ในโหมด Thinking รุ่น 9B เอาชนะ Qwen3-Omni-30B-A3B-Instruct ใน 35 จาก 37 ตัวเลขที่ทั้งสองคอลัมน์มีร่วมกัน โดยเสมอหนึ่งและแพ้หนึ่ง — เมื่อเทียบกับโมเดลที่มีขนาดใหญ่กว่าประมาณสามเท่า:
• Video-MME พร้อมเสียง — 85.1 เทียบกับ 77.3 โดย MiniCPM-o-4.5-9B อยู่ที่ 69.2
• Video-MME-v2 พร้อมเสียง — 51.6 เทียบกับ 36.3 โดยห่างกัน 15.3 คะแนน
• Daily-Omni — 83.6 เทียบกับ 70.7 แม้ว่าคะแนน 80.2 ของ MiniCPM-o-4.5-9B จะทำให้ผลลัพธ์นี้กลายเป็นการแข่งขันสามฝ่ายมากกว่าจะเป็นการชนะแบบขาดลอย
• SciVideoBench และ MMOU — 64.2 เทียบกับ 49.9 และ 71.7 เทียบกับ 60.5
• EvaOmni และ OmniReasoningBench — 50.7 เทียบกับ 26.1 และ 43.9 เทียบกับ 24.1
• รายการที่แพ้เพียงรายการเดียว — FutureOmni ได้ 53.7 เมื่อเทียบกับ 55.1 ส่วน MiniCPM-o-4.5-9B ทำคะแนนได้ 56.1 ในรายการนี้
วิดีโอแบบไม่มีเสียงเป็นตารางที่มีประโยชน์กว่า เพราะมีตัวควบคุมในตระกูลเดียวกันคือ Qwen3.5-9B ซึ่งเป็นแบ็กโบนที่เช็กพอยต์นี้สร้างขึ้นมา อ่านสองคอลัมน์เทียบกันแล้วจะเห็นว่าการฝึกหลังการฝึก (post-training) มีรูปแบบที่ชัดเจน โดยได้เพิ่มขึ้นในด้านการระบุตำแหน่งเชิงเวลาและการรับรู้เชิงเวลา — F-16-NBA 88.7 เทียบกับ 75.8, TimeLens-QVHighlights 66.8 เทียบกับ 64.3, TimeLens-ActivityNet 55.3 เทียบกับ 52.2, TOMATO 48.5 เทียบกับ 45.0 — และลดลงในด้านการสรุปวิดีโอยาวและการจดจำทั่วไป: MLVU 82.4 เทียบกับ 84.4, LVBench 68.2 เทียบกับ 70.0, VideoVista 82.2 เทียบกับ 84.7, VSI-Bench 54.5 เทียบกับ 58.3, MVBench 71.4 เทียบกับ 74.4 ดังนั้นนี่จึงไม่ใช่การอัปเกรดแบบครอบคลุมทุกด้านเหนือแบ็กโบนที่สืบทอดมา แต่เป็นโมเดลที่ปรับมาให้เน้นว่าเหตุการณ์เกิดขึ้นเมื่อใดและที่ไหน โดยมีต้นทุนที่วัดได้ในคะแนนวิดีโอโดยรวมและการให้เหตุผลเชิงพื้นที่ซึ่งแบ็กโบนทำได้ดีกว่าอยู่แล้ว
เสียงคือจุดที่ 9B หยุดชนะ ในโหมด Instruct 9B ทำคะแนน 70.9 บน MMAU-Pro เทียบกับ 64.8 ของ Qwen3.5-Omni-Flash และ 76.8 บน MMSU เทียบกับ 72.2 — แต่แพ้ MMAU 77.0 ต่อ 80.4 และ MMAR 72.8 ต่อ 74.0 และแพ้การรู้จำเสียงพูดอย่างชัดเจน: อัตราคำผิดพลาดของ LibriSpeech 1.5 และ 3.1 ต่อ 1.3 และ 2.4, อัตราอักขระผิดพลาดของ WenetSpeech 5.4 และ 6.8 ต่อ 4.4 และ 5.5 ข้อความและความรู้บอกเรื่องเดียวกัน: MMLU-Pro 81.6 ต่อ 82.5 ของแกนหลัก Qwen3.5-9B, GPQA 77.8 ต่อ 81.7, HMMT 75.0 ต่อ 82.9 หากทรานสคริปต์คือผลิตภัณฑ์ ตัวรู้จำเฉพาะทางยังคงชนะ
การเปรียบเทียบหนึ่งรายการในบทความควรอ่านอย่างระมัดระวัง ตาราง omni-modal รันโมเดล WeMM ใน Thinking mode ขณะที่ตารางด้านเสียงรันใน Instruct เนื่องจากผู้เขียนเห็นว่า benchmark ด้านเสียงมาตรฐานเป็นงานการรับรู้โดยตรง การแยกเช่นนี้เป็นสิ่งที่ป้องกันได้ และยังหมายความว่าแถวของ WeMM ในตารางหนึ่งไม่สามารถเปรียบเทียบกับแถวของคู่แข่งในอีกตารางหนึ่งได้
โดยค่าเริ่มต้น วิดีโอมีความยาวแปดวินาที
ช่องว่างระหว่างสิ่งที่ checkpoint ยอมรับได้กับสิ่งที่ recipes ที่จัดส่งมอบให้กับมันนั้นกว้างพอที่จะเปลี่ยนผลลัพธ์ได้ ดังนั้นจึงควรอยู่ในแผนการประเมินใด ๆ
• งบประมาณเฟรม — โปรเซสเซอร์ใช้ค่าเริ่มต้นที่ 2 fps โดยมีเฟรมขั้นต่ำ 4 เฟรม สูงสุด 128 เฟรม และจำนวนพิกเซลรวม 100,663,296 พิกเซล สูตร vLLM จะเขียนทับค่าทั้งสี่นี้เป็น 2 fps, 16 เฟรม และ 262,144 พิกเซล ที่ 2 fps สิบหกเฟรมจะครอบคลุมเวลาแปดวินาทีจากตรงกลางคลิป
• บริบท — คอนฟิกข้อความระบุ position embeddings จำนวน 262,144 ตำแหน่ง ทุกคำสั่งเสิร์ฟที่ Tencent เผยแพร่จะส่ง max-model-len 8192 หรือ context-length 8192 และไม่มีสิ่งใดในรีโพซิทอรีอธิบายวิธีไปถึงค่าที่ใหญ่กว่านั้น
• ค่าใช้จ่ายด้านเสียง — 10 โทเค็นต่อวินาที ดังนั้นงบ 8,192 โทเค็นจึงเท่ากับเสียงประมาณสิบสามนาทีและไม่มีอะไรอื่นเลย วิดีโอที่มีแทร็กเสียงจะใช้งบนี้ไปกับเฟรมและเสียงพร้อมกัน
• สื่อต่อคำขอ — รูปภาพสี่รูป วิดีโอสองรายการ และไฟล์เสียงสองรายการ ตามขีดจำกัดที่เผยแพร่
ยังไม่มีใครนอก WeChat Vision ที่เผยแพร่ว่าการรัน benchmark เหล่านั้นใช้การสุ่มตัวอย่างแบบใด หากคุณกำลังพยายามทำซ้ำตัวเลขจากตารางด้านบน นั่นคือค่าที่ไม่ทราบค่าประการแรกที่ต้องระบุให้ชัดเจน และค่าเริ่มต้น 16 เฟรมที่มาพร้อมระบบก็ไม่ใช่จุดเริ่มต้นที่ถูกต้อง
สิ่งที่คุณทำได้จริง ๆ กับมันในวันนี้
OrcaRouter ไม่ให้บริการ WeMM-Video-9B และแค็ตตาล็อกของ它也? ไม่ มี WeMM checkpoint เลยสักรายการ ไม่มีราคาแบบโฮสต์ให้เสนอ และไม่มี endpoint ให้เรียก ดังนั้นวันนี้จึงเป็นงาน self-host: แพตช์ vLLM หรือ SGLang จากไดเรกทอรี overlay ของรีโพซิทอรี ปักหมุดชุดค่าผสม PyTorch, Transformers และ CUDA 12.9 ให้ตรงตามที่ manifest ของแพตช์ระบุสำหรับเวอร์ชันเอนจินของคุณ และเผื่องบ 13 GiB บวกแคช เส้นทาง GGUF ต้องใช้รันไทม์เนทีฟของ Tencent ที่สร้างจากซอร์ส
สำหรับงานฝั่งวิชันนั้นมีทางเลือกแบบเปิดอยู่บนแพลตฟอร์มแล้ว — Qwen3-VL-235B-A22B-Thinking และ Qwen3-VL-8B-Thinking ทั้งคู่รับภาพและเฟรมวิดีโอ โดยเข้าถึงได้ผ่านคีย์ที่เข้ากันได้กับ OpenAI เพียงคีย์เดียวพร้อมกับโมเดลอื่นอีก 200+ โมเดล ในราคาบวกเพิ่ม 0%เหนือราคาตามรายการของผู้ให้บริการ ทั้งสองไม่ได้ยินอะไรเลย และไม่มีสิ่งใดเทียบเท่า WeMM สำหรับฝั่งเสียง หากคุณต้องการลองโมเดล 9B ที่โฮสต์เองโดยไม่นำไปวางบนเส้นทางโปรดักชัน การกำหนดเส้นทางให้อยู่หลังกฎ failover เป็นวิธีที่ประหยัดในการค้นหาว่า runtime ที่แพตช์แล้วจะรับไหวที่ระดับ concurrency ของคุณหรือไม่ ก่อนที่คุณจะผูกการ์ดไว้กับมัน
ส่วนบิลด์แบบสี่บิตนั้น เป็นสิ่งที่ควรรอให้พร้อมมากกว่าสิ่งที่ควรนำมาใช้ แมนนิเฟสต์ของตัวมันเองระบุว่ายังไม่ผ่านการตรวจสอบ และการคำนวณขนาดบอกว่าการบีบอัดที่พวกมันเสนอช่วยประหยัดเวตได้ 34% — คุ้มที่จะมีไว้ แต่ไม่คุ้มที่จะรื้อสถาปัตยกรรมการดีพลอยเพื่อสิ่งนี้ สัญญาณที่ควรจับตามองไม่ใช่รีโพซิทอรีควอนไทเซชันอีกแห่ง แต่คือแมนนิเฟสต์แรกในตระกูลนี้ที่ตัดคำว่า pending ตามด้วยการทำซ้ำตารางโดยอิสระครั้งแรกของตารางที่ปัจจุบันมีอยู่เพียงแห่งเดียวเท่านั้น: ไฟล์ PDF ของผู้เขียน
การเปรียบเทียบในบทความนี้1
ตรวจพบจากบทความนี้
