การ์ดชื่อเรื่องหลักที่ระบุว่า 'WeMM-Video-9B: ทำไมบิลด์ 4-bit ของมันจึงยังมีขนาด 13 GiB' พร้อมคำบรรยายใต้ภาพว่า 'Tencent เผยแพร่รีโพซิทอรี WeMM-Video จำนวนสิบเก้าแห่งเมื่อวันที่ 17 พฤศจิกายน 2026 โดยไม่มีโพสต์เปิดตัว' มีสี่แถวชิปหน่วยความจำสำหรับฐาน BF16 ที่ 19.54 GiB กระจายห้าชาร์ด, FP8 Block128 ที่ 13.10 GiB, AWQ W4A16 ที่ 12.86 GiB และ NVFP4 W4A16 ที่ 13.07 GiB, บรรทัดที่ไฮไลต์ซึ่งระบุ 0.42 GiB ระหว่างบิลด์บีบอัดทั้งสี่ และส่วนท้ายระบุว่าขนาดวัดจากรายการไฟล์ของแต่ละรีโพซิทอรี Hugging Face และเป็นข้อมูลที่ผู้จำหน่ายรายงานโดยไม่มีการตรวจสอบอย่างอิสระ
Engineering & Research

WeMM-Video-9B: ทำไมบิลด์ 4 บิตจึงยังมีขนาด 13 GiB

ผู้เขียน

jinhao.song

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

การควอนไทซ์แบบสี่บิตควรอยู่ที่ประมาณหนึ่งในสี่ของไฟล์น้ำหนักต้นทาง WeMM-Video-9Bมีขนาด 19.54 GiB ใน BF16 และบิลด์ AWQ W4A16 ของมันมีขนาด 12.86 GiB นั่นคือการลดลง 34% ไม่ใช่ 75% — และบิลด์ FP8, AWQ, NVFP4 และ GGUF ต่างก็อยู่ในระยะห่างกันไม่เกิน 0.42 GiB ดังนั้นการเลือกระหว่างบิลด์เหล่านี้จึงแทบไม่ได้ช่วยประหยัดหน่วยความจำเลย แมนิเฟสต์ของผู้ส่งออกเองอธิบายว่าทำไม: ไปป์ไลน์ 4 บิตบีบอัดเฉพาะเมทริกซ์ฟีดฟอร์เวิร์ดแบบเดนส์ — 4.83 พันล้านพารามิเตอร์จาก 10.49 พันล้าน — ในขณะที่วิชันทาวเวอร์ ออดิโอทาวเวอร์ เลเยอร์ embedding หัวเอาต์พุต และน้ำหนัก attention ยังคงความแม่นยำดั้งเดิมไว้ทั้งหมด และพารามิเตอร์ 5.7 พันล้านตัวที่ตัวละสองไบต์กำหนดพื้นขั้นต่ำที่สูตร W4 ใดก็ลดลงไปต่ำกว่านั้นไม่ได้ T​encent เผยแพร่ weights สูตรการควอนไทซ์ และรายงานทางเทคนิคที่มีผู้เขียน 12 คนในวันที่ 17–19 พฤศจิกายน โดยไม่มีโพสต์เปิดตัว และส่วนที่ยังไม่มีใครเขียนถึงก็คือการคำนวณ — ซึ่งบังเอิญเป็นส่วนที่ตัดสินว่าโมเดลนี้ใส่ GPU ที่คุณมีอยู่แล้วได้หรือไม่ ในตารางของ T​encent เอง มันชนะQwen3-Omni-30B-A3B-Instructใน 35 จาก 37 ตัวเลขด้านเสียงและภาพร่วมที่ทั้งสองมีร่วมกัน ส่วนคำถามที่ว่าบิลด์สี่บิตของมันปลอดภัยพอจะนำไปใช้งานหรือไม่นั้น หลักฐานที่มีอยู่นั้นบางกว่าที่สิบเก้ารีโพซิทอรีบ่งชี้

สแต็ก 10.49B ที่ติดป้ายว่า 9B

รีโพซิทอรี tencent/WeMM-Video-9B ถูกสร้างเมื่อเวลา 08:55:54 UTC ของวันที่ 17 พฤศจิกายน 2026 ซึ่งเป็นเวลา 14 วินาทีหลังจากรุ่นพี่น้อง AWQ และ 11 นาทีหลังจากรุ่นผู้นำ 35B-A3B มีรีโพซิทอรี WeMM-Video จำนวนสิบเก้าแห่งภายใต้องค์กร Tencent โดยทั้งหมดถูกสร้างขึ้นภายในช่วงเวลา 5 นาทีในเช้าวันนั้น ซึ่งเป็นลักษณะเฉพาะของสคริปต์อัปโหลดมากกว่าที่จะเป็นบุคคลที่เผยแพร่ทีละโมเดล โปรเจกต์ GitHub Tencent/WeMM-Video ถูกสร้างขึ้นก่อนหน้านั้นหกชั่วโมง เมื่อเวลา 02:29 UTC คอมมิตเริ่มต้นที่มีเนื้อหาสำคัญถูกบันทึกเมื่อวันที่ 19 พฤศจิกายน และการแก้ไข README ยังคงเข้ามาในวันที่ 20 พฤศจิกายน บทความ arXiv 2611.26409 ถูกส่งเมื่อเวลา 16:58 UTC ของวันที่ 19 พฤศจิกายน

Screenshot of the Hugging Face model page for tencent/WeMM-Video-9B, showing the model card, the file listing and the repository tab bar for a repository created on 17 November 2026 with no launch announcement linked from it.

ไม่มีสิ่งใดในนั้นถูกประกาศ เราไม่พบโพสต์บล็อกของ Tencent หน้าเปิดตัว WeChat Vision ข่าวประชาสัมพันธ์ หรือแพ็กเกจแบบจ่ายเงินที่ชี้มาที่ตระกูลนี้ ณ เวลาที่เขียน รีโพซิทอรีทั้งสิบเก้าแห่งแสดงยอดดาวน์โหลดเป็นศูนย์ และเมื่อรวมกันแล้วมีไลก์สามครั้ง Artificial Analysis ไม่ได้ระบุโมเดล WeMM ไว้ ข้อเท็จจริงทั้งสองข้อนั้นไม่ได้บอกอะไรเกี่ยวกับคุณภาพ — มันบอกว่าขั้นตอนการเผยแพร่ถูกข้ามไป

"9B" ในชื่อคือแกนหลักทางภาษา ไม่ใช่เช็กพอยต์ Hugging Face บันทึกพารามิเตอร์ 10,488,603,384 ตัวกระจายอยู่ในเทนเซอร์ 1,305 ตัว และเมื่ออ่านชาร์ด safetensors ทั้งห้าไฟล์ตามชื่อ จะจัด它們ออกเป็นสี่กลุ่ม:

• โมเดลภาษา — พารามิเตอร์ 7.94B รวมถึงการฝังโทเค็นขนาด 1.02B

• หัวเอาต์พุต — พารามิเตอร์ 1.02B embedding ไม่ได้ผูกกัน ดังนั้นนี่จึงเป็นสำเนาเต็มชุดที่สองของคำศัพท์ 248,320 โทเคนที่ขนาดซ่อน 4,096

• ทาวเวอร์เสียง — พารามิเตอร์ 1.08B เอนโคเดอร์และดีโคเดอร์สไตล์ Whisper อย่างละ 32 เลเยอร์ที่ความกว้าง 1,280 ป้อนเข้าสู่ Q-Former สองเลเยอร์ซึ่งบีบอัดหน้าต่าง 0.1 วินาทีให้เป็น 10 โทเค็นเสียงต่อวินาที

• Vision tower — พารามิเตอร์ 0.46B จำนวน 27 บล็อก ที่ขนาดซ่อน 1,152 ขนาดแพตช์ 16 การผสานเชิงพื้นที่ 2 แพตช์เชิงเวลา 2

ดังนั้นประมาณหนึ่งในห้าของไฟล์คือหูและตา เปเปอร์ระบุที่มาอย่างชัดเจนว่าโมเดล dense ขนาด 2B, 4B และ 9B สร้างขึ้นบน Qwen3.5-2B, Qwen3.5-4B และ Qwen3.5-9B ส่วนโมเดล mixture-of-experts สร้างบน Qwen3.6-35B-A3B เอนโคเดอร์เสียงได้รับการกำหนดค่าเริ่มต้นจาก Qwen2.5-Omni และเอนโคเดอร์ภาพแบบเนทีฟถูกเก็บไว้แทนที่จะสลับเปลี่ยน และถูกฟรีซตั้งแต่ช่วง pre-training ระยะที่สองเป็นต้นไป เนื่องจากเอนโคเดอร์เหล่านี้ "ให้การแทนข้อมูลภาพที่แข็งแกร่งเพียงพออยู่แล้ว"

แบ็กโบนเองเป็นแบบไฮบริด: 32 เลเยอร์ ขนาด hidden 4,096 หัว attention 16 หัว เทียบกับหัว key-value 4 หัวที่มิติหัว 256 โดยมีเลเยอร์ full-attention หนึ่งเลเยอร์ทุก ๆ สามเลเยอร์ linear-attention และแคช SSM แบบ float32 — ซึ่งเป็นเหตุผลว่าทุกคำสั่ง serving ในรีโพซิทอรีจึงมี mamba-ssm-cache-dtype float32 เป็นแฟล็ก Position embedding ถูกประกาศไว้ที่ 262,144 โทเคน; ส่วน RoPE แบบมัลติโมดัลที่สลับแทรกกันคือ 11/11/10 สัญญาอนุญาตคือ Apache 2.0 โดยมีข้อยกเว้นสำหรับบุคคลที่สามซึ่งไม่ได้ระบุรายละเอียดไว้ใน model card

สี่บิลด์ สี่ขนาดที่เกือบเหมือนกัน

นี่คือขั้นบันไดการควอนไทซ์ทั้งหมด โดยวัดจากรายการไฟล์ของแต่ละรีโพซิทอรีเอง แทนที่จะมาจากตัวเลขที่ปัดเศษบนการ์ด:

• ฐาน BF16 — 19.54 GiB กระจายอยู่ในห้าชาร์ด

• FP8 Block128 — 13.10 GiB ไฟล์เดียว ต้องใช้ GPU ที่รองรับ FP8 และ vLLM 0.18.0 ที่แพตช์แล้ว

• AWQ W4A16 — 12.86 GiB, group-128 INT4 ในรูปแบบ compressed-tensors vLLM 0.18.0 ที่แพตช์แล้ว

• NVFP4 W4A16 — 13.07 GiB, ความแม่นยำแบบผสม ModelOpt 0.45.0 พร้อมขนาดกลุ่ม 16 vLLM 0.31.0 ที่แพตช์แล้วพร้อม Marlin การกำหนดค่าอ้างอิง SM120

• GGUF Q4_K_M — 13.28 GiB ในรูปแบบชุดรวมสามไฟล์: ภาษา 10.41 GiB, เสียง 2.01 GiB, ตัวฉายภาพสำหรับวิชัน 0.86 GiB

Generated single-column scoreboard titled 'WeMM-Video-9B — the scoreboard' with six memory-chip rows: BF16 base 19.54 GiB across five shards, FP8 Block128 13.10 GiB, AWQ W4A16 12.86 GiB, NVFP4 W4A16 13.07 GiB, GGUF Q4_K_M 13.28 GiB, and a spread of 0.42 GiB across the four compressed builds, with a footer stating the sizes are measured from each Hugging Face repository's file listing and are vendor-reported with no independent verification.

ช่วงต่างระหว่างบิลด์ที่บีบอัดแล้วทั้งสี่ตัวคือ 0.42 GiB ซึ่งน้อยกว่าบัฟเฟอร์ที่คุณจะเผื่อไว้สำหรับอัปเดตไดรเวอร์ หากคุณกำลังเลือกระหว่างบิลด์เหล่านี้เพื่อให้พอดีกับการ์ด คุณกำลังเลือกตัวแปรผิด: ให้เลือกจาก GPU ที่คุณมีและรันไทม์ที่คุณแพตช์ได้ เพราะความแตกต่างด้านหน่วยความจำไม่ได้อยู่ตรงนั้น

ความคาดหวังแบบตรงไปตรงมา — หนึ่งในสี่ของ 19.54 GiB ซึ่งก็ประมาณ 4.9 GiB — คลาดเคลื่อนไปถึงสองเท่าครึ่ง แม้แต่พื้นที่เผื่อเมื่อเทียบกับ BF16 ก็ยังมีไม่มาก: AWQ ประหยัดได้ 6.68 GiB ซึ่งเป็น 34% จริง แต่ไม่ใกล้เคียงกับคำว่า "เล็กกว่าสี่เท่า" ที่ป้าย W4 บอกเป็นนัยเลย

สิ่งที่ผู้ส่งออกปกป้อง และเพราะเหตุใด

ทั้ง manifest ของ AWQ และ GGUF ระบุอย่างชัดเจนว่าเทนเซอร์ใดบ้างที่ได้รับอนุญาตให้แตะต้อง และคำตอบก็อธิบายถึงภาวะขนาดที่นิ่งตัว

• เฉพาะเมทริกซ์ฟีดฟอร์เวิร์ดแบบเดนส์เท่านั้นที่ถูกควอนไทซ์ แมนิเฟสต์ AWQ บันทึกเมทริกซ์ภาษาที่ถูกควอนไทซ์ไว้ 96 เมทริกซ์ — สามเมทริกซ์ต่อเลเยอร์ใน 32 เลเยอร์ โดยแต่ละเมทริกซ์มีขนาด 4,096 คูณ 12,288 นั่นคือพารามิเตอร์ 4.83B จาก 10.49B หรือ 46% ของเช็กพอยต์ ส่วนอื่นทั้งหมดยังคงความแม่นยำเดิม

• เส้นทาง attention ได้รับการคืนค่าเป็น BF16 แล้ว แมนิเฟสต์ของ AWQ มีบล็อก attention_restoration ที่ระบุเมทริกซ์การฉายภาพ attention จำนวน 152 รายการ และนอร์มอินพุตจำนวน 32 รายการที่คัดลอกกลับมาจากเช็กพอยต์ต้นทางพร้อมแฮช SHA-256 ของรายการเหล่านั้น ไฟล์ขอบเขต GGUF รายงานจำนวนเดียวกัน — protected_attention_BF16: 152 — และระบุเพิ่มเติมว่าเทนเซอร์ embedding และ output เป็นรายการป้องกันอื่นเพียงสองรายการเท่านั้น

• ฟรอนต์เอนด์และทาวเวอร์สื่อทั้งสองไม่เคยเข้าสู่ตัวควอนไทเซอร์เลย มีเทนเซอร์ 881 ตัวที่ถูกระบุว่าเป็นเทนเซอร์ฟรอนต์เอนด์ เทนเซอร์การฝัง และเทนเซอร์หัวที่ได้รับการป้องกันใน AWQ manifest — 333 ตัวจากทาวเวอร์ภาพ, 545 ตัวจากทาวเวอร์เสียง, การฝังโทเคน, หัวเอาต์พุตแบบ untied และนอร์มสุดท้าย ที่ BF16 นั่นคือพารามิเตอร์ประมาณ 3.57B หรือ 7.1 GB จากไฟล์ 21.0 GB ซึ่งอยู่นอกขั้นตอนการบีบอัดทั้งหมด

ผลลัพธ์ที่ได้คือตัวเลขที่แผนการติดตั้งใช้งานจำเป็นต้องใช้จริง ๆ: กันงบ VRAM ไว้ 13–13.5 GiB สำหรับ weights ไม่ว่าจะเลือกบิลด์ไหนก็ตาม จากนั้นจึงเพิ่ม KV cache และ float32 SSM cache เข้าไปบนนั้นอีกที "4-bit 9B" ที่ต้องใช้ weights 13 GiB ไม่ใช่ปัญหาของตัวโมเดล — เพราะแค่ vocabulary อย่างเดียวก็มี 248,320 โทเคนที่ถูกฝังไว้สองครั้ง และ audio tower ก็คือ Whisper ขนาด 1.08B พารามิเตอร์ที่อยู่ตรงกลางของมัน — แต่มันคือความแตกต่างระหว่างการใส่พอดีบนการ์ด 16 GB ที่ยังมีพื้นที่ให้ทำงาน กับการใส่ไม่ได้เลย

ตรวจสอบแล้วว่าสามารถโหลดได้ แต่ไม่ได้ตรวจสอบว่ามีค่าเท่ากัน

การ์ดการควอนไทเซชันทุกใบในตระกูลนี้รายงานผลการทดสอบแบบ smoke test และแมนนิเฟสต์ทุกรายการรายงานสิ่งที่ตรงไปตรงมามากกว่า อ่านทั้งสองอย่างเทียบกัน เพราะช่องว่างระหว่างสิ่งเหล่านั้นคือความเสี่ยงทั้งหมดของการใช้บิลด์ที่ถูกบีบอัด

• FP8 Block128 — การ์ด: vLLM ที่แพตช์แล้วโหลดบน H20 และผ่านการตรวจสอบการสร้างข้อความ รูปภาพ เสียง และวิดีโอพร้อมเสียง และการตรวจสอบความแม่นยำขณะรันยืนยันเส้นทาง W8A8 Manifest: สถานะ quantized_and_independently_reloaded_native_inference_pending โดยมี native_inference_validated: false และ native_low_precision_gemm_validated: false บันทึกเป็นแฟล็กแยกกัน

• AWQ W4A16 — การ์ด: vLLM ที่แพตช์แล้วโหลดบน H20 ผ่านการตรวจสอบสี่รายการเดียวกัน และการตรวจสอบความแม่นยำยืนยันน้ำหนัก feed-forward แบบ INT4 เทียบกับ attention แบบ BF16 แมนนิเฟสต์: สถานะ quantized_unvalidated โดยมี diagnostic_variant ที่ระบุบิลด์อ้างอิงแบบ BF16-attention ควบคู่กับบิลด์ INT4.

• NVFP4 W4A16 — การ์ด: vLLM 0.31.0 ที่แพตช์แล้วโหลดและรัน "น้ำหนักอ้างอิง PRO 5000" และผ่านการตรวจสอบการสร้างผลลัพธ์ห้ารายการ รวมถึงวิดีโอแบบไม่มีเสียง แมนิเฟสต์: ข้ออ้างสามข้อเดียวกันนี้ถูกบันทึกเป็นแฟล็ก และทุกข้ออ่านค่าเป็นเท็จ — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — ภายใต้สถานะ cpu_NVFP4_weight_artifact_independently_reread สิ่งที่แมนิเฟสต์ยืนยันได้จริงคือการตรวจสอบเชิงตัวเลข: เมทริกซ์ 96 ชุดและ 4,831,838,208 องค์ประกอบถูกดีควอนไทซ์อย่างอิสระ ค่าเฉลี่ย RMSE สัมพัทธ์ 0.095 เทียบกับขีดจำกัด 0.35 โดยมีเทนเซอร์ที่ได้รับการป้องกัน 1,209 ชุดซึ่งยืนยันแล้วว่าตรงกันทุกบิต จำนวนองค์ประกอบดังกล่าวคือ 4.83 พันล้านตัวเดียวกับที่ข้อความขอบเขตระบุไว้ ซึ่งเป็นสิ่งที่ทำให้รู้ว่าการคำนวณในชิ้นงานนี้กับของผู้ส่งออกสอดคล้องกัน

• GGUF Q4_K_M — การ์ด: รันไทม์ CPU แบบเนทีฟโหลดบันเดิลและสร้างเอาต์พุตข้อความ รูปภาพ เสียง และวิดีโอ สถานะแมนิเฟสต์ exported_unvalidated; สถานะขอบเขต quantized_candidate_not_validated.

“มันโหลดขึ้นและสร้างผลลัพธ์ได้” ถือเป็นผลลัพธ์จริงและมีคุณค่า — checkpoint แบบหลายโมดัลที่ถูกควอนไทซ์จำนวนมากล้มเหลวตรงขั้นตอนนั้นพอดี แต่มันไม่ใช่ผลลัพธ์ที่ใช้ตัดสินการนำไปใช้งาน เพราะการ์ดเหล่านี้ไม่ได้รายงานตัวเลขความแม่นยำแม้แต่ตัวเดียวสำหรับบิลด์ที่ถูกบีบอัดเมื่อเทียบกับต้นฉบับ BF16 ของตัวเอง ไม่มีค่าความต่างที่วัดได้บน MMAU บน Video-MME หรือบน WER ของการถอดเสียง ข้อกล่าวอ้างเรื่องความแม่นยำเพียงข้อเดียวที่มีอยู่ที่ไหนก็ตามเป็นเชิงโครงสร้าง จากผลตรวจสอบ AWQ: INT4 ในฟีดฟอร์เวิร์ด, BF16 ในแอตเทนชัน นั่นอธิบายตัวไฟล์ แต่ไม่ได้บอกว่าการบีบอัดมีต้นทุนเท่าไร และบนโมเดลที่ช่วงห่างเหนือ Qwen3-Omni-30B-A3B-Instruct บน Video-MME แบบมีเสียงอยู่ที่ 7.8 จุด ขนาดของต้นทุนนั้นไม่ใช่คำถามเรื่องการปัดเศษ

ดังนั้นหลักปฏิบัติสำหรับตระกูลนี้คือการรัน benchmark หนึ่งตัวที่คุณสนใจใหม่บนบิลด์ที่คุณตั้งใจจะปล่อยจริง เทียบกับฐาน BF16 ก่อนที่คุณจะเชื่อตารางจากเปเปอร์ นั่นเป็นงานไม่กี่ชั่วโมง และเป็นวิธีเดียวที่จะรู้ว่า INT4 feed-forward สามารถสลับเข้ามาโดยที่ผลลัพธ์วิดีโอยังคงเดิมได้หรือไม่ หรือว่าการประหยัด 34% นั้นต้องแลกมาด้วยตัวเลขที่การ์ดกำลังขายอยู่

Screenshot of the raw quantization_manifest.json for the FP8 Block128 build of tencent/WeMM-Video-9B on Hugging Face, showing the status field quantized_and_independently_reloaded_native_inference_pending, an official_repo field naming Qwen/Qwen3.5-35B-A3B-FP8, and the algorithm field Transformers 5.5.3 Fp8Quantize.convert.

ภายใต้สิ่งนั้นมีกับดักเชิงกลสองอัน

ตัวแรกคือ GGUF "GGUF Q4_K_M" มักถูกอ่านว่า "รันใน llama.cpp หรือ Ollama" แต่ไม่ใช่เช่นนั้น บันเดิลนี้สร้างขึ้นสำหรับรันไทม์เนทีฟของ Tencent เอง ซึ่งคุณต้องคอมไพล์จากรีโพซิทอรี; quick start ในโมเดลการ์ดคือ install-cpu/bin และ native/run_hf.py ตัวเรียกใช้งาน และคู่มือการเสิร์ฟกำหนดให้ GGUF ไปยังรันไทม์นั้นเท่านั้น หากไปป์ไลน์ของคุณมีลักษณะแบบ llama.cpp เช็กพอยต์นี้ไม่ใช่ทางลัดอย่างที่ดูเหมือน

ประการที่สองเป็นข้อบกพร่องด้านเอกสารที่ควรระบุไว้ เพราะจะทำให้ใครก็ตามที่อ่านไฟล์ manifest ตามลำดับสับสน แมนนิเฟสต์ FP8 ทั้งสามไฟล์ — สำหรับ 2B, 4B และ 9B — มีฟิลด์ official_repoเดียวกัน: Qwen/Qwen3.5-35B-A3B-FP8 มันเป็นสตริงแหล่งที่มาที่คัดลอกมาวางในบันทึกสูตร ไม่ใช่ข้อความที่บอกว่าเช็กพอยต์ 9B เป็นโมเดล mixture-of-experts ขนาด 35B แอบแฝง ไม่มีอย่างอื่นในไฟล์ที่สนับสนุนการตีความนั้น: รายการแหล่งที่มาในแมนนิเฟสต์เดียวกันชี้ไปที่ห้าชาร์ดของ tencent/WeMM-Video-9B พร้อมแฮชที่ตรงกัน และบล็อกสถาปัตยกรรมบันทึกว่าเป็นโมเดล dense 32 เลเยอร์ที่ไม่มีผู้เชี่ยวชาญเลย 35B-A3B เป็นโมเดลแยกจริง และยังเป็นขนาดเดียวในตระกูลที่ไม่มีคลัง FP8 ของตัวเอง โดยมีเฉพาะ base, AWQ, GGUF และ NVFP4 เท่านั้น

9B เทียบกับ 30B บนตารางของ Tencent

ตัวเลข benchmark ทุกตัวด้านล่างเป็นข้อมูลของผู้เขียนเอง จาก arXiv 2611.26409 และยังไม่มีบุคคลที่สามรายใดทำซ้ำผลลัพธ์ใด ๆ เหล่านี้ได้ เอกสารระบุไว้เช่นนั้นว่า โมเดลที่มีอยู่ถูกรายงานที่ "{{1}}ผลลัพธ์อย่างเป็นทางการเมื่อมีข้อมูล และเป็นการประเมินของเราเองในกรณีอื่น{{/1}}" โปรดถือว่าส่วนนี้เป็นคำอธิบายของข้อกล่าวอ้าง ไม่ใช่การวัด

บนตารางเสียง-ภาพร่วม ในโหมด Thinking รุ่น 9B เอาชนะ Qwen3-Omni-30B-A3B-Instruct ใน 35 จาก 37 ตัวเลขที่ทั้งสองคอลัมน์มีร่วมกัน โดยเสมอหนึ่งและแพ้หนึ่ง — เมื่อเทียบกับโมเดลที่มีขนาดใหญ่กว่าประมาณสามเท่า:

• Video-MME พร้อมเสียง — 85.1 เทียบกับ 77.3 โดย MiniCPM-o-4.5-9B อยู่ที่ 69.2

• Video-MME-v2 พร้อมเสียง — 51.6 เทียบกับ 36.3 โดยห่างกัน 15.3 คะแนน

• Daily-Omni — 83.6 เทียบกับ 70.7 แม้ว่าคะแนน 80.2 ของ MiniCPM-o-4.5-9B จะทำให้ผลลัพธ์นี้กลายเป็นการแข่งขันสามฝ่ายมากกว่าจะเป็นการชนะแบบขาดลอย

• SciVideoBench และ MMOU — 64.2 เทียบกับ 49.9 และ 71.7 เทียบกับ 60.5

• EvaOmni และ OmniReasoningBench — 50.7 เทียบกับ 26.1 และ 43.9 เทียบกับ 24.1

• รายการที่แพ้เพียงรายการเดียว — FutureOmni ได้ 53.7 เมื่อเทียบกับ 55.1 ส่วน MiniCPM-o-4.5-9B ทำคะแนนได้ 56.1 ในรายการนี้

วิดีโอแบบไม่มีเสียงเป็นตารางที่มีประโยชน์กว่า เพราะมีตัวควบคุมในตระกูลเดียวกันคือ Qwen3.5-9B ซึ่งเป็นแบ็กโบนที่เช็กพอยต์นี้สร้างขึ้นมา อ่านสองคอลัมน์เทียบกันแล้วจะเห็นว่าการฝึกหลังการฝึก (post-training) มีรูปแบบที่ชัดเจน โดยได้เพิ่มขึ้นในด้านการระบุตำแหน่งเชิงเวลาและการรับรู้เชิงเวลา — F-16-NBA 88.7 เทียบกับ 75.8, TimeLens-QVHighlights 66.8 เทียบกับ 64.3, TimeLens-ActivityNet 55.3 เทียบกับ 52.2, TOMATO 48.5 เทียบกับ 45.0 — และลดลงในด้านการสรุปวิดีโอยาวและการจดจำทั่วไป: MLVU 82.4 เทียบกับ 84.4, LVBench 68.2 เทียบกับ 70.0, VideoVista 82.2 เทียบกับ 84.7, VSI-Bench 54.5 เทียบกับ 58.3, MVBench 71.4 เทียบกับ 74.4 ดังนั้นนี่จึงไม่ใช่การอัปเกรดแบบครอบคลุมทุกด้านเหนือแบ็กโบนที่สืบทอดมา แต่เป็นโมเดลที่ปรับมาให้เน้นว่าเหตุการณ์เกิดขึ้นเมื่อใดและที่ไหน โดยมีต้นทุนที่วัดได้ในคะแนนวิดีโอโดยรวมและการให้เหตุผลเชิงพื้นที่ซึ่งแบ็กโบนทำได้ดีกว่าอยู่แล้ว

เสียงคือจุดที่ 9B หยุดชนะ ในโหมด Instruct 9B ทำคะแนน 70.9 บน MMAU-Pro เทียบกับ 64.8 ของ Qwen3.5-Omni-Flash และ 76.8 บน MMSU เทียบกับ 72.2 — แต่แพ้ MMAU 77.0 ต่อ 80.4 และ MMAR 72.8 ต่อ 74.0 และแพ้การรู้จำเสียงพูดอย่างชัดเจน: อัตราคำผิดพลาดของ LibriSpeech 1.5 และ 3.1 ต่อ 1.3 และ 2.4, อัตราอักขระผิดพลาดของ WenetSpeech 5.4 และ 6.8 ต่อ 4.4 และ 5.5 ข้อความและความรู้บอกเรื่องเดียวกัน: MMLU-Pro 81.6 ต่อ 82.5 ของแกนหลัก Qwen3.5-9B, GPQA 77.8 ต่อ 81.7, HMMT 75.0 ต่อ 82.9 หากทรานสคริปต์คือผลิตภัณฑ์ ตัวรู้จำเฉพาะทางยังคงชนะ

การเปรียบเทียบหนึ่งรายการในบทความควรอ่านอย่างระมัดระวัง ตาราง omni-modal รันโมเดล WeMM ใน Thinking mode ขณะที่ตารางด้านเสียงรันใน Instruct เนื่องจากผู้เขียนเห็นว่า benchmark ด้านเสียงมาตรฐานเป็นงานการรับรู้โดยตรง การแยกเช่นนี้เป็นสิ่งที่ป้องกันได้ และยังหมายความว่าแถวของ WeMM ในตารางหนึ่งไม่สามารถเปรียบเทียบกับแถวของคู่แข่งในอีกตารางหนึ่งได้

โดยค่าเริ่มต้น วิดีโอมีความยาวแปดวินาที

ช่องว่างระหว่างสิ่งที่ checkpoint ยอมรับได้กับสิ่งที่ recipes ที่จัดส่งมอบให้กับมันนั้นกว้างพอที่จะเปลี่ยนผลลัพธ์ได้ ดังนั้นจึงควรอยู่ในแผนการประเมินใด ๆ

• งบประมาณเฟรม — โปรเซสเซอร์ใช้ค่าเริ่มต้นที่ 2 fps โดยมีเฟรมขั้นต่ำ 4 เฟรม สูงสุด 128 เฟรม และจำนวนพิกเซลรวม 100,663,296 พิกเซล สูตร vLLM จะเขียนทับค่าทั้งสี่นี้เป็น 2 fps, 16 เฟรม และ 262,144 พิกเซล ที่ 2 fps สิบหกเฟรมจะครอบคลุมเวลาแปดวินาทีจากตรงกลางคลิป

• บริบท — คอนฟิกข้อความระบุ position embeddings จำนวน 262,144 ตำแหน่ง ทุกคำสั่งเสิร์ฟที่ T​encent เผยแพร่จะส่ง max-model-len 8192 หรือ context-length 8192 และไม่มีสิ่งใดในรีโพซิทอรีอธิบายวิธีไปถึงค่าที่ใหญ่กว่านั้น

• ค่าใช้จ่ายด้านเสียง — 10 โทเค็นต่อวินาที ดังนั้นงบ 8,192 โทเค็นจึงเท่ากับเสียงประมาณสิบสามนาทีและไม่มีอะไรอื่นเลย วิดีโอที่มีแทร็กเสียงจะใช้งบนี้ไปกับเฟรมและเสียงพร้อมกัน

• สื่อต่อคำขอ — รูปภาพสี่รูป วิดีโอสองรายการ และไฟล์เสียงสองรายการ ตามขีดจำกัดที่เผยแพร่

ยังไม่มีใครนอก WeChat Vision ที่เผยแพร่ว่าการรัน benchmark เหล่านั้นใช้การสุ่มตัวอย่างแบบใด หากคุณกำลังพยายามทำซ้ำตัวเลขจากตารางด้านบน นั่นคือค่าที่ไม่ทราบค่าประการแรกที่ต้องระบุให้ชัดเจน และค่าเริ่มต้น 16 เฟรมที่มาพร้อมระบบก็ไม่ใช่จุดเริ่มต้นที่ถูกต้อง

สิ่งที่คุณทำได้จริง ๆ กับมันในวันนี้

OrcaRouter ไม่ให้บริการ WeMM-Video-9B และแค็ตตาล็อกของ它也? ไม่ มี WeMM checkpoint เลยสักรายการ ไม่มีราคาแบบโฮสต์ให้เสนอ และไม่มี endpoint ให้เรียก ดังนั้นวันนี้จึงเป็นงาน self-host: แพตช์ vLLM หรือ SGLang จากไดเรกทอรี overlay ของรีโพซิทอรี ปักหมุดชุดค่าผสม PyTorch, Transformers และ CUDA 12.9 ให้ตรงตามที่ manifest ของแพตช์ระบุสำหรับเวอร์ชันเอนจินของคุณ และเผื่องบ 13 GiB บวกแคช เส้นทาง GGUF ต้องใช้รันไทม์เนทีฟของ T​encent ที่สร้างจากซอร์ส

สำหรับงานฝั่งวิชันนั้นมีทางเลือกแบบเปิดอยู่บนแพลตฟอร์มแล้ว — Qwen3-VL-235B-A22B-Thinking และ Qwen3-VL-8B-Thinking ทั้งคู่รับภาพและเฟรมวิดีโอ โดยเข้าถึงได้ผ่านคีย์ที่เข้ากันได้กับ OpenAI เพียงคีย์เดียวพร้อมกับโมเดลอื่นอีก 200+ โมเดล ในราคาบวกเพิ่ม 0%เหนือราคาตามรายการของผู้ให้บริการ ทั้งสองไม่ได้ยินอะไรเลย และไม่มีสิ่งใดเทียบเท่า WeMM สำหรับฝั่งเสียง หากคุณต้องการลองโมเดล 9B ที่โฮสต์เองโดยไม่นำไปวางบนเส้นทางโปรดักชัน การกำหนดเส้นทางให้อยู่หลังกฎ failover เป็นวิธีที่ประหยัดในการค้นหาว่า runtime ที่แพตช์แล้วจะรับไหวที่ระดับ concurrency ของคุณหรือไม่ ก่อนที่คุณจะผูกการ์ดไว้กับมัน

ส่วนบิลด์แบบสี่บิตนั้น เป็นสิ่งที่ควรรอให้พร้อมมากกว่าสิ่งที่ควรนำมาใช้ แมนนิเฟสต์ของตัวมันเองระบุว่ายังไม่ผ่านการตรวจสอบ และการคำนวณขนาดบอกว่าการบีบอัดที่พวกมันเสนอช่วยประหยัดเวตได้ 34% — คุ้มที่จะมีไว้ แต่ไม่คุ้มที่จะรื้อสถาปัตยกรรมการดีพลอยเพื่อสิ่งนี้ สัญญาณที่ควรจับตามองไม่ใช่รีโพซิทอรีควอนไทเซชันอีกแห่ง แต่คือแมนนิเฟสต์แรกในตระกูลนี้ที่ตัดคำว่า pending ตามด้วยการทำซ้ำตารางโดยอิสระครั้งแรกของตารางที่ปัจจุบันมีอยู่เพียงแห่งเดียวเท่านั้น: ไฟล์ PDF ของผู้เขียน

การเปรียบเทียบในบทความนี้1

ตรวจพบจากบทความนี้

© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube