การ์ดชื่อเรื่องอ่านว่า 'WeMM-Video-4B vs FastFrames Video Generation' พร้อมคำบรรยายใต้ภาพว่า 'รอยต่ออันเงียบงัน' สองแผงแบ่งด้วยแผ่น VS ตรงกลาง แผงซ้ายระบุ 5.61B วิดีโอและเสียงเข้า ข้อความออก โดย 1.07B เป็นส่วนหู สูงสุด 16 เฟรม และ Apache 2.0 แผงขวาระบุ 1.3B และ 14B ข้อความเข้า วิดีโอออก 81 เฟรมที่ 832 คูณ 480 36 มิลลิวินาทีต่อเฟรมบน B200 หนึ่งตัวและ Apple AMLR และส่วนท้ายระบุว่า 'ตัวเลขของ WeMM ตามที่ผู้ขายรายงาน ตัวเลขของ FastFrames ตามที่ผู้เขียนระบุ'
Engineering & Research

WeMM-Video-4B เทียบกับ FastFrames Video Generation: รอยต่ออันเงียบงัน

ผู้เขียน

jinhao.song

วันที่เผยแพร่

โมเดลล่าสุด · 20ดูโมเดลทั้งหมด →
เบนช์มาร์ก: Artificial Analysis · อัปเดตทุกวัน
กลับไปยังโพสต์ทั้งหมด

FastFrames Video Generation ได้เปิดตัวเมื่อวันที่ 16 พฤศจิกายน 2026 และ WeMM-Video-4B เมื่อวันที่ 17 พฤศจิกายน ทั้งคู่มาในรูปแบบการดาวน์โหลดเวตพร้อมแนบเปเปอร์ และไม่มีโพสต์เปิดตัวที่สมชื่อเลย ความบังเอิญนั้นเป็นเหตุผลเดียวที่ทำให้ต้องอ่านสองสิ่งนี้เทียบกัน เพราะมันไม่ได้ทำงานเดียวกัน: FastFrames เปลี่ยนประโยคหนึ่งให้เป็นวิดีโอเงียบ 81 เฟรม และ WeMM-Video-4B เปลี่ยนวิดีโอให้เป็นคำบรรยาย รวมถึงคำบรรยายว่ามีอะไรถูกพูดอยู่เหนือวิดีโอนั้น คำถามที่น่าสนใจไม่ใช่ว่าอันไหนดีกว่า แต่คือสิ่งที่เกิดขึ้นเมื่อคุณวางอันหนึ่งไว้ข้างหลังอีกอัน — และคำตอบก็คือรอยต่อระหว่างทั้งสองนั้นเงียบ ซึ่งปิดการทำงานส่วนที่แพงที่สุดของเช็กพอยต์ WeMM อย่างเงียบ ๆ

ทุกอย่างด้านล่างนี้สามารถวัดได้จากทั้งสองรีโพซิทอรี หรือถูกรายงานโดยผู้เขียนของบทความทั้งสองฉบับ ไม่มีโมเดลใดถูกเรียกใช้งานโดยผู้ที่ไม่ได้เขียนส่วนการประเมินของโมเดลนั้น และไม่มีโมเดลใดมีราคาแบบโฮสต์ มีแถวบนอารีนา หรือมีการทำซ้ำผลโดยบุคคลที่สาม หากตัวเลขใดมาจากตารางของผู้จำหน่าย จะมีการกำกับไว้เช่นนั้น

สิ่งที่ FastFrames เก็บไว้บนดิสก์

FastFrames เป็นโมเดลการแพร่กระจายวิดีโอแบบออโตรีเกรสซีฟที่กลั่นมาจาก Wan2.1 เผยแพร่โดย Apple และ Cornell ในชื่อ arXiv 2611.23226 เมื่อวันที่ 17 พฤศจิกายน โดยมีน้ำหนักโมเดลออกมาก่อนหน้านี้หนึ่งวัน มีสองขนาด ได้แก่ FastFrames-S ที่ 1.3 พันล้านพารามิเตอร์ และ FastFrames-L ที่ 14 พันล้านพารามิเตอร์ และแนวคิดหลักคือความหน่วงมากกว่าความเที่ยงตรง บน B200 ตัวเดียว โมเดลขนาดเล็กสร้างเฟรมได้ใน 36 มิลลิวินาที ซึ่งเร็วกว่าคลิปเล่นกลับ: การสร้างคลิปความยาว 5.06 วินาทีใช้เวลาราว 2.9 วินาที โมเดลขนาดใหญ่ทำได้ 45 มิลลิวินาทีต่อเฟรมเมื่อกระจายบน B200 แปดตัว และลดลงเป็น 158 มิลลิวินาทีบน GPU ตัวเดียว ซึ่งช้ากว่าเวลาจริง Apple ยังรายงานว่าประสิทธิภาพลดลง 25 ถึง 50 เปอร์เซ็นต์เมื่อใช้ H100 แทน B200

รูปแบบเอาต์พุตถูกกำหนดตายตัวและจำกัดอยู่ที่ 832×480, 16 เฟรมต่อวินาที, 81 เฟรมต่อการสร้างหนึ่งครั้ง — เกินห้าวินาทีไปเล็กน้อย — โดยขับเคลื่อนด้วยข้อความพรอมต์เพียงอย่างเดียว ไม่มีการปรับสภาพด้วยภาพ ไม่มีอินพุตคีย์เฟรม ไม่มีโหมดต่อเนื่อง และไม่มีการควบคุมกล้องในคอนฟิกูเรชันที่เผยแพร่ นอกจากนี้ยังไม่มีเสียง: ไม่มีตัวถอดรหัสเสียง ไม่มีเลเทนต์เสียง ไม่มีแทร็กเสียง ผู้เขียนรายงานคะแนนรวม VBench ที่ 84.23 สำหรับโมเดลขนาดเล็ก และ 84.44 สำหรับโมเดลขนาดใหญ่ที่ 480p บนพรอมต์และซีดที่จับคู่กัน ซึ่งเป็นคะแนนที่น่านับถือสำหรับโมเดลที่มีจุดขายเรื่องความเร็ว และเป็นตัวเลขคุณภาพเพียงตัวเดียวในการเผยแพร่นี้

พารามิเตอร์ 1.07 พันล้านตัวไปอยู่ที่ไหน

WeMM-Video-4B เป็นลูกคนกลางในครอบครัวสี่ขนาดจากกลุ่ม WeChat Vision ของ T​encent — 2B, 4B, 9B แบบ dense และ 35B-A3B mixture of experts — ทั้งหมดอัปโหลดภายในช่วงเวลาสิบเก้านาทีเมื่อวันที่ 17 พฤศจิกายน โดยมีรายงานทางเทคนิค arXiv 2611.26409 ตามมาในวันที่ 19 พฤศจิกายน ชื่อนี้ดูเล็กกว่าความเป็นจริง: ข้อมูลเมตาของ safetensors บันทึกไว้ที่ 5,611,746,312 พารามิเตอร์ หรือ 10.45 GiB ใน BF16 เพราะ "4B" หมายถึงโครงกระดูกภาษาหลัก Qwen3.5-4B ไม่ใช่ checkpoint

การอ่านดัชนีเทนเซอร์อธิบายเหตุผลได้ว่า เพราะในบรรดาเทนเซอร์ 1,268 ตัว โมเดลภาษามีพารามิเตอร์ 4.21 พันล้านตัว วิสชันทาวเวอร์มี 0.33 พันล้านตัว และสแต็กเสียงมี 1.07 พันล้านตัว เกือบหนึ่งในห้าของเช็กพอยต์นี้เป็นเอนโคเดอร์-ดีโคเดอร์สไตล์ Whisper — เอนโคเดอร์ 32 ชั้นและดีโคเดอร์ 32 ชั้นที่ความกว้าง 1,280 พร้อม Q-Former ระดับหน้าต่างที่บีบอัดหน้าต่าง 0.1 วินาทีให้เป็นโทเคนเสียง 10 โทเคนต่อวินาที โดยป้อนที่ 16 kHz เป็นชิ้นละ 30 วินาที สแต็กนั้นถูกกำหนดค่าเริ่มต้นจาก Qwen2.5-Omni

Screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing an Image-Text-to-Text pipeline tag, Safetensors and custom-code tags, an Apache 2.0 licence, a BF16 block reading 10.45 GiB of weight files, a size panel reading 6B params and 10.5 GB, and a Quantizations section listing four sibling repositories.

• FastFrames Video Generation — ป้อนข้อความเข้า ได้เฟรมออกมา ไม่มีเสียงในทุกขั้นตอนของไปป์ไลน์

• WeMM-Video-4B — รับเฟรมและเสียงเข้า ส่งข้อความออก โดยเสียงได้รับการจัดการโดยทาวเวอร์เฉพาะขนาด 1.07B แทนที่จะอนุมานจากพิกเซล

• ความทับซ้อน — ไม่มีในระดับโมเดล ทั้งคู่เป็นชุดน้ำหนักที่ได้รับอนุญาตภายใต้ Apache หรือ Apple โดยไม่มีเอ็นด์พอยต์รองรับอยู่เบื้องหลัง และทั้งคู่คาดหวังให้คุณมีตัวเร่งความเร็วเป็นของตัวเอง

คลิปเดียวที่ FastFrames สร้างขึ้นมาเป็นแบบไม่มีเสียง

หากติดตามเรื่องนี้ต่อไป ปัญหาการประกอบระบบก็จะชัดเจนเป็นรูปธรรม หากคุณต่อ WeMM-Video-4B ไว้ด้านหลัง FastFrames Video Generation — เรนเดอร์ช็อตหนึ่ง แล้วอธิบายช็อตนั้นเพื่อให้คุณจัดทำดัชนี กรอง หรือตรวจสอบคุณภาพ (QA) ได้ — คลิปทุกคลิปที่คุณส่งให้ตัวอธิบายจะไม่มีแทร็กเสียง หอเสียงขนาด 1.07 พันล้านพารามิเตอร์ไม่มีอะไรให้ฟัง Q-Former ไม่ปล่อยสิ่งใดออกมา และขั้นตอนการหลอมรวมเหลือเพียงเส้นทางภาพเท่านั้น

นั่นไม่ใช่ข้อบกพร่องของโมเดลใดโมเดลหนึ่ง แต่เป็นข้อเท็จจริงเกี่ยวกับไปป์ไลน์ และมันมีผลลัพธ์ที่วัดได้ เพราะบทความ WeMM รายงานเบนช์มาร์กวิดีโอไร้เสียงแยกต่างหาก เมื่อพิจารณาเฉพาะภาพ WeMM-Video-4B ได้ 75.7 บน Video-MME, 65.3 บน LVBench, 74.8 บน LongVideoBench และ 74.2 บน EgoSchema ส่วนตัวเลขภาพและเสียงร่วมกันของมัน — 83.9 บน Video-MME เมื่อมีเสียง และ 82.5 บน Daily-Omni — คือตัวเลขที่ทำให้ขนาดไฟล์สมเหตุสมผล และเป็นตัวเลขที่ไปป์ไลน์ซึ่งป้อนด้วย FastFrames ไม่สามารถไปถึงได้เลย

ดังนั้นการอธิบายการจับคู่นี้อย่างตรงไปตรงมาก็คือ FastFrames ใช้งานประมาณ 80 เปอร์เซ็นต์ของเช็กพอยต์ WeMM หากเป้าหมายของคุณคือลูปการสร้างคำบรรยายจากฟุตเทจที่สร้างขึ้น โมเดลแบบภาพอย่างเดียวที่มีขนาดครึ่งหนึ่งก็ทำงานแบบเดียวกันได้ หากเป้าหมายของคุณคือการทำความเข้าใจฟุตเทจที่มีเสียง FastFrames ไม่สามารถจัดหาอินพุตได้ เครื่องมือทั้งสองมาบรรจบกัน ณ จุดที่หนึ่งในนั้นทำงานได้เพียงครึ่งเดียว

Screenshot of the Tencent/WeMM-Video GitHub repository showing six stars and zero forks, a README describing an omni-modal video understanding family from WeChat Vision, and a file tree containing patch, native, examples, licenses and a THIRD_PARTY_NOTICES file.

ตัวเลขความเร็วสองตัว โดยไม่มีหน่วยที่ใช้ร่วมกัน

ทั้งสองรีลีสขึ้นต้นด้วยคำกล่าวอ้างเรื่องความหน่วง และคำกล่าวอ้างเหล่านั้นไม่สามารถเทียบวัดกันได้ ซึ่งเป็นวิธีที่พบบ่อยที่สุดที่การเปรียบเทียบนี้ถูกบิดเบือนบนอินเทอร์เน็ต

36 มิลลิวินาทีของ FastFrames คือต่อเฟรมเอาต์พุตบน B200 หนึ่งตัว โดยวัดเทียบกับการเล่นกลับ WeMM-Video-4B ไม่ได้สร้างเฟรม ต้นทุนของมันคือต้นทุนของการถอดรหัสข้อความภายใต้งบประมาณสื่อที่มีเพดานจำกัด งบประมาณนั้นแน่นกว่าที่ค่าเริ่มต้นของโปรเซสเซอร์บ่งชี้ สูตร vLLM ในรีโพซิทอรีตั้งค่า max_frames 16เทียบกับค่าเริ่มต้นของโปรเซสเซอร์ที่ 128 fps 2และเพดานพิกเซลรวมที่ 262,144 โดยมีความยาวคอนเท็กซ์ 8,192 โทเคน เสียงใช้ 10 โทเคนต่อทุกวินาทีก่อนที่จะนับเฟรมแรก

การอ่านเชิงปฏิบัติ: คลิป 20 วินาทีและคลิป 5 วินาทีต่างไปถึงตัวอธิบายในรูปแบบสิบหกเฟรมทั้งคู่ และคลิปที่มีแทร็กเสียงใช้บริบทไปกับสองสตรีมพร้อมกัน FastFrames ให้การเคลื่อนไหวที่ 16 เฟรมต่อวินาทีของเอาต์พุต; WeMM-Video-4B เห็นสไลด์โชว์และอนุมานการเคลื่อนไหว ตัวเลขทั้งสองไม่ได้บอกอะไรเกี่ยวกับกันและกัน และหน้าที่วาง "36 ms" ไว้ข้าง "8K context" กำลังเปรียบเทียบงบประมาณการเรนเดอร์กับงบประมาณการอ่าน

Two-column scoreboard headed 'WeMM-Video-4B vs FastFrames Video Generation', the left column listing direction, 5.61B total parameters, a 1.07B audio stack, an 8,192-token and 16-frame budget, Apache 2.0 and no independent benchmark, the right listing text in and video out, 1.3B small and 14B large, no audio, 81 frames at 832 by 480, Apple AMLR and no independent benchmark, with a footer reading 'WeMM figures vendor-reported; FastFrames figures per the authors and not independently reproduced.'

ในที่นี้ ใบอนุญาตมีผลชี้ขาดมากกว่าคะแนน

{{1}}สำหรับการเปรียบเทียบที่มีหลักฐานอิสระบางเบาเพียงนี้{{/1}} บรรทัดสัญญาอนุญาตมีน้ำหนักต่อการตัดสินใจมากกว่า benchmark ใด ๆ ในบทความทั้งสอง และ{{2}}ทั้งสองสิ่งนี้อยู่คนละขั้วของสเปกตรัม{{/2}}

• FastFrames Video Generation — ข้อกำหนด AMLR ของ Apple สำหรับเวตต์ของโมเดล โดยมีคอมโพเนนต์เดโม LingBot-World v2 ภายใต้สัญญาอนุญาต CC BY-NC-SA 4.0 คำว่า "NC" คือข้อจำกัดที่สำคัญ นั่นคือเวตต์แบบเปิด แต่ไม่เปิดให้ใช้ในเชิงพาณิชย์

• WeMM-Video-4B — Apache 2.0 ตลอดทั้งคอลเลกชัน โดยมีไฟล์สัญญาอนุญาตของ Tencent ที่ระบุว่าองค์ประกอบจากบุคคลที่สาม "ยังคงอยู่ภายใต้ข้อกำหนดต้นฉบับของแต่ละรายการ" ข้อยกเว้นดังกล่าวไม่ได้ระบุเป็นรายการ ซึ่งเป็นช่องว่างที่แท้จริงมากกว่าจะเป็นเพียงพิธีการ เพราะสแต็กเสียงสืบทอดมาจาก Qwen2.5-Omni และโครงหลักมาจาก Qwen3.5 ซึ่งทั้งคู่เป็น Apache 2.0

• ทั้งสอง — มีเช็กพอยต์ครบทุกขั้นตอนการฝึกและไปป์ไลน์การประเมินอยู่ในรีโพซิทอรี ซึ่งทำซ้ำได้อย่างผิดปกติสำหรับรีลีสประเภทนี้ และเป็นสิ่งทดแทนที่ดีที่สุดเท่าที่มีสำหรับการประเมินอิสระที่ทั้งสองฝ่ายไม่มี

การเชื่อมต่อตัวอธิบายไว้ด้านหลังตัวเรนเดอร์

หากคุณสร้างลูปอยู่ดี คำถามทางวิศวกรรมคือโมเดลข้อความจะไปอยู่ตรงไหน เพราะมีจุดส่งต่อข้อความสามจุด และมีเพียงจุดเดียวเท่านั้นที่เป็นทางเลือก

• การขยายพรอมป์ต์ — โน้ตช็อตกลายเป็นพรอมป์ต์ FastFrames จำเป็น เพราะโมเดล diffusion แบบกลั่นขนาด 1.3B ไม่มีช่องให้ตีความคำสั่งที่คลุมเครือ

• คำอธิบาย — คลิปที่เรนเดอร์แล้วจะถูกส่งไปยัง WeMM-Video-4B และกลับออกมาเป็นข้อความร้อยแก้ว ซึ่งเป็นขั้นตอนที่ทำให้ฟุตเทจค้นหาได้

• การคัดเลือก — ข้อความร้อยแก้วเป็นตัวตัดสินว่าคลิปจะถูกเก็บไว้หรือไม่ ซึ่งเป็นขั้นตอนที่ต้องมีต้นทุนต่ำ เพราะคุณต้องจ่ายสำหรับทุกแคนดิเดต ไม่ใช่เฉพาะทุกตัวที่รอด

สองฮอปชั้นนอกนั้นเป็นการเติมข้อความแบบธรรมดา และเป็นส่วนของสแตกนี้ที่ OrcaRouter ครอบคลุมจริง ๆ: คีย์เดียวที่เข้ากันได้กับ OpenAIครอบคลุมโมเดลกว่า 200 รุ่น ราคาตามรายการของผู้ให้บริการถูกส่งผ่านโดยบวกเพิ่ม 0% ดังนั้นการเปลี่ยนแปลงราคาจากผู้ขายจึงมีผลในวันเดียวกัน และ การสลับไปยังระบบสำรองโดยอัตโนมัติเพื่อให้การจำกัดอัตราการใช้งานระหว่างแบตช์คลิปหนึ่งพันรายการกลายเป็นการลองใหม่แทนที่จะเป็นช่องว่าง FastFrames Video Generation และ WeMM-Video-4B ต่างก็ไม่ได้อยู่บนแพลตฟอร์ม — ทั้งคู่เป็นไฟล์น้ำหนักที่ต้องดาวน์โหลด และไม่มีเลเยอร์การกำหนดเส้นทางใดที่เปลี่ยนเช็กพอยต์ให้เป็นเอนด์พอยต์ได้ สิ่งที่เราเตอร์ตัดออกไปคืองานบูรณาการรอบ ๆ โมเดลสองตัวที่คุณโฮสต์เอง

สิ่งที่ยังไม่ได้รับการยืนยัน

• คุณภาพที่เป็นอิสระ — ไม่มีแถวข้อมูลใน Artificial Analysis ไม่มีรายการใน arena และไม่มีการทำซ้ำโดยบุคคลที่สามสำหรับทั้งสองโมเดล VBench 84.44 และ Video-MME 83.9 เป็นค่าที่ผู้เขียนรายงานและไม่มีใครอื่นรันทดสอบ

• เงื่อนไขการประเมิน — เอกสาร WeMM ไม่ได้ระบุจำนวนเฟรม งบพิกเซล หรือความยาวคอนเท็กซ์ที่ใช้สำหรับการทดสอบมาตรฐานวิดีโอ และสูตรที่ให้มาใช้ 16 เฟรม ขณะที่โปรเซสเซอร์ตั้งค่าเริ่มต้นไว้ที่ 128 ช่องว่างนี้ใหญ่พอที่จะส่งผลต่อแถววิดีโอความยาวมาก

• ราคา — ทั้งสองไม่มีราคา ไม่มี endpoint แบบโฮสต์ ไม่มีอัตราคิดค่าต่อวินาที ไม่มีรายชื่อพาร์ตเนอร์ ค่าใช้จ่ายคือ GPU ที่คุณเป็นเจ้าของเอง บวกกับ overlay vLLM หรือ SGLang ที่แพตช์แล้วซึ่งรีโพซิทอรี WeMM ต้องการ เนื่องจากทั้งสองเอนจินไม่รองรับสถาปัตยกรรมนี้แบบอัปสตรีม

• ความสามารถในการใช้งานเชิงพาณิชย์ฝั่ง Apple — AMLR รวมกับใบอนุญาตเดโมแบบไม่เชิงพาณิชย์ หมายความว่าตัวเรนเดอร์ ไม่ใช่ตัวอธิบาย คือส่วนของไปป์ไลน์นี้ที่การตรวจสอบทางกฎหมายจะหยุดไว้

คำถามที่เลือกเพียงหนึ่งข้อ

ถามว่าอาร์ติแฟกต์ของคุณคืออะไร หากเป็นไฟล์ มีเพียง FastFrames เท่านั้นที่สร้างได้ และคุณวางแผนไว้ราว 480p ห้าวินาที ความเงียบ และสัญญาอนุญาตแบบไม่ใช้เชิงพาณิชย์ หากเป็นข้อกล่าวอ้างเกี่ยวกับฟุตเทจที่คุณมีอยู่แล้ว — เกิดอะไรขึ้น ใครพูด สิ่งใดได้ยิน — มีเพียง WeMM-Video-4B เท่านั้นที่สร้างได้ และคุณวางแผนไว้ราวสิบหกเฟรมที่สุ่มตัวอย่างและแปดพันโทเคน

ถ้าเป็นทั้งสองอย่าง คุณกำลังสร้างระบบสองโมเดลที่มีรอยต่อแบบเงียบ และเวอร์ชันที่ถูกต้องและประหยัดที่สุดของระบบนั้นไม่ใช้เช็กพอยต์ omni ขนาด 5.61B เพื่อใส่คำบรรยายให้เอาต์พุตแบบเงียบ ใช้โมเดลวิชันสำหรับคลิปที่เรนเดอร์แล้ว และเก็บ WeMM-Video-4B ไว้สำหรับฟุตเทจต้นฉบับที่มีเสียง นี่เป็นสถาปัตยกรรมที่ดูไม่หรูหราเท่าโมเดลเดียวสำหรับทุกอย่าง และเป็นแบบที่ตัวเลขสนับสนุน

สิ่งที่ทั้งสองการเปิดตัวยังไม่ได้มอบให้คือสิ่งที่ouldชี้ขาดได้ นั่นคือการรันโดยคนที่ไม่ได้เป็นผู้เขียนบทความนั้น สองแล็บส่งงานวิดีโอที่จริงจังออกมาในสัปดาห์เดียวกันโดยไม่มีการประกาศ ซึ่งเป็นข้อเท็จจริงที่น่าสนใจเกี่ยวกับพฤศจิกายน 2026 มากกว่าตัวเลขในช่องผลเบนช์มาร์กเพียงช่องเดียว

© 2026 OrcaRouter

สำหรับผู้ให้บริการ

ให้บริการแพลตฟอร์มการอนุมานอยู่หรือไม่ นำโมเดลของคุณขึ้น OrcaRouter

[email protected]

เข้าร่วมคอมมูนิตี้ของเรา

Discord[email protected]XLinkedInGitHubYouTube