Thẻ tiêu đề ghi 'WeMM-Video-4B vs FastFrames Video Generation' với phụ đề 'Một đường nối im lặng', hai bảng được chia tách bởi một đĩa 'vs', bảng bên trái liệt kê 5.61B, đầu vào video và âm thanh, đầu ra văn bản, 1.07B trong đó là phần 'tai', tối đa 16 khung hình và Apache 2.0, bảng bên phải liệt kê 1.3B và 14B, đầu vào văn bản, đầu ra video, 81 khung hình ở 832 x 480, 36 ms mỗi khung hình trên một B200 và Apple AMLR, và chân trang ghi 'Số liệu WeMM do nhà cung cấp báo cáo; số liệu FastFrames theo các tác giả.'
Engineering & Research

WeMM-Video-4B vs FastFrames Video Generation: Một mối nối âm thầm

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

FastFrames Video Generation ra mắt ngày 16 tháng 11 năm 2026 và WeMM-Video-4B vào ngày 17 tháng 11, cả hai đều là bản tải trọng số kèm một bài báo, và không bản nào có bài đăng công bố ra mắt đúng nghĩa. Sự trùng hợp đó là lý do duy nhất để đọc chúng đối chiếu với nhau, bởi chúng không làm cùng một việc: FastFrames biến một câu thành 81 khung hình video không tiếng, còn WeMM-Video-4B biến video thành mô tả, bao gồm cả mô tả những gì được nói trong video. Câu hỏi thú vị không phải là cái nào tốt hơn. Mà là điều gì xảy ra khi bạn đặt cái này sau cái kia — và câu trả lời là đường nối giữa chúng im lặng, điều này âm thầm vô hiệu hóa phần đắt nhất của checkpoint WeMM.

Mọi nội dung dưới đây hoặc có thể đo lường được trong hai kho mã nguồn, hoặc được báo cáo bởi các tác giả của hai bài báo. Cả hai mô hình đều chưa từng được chạy bởi bất kỳ ai ngoài người viết phần đánh giá của mô hình đó, và cả hai đều không có giá cho phiên bản được lưu trữ, không có dòng nào trên arena, cũng không có bản tái lập của bên thứ ba. Khi một con số đến từ bảng của nhà cung cấp, nó được ghi nhãn như vậy.

FastFrames ghi những gì lên đĩa

FastFrames là một mô hình khuếch tán video tự hồi quy được chưng cất từ Wan2.1, do Apple và Cornell công bố dưới dạng arXiv 2611.23226 vào ngày 17 tháng 11, với trọng số được phát hành sớm hơn một ngày. Mô hình có hai kích cỡ — FastFrames-S với 1,3 tỷ tham số và FastFrames-L với 14 tỷ — và luận điểm chính là độ trễ chứ không phải độ trung thực. Trên một B200 duy nhất, mô hình nhỏ tạo ra một khung hình trong 36 mili giây, nhanh hơn tốc độ phát lại của clip: một lần tạo 5,06 giây mất khoảng 2,9 giây. Mô hình lớn đạt 45 mili giây mỗi khung hình khi trải trên tám B200, và giảm xuống 158 mili giây trên một GPU, tức chậm hơn thời gian thực. Apple cũng báo cáo mức giảm hiệu năng 25 đến 50 phần trăm trên H100 thay vì B200.

Định dạng đầu ra cố định và hẹp: 832×480, 16 khung hình mỗi giây, 81 khung hình mỗi lần sinh — chỉ nhỉnh hơn năm giây một chút — được điều khiển chỉ bằng một câu lệnh văn bản. Không có điều kiện hóa bằng hình ảnh, không có đầu vào khung hình khóa, không có chế độ nối tiếp và không có điều khiển camera trong cấu hình phát hành. Cũng không có âm thanh: không có bộ giải mã âm thanh, không có latent âm thanh, không có nhạc nền. Các tác giả báo cáo tổng điểm VBench là 84,23 cho mô hình nhỏ và 84,44 cho mô hình lớn ở 480p trên các câu lệnh và seed khớp nhau, một điểm số đáng nể đối với một mô hình có điểm bán hàng là tốc độ, và đây là con số chất lượng duy nhất trong bản phát hành.

1,07 tỷ tham số đi đâu

WeMM-Video-4B là thành viên giữa của một gia đình bốn kích cỡ đến từ nhóm WeChat Vision của Tencent — 2B, 4B, 9B dense và một hỗn hợp chuyên gia 35B-A3B — tất cả được tải lên trong khoảng thời gian mười chín phút vào ngày 17 tháng 11, cùng báo cáo kỹ thuật arXiv 2611.26409 ra mắt sau đó vào ngày 19 tháng 11. Tên gọi không phản ánh hết: siêu dữ liệu safetensors ghi nhận 5.611.746.312 tham số, tương đương 10,45 GiB ở BF16, vì “4B” ám chỉ phần xương sống ngôn ngữ Qwen3.5-4B chứ không phải checkpoint.

Đọc chỉ mục tensor sẽ lý giải vì sao. Trong số 1.268 tensor, mô hình ngôn ngữ mang 4,21 tỷ tham số, tháp thị giác 0,33 tỷ và ngăn xếp âm thanh 1,07 tỷ. Gần một phần năm checkpoint này là bộ mã hóa-giải mã kiểu Whisper — 32 lớp encoder và 32 lớp decoder ở độ rộng 1.280, với Q-Former cấp cửa sổ nén các cửa sổ 0,1 giây thành 10 token âm thanh mỗi giây, được nạp ở 16 kHz theo các khối 30 giây. Ngăn xếp đó được khởi tạo từ Qwen2.5-Omni.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing an Image-Text-to-Text pipeline tag, Safetensors and custom-code tags, an Apache 2.0 licence, a BF16 block reading 10.45 GiB of weight files, a size panel reading 6B params and 10.5 GB, and a Quantizations section listing four sibling repositories.

• FastFrames Tạo video — văn bản vào, khung hình ra, không có âm thanh ở bất kỳ đâu trong quy trình.

• WeMM-Video-4B — đầu vào là khung hình và âm thanh, đầu ra là văn bản, với âm thanh được xử lý bởi một tower chuyên dụng 1.07B thay vì được suy ra từ pixel.

• Trùng lặp — không có ở cấp độ mô hình. Cả hai đều là các gói trọng số được cấp phép Apache hoặc Apple, không có endpoint nào phía sau, và cả hai đều yêu cầu bạn phải tự sở hữu bộ tăng tốc.

Clip duy nhất mà FastFrames tạo ra là clip không có âm thanh.

Thực hiện điều đó đến cùng thì vấn đề thành phần trở nên cụ thể. Nếu bạn ghép WeMM-Video-4B phía sau FastFrames Video Generation — kết xuất một cảnh quay, rồi mô tả cảnh đó để có thể lập chỉ mục, lọc hoặc QA — thì mọi clip bạn đưa cho bộ mô tả đều không có track âm thanh. Khối âm thanh 1,07 tỷ tham số không có gì để nghe. Q-Former không phát ra gì, và giai đoạn hợp nhất rút gọn còn nhánh thị giác.

Đó không phải là khiếm khuyết ở cả hai mô hình; mà là một thực tế về pipeline, và nó có hệ quả đo lường được, vì bài báo WeMM báo cáo riêng các benchmark video không tiếng. Chỉ xét về thị giác, WeMM-Video-4B đạt 75,7 trên Video-MME, 65,3 trên LVBench, 74,8 trên LongVideoBench và 74,2 trên EgoSchema. Các con số kết hợp âm thanh-hình ảnh của nó — 83,9 trên Video-MME có âm thanh, 82,5 trên Daily-Omni — mới là những con số biện minh cho kích thước tệp, và chúng đúng là những con số mà một pipeline được nạp bằng FastFrames không thể đạt tới.

Vậy nên cách diễn đạt trung thực về sự ghép cặp này là FastFrames chỉ khai thác khoảng 80 phần trăm checkpoint WeMM. Nếu mục tiêu của bạn là một vòng lặp gắn chú thích cho cảnh quay được tạo ra, thì một mô hình chỉ xử lý thị giác có kích thước bằng một nửa sẽ làm cùng công việc; nếu mục tiêu của bạn là hiểu cảnh quay có âm thanh, FastFrames không thể cung cấp đầu vào. Hai công cụ này gặp nhau ở một điểm mà tại đó một trong hai chỉ ở trạng thái nửa nhàn rỗi.

Screenshot of the Tencent/WeMM-Video GitHub repository showing six stars and zero forks, a README describing an omni-modal video understanding family from WeChat Vision, and a file tree containing patch, native, examples, licenses and a THIRD_PARTY_NOTICES file.

Hai con số tốc độ, không có đơn vị chung

Cả hai bản phát hành đều mở đầu bằng một tuyên bố về độ trễ, và các tuyên bố này không cùng thước đo để so sánh — đây là cách phổ biến nhất khiến việc so sánh này bị bóp méo trên internet.

36 mili giây của FastFrames là tính cho mỗi khung đầu ra trên một B200, được đo so với phát lại. WeMM-Video-4B không tạo ra khung; chi phí của nó là chi phí giải mã văn bản trên một ngân sách phương tiện được giới hạn. Ngân sách đó eo hẹp hơn so với mức mà các giá trị mặc định của bộ xử lý cho thấy. Công thức vLLM trong kho đặt max_frames 16 so với mặc định của bộ xử lý là 128, fps 2, và giới hạn tổng số điểm ảnh là 262,144, với độ dài ngữ cảnh là 8.192 token. Âm thanh tiêu tốn 10 token cho mỗi giây trước khi một khung đơn lẻ được tính.

Cách đọc thực tế: một clip 20 giây và một clip 5 giây đều đến bộ mô tả dưới dạng mười sáu khung hình, và một clip có nhạc nền dùng ngữ cảnh của nó cho hai luồng cùng một lúc. FastFrames mang lại chuyển động ở 16 khung hình mỗi giây đầu ra; WeMM-Video-4B nhìn thấy một slideshow và suy ra chuyển động. Không con số nào cho bạn biết bất cứ điều gì về con số kia, và một trang đặt "36 ms" cạnh "8K context" là đang so sánh ngân sách kết xuất với ngân sách đọc.

Two-column scoreboard headed 'WeMM-Video-4B vs FastFrames Video Generation', the left column listing direction, 5.61B total parameters, a 1.07B audio stack, an 8,192-token and 16-frame budget, Apache 2.0 and no independent benchmark, the right listing text in and video out, 1.3B small and 14B large, no audio, 81 frames at 832 by 480, Apple AMLR and no independent benchmark, with a footer reading 'WeMM figures vendor-reported; FastFrames figures per the authors and not independently reproduced.'

Ở đây, giấy phép quyết định nhiều hơn điểm số.

Đối với một sự so sánh quá mỏng về bằng chứng độc lập như vậy, dòng giấy phép mang trọng lượng quyết định nhiều hơn bất kỳ benchmark nào trong cả hai bài báo, và hai điều đó nằm ở hai thái cực đối lập.

• FastFrames Video Generation — Điều khoản AMLR của Apple đối với các trọng số, cùng các thành phần demo LingBot-World v2 theo CC BY-NC-SA 4.0. “NC” là ràng buộc quan trọng: trọng số mở, không mở cho mục đích thương mại.

• WeMM-Video-4B — Apache 2.0 trên toàn bộ bộ sưu tập, kèm một tệp giấy phép của T​encent nêu rằng các thành phần bên thứ ba "vẫn tuân theo các điều khoản gốc tương ứng của chúng". Ngoại lệ này không được liệt kê theo từng mục, đây là một lỗ hổng thực sự chứ không chỉ là vấn đề hình thức, vì ngăn xếp âm thanh bắt nguồn từ Qwen2.5-Omni và phần xương sống từ Q​wen3.5, cả hai đều là Apache 2.0.

• Cả hai — checkpoint đầy đủ cho giai đoạn huấn luyện và một pipeline đánh giá trong repository, vốn hiếm thấy ở các bản phát hành loại này về khả năng tái lập và là lựa chọn thay thế tốt nhất hiện có cho việc đánh giá độc lập mà cả hai bên đều không có.

Kết nối một bộ mô tả phía sau một bộ kết xuất

Nếu dù sao bạn vẫn xây dựng vòng lặp, câu hỏi kỹ thuật là mô hình văn bản nằm ở đâu, vì có ba chặng văn bản và chỉ một trong số đó là tùy chọn.

• Mở rộng prompt — một ghi chú cảnh quay trở thành prompt FastFrames. Điều này là cần thiết, vì một mô hình diffusion chưng cất 1,3B không có chỗ để diễn giải một chỉ dẫn mơ hồ.

• Mô tả — đoạn clip đã kết xuất được gửi đến WeMM-Video-4B và quay trở lại dưới dạng văn xuôi, đây là bước giúp đoạn phim có thể được tìm kiếm.

• Lựa chọn — phần văn bản quyết định xem clip có được giữ lại hay không, đây là bước phải rẻ, vì bạn phải trả giá cho nó trên mọi ứng viên chứ không phải chỉ trên những mẫu sống sót.

Hai chặng ngoài cùng đó là các completion văn bản thông thường, và chúng là phần của stack này mà OrcaRouter thực sự bao phủ: một khóa tương thích OpenAI trên hơn 200 mô hình, giá niêm yết của nhà cung cấp được chuyển thẳng qua với mức tăng giá 0% để thay đổi giá từ nhà bán được áp dụng ngay trong ngày, và chuyển đổi dự phòng tự động để một giới hạn tốc độ giữa lô hàng nghìn clip trở thành một lần thử lại thay vì một lỗ hổng. Cả FastFrames Video Generation lẫn WeMM-Video-4B đều không có trên nền tảng — cả hai đều là bản tải trọng số, và không lớp định tuyến nào biến một checkpoint thành một endpoint. Điều mà router loại bỏ là công việc tích hợp xung quanh hai mô hình mà bạn tự vận hành.

Điều gì vẫn chưa được xác nhận?

• Chất lượng độc lập — không có dòng Artificial Analysis, không có mục arena, không có bản tái tạo của bên thứ ba cho cả hai mô hình. VBench 84.44 và Video-MME 83.9 là do tác giả báo cáo và không được ai khác chạy.

• Điều kiện đánh giá — bài báo WeMM không nêu số khung hình, ngân sách điểm ảnh hay độ dài ngữ cảnh được dùng cho các bài đánh giá video, và công thức được phát hành dùng 16 khung hình trong khi bộ xử lý mặc định là 128. Khoảng cách đó đủ lớn để tạo ra khác biệt ở các hàng video dài.

• Giá — cả hai đều không có. Không có endpoint được lưu trữ sẵn, không có mức giá theo giây, không có danh sách đối tác. Chi phí chính là GPU mà bạn sở hữu, cộng thêm lớp overlay vLLM hoặc SGLang đã được vá mà kho lưu trữ WeMM yêu cầu, vì cả hai engine đều không hỗ trợ kiến trúc này ở upstream.

• Khả năng sử dụng thương mại về phía Apple — AMLR cùng với giấy phép demo phi thương mại có nghĩa là renderer, chứ không phải describer, chính là phần trong pipeline này mà quá trình rà soát pháp lý sẽ chặn lại.

Câu hỏi chọn ra một

Hãy hỏi xem tạo tác của bạn là gì. Nếu đó là một tệp, chỉ FastFrames mới có thể tạo ra nó, và bạn lên kế hoạch khoảng 480p, năm giây, im lặng và giấy phép phi thương mại. Nếu đó là một tuyên bố về cảnh quay bạn đã có — điều gì xảy ra, ai nói, cái gì nghe được — chỉ WeMM-Video-4B mới có thể tạo ra nó, và bạn lên kế hoạch khoảng mười sáu khung hình được lấy mẫu và tám nghìn token.

Nếu là cả hai, bạn đang xây dựng một hệ thống hai mô hình mà mối nối của nó bị im lặng, và phiên bản đúng đắn rẻ nhất của hệ thống đó không dùng một checkpoint omni 5.61B để tạo chú thích cho đầu ra im lặng. Hãy dùng một mô hình thị giác cho các clip đã kết xuất và giữ WeMM-Video-4B cho cảnh quay nguồn có âm thanh. Đó là một kiến trúc kém thanh thoát hơn so với một mô hình lo mọi thứ, và đó là kiến trúc mà các con số ủng hộ.

Điều mà cả hai bản phát hành vẫn chưa cung cấp chính là thứ có thể giải quyết dứt điểm vấn đề: một lượt chạy do người không viết bài báo thực hiện. Hai phòng thí nghiệm đã tung ra những công trình video nghiêm túc trong cùng một tuần mà không có thông báo nào, và đó là chi tiết đáng chú ý hơn về tháng 11 năm 2026 so với bất kỳ một ô điểm chuẩn đơn lẻ nào.