Một thẻ tiêu đề mang tiêu đề 'WeMM-Video-4B' với phụ đề "Mô hình nghe nhìn của Tencent, trên Hugging Face mà không có bài đăng ra mắt", ba thẻ ghi 'Tên trên thẻ 4B / thông số thực tế 5.61B', '18 kho lưu trữ / được tạo trong 19 phút' và 'Giá bản hosted: không có / chỉ tự vận hành', cùng phần chân trang ghi 'Số liệu từ repo Hugging Face và arXiv 2611.26409; không có đánh giá chuẩn độc lập.'
Engineering & Research

WeMM-Video-4B: Mô hình nghe nhìn 5.6B âm thầm của Tencent

Tác giả

jinhao.song

Ngày đăng

Mô hình mới nhất · 20Xem tất cả mô hình →
Benchmark: Artificial Analysis · cập nhật hằng ngày
Quay lại tất cả bài viết

Tệp được gắn nhãn WeMM-Video-4B nặng 10.45 GiB và, với hai byte cho mỗi tham số BF16, con số đó tương đương 5,61 tỷ tham số — không phải bốn. Siêu dữ liệu safetensors của chính Tencent cũng nói điều tương tự: 5,611,746,312 tham số. Chữ "4B" trong tên là phần xương sống ngôn ngữ, không phải checkpoint. Sai sót số học nhỏ đó chính là lối vào phù hợp với dòng WeMM-Video, bởi gần như mọi điều thú vị về bản phát hành này đều là khoảng cách giữa nhãn và thứ thực tế: một dòng gồm bốn kích cỡ được công bố mà không có bài ra mắt, một bộ benchmark đánh bại Qwen3-Omni-30B-A3B-Instruct và MiniCPM-o-4.5-9B trên video nhưng lại thua Qwen3.5-Omni-Flash trên âm thanh, và một embedding vị trí 256K mà mọi cấu hình phát hành đều tự nguyện cắt xuống còn 8.192 token. Các trọng số là thật, bài báo được công khai, và chưa ai tải bất kỳ phần nào của nó.

Điều sau đây tách biệt ba thứ mà các thẻ Hugging Face của dòng mô hình này gộp chung: những gì có thể đo lường được trong kho lưu trữ, những gì chỉ có trong báo cáo đánh giá của chính Tencent, và những gì chưa được bất kỳ ai bên ngoài WeChat Vision xác nhận.

Tệp có tên 4B chứa 5,61 tỷ tham số.

Hugging Face ghi nhận tổng số tham số cho mỗi kho lưu trữ, và đối với bốn checkpoint cơ sở WeMM-Video, chúng luôn cao hơn khoảng 1,2 đến 1,6 tỷ so với con số trong tên.

• WeMM-Video-2B — tổng 3,28B so với nhãn “2B”.

• WeMM-Video-4B — tổng cộng 5,61B so với nhãn “4B”.

• WeMM-Video-9B — tổng cộng 10.49B so với nhãn "9B".

• WeMM-Video-35BA3B — tổng cộng 36,18B so với nhãn "35B-A3B", trong đó chỉ có ba tỷ trong số đó hoạt động trên mỗi token.

Đọc chỉ mục safetensors của bản 4B sẽ thấy rõ phần dư thừa. Trong 1.268 tensor của nó, mô hình ngôn ngữ mang 4,21B tham số, ngăn xếp âm thanh mang 1,07B và tháp thị giác mang 0,33B. Khoảng mười chín phần trăm checkpoint là tai. Bài báo xác nhận quy ước đặt tên là có chủ đích: ba mô hình dense được xây dựng trên Qwen3.5-2B, Qwen3.5-4B và Qwen3.5-9B, còn mô hình hỗn hợp chuyên gia được xây dựng trên Qwen3.6-35B-A3B.

Điều đó quan trọng với bất kỳ ai đang tính toán quy mô cho một triển khai. Một mô hình “4B” cần chỗ cho 5,61B tham số — 10,45 GiB ở BF16 trước cả KV cache lẫn activation — sẽ cần một cỗ máy khác với con số trên card gợi ý.

Mười tám repo, mười chín phút, không thông báo

Dòng mô hình này không được tung ra lẻ tẻ. Các dấu thời gian tạo trên Hugging Face cho thấy cả mười tám kho lưu trữ — bốn kích thước nhân với năm độ chính xác — nằm trong khoảng từ 08:53:50 đến 08:59:06 UTC ngày 17 tháng 11 năm 2026, cách nhau khoảng mười bốn giây, đây là dấu hiệu đặc trưng của một script tải lên chứ không phải một người bấm nút xuất bản. Kho lưu trữ GitHub Tencent/WeMM-Video được tạo lúc 02:29:33 UTC cùng ngày, với commit khởi tạo có nội dung thực chất đến vào ngày 19 tháng 11 và các bản sửa đổi README tiếp tục đến ngày 20 tháng 11.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

Bài báo ra sau đó vào ngày 19 tháng 11: arXiv 2611.26409, “WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding,” mười hai tác giả, được gửi lúc 16:58 UTC. Đây là một báo cáo kỹ thuật đầy đủ với bảy bảng kết quả và một liên kết đến quy trình đánh giá và tái lập. Vậy đây không phải là một bản phát hành không có tài liệu — mà là một bản có tài liệu mà không ai công bố. Chúng tôi không thể tìm thấy bài đăng blog nào của Tencent, trang ra mắt WeChat Vision, thông cáo báo chí hay gói trả phí nào trỏ đến dòng mô hình này; các thẻ mô hình, README trên GitHub và bài báo arXiv là toàn bộ hồ sơ công khai, và chúng được viết cho nhau.

Các con số về mức độ đón nhận kể cùng một câu chuyện. Tại thời điểm viết bài, cả bốn checkpoint cơ sở đều cho thấy 0 lượt tải xuống, và mười tám kho lưu trữ cộng lại chỉ thu được ba lượt thích. Cả Artificial Analysis lẫn LMArena đều không liệt kê mô hình WeMM nào. Không điều nào trong số đó là bằng chứng về chất lượng — đó là bằng chứng về phân phối, và đó là lý do một checkpoint 4B đạt điểm cao hơn một mô hình 30B trên một số benchmark video lại không có con số độc lập nào gắn với nó.

Có gì bên trong checkpoint?

Bỏ qua cách gọi theo họ mô hình, 4B là một stack omni ba tháp tiêu chuẩn với một lựa chọn backbone khác thường.

• Tháp ngôn ngữ — 32 lớp, kích thước ẩn 2.560, 16 đầu chú ý so với 4 đầu khóa-giá trị, kích thước đầu 256, từ vựng 248.320. Phần xương sống là lai: một lớp chú ý đầy đủ sau mỗi bốn khối, với ba khối còn lại dùng chú ý tuyến tính, đó là lý do mỗi công thức phục vụ trong kho lưu trữ đều mang cờ bộ nhớ đệm SSM float32.

• Tháp thị giác — 24 khối ở kích thước ẩn 1.024, kích thước patch 16, hợp nhất không gian 2, patch thời gian 2, chiếu tới 2.560. Đây là bộ mã hóa gốc của backbone, được giữ lại thay vì hoán đổi, và bài báo đóng băng nó từ giai đoạn tiền huấn luyện thứ hai trở đi vì nó "đã cung cấp các biểu diễn thị giác đủ mạnh".

• Tháp âm thanh — kiểu Whisper, 32 lớp encoder và 32 lớp decoder với độ rộng 1.280, cùng Q-Former ở mức cửa sổ nén các cửa sổ 0,1 giây thành 10 token âm thanh mỗi giây. Âm thanh đến ở 16 kHz theo từng khối 30 giây. Đây là phần được khởi tạo từ Qwen2.5-Omni, và với 1,07 tỷ tham số, đây chính là khoảng cách lớn nhất giữa tên gọi và tệp.

• Fusion — các token hình ảnh và âm thanh xen kẽ theo thứ tự thời gian cùng dấu mốc thời gian văn bản rõ ràng, thay vì được gộp vào các luồng riêng biệt.

• Chế độ — chế độ Instruct để trả lời trực tiếp và chế độ Thinking xuất ra dấu vết suy luận trước phản hồi, được chuyển đổi ở cấp mẫu trò chuyện bằng enable_thinking.

• Giấy phép — Apache 2.0 trên toàn bộ bộ sưu tập, với tệp giấy phép của Tencent loại trừ các thành phần bên thứ ba mà "vẫn tuân theo các điều khoản gốc tương ứng của chúng." Phần loại trừ này không được liệt kê chi tiết trong thẻ mô hình.

256K trong cấu hình, 8K trong lệnh serving

Cấu hình văn bản khai báo max_position_embeddings là 262.144. Mọi lệnh phục vụ mà Tencent công bố — cả hai cấu hình vLLM và cả hai cấu hình SGLang — đều truyền max-model-len 8192 hoặc context-length 8192. Con số 256K là dư địa kiến trúc, không phải cấu hình được hỗ trợ, và không có nội dung nào trong kho lưu trữ giải thích cách đạt tới nó.

Ngân sách khung hình có cùng hình dạng. Giá trị mặc định của chính bộ xử lý khá hào phóng: 2 khung hình mỗi giây, tối đa 128 khung hình, tổng cộng 25,165,824 pixel. Công thức vLLM ghi đè cả ba giá trị này xuống thấp hơn — fps 2, max_frames 16, total_pixels 262144. Mười sáu khung hình là những gì bạn nhận được khi sao chép lệnh. Một clip được lấy mẫu ở 16 khung hình là đầu vào khác với một clip được lấy mẫu ở 128 khung hình, và bài báo không nêu rõ các đánh giá video của nó đã dùng cách lấy mẫu nào.

• Giới hạn phương tiện trên mỗi yêu cầu, như bản phát hành — bốn hình ảnh, hai video, hai mục âm thanh.

• Ngữ cảnh, như được cung cấp — 8.192 token, với âm thanh tiêu tốn 10 token mỗi giây trước khi bất kỳ khung hình video nào được tính.

Đối với một mô hình 4B, hai con số đó là ràng buộc quyết định đối với công việc thực tế. Tám nghìn token tương đương khoảng mười ba phút âm thanh và không gì khác; một video có đường tiếng sẽ tiêu tốn ngân sách cho cả hai luồng cùng lúc. Các benchmark video dài bên dưới được chạy trong những điều kiện mà repository không mô tả.

Các chuẩn đánh giá là của chính các tác giả.

Mọi con số trong bài viết này đều đến từ báo cáo kỹ thuật WeMM-Video. Bài báo nói thẳng như vậy — “Đối với các mô hình hiện có, chúng tôi báo cáo kết quả chính thức khi có sẵn và các đánh giá của riêng chúng tôi nếu không” — và chưa có bên thứ ba nào tái lập được bất kỳ phần nào trong đó. Chế độ cũng thay đổi giữa các bảng, điều này quan trọng hơn mức thông thường vì chế độ Thinking không miễn phí: các bảng video báo cáo Thinking cho 2B, 4B và 9B, bảng âm thanh báo cáo Instruct vì các tác giả đánh giá các benchmark âm thanh tiêu chuẩn là những tác vụ “tri giác trực tiếp”, còn các bảng hình ảnh và văn bản quay lại Thinking. So sánh một hàng 4B trong bảng âm thanh với một hàng đối thủ trong bảng video không phải là một phép so sánh.

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

Với lưu ý đó đi kèm, bảng video đa phương thức chính là nơi mô hình 4B chứng minh dung lượng tệp của nó là xứng đáng.

Nơi 4B đánh bại 30B

Bảng 2 của bài báo đặt WeMM-Video-4B đối đầu với Qwen3-Omni-30B-A3B-Instruct và MiniCPM-o-4.5-9B trên các benchmark âm thanh-thị giác kết hợp, tất cả đều ở chế độ Thinking. Mô hình 4B thắng phần lớn các benchmark này, dù đối thủ có kích thước gấp bảy lần.

• Video-MME với âm thanh — WeMM-Video-4B 83.9, Qwen3-Omni-30B-A3B-Instruct 77.3, MiniCPM-o-4.5-9B 69.2.

• Video-MME v2 có âm thanh — 48,1 so với 36,3 và 28,1, mức chênh lệch lớn nhất trong bảng.

• Daily-Omni — 82,5 so với 70,7 và 80,2.

• WorldSense — 60,3 so với 54,0 và 55,7.

• OmniVideoBench — 49,7 so với 45,4 và 37,2.

Bảng video không âm thanh còn mạnh hơn nữa, và chính nó mới là thứ nên quyết định việc mua hàng. Khi loại bỏ âm thanh và chỉ kiểm tra khả năng thị giác: Video-MME 75.7 so với 70.5 và 70.4, LVBench 65.3 so với 50.2 và 50.9, LongVideoBench 74.8 so với 63.5 và 66.0, EgoSchema 74.2 so với 66.4 và 60.4. Mức dẫn trước 15 điểm trên LVBench ở 4B không phải là sai lệch do làm tròn; hiểu video dài chính là chỗ mà các mô hình omni nhỏ trước đây thường sụp đổ.

Các dòng hình ảnh và văn bản mang tính cạnh tranh chứ không áp đảo. MMMU 78.4 so với 76.9 của Qwen3.5-Omni-Flash, MathVista 85.2 so với 82.9, DocVQA 96.5 so với 95.3, IFEval 91.3 so với 85.2. Đó là những dòng mà người đọc có nhiều khả năng thực sự cần nhất, và chúng vẫn đứng vững.

Nó thua ở đâu, và thua cái gì

Những thất bại là cụ thể và đáng được nêu tên, vì một bảng chỉ hiển thị những chiến thắng chính là điều mà blog này ra đời để tránh.

• Âm thanh, so với một mô hình flash độc quyền — Qwen3.5-Omni-Flash đạt 80,4 trên MMAU và 74,0 trên MMAR, so với 75,2 và 67,3 của WeMM-Video-4B. Chiến thắng duy nhất về âm thanh của 4B là MMAU-Pro với 68,1 so với 64,8.

• Video, ở các góc — Video-Holmes 58.8 so với 64.3 của MiniCPM-o-4.5-9B, và FutureOmni 50.9 so với 55.1 của Qwen3-Omni-30B-A3B-Instruct và 56.1 của MiniCPM. Hai benchmark mà một đối thủ nhỏ hơn hoặc cũ hơn thắng hoàn toàn.

• Hình ảnh và văn bản — MMMU-Pro 64,7 so với 68,2, OCRBench 85,7 so với 89,1, GPQA 73,2 so với 76,4, MMLU-Pro 78,3 so với 79,9. Kém từ một đến sáu điểm so với một mô hình độc quyền định hướng phục vụ, mà đối với một checkpoint 5,61B thì đây là một vị trí đáng nể để bị kém hơn.

Cách hiểu là WeMM-Video-4B được tinh chỉnh cho video âm thanh-hình ảnh kết hợp và vẫn trụ vững ở mọi mặt khác. Nếu công việc của bạn là mô tả điều gì xảy ra trong một clip và tóm tắt những gì được nói trong đó, các con số đều tốt. Nếu công việc của bạn là OCR dày đặc hoặc suy luận văn bản ở trình độ sau đại học, cùng checkpoint đó là một sự đánh đổi.

Chạy nó nghĩa là vá runtime của chính bạn

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

Cả vLLM lẫn SGLang đều không hỗ trợ kiến trúc này ở thượng nguồn. Khi tìm kiếm trên trình theo dõi vấn đề của vLLM, không có yêu cầu nào về WeMM-Video, và kho lưu trữ thay vào đó có một thư mục bản vá: các lớp phủ mã nguồn kèm tệp kê khai SHA-256 cho bốn bản phát hành thượng nguồn chính xác — vLLM 0.18.0 và 0.31.0, SGLang 0.5.16 và 0.5.19 — mỗi bản được ghim vào một tổ hợp PyTorch, Transformers và CUDA 12.9 cụ thể, yêu cầu Python 3.12 và FFmpeg, đồng thời TorchCodec cần CUDA 12 NPP trên đường dẫn của trình liên kết. Ngoài ra, SGLang biên dịch nhân CUDA trong lần sử dụng đầu tiên, nên bộ công cụ C++ và Ninja là một phần của quá trình cài đặt.

Con đường GGUF cũng không phải là một lối tắt. Đó là một gói gồm ba tệp — một tệp ngôn ngữ 4,90 GiB, một bộ chiếu thị giác 0,63 GiB và một tệp âm thanh 2,00 GiB — được tạo cho "WeMM native runtime" mà bạn biên dịch từ kho lưu trữ, chứ không phải cho llama.cpp hay Ollama. Manifest của chính Tencent dán nhãn bản xuất là exported_unvalidated, và tệp phạm vi đi kèm ghi là quantized_candidate_not_validated. Đó là cách dán nhãn thẳng thắn một cách bất thường và nên được hiểu theo nghĩa đen: gói Q4_K_M được cung cấp, chứ không được bảo đảm.

Điều mà Tencent thực sự tuyên bố là đã được xác thực thì hẹp: vLLM đã được vá đã tải checkpoint trên một H20 và hoàn thành các kiểm tra sinh cho văn bản, hình ảnh, âm thanh và video có nhạc nền, và checkpoint cục bộ đã vượt qua một lần tải trực tiếp bằng Transformers cùng một kiểm tra sinh văn bản trên CPU. Không có số liệu về thông lượng, độ trễ, mức sử dụng bộ nhớ hay mức đồng thời. Với một mô hình mà điểm bán chính là video, “nó đã sinh được” là mức tối thiểu mà một quyết định triển khai cần đến.

OrcaRouter không cung cấp WeMM-Video-4B. Danh mục của nó không liệt kê bất kỳ checkpoint WeMM nào, vì vậy không có giá dịch vụ lưu trữ nào để báo giá và không có endpoint nào để trỏ tới; hiện nay đây là một công việc tự triển khai với một bản vá được áp lên inference engine của người khác. Đối với nửa phần chỉ liên quan đến thị giác của công việc, trên nền tảng có các lựa chọn thay thế mở — Qwen3-VL-235B-A22B-Thinking và Qwen3-VL-8B-Thinking đều nhận hình ảnh và khung hình video — có thể truy cập qua một khóa tương thích OpenAI, không có tương đương WeMM cho nửa phần âm thanh. Nếu một host tương thích thực sự bắt đầu phục vụ các trọng số này, giá niêm yết của nhà cung cấp sẽ được chuyển thẳng với mức markup 0%, nhưng đó là một điều kiện, không phải sự thật hiện tại.

Điều gì vẫn chưa được xác nhận?

Bốn điều mà người mua thường nhận được từ một buổi ra mắt mà ở đây không thể có được.

• Giá. Không có. Không có endpoint được lưu trữ, không có mức giá theo token, không có danh sách đối tác. Chi phí duy nhất là GPU mà bạn đã sở hữu.

• Đánh giá độc lập. Không có mục trên Artificial Analysis, không có bài nộp lên arena, không có bản tái tạo từ bên thứ ba. Quy trình đánh giá được công khai, đó là phương án tốt thứ hai và không phải là cùng một thứ.

• Điều kiện đánh giá. Số lượng khung hình, ngân sách điểm ảnh và độ dài ngữ cảnh được sử dụng cho các lần chạy đánh giá chuẩn không được nêu trong bài báo, và công thức được phát hành sử dụng 16 khung hình trong khi bộ xử lý mặc định là 128.

• Ngoại lệ giấy phép bên thứ ba. T​encent tuyên bố rằng các thành phần bên trong bộ sưu tập vẫn theo các điều khoản gốc của chúng nhưng không liệt kê chúng. Ngăn xếp âm thanh bắt nguồn từ Qwen2.5-Omni và phần xương sống từ Q​wen3.5, cả hai đều dùng Apache 2.0, điều này đáng yên tâm hơn là có tính quyết định.

Không có điều nào trong số đó là lý do để gạt bỏ bản phát hành. Đó là lý do để đối xử với nhóm này đúng như những gì nó hiển nhiên là: mười tám kho lưu trữ và một báo cáo kỹ thuật được đưa lên mạng trong khoảng thời gian mười chín phút, với bước công bố đã bị bỏ qua. Tài liệu tốt hơn hầu hết các bản phát hành được công bố. Việc phân phối là con số không.

Với một nhóm cần khả năng hiểu âm thanh-hình ảnh kết hợp trên phần cứng do họ kiểm soát, WeMM-Video-4B là checkpoint nhỏ thú vị nhất được công bố trong tháng này, và các con số về video biện minh cho công sức vá lỗi. Với bất kỳ ai cần một endpoint trước thứ Sáu, câu trả lời thật lòng là đây vẫn chưa phải là một endpoint như vậy — trọng số đã có, runtime chỉ là một lớp phủ mã nguồn, và các benchmark duy nhất là của chính các tác giả. Hãy theo dõi lần tái lập độc lập đầu tiên, một lần hợp nhất lên upstream của vLLM, hoặc một mức giá cho bản hosted. Cái nào đến trước sẽ cho bạn biết nhiều hơn một dòng nữa trong Bảng 2.

So sánh trong bài viết này1

Phát hiện từ bài viết này