Karta tytułowa z nagłówkiem „WeMM-Video-4B” i podtytułem „Model audiowizualny Tencenta na Hugging Face bez wpisu premierowego”, trzy karty z napisami „Nazwa na karcie 4B / 5,61B rzeczywistych parametrów”, „Repozytoria 18 / utworzone w 19 minut” i „Cena hostingu: brak / tylko self-hosting”, oraz stopka z tekstem „Dane z repozytorium Hugging Face i arXiv 2611.26409; brak niezależnych benchmarków.”
Engineering & Research

WeMM-Video-4B: cichy model audiowizualny Tencenta o 5,6 mld parametrów

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Plik oznaczony jako WeMM-Video-4B waży 10,45 GiB i przy dwóch bajtach na parametr BF16 daje to 5,61 miliarda parametrów — a nie cztery. Własne metadane safetensors Tencenta mówią to samo: 5 611 746 312 parametrów. „4B” w nazwie to backbone językowy, a nie checkpoint. Ten drobny błąd arytmetyczny to właściwy sposób wejścia do rodziny WeMM-Video, ponieważ niemal wszystko, co interesujące w tym wydaniu, to różnica między etykietą a samym obiektem: rodzina czterech rozmiarów opublikowana bez wpisu zapowiadającego, zestaw benchmarków, który pokonuje Qwen3-Omni-30B-A3B-Instruct i MiniCPM-o-4.5-9B w wideo, ale przegrywa z Qwen3.5-Omni-Flash w audio, oraz embedding pozycji 256K, które każda konfiguracja produkcyjna dobrowolnie przycina do 8 192 tokenów. Wagi są prawdziwe, artykuł jest publiczny, a nikt jeszcze nic z tego nie pobrał.

To, co następuje, rozdziela trzy rzeczy, które karty tej rodziny na Hugging Face łączą ze sobą: to, co jest mierzalne w repozytorium, to, co raportują wyłącznie własne ewaluacje T​encent, oraz to, co nie zostało potwierdzone przez nikogo spoza WeChat Vision.

Plik o nazwie 4B zawiera 5,61 miliarda parametrów.

Hugging Face rejestruje łączną liczbę parametrów dla każdego repozytorium, a w przypadku czterech bazowych punktów kontrolnych WeMM-Video są one konsekwentnie o około 1,2 do 1,6 miliarda większe niż rozmiar w nazwie.

• WeMM-Video-2B — łącznie 3,28 mld wobec etykiety „2B”.

• WeMM-Video-4B — 5,61 mld łącznie w porównaniu z etykietą „4B”.

• WeMM-Video-9B — łącznie 10,49 mld wobec etykiety „9B”.

• WeMM-Video-35BA3B — 36,18 mld łącznie w zestawieniu z etykietą „35B-A3B”, gdzie tylko trzy miliardy z nich są aktywne na token.

Odczyt indeksu safetensors modelu 4B pozwala dostrzec nadwyżkę. Spośród jego 1 268 tensorów model językowy zawiera 4,21 mld parametrów, stos audio 1,07 mld, a wieża wizyjna 0,33 mld. Około dziewiętnaście procent checkpointu to uszy. Praca potwierdza, że konwencja nazewnictwa jest celowa: trzy modele gęste bazują na Qwen3.5-2B, Qwen3.5-4B i Qwen3.5-9B, a model mieszaniny ekspertów na Qwen3.6-35B-A3B.

To ma znaczenie dla każdego, kto dobiera rozmiar wdrożenia. Model „4B”, który wymaga miejsca na 5.61B parametrów — 10.45 GiB w BF16, zanim uwzględnimy jakikolwiek KV cache lub aktywacje — trafia do innej maszyny, niż sugeruje liczba na karcie.

Osiemnaście repozytoriów, dziewiętnaście minut, bez zapowiedzi

Rodzina nie była udostępniana stopniowo. Znaczniki czasu utworzenia na Hugging Face wskazują, że wszystkie osiemnaście repozytoriów — cztery rozmiary pomnożone przez pięć precyzji — znalazło się w przedziale od 08:53:50 do 08:59:06 UTC 17 listopada 2026 r., w odstępach mniej więcej czternastu sekund, co jest charakterystyczne dla skryptu przesyłającego dane, a nie dla osoby klikającej „publikuj”. Repozytorium GitHub Tencent/WeMM-Video utworzono o 02:29:33 UTC tego samego dnia, a jego zasadniczy początkowy commit pojawił się 19 listopada, przy czym poprawki README trwały do 20 listopada.

A screenshot of the Hugging Face model page for tencent/WeMM-Video-4B showing the '6B params / 10.5 GB' panel, a Safetensors tag, an Image-Text-to-Text pipeline tag, 10.4 GiB of weights, an Apache 2.0 licence, and zero downloads and zero likes.

Praca ukazała się 19 listopada: arXiv 2611.26409, „WeMM-Video: Pushing the Frontiers of Open-Source Omni-Modal Video Understanding”, dwunastu autorów, przesłana o 16:58 UTC. To pełny raport techniczny z siedmioma tabelami wyników i linkiem do pipeline’u ewaluacji i reprodukcji. To więc nie jest nieudokumentowane wydanie — to udokumentowane, którego nikt nie ogłosił. Nie udało nam się znaleźć wpisu na blogu Tencent, strony startowej WeChat Vision, komunikatu prasowego ani płatnego poziomu wskazującego na tę rodzinę; karty modeli, README na GitHubie i artykuł na arXiv to cały publiczny zapis, a zostały napisane wzajemnie pod siebie.

Liczby dotyczące odbioru opowiadają tę samą historię. W chwili pisania każde z czterech bazowych checkpointów miało zero pobrań, a osiemnaście repozytoriów łącznie zebrało trzy polubienia. Ani Artificial Analysis, ani LMArena nie wymieniają żadnego modelu WeMM. Nic z tego nie jest dowodem na jakość — to dowód na dystrybucję i to dlatego checkpoint 4B, który przewyższa 30B w kilku benchmarkach wideo, nie ma przypisanej żadnej niezależnej liczby.

Co jest wewnątrz punktu kontrolnego?

Odsuwając na bok całą otoczkę „rodziny”, 4B to standardowy trzywieżowy stos omni z jednym nietypowym wyborem szkieletu.

• Wieża językowa — 32 warstwy, wymiar ukryty 2 560, 16 głowic uwagi wobec 4 głowic klucz-wartość, wymiar głowicy 256, słownik 248 320. Szkielet jest hybrydowy: jedna warstwa pełnej uwagi co czwarty blok, a pozostałe trzy wykorzystują uwagę liniową — dlatego każdy przepis wdrożeniowy w repozytorium zawiera flagę pamięci podręcznej SSM typu float32.

• Wieża wizyjna — 24 bloki o wymiarze ukrytym 1,024, rozmiarze patcha 16, scalaniu przestrzennym 2, patchu czasowym 2, rzutujące do 2,560. Jest to natywny enkoder backbone'a, zachowany, a nie zamieniony, a praca zamraża go począwszy od drugiego etapu wstępnego trenowania, ponieważ „zapewnia już wystarczająco silne reprezentacje wizualne”.

• Wieża audio — w stylu Whisper, 32 warstwy kodera i 32 warstwy dekodera o szerokości 1280, z Q-Formerem na poziomie okien kompresującym 0,1-sekundowe okna do 10 tokenów audio na sekundę. Audio dociera przy 16 kHz w 30-sekundowych fragmentach. To część zainicjalizowana z Qwen2.5-Omni, a przy 1,07 mld parametrów stanowi największą pojedynczą lukę między nazwą a plikiem.

• Fusion — tokeny wizualne i audio przeplatają się w porządku chronologicznym wraz z jawnymi znacznikami czasu w postaci tekstowej, zamiast być grupowane w osobne strumienie.

• Tryby — tryb Instruct do udzielania bezpośrednich odpowiedzi oraz tryb Thinking, który przed odpowiedzią emituje ślad rozumowania, przełączany na poziomie szablonu czatu za pomocą enable_thinking.

• Licencja — Apache 2.0 w całej kolekcji, przy czym plik licencji Tencent wyodrębnia komponenty podmiotów trzecich, które „pozostają objęte swoimi odpowiednimi pierwotnymi warunkami”. To wyłączenie nie jest wyszczególnione w karcie modelu.

256K w konfiguracji, 8K w poleceniu serwowania

Konfiguracja tekstowa deklaruje max_position_embeddings o wartości 262 144. Każde polecenie serwowania publikowane przez T​encent — zarówno oba profile vLLM, jak i oba profile SGLang — przekazuje max-model-len 8192 lub context-length 8192. Wartość 256K to zapas architektoniczny, a nie obsługiwana konfiguracja, i nic w repozytorium nie wyjaśnia, jak go osiągnąć.

Budżet klatek ma ten sam kształt. Domyślne ustawienia samego procesora są hojne: 2 klatki na sekundę, maksymalnie 128 klatek, łącznie 25 165 824 pikseli. Przepis vLLM obniża wszystkie trzy wartości — fps 2, max_frames 16, total_pixels 262144. Szesnaście klatek otrzymuje się po skopiowaniu polecenia. Klip próbkowany z 16 klatkami to inne dane wejściowe niż klip próbkowany ze 128 klatkami, a praca nie podaje, jakiego próbkowania użyto w jej ewaluacjach wideo.

• Limity multimediów na żądanie, w wersji dostarczonej — cztery obrazy, dwa filmy, dwa elementy audio.

• Kontekst w wersji dostarczanej — 8,192 tokeny, przy czym audio zużywa 10 tokenów na sekundę, zanim zostaną uwzględnione jakiekolwiek klatki wideo.

Dla modelu 4B te dwie liczby są wiążącym ograniczeniem w rzeczywistej pracy. Osiem tysięcy tokenów to około trzynastu minut audio i nic więcej; film ze ścieżką dźwiękową zużywa budżet na oba strumienie naraz. Poniższe benchmarki długich filmów zostały przeprowadzone w warunkach, których repozytorium nie opisuje.

Benchmarki pochodzą od samych autorów.

Każda liczba w tym artykule pochodzi z raportu technicznego WeMM-Video. W publikacji stwierdzono to wprost — „W przypadku istniejących modeli podajemy oficjalne wyniki, jeśli są dostępne, a w przeciwnym razie wyniki naszych własnych ocen” — i żadna strona trzecia nie odtworzyła żadnego z nich. Tryb zmienia się też między tabelami, co ma większe znaczenie niż zwykle, ponieważ tryb Thinking nie jest darmowy: tabele wideo podają wyniki dla trybu Thinking dla modeli 2B, 4B i 9B, tabela audio podaje wyniki dla trybu Instruct, ponieważ autorzy uznali standardowe testy audio za zadania „bezpośrednio percepcyjne”, a tabele obrazów i tekstu wracają do trybu Thinking. Porównywanie wiersza 4B w tabeli audio z wierszem konkurenta w tabeli wideo nie jest porównaniem.

A single-column scoreboard headed 'WeMM-Video-4B - the scoreboard' listing 'Video-MME with audio: 83.9', 'Video-MME v2 with audio: 48.1', 'LVBench video only: 65.3', 'Daily-Omni: 82.5', 'MMAU audio: 75.2' and 'MMMU image: 78.4', with a footer reading 'Vendor-reported; no independent scores yet. Figures from arXiv 2611.26409.'

Przy tym zastrzeżeniu to omni-modalna tabela wideo jest miejscem, w którym 4B uzasadnia swój rozmiar pliku.

Gdzie 4B pokonuje 30B

Tabela 2 w artykule zestawia WeMM-Video-4B z Qwen3-Omni-30B-A3B-Instruct i MiniCPM-o-4.5-9B w łączonych benchmarkach audio-wizualnych, wszystkie w trybie Thinking. Model 4B wygrywa w większości z nich, mierząc się z modelem siedmiokrotnie większym.

• Video-MME z dźwiękiem — WeMM-Video-4B 83,9, Qwen3-Omni-30B-A3B-Instruct 77,3, MiniCPM-o-4.5-9B 69,2.

• Video-MME v2 z dźwiękiem — 48,1 wobec 36,3 i 28,1, największa przewaga w tabeli.

• Daily-Omni — 82,5 wobec 70,7 i 80,2.

• WorldSense — 60,3 wobec 54,0 i 55,7.

• OmniVideoBench — 49,7 wobec 45,4 i 37,2.

Tabela dla wideo bez dźwięku jest jeszcze mocniejsza i to ona powinna decydować o zakupie. Po usunięciu ścieżki dźwiękowej i testowaniu wyłącznie wizji: Video-MME 75,7 wobec 70,5 i 70,4, LVBench 65,3 wobec 50,2 i 50,9, LongVideoBench 74,8 wobec 63,5 i 66,0, EgoSchema 74,2 wobec 66,4 i 60,4. Przewaga 15 punktów na LVBench przy 4B nie jest artefaktem zaokrągleń; rozumienie długich wideo to dokładnie ten obszar, w którym małe modele omni historycznie się rozpadały.

Wiersze dotyczące obrazu i tekstu są konkurencyjne, a nie dominujące. MMMU 78,4 wobec 76,9 Qwen3.5-Omni-Flash, MathVista 85,2 wobec 82,9, DocVQA 96,5 wobec 95,3, IFEval 91,3 wobec 85,2. To właśnie tych wierszy czytelnik najprawdopodobniej naprawdę potrzebuje i one się bronią.

Gdzie przegrywa i z czym

Straty są konkretne i warte nazwania, ponieważ tabela, która pokazuje tylko sukcesy, jest właśnie tym, czego ten blog ma unikać.

• Audio w porównaniu z zastrzeżonym modelem flash — Qwen3.5-Omni-Flash uzyskuje 80,4 w MMAU i 74,0 w MMAR wobec 75,2 i 67,3 modelu WeMM-Video-4B. Jedynym zwycięstwem audio modelu 4B jest MMAU-Pro z wynikiem 68,1 wobec 64,8.

• Wideo, w narożnikach — Video-Holmes 58,8 wobec 64,3 MiniCPM-o-4.5-9B oraz FutureOmni 50,9 wobec 55,1 dla Qwen3-Omni-30B-A3B-Instruct i 56,1 dla MiniCPM. Dwa benchmarki, w których mniejszy lub starszy konkurent wygrywa bezapelacyjnie.

• Obraz i tekst — MMMU-Pro 64,7 wobec 68,2, OCRBench 85,7 wobec 89,1, GPQA 73,2 wobec 76,4, MMLU-Pro 78,3 wobec 79,9. Od jednego do sześciu punktów straty do zastrzeżonego modelu ukierunkowanego na serwowanie — jak na checkpoint o 5,61 mld parametrów to całkiem przyzwoita pozycja, by pozostawać za nim.

Interpretacja jest taka, że WeMM-Video-4B dostrojono do wspólnego przetwarzania audio-wideo i wszędzie indziej trzymał się dobrze. Jeśli Twoim zadaniem jest opisywanie, co dzieje się w klipie, i streszczanie tego, co jest w nim mówione, liczby są dobre. Jeśli Twoim zadaniem jest OCR gęstego tekstu lub rozumowanie tekstowe na poziomie absolwenta, ten sam checkpoint jest kompromisem.

Uruchomienie tego oznacza załatanie własnego środowiska uruchomieniowego

A screenshot of the Tencent/WeMM-Video GitHub repository showing five stars, zero forks, and the README model-zoo table listing the WeMM-Video 2B, 4B, 9B and 35B-A3B checkpoints against their base models.

Ani vLLM, ani SGLang nie obsługują tej architektury upstream. Przeszukanie trackera zgłoszeń vLLM nie wykazuje żadnego zgłoszenia dotyczącego WeMM-Video, a repozytorium zamiast tego dostarcza katalog patch: nakładki źródłowe z manifestami SHA-256 dla czterech konkretnych wydań upstream — vLLM 0.18.0 i 0.31.0, SGLang 0.5.16 i 0.5.19 — z których każde jest przypięte do konkretnej kombinacji PyTorch, Transformers i CUDA 12.9, przy czym wymagane są Python 3.12 i FFmpeg, a TorchCodec wymaga CUDA 12 NPP na ścieżce linkera. SGLang dodatkowo kompiluje jądra CUDA przy pierwszym użyciu, więc łańcuch narzędzi C++ i Ninja wchodzą w skład instalacji.

Ścieżka GGUF również nie jest skrótem. To pakiet trzech plików — plik językowy o rozmiarze 4,90 GiB, projektor wizji 0,63 GiB oraz plik audio 2,00 GiB — zbudowany pod „WeMM native runtime”, który kompilujesz z repozytorium, a nie pod llama.cpp czy Ollama. Własny manifest Tencenta oznacza eksport jako exported_unvalidated, a towarzyszący plik zakresu mówi quantized_candidate_not_validated. To wyjątkowo szczere oznakowanie i należy je czytać dosłownie: pakiet Q4_K_M jest oferowany, ale nie z gwarancją.

To, co Tencent rzeczywiście uznaje za zweryfikowane, jest wąskie: zpatchowany vLLM wczytał checkpoint na H20 i ukończył testy generowania tekstu, obrazu, dźwięku oraz wideo ze ścieżką dźwiękową, a lokalny checkpoint przeszedł bezpośrednie wczytanie przez Transformers oraz test generowania tekstu na CPU. Brak jakichkolwiek liczb dotyczących przepustowości, opóźnień, zajętości pamięci czy współbieżności. W przypadku modelu, którego kluczowym atutem jest wideo, „wygenerował” to absolutne minimum tego, czego potrzebuje decyzja o wdrożeniu.

OrcaRouter nie udostępnia WeMM-Video-4B. W jego katalogu nie ma żadnego checkpointu WeMM, więc nie ma hostowanej ceny do podania ani endpointu, na który można by wskazać; obecnie jest to zadanie self-hostingu z patchem zastosowanym do silnika wnioskowania kogoś innego. Dla wizyjnej połowy pracy na platformie dostępne są otwarte alternatywy — Qwen3-VL-235B-A22B-Thinking i Qwen3-VL-8B-Thinking obie przyjmują obrazy i klatki wideo — osiągalne przez jeden klucz zgodny z OpenAI, bez odpowiednika WeMM dla połowy audio. Jeśli kompatybilny host zacznie udostępniać te wagi, cena katalogowa dostawcy jest przekazywana z 0% marżą, ale to warunek, a nie obecny fakt.

Co nadal pozostaje niepotwierdzone

Cztery rzeczy, które kupujący normalnie otrzymałby przy premierze, a których tutaj nie może dostać.

• Cena. Nie ma jej. Brak hostowanego punktu końcowego, brak stawki za token, brak listy partnerów. Jedynym kosztem jest GPU, które już masz.

• Niezależna ocena. Brak wpisu w Artificial Analysis, brak zgłoszenia do areny, brak odtworzenia przez stronę trzecią. Pipeline oceny jest publiczny, co jest kolejną najlepszą rzeczą i nie jest tym samym.

• Warunki ewaluacji. Liczba klatek, budżety pikselowe i długości kontekstu wykorzystywane w przebiegach benchmarku nie zostały podane w artykule, a dostarczany przepis używa 16 klatek, podczas gdy procesor domyślnie przyjmuje 128.

• Wyłączenie dotyczące licencji stron trzecich. Tencent stwierdza, że komponenty wchodzące w skład kolekcji pozostają objęte swoimi pierwotnymi warunkami, ale ich nie wymienia. Stos audio wywodzi się z Qwen2.5-Omni, a szkielet z Qwen3.5, oba na licencji Apache 2.0, co jest pocieszające, choć nie rozstrzygające.

Nic z tego nie jest powodem, by lekceważyć to wydanie. Jest powodem, by traktować tę rodzinę jako to, czym wyraźnie jest: osiemnaście repozytoriów i raport techniczny opublikowane online w dziewiętnastominutowym oknie, z pominięciem etapu zapowiedzi. Dokumentacja jest lepsza niż w przypadku większości zapowiadanych premier. Dystrybucja jest zerowa.

Dla zespołu, który potrzebuje wspólnego rozumienia treści audio-wizualnych na sprzęcie, nad którym ma kontrolę, WeMM-Video-4B jest najciekawszym małym checkpointem opublikowanym w tym miesiącu, a wyniki dla wideo uzasadniają wysiłek związany z łataniem. Dla każdego, kto potrzebuje endpointu do piątku, uczciwa odpowiedź brzmi: to jeszcze nim nie jest — wagi istnieją, środowisko uruchomieniowe to nakładka źródłowa, a jedyne benchmarki pochodzą od autorów. Wypatruj pierwszego niezależnego odtworzenia, scalenia do upstreamu vLLM albo ceny wersji hostowanej. Cokolwiek pojawi się pierwsze, powie ci więcej niż kolejny wiersz w Tabeli 2.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu