Karta tytułowa hero z napisem „WeMM-Video-9B: dlaczego jego 4-bitowe wersje wciąż zajmują 13 GiB”, z podtytułem „Tencent opublikował dziewiętnaście repozytoriów WeMM-Video 17 listopada 2026 r. bez wpisu o premierze”, z czterema wierszami układów pamięci: BF16 base — 19,54 GiB w pięciu shardach, FP8 Block128 — 13,10 GiB, AWQ W4A16 — 12,86 GiB i NVFP4 W4A16 — 13,07 GiB, wyróżnionym wierszem z napisem 0,42 GiB między wszystkimi czterema skompresowanymi wersjami oraz stopką głoszącą, że rozmiary są mierzone na podstawie listy plików każdego repozytorium Hugging Face i są podawane przez dostawcę, bez niezależnej weryfikacji.
Engineering & Research

WeMM-Video-9B: dlaczego jego wersje 4-bitowe wciąż zajmują 13 GiB

Autor

jinhao.song

Data publikacji

Najnowsze modele · 20Zobacz wszystkie modele →
Benchmarki: Artificial Analysis · aktualizowane codziennie
Powrót do wszystkich wpisów

Czterobitowa kwantyzacja powinna dawać około jednej czwartej rozmiaru pliku wag, z którego powstała. WeMM-Video-9B waży 19,54 GiB w BF16, a jego wersja AWQ W4A16 — 12,86 GiB. To redukcja o 34%, a nie o 75% — a wersje FP8, AWQ, NVFP4 i GGUF mieszczą się wszystkie w odległości 0,42 GiB od siebie, więc wybór między nimi nie daje prawie żadnych oszczędności pamięci. Manifesty samych eksporterów wyjaśniają dlaczego: potoki 4-bitowe kompresują wyłącznie gęste macierze feed-forward — 4,83 miliarda parametrów z 10,49 miliarda — podczas gdy wieża wizyjna, wieża audio, embedding, głowica wyjściowa i wagi attention zachowują oryginalną precyzję, a 5,7 miliarda parametrów po dwa bajty każdy wyznacza dolny pułap, poniżej którego nie zejdzie żadna receptura W4. T​encent opublikował wagi, receptury kwantyzacji i raport techniczny autorstwa 12 osób w dniach 17–19 listopada, bez wpisu zapowiadającego premierę, a częścią, której nikt jeszcze nie opisał, jest arytmetyka — która akurat decyduje też o tym, czy ten model zmieści się na GPU, które już masz. Według własnych tabel T​encenta bije on Qwen3-Omni-30B-A3B-Instruct w 35 z 37 wspólnych dla obu modeli wyników audio-wizualnych; jeśli chodzi o to, czy jego czterobitowe wersje są bezpieczne do wdrożenia, dowody są skromniejsze, niż sugeruje dziewiętnaście repozytoriów.

Stos 10,49B noszący etykietę 9B

Repozytorium tencent/WeMM-Video-9B utworzono o 08:55:54 UTC 17 listopada 2026 r., czternaście sekund po jego bliźniaku AWQ i jedenaście minut po modelu flagowym 35B-A3B. W organizacji t​encent istnieje dziewiętnaście repozytoriów WeMM-Video, wszystkie utworzone w pięciominutowym oknie tego ranka, co jest charakterystycznym śladem skryptu do przesyłania, a nie osoby publikującej modele pojedynczo. Projekt GitHub Tencent/WeMM-Video utworzono sześć godzin wcześniej, o 02:29 UTC, jego pierwszy istotny commit pojawił się 19 listopada, a poprawki README wciąż napływały 20 listopada. Artykuł arXiv 2611.26409 przesłano o 16:58 UTC 19 listopada.

Screenshot of the Hugging Face model page for tencent/WeMM-Video-9B, showing the model card, the file listing and the repository tab bar for a repository created on 17 November 2026 with no launch announcement linked from it.

Nic z tego nie zostało ogłoszone. Nie udało się nam znaleźć wpisu na blogu Tencent, strony premiery WeChat Vision, komunikatu prasowego ani płatnego planu odnoszącego się do tej rodziny. W chwili pisania wszystkie dziewiętnaście repozytoriów miało zero pobrań i łącznie trzy polubienia. Artificial Analysis nie wymienia żadnego modelu WeMM. Żaden z tych faktów nie mówi nic o jakości — mówią one, że pominięto etap dystrybucji.

„9B” w nazwie to trzon językowy, a nie checkpoint. Hugging Face odnotowuje 10 488 603 384 parametry w 1 305 tensorach, a odczytanie nazw pięciu shardów safetensors pozwala rozdzielić je na cztery grupy:

• Model językowy — 7,94 mld parametrów, w tym embedding tokenów o rozmiarze 1,02 mld.

• Głowica wyjściowa — 1,02 mld parametrów. Osadzenia są niepowiązane, więc jest to druga pełna kopia słownika o 248 320 tokenach przy 4096 wymiarach ukrytych.

• Wieża audio — 1,08 mld parametrów. Koder i dekoder w stylu Whisper, każdy z 32 warstwami o szerokości 1280, zasilające dwuwarstwowy Q-Former, który kompresuje 0,1-sekundowe okna do 10 tokenów audio na sekundę.

• Wieża wizyjna — 0,46 mld parametrów. 27 bloków o rozmiarze ukrytym 1 152, rozmiarze patcha 16, scalaniu przestrzennym 2, czasowym rozmiarze patcha 2.

Tak więc mniej więcej jedna piąta pliku to uszy i oczy. Praca wyraźnie określa pochodzenie: gęste modele 2B, 4B i 9B są zbudowane na Qwen3.5-2B, Qwen3.5-4B i Qwen3.5-9B, model mieszaniny ekspertów na Qwen3.6-35B-A3B, enkodery audio są inicjalizowane z Qwen2.5-Omni, a natywne enkodery wizualne są zachowywane, a nie wymieniane, i zamrażane od drugiego etapu wstępnego trenowania, ponieważ „już zapewniają wystarczająco silne reprezentacje wizualne”.

Sam szkielet jest hybrydowy: 32 warstwy, rozmiar ukryty 4096, 16 głów uwagi wobec 4 głów klucz-wartość przy wymiarze głowy 256, z jedną warstwą pełnej uwagi po każdych trzech warstwach uwagi liniowej oraz pamięcią podręczną SSM w formacie float32 — dlatego każde polecenie serwowania w repozytorium zawiera flagę mamba-ssm-cache-dtype float32. Osadzenia pozycji są zadeklarowane na 262 144 tokeny; przeplatane sekcje multimodalnego RoPE to 11/11/10. Licencja to Apache 2.0 z wyłączeniem dotyczącym stron trzecich, niewyszczególnionym na karcie modelu.

Cztery kompilacje, cztery niemal identyczne rozmiary

Oto cała drabinka kwantyzacji, zmierzona na podstawie własnej listy plików każdego repozytorium, a nie zaokrąglonej liczby na karcie:

• BF16 base — 19,54 GiB w pięciu shardach.

• FP8 Block128 — 13,10 GiB, jeden plik. Wymaga GPU obsługującego FP8 oraz załatanego vLLM 0.18.0.

• AWQ W4A16 — 12,86 GiB, INT4 group-128 w formacie compressed-tensors. vLLM 0.18.0 z patchem.

• NVFP4 W4A16 — 13,07 GiB, mieszana precyzja ModelOpt 0.45.0 z rozmiarem grupy 16. Zmodyfikowany vLLM 0.31.0 z Marlinem, konfiguracja referencyjna SM120.

• GGUF Q4_K_M — 13,28 GiB jako pakiet trzech plików: 10,41 GiB języka, 2,01 GiB audio, 0,86 GiB projektora wizyjnego.

Generated single-column scoreboard titled 'WeMM-Video-9B — the scoreboard' with six memory-chip rows: BF16 base 19.54 GiB across five shards, FP8 Block128 13.10 GiB, AWQ W4A16 12.86 GiB, NVFP4 W4A16 13.07 GiB, GGUF Q4_K_M 13.28 GiB, and a spread of 0.42 GiB across the four compressed builds, with a footer stating the sizes are measured from each Hugging Face repository's file listing and are vendor-reported with no independent verification.

Rozrzut między tymi czterema skompresowanymi kompilacjami wynosi 0,42 GiB, czyli mniej niż bufor, jaki zostawiłbyś na aktualizację sterownika. Jeśli wybierasz między nimi, żeby zmieścić się na karcie, to patrzysz na niewłaściwą zmienną: wybieraj na podstawie tego, jaki masz GPU i który runtime możesz załatać, bo różnicy w pamięci po prostu nie ma.

Naiwne oczekiwanie — jedna czwarta z 19,54 GiB, czyli około 4,9 GiB — jest błędne o czynnik dwa i pół. Nawet zapas względem BF16 jest skromny: 6,68 GiB zaoszczędzone przez AWQ, co daje rzeczywiste 34%, ale to nic w porównaniu z „czterokrotnie mniejszym”, które sugeruje etykieta W4.

Co chronią eksporterzy i dlaczego

Zarówno manifesty AWQ, jak i GGUF dokładnie określają, których tensorów wolno im było dotykać, a odpowiedź wyjaśnia plateau rozmiaru.

• Tylko gęste macierze feed-forward są kwantyzowane. Manifest AWQ rejestruje 96 skwantyzowanych macierzy językowych — po trzy na warstwę w 32 warstwach, każda o wymiarach 4096 na 12 288. To 4,83 mld parametrów z 10,49 mld, czyli 46% checkpointu. Wszystko inne zachowuje swoją precyzję.

• Ścieżka uwagi została przywrócona do BF16. Manifest AWQ zawiera blok attention_restoration wymieniający 152 macierze projekcji uwagi i 32 normy wejściowe skopiowane z powrotem z checkpointu źródłowego wraz z ich hashami SHA-256. Plik zakresu GGUF podaje tę samą liczbę — protected_attention_BF16: 152 — i dodaje, że tensory osadzeń i wyjściowe to jedyne dwa pozostałe chronione elementy.

• Frontend i obie wieże medialne nigdy nie trafiają do kwantyzatora. W manifeście AWQ 881 tensorów jest wymienionych jako chronione tensory frontendu, osadzania i głowy — 333 z wieży wizualnej, 545 z wieży audio, osadzenie tokenów, niepowiązana głowa wyjściowa i końcowa normalizacja. Przy BF16 to około 3,57 mld parametrów, czyli 7,1 GB z 21,0 GB pliku, znajdujących się całkowicie poza etapem kompresji.

Konsekwencją jest liczba, której plan wdrożenia faktycznie potrzebuje: zaplanuj 13–13,5 GiB VRAM na wagi, niezależnie od wybranej wersji, a następnie dolicz pamięć podręczną KV i pamięć podręczną SSM w float32. „4-bitowy 9B”, który wymaga 13 GiB wag, nie jest problemem z modelem — sam słownik to 248 320 tokenów osadzonych dwukrotnie, a wieża audio to Whisper z 1,08 mld parametrów siedzący w jego środku — ale to różnica między zmieszczeniem się na karcie 16 GB z zapasem do pracy a niezmieszczeniem się w ogóle.

Zweryfikowano pod kątem ładowania, nie zweryfikowano pod kątem równości

Każda karta kwantyzacji w tej rodzinie podaje wynik testu wstępnego, a każdy manifest mówi coś bardziej dosadnego. Czytaj oba obok siebie, ponieważ różnica między nimi to całe ryzyko używania skompresowanej kompilacji.

• FP8 Block128 — karta: spatchowany vLLM załadował go na H20 i ukończył testy generowania tekstu, obrazu, dźwięku oraz wideo z dźwiękiem, a audyt precyzji w czasie działania potwierdził ścieżkę W8A8. Manifest: status quantized_and_independently_reloaded_native_inference_pending, z native_inference_validated: false i native_low_precision_gemm_validated: false zapisanymi jako osobne flagi.

• AWQ W4A16 — karta: złatany vLLM załadował go na H20, ukończył te same cztery kontrole, a audyt precyzji potwierdził wagi feed-forward INT4 względem attention BF16. Manifest: status quantized_unvalidated, z diagnostic_variant wskazującym referencyjny build z attention BF16 obok wersji INT4.

• NVFP4 W4A16 — karta: załatany vLLM 0.31.0 załadował i uruchomił „referencyjne wagi PRO 5000" i przeszedł pięć kontroli generowania, w tym ciche wideo. Manifest: te same trzy twierdzenia są zapisane jako flagi i każde z nich odczytuje się jako fałsz — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — przy statusie cpu_NVFP4_weight_artifact_independently_reread. To, co manifest rzeczywiście poświadcza, to kontrola numeryczna: 96 macierzy i 4 831 838 208 elementów zdekwantyzowanych niezależnie, średni względny RMSE 0,095 wobec limitu 0,35, przy czym 1 209 chronionych tensorów potwierdzono jako bitowo dokładne. Ta liczba elementów to te same 4,83 miliarda, które wymienia opis zakresu, i właśnie stąd wiadomo, że arytmetyka w tym tekście i arytmetyka eksportera się zgadzają.

• GGUF Q4_K_M — karta: natywne środowisko uruchomieniowe CPU załadowało pakiet i wygenerowało dane wyjściowe tekstowe, obrazowe, audio i wideo. Status manifestu exported_unvalidated; status zakresu quantized_candidate_not_validated.

„Załadował się i wygenerował” to realny wynik i warto go mieć — wiele skwantyzowanych checkpointów multimodalnych zawodzi dokładnie na tym etapie. To jednak nie jest wynik, który przesądza o wdrożeniu, ponieważ żadna z tych kart modeli nie podaje ani jednej liczby dokładności dla skompresowanej wersji względem jej własnego źródła BF16. Nie ma zmierzonej delty na MMAU, na Video-MME, na WER transkrypcji. Jedyna deklaracja dotycząca precyzji, jaką gdziekolwiek podano, ma charakter strukturalny i pochodzi z audytu AWQ: INT4 w warstwach feed-forward, BF16 w attention. To opisuje plik. Nie mówi, ile kosztowała kompresja, a w przypadku modelu, którego przewaga nad Qwen3-Omni-30B-A3B-Instruct na Video-MME z dźwiękiem wynosi 7,8 punktu, skala tego kosztu nie jest kwestią zaokrąglenia.

Praktyczna zasada dla tej rodziny jest więc taka: zanim zaufasz tabeli z artykułu, ponownie uruchom jeden benchmark, na którym ci zależy, na dokładnym buildzie, który zamierzasz wdrożyć, względem bazy BF16. To kilka godzin pracy i jedyny sposób, by przekonać się, czy feed-forward INT4 można podmienić bez pogorszenia wyników wideo, czy też 34% oszczędności jest okupywane w liczbach, którymi karta się sprzedaje.

Screenshot of the raw quantization_manifest.json for the FP8 Block128 build of tencent/WeMM-Video-9B on Hugging Face, showing the status field quantized_and_independently_reloaded_native_inference_pending, an official_repo field naming Qwen/Qwen3.5-35B-A3B-FP8, and the algorithm field Transformers 5.5.3 Fp8Quantize.convert.

Pod tym kryją się dwie mechaniczne pułapki.

Pierwsza kwestia dotyczy GGUF. „GGUF Q4_K_M” jest odczytywane jako „działa w llama.cpp lub Ollama”. Nieprawda. Pakiet jest zbudowany dla własnego natywnego środowiska uruchomieniowego Tencent, które kompilujesz z repozytorium; szybki start z karty modelu to install-cpu/bin oraz native/run_hf.py – program uruchamiający – a przewodnik po serwowaniu kieruje GGUF do tego środowiska uruchomieniowego i do niczego innego. Jeśli Twój potok ma kształt llama.cpp, ten checkpoint nie jest skrótem, na jaki wygląda.

Druga kwestia to wada dokumentacji, którą warto wyraźnie wskazać, ponieważ zdezorientuje każdego, kto czyta manifesty po kolei. Wszystkie trzy manifesty FP8 — dla 2B, 4B i 9B — zawierają to samo pole official_repo: Qwen/Qwen3.5-35B-A3B-FP8. To skopiowany ciąg proweniencji w rekordzie przepisu, a nie stwierdzenie, że checkpoint 9B jest potajemnie 35B modelem mixture-of-experts. Nic innego w pliku nie wspiera takiej interpretacji: lista źródeł tego samego manifestu wskazuje na pięć shardów tencent/WeMM-Video-9B z pasującymi hashwami, a blok architektury odnotowuje gęsty model o 32 warstwach z zerem ekspertów. 35B-A3B to prawdziwy, odrębny model; jest to także jedyny rozmiar w rodzinie bez własnego repozytorium FP8, mający wyłącznie base, AWQ, GGUF i NVFP4.

9B kontra 30B, według tabel T​encenta

Wszystkie poniższe liczby benchmarkowe pochodzą od samych autorów, z arXiv 2611.26409, i żadna strona trzecia nie odtworzyła żadnej z nich. Artykuł mówi o tym wprost: istniejące modele są raportowane według „oficjalnych wyników, gdy są dostępne, a w przeciwnym razie według naszych własnych ocen”. Traktuj tę sekcję jako opis twierdzenia, a nie pomiaru.

W łącznej tabeli audio-wizualnej, w trybie Thinking, model 9B przewyższa Qwen3-Omni-30B-A3B-Instruct w 35 z 37 pozycji wspólnych dla obu kolumn, remisując w jednej i przegrywając w jednej — z modelem około trzykrotnie większym:

• Video-MME z dźwiękiem — 85,1 wobec 77,3. MiniCPM-o-4.5-9B osiąga 69,2.

• Video-MME-v2 z dźwiękiem — 51,6 wobec 36,3, różnica 15,3 punktu.

• Daily-Omni — 83,6 wobec 70,7, choć 80,2 modelu MiniCPM-o-4.5-9B czyni z tego wynik trójstronny, a nie łatwe zwycięstwo.

• SciVideoBench i MMOU — 64,2 wobec 49,9 i 71,7 wobec 60,5.

• EvaOmni i OmniReasoningBench — 50,7 wobec 26,1 i 43,9 wobec 24,1.

• Jedyna porażka — FutureOmni, 53,7 wobec 55,1. MiniCPM-o-4.5-9B uzyskuje tam 56,1.

Tabela dla niemego wideo jest bardziej użyteczna, ponieważ zawiera kontrolę z tej samej rodziny: Qwen3.5-9B, backbone, na którym zbudowano ten checkpoint. Gdy czytasz obie kolumny obok siebie, post-training nabiera wyraźnego kształtu. Zyskuje na temporal groundingu i percepcji czasowej — F-16-NBA 88,7 wobec 75,8, TimeLens-QVHighlights 66,8 wobec 64,3, TimeLens-ActivityNet 55,3 wobec 52,2, TOMATO 48,5 wobec 45,0 — a traci na podsumowywaniu długich wideo i ogólnym rozpoznawaniu: MLVU 82,4 wobec 84,4, LVBench 68,2 wobec 70,0, VideoVista 82,2 wobec 84,7, VSI-Bench 54,5 wobec 58,3, MVBench 71,4 wobec 74,4. Nie jest to więc jednolite ulepszenie względem dziedziczonego backbone’u. To model dostrojony w kierunku tego, kiedy i gdzie coś się wydarzyło, przy wymiernym koszcie w zagregowanych wynikach wideo i rozumowaniu przestrzennym, w których backbone radził sobie już lepiej.

Audio to obszar, w którym 9B przestaje wygrywać. W trybie Instruct 9B uzyskuje 70,9 w MMAU-Pro wobec 64,8 modelu Qwen3.5-Omni-Flash i 76,8 w MMSU wobec 72,2 — ale przegrywa w MMAU (77,0 wobec 80,4) i MMAR (72,8 wobec 74,0), a w rozpoznawaniu mowy przegrywa bezapelacyjnie: współczynnik błędów słów w LibriSpeech 1,5 i 3,1 wobec 1,3 i 2,4, współczynnik błędów znaków w WenetSpeech 5,4 i 6,8 wobec 4,4 i 5,5. Tekst i wiedza potwierdzają ten sam obraz: MMLU-Pro 81,6 wobec 82,5 bazowego modelu Qwen3.5-9B, GPQA 77,8 wobec 81,7, HMMT 75,0 wobec 82,9. Jeśli produktem jest transkrypcja, dedykowany system rozpoznawania mowy wciąż wygrywa.

Jedno porównanie w artykule należy czytać ostrożnie. Tabela omni-modalna uruchamia modele WeMM w trybie Thinking, podczas gdy tabela audio uruchamia je w trybie Instruct, ponieważ autorzy uznali standardowe benchmarki audio za bezpośrednie zadania percepcyjne. To uzasadniony podział, a jednocześnie oznacza, że wiersz WeMM w jednej tabeli nie jest porównywalny z wierszem konkurenta w drugiej.

Domyślnie osiem sekund wideo

Luka między tym, co checkpoint może przyjąć, a tym, co przekazują mu dostarczane przepisy, jest wystarczająco duża, by zmienić wyniki, więc powinna znaleźć się w każdym planie ewaluacji.

• Budżet klatek — procesor domyślnie przyjmuje 2 fps, minimum 4 klatki, maksimum 128 klatek i 100 663 296 łącznych pikseli. Przepis vLLM zastępuje wszystkie cztery wartości: 2 fps, 16 klatek i 262 144 piksele. Przy 2 fps szesnaście klatek to osiem sekund materiału ze środka klipu.

• Kontekst — konfiguracja tekstowa deklaruje 262 144 osadzenia pozycji. Każde polecenie serwowania publikowane przez Tencent przekazuje max-model-len 8192 lub context-length 8192, a nic w repozytorium nie wyjaśnia, jak osiągnąć tę większą wartość.

• Koszt audio — 10 tokenów na sekundę, więc budżet 8192 tokenów to około trzynaście minut audio i nic poza tym. Wideo ze ścieżką dźwiękową wydaje ten budżet jednocześnie na klatki i na audio.

• Media na jedno żądanie — cztery obrazy, dwa filmy, dwa elementy audio, zgodnie z obowiązującymi limitami.

Nikt spoza WeChat Vision nie opublikował, jakiego próbkowania użyto w przebiegach benchmarku. Jeśli odtwarzasz liczbę z powyższej tabeli, to pierwsza niewiadoma, którą trzeba ustalić, a domyślne 16 klatek w dostarczonej wersji to złe miejsce, od którego zacząć.

Co tak naprawdę możesz z tym zrobić dzisiaj

OrcaRouter nie obsługuje WeMM-Video-9B, a jego katalog nie zawiera żadnego checkpointu WeMM. Nie ma hostowanej ceny do podania ani punktu końcowego do wywołania, więc obecnie jest to zadanie polegające na hostowaniu własnym: zastosuj patch do vLLM lub SGLang z katalogu overlay w repozytorium, przypnij dokładną kombinację PyTorch, Transformers i CUDA 12.9 wskazaną w manifeście patcha dla wersji Twojego silnika i uwzględnij w budżecie 13 GiB plus pamięć podręczną. Ścieżka GGUF wymaga natywnego środowiska uruchomieniowego T​encent zbudowanego ze źródeł.

Jeśli chodzi o wizualną część pracy, na platformie są już otwarte alternatywy — Qwen3-VL-235B-A22B-Thinking i Qwen3-VL-8B-Thinking oba obsługują obrazy i klatki wideo — można się do nich dostać przez jeden klucz zgodny z OpenAI obok ponad 200 innych modeli, przy 0% narzutu względem ceny katalogowej dostawcy. Żaden z nich nic nie słyszy, a dla części audio nie ma odpowiednika WeMM. Jeśli chcesz wypróbować samodzielnie hostowany model 9B, nie kierując na niego ścieżki produkcyjnej, skierowanie go za regułę failover to tani sposób, by sprawdzić, czy runtime z poprawkami wytrzymuje przy Twoim poziomie współbieżności, zanim przeznaczysz na niego kartę.

Wersje czterobitowe są tymczasem czymś, na co warto poczekać, a nie czymś, co warto wdrażać. Ich własne manifesty same określają się jako niezweryfikowane, a arytmetyka rozmiarów wskazuje, że oferowana kompresja to 34% oszczędności na wagach — coś, co warto mieć, ale nie warto dla tego przeprojektowywać wdrożenia. Sygnałem, na który warto czekać, nie jest kolejne repozytorium kwantyzacji. Jest nim pierwszy manifest w tej rodzinie, który porzuca słowo oczekujące, a po nim pierwsza niezależna reprodukcja tabeli, która obecnie istnieje w dokładnie jednym miejscu: w PDF-ie autorów.

Porównane w tym artykule1

Wykryto na podstawie tego artykułu