
WeMM-Video-9B: Varför dess 4-bitarsbyggen fortfarande är 13 GiB
- OrcaNYOrcaCyber: Hy4 Flash Abliterated / Uncensored2026-11-18$0.07 / $0.28 per 1M tokens · 182 tok/s
- tencentNYTencent: Hy4 Flash2026-11-16$0.02 / $0.07 per 1M tokens · 356 tok/s
- GoogleNYGoogle: Gemini 4 Carbon2026-11-10$2.00 / $10.00 per 1M tokens · 87 tok/s
- AnthropicNYAnthropic: Claude Fable 5.22026-11-09$8.00 / $40.00 per 1M tokens · 147 tok/s
- orcaNYOrca: OrcaC2 1.02026-11-0737 tok/s
- OrcaOrcaCyber: GLM 5.3 Abliterated / Uncensored2026-11-04$3.00 / $5.00 per 1M tokens · 92 tok/s
- OrcaOrcaCyber: Hy4 Abliterated / Uncensored2026-11-04$0.80 / $1.60 per 1M tokens · 135 tok/s
- OrcaOrcaCyber: Kimi K3.1 Pro Abliterated / Uncensored2026-11-04$2.00 / $5.00 per 1M tokens · 81 tok/s
- tencentTencent: Hy42026-11-04$0.83 / $2.50 per 1M tokens · 117 tok/s
- OrcaOrcaCyber: MiniMax M3.1 Flash Abliterated / Uncensored2026-10-29$0.80 / $1.60 per 1M tokens · 110 tok/s
- OrcaOrcaCyber: GLM 5.3 Flash Abliterated / Uncensored2026-10-27$0.80 / $1.60 per 1M tokens · 66 tok/s
- OrcaOrcaCyber: Qwen3.8 Flash Next Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 91 tok/s
- OrcaOrcaCyber: MiMo V2.6 Flash Abliterated / Uncensored2026-10-26$0.80 / $1.60 per 1M tokens · 42 tok/s
- MoonshotMoonshotAI: Kimi K3.1 Pro2026-10-2447Intelligens
- OrcaOrcaCyber: DeepSeek V4.1 Flash Abliterated / Uncensored2026-10-23$0.80 / $1.60 per 1M tokens · 211 tok/s
- minimaxMiniMax: M3.1 Flash2026-10-1929Intelligens
- OrcaOrca: OrcaCyber Ultra 1.02026-10-17$5.00 / $10.00 per 1M tokens · 109 tok/s
- deepseekDeepSeek: DeepSeek V4.1 Flash 10172026-10-1733Intelligens
- DeepSeekDeepSeek: DeepSeek V4.1 Flash 09102026-10-17$0.15 / $0.60 per 1M tokens · 160 tok/s
- DeepSeekDeepSeek: DeepSeek V4.1 Flash2026-10-1740Intelligens
En fyrabitars kvantisering bör landa på ungefär en fjärdedel av viktfilen den kom ifrån. WeMM-Video-9B är 19,54 GiB i BF16, och dess AWQ W4A16-bygge är 12,86 GiB. Det är en minskning med 34 %, inte 75 % — och FP8-, AWQ-, NVFP4- och GGUF-byggena ligger alla inom 0,42 GiB från varandra, så valet mellan dem ger dig nästan ingen minnesbesparing alls. Exportörernas egna manifest förklarar varför: 4-bitpipelinerna komprimerar endast de täta feed-forward-matriserna — 4,83 miljarder parametrar av 10,49 miljarder — medan visiontornet, ljudtornet, inbäddningen, utmatningshuvudet och uppmärksamhetsvikterna alla behåller sin ursprungliga precision, och 5,7 miljarder parametrar på två byte vardera sätter en undre gräns som inget W4-recept kan gå under. Tencent publicerade vikterna, kvantiseringsrecepten och en teknisk rapport med 12 författare den 17–19 november utan ett lanseringsinlägg, och den del som ingen ännu har skrivit om är aritmetiken — vilket också råkar vara den del som avgör om den här modellen får plats på den GPU du redan äger. Enligt Tencents egna tabeller slår den Qwen3-Omni-30B-A3B-Instruct på 35 av de 37 gemensamma audiovisuella mätvärden som de två delar; när det gäller huruvida dess fyrabitbyggen är säkra att driftsätta är underlaget tunnare än nitton repositorier antyder.
En stack på 10,49B som bär en 9B-etikett
Repositoriet tencent/WeMM-Video-9B skapades kl. 08:55:54 UTC den 17 november 2026, fjorton sekunder efter sitt AWQ-syskon och elva minuter efter 35B-A3B-flaggskeppet. Nitton WeMM-Video-repositorier finns under Tencent-organisationen, alla skapade inom ett femminutersfönster den morgonen, vilket är kännetecknet för ett uppladdningsskript snarare än en person som publicerar en modell i taget. GitHub-projektet Tencent/WeMM-Video skapades sex timmar tidigare, kl. 02:29 UTC, dess substantiella första commit landade den 19 november, och README-revisioner kom fortfarande in den 20 november. Artikeln, arXiv 2611.26409, skickades in kl. 16:58 UTC den 19 november.

Inget av detta annonserades. Vi kunde inte hitta något Tencent-blogginlägg, någon lanseringssida för WeChat Vision, något pressmeddelande eller någon betald nivå som pekade på familjen. När detta skrivs visade alla nitton repositorier noll nedladdningar och, sammanlagt, tre gillningar. Artificial Analysis listar ingen WeMM-modell. Inget av dessa fakta säger något om kvaliteten – de säger att distributionssteget hoppades över.
"9B" i namnet är den språkliga ryggraden, inte checkpointen. Hugging Face registrerar 10 488 603 384 parametrar över 1 305 tensorer, och om man läser de fem safetensors-shardarna efter namn hamnar de i fyra högar:
• Språkmodell — 7,94B parametrar, inklusive en tokeninbäddning på 1,02B.
• Utmatningshuvud — 1,02B parametrar. Inbäddningarna är inte delade, så detta är en andra fullständig kopia av ordförrådet på 248 320 token med 4 096 dolda dimensioner.
• Ljudtorn — 1,08 miljarder parametrar. En kodare och avkodare i Whisper-stil, 32 lager vardera med bredd 1 280, som matar en Q-Former med två lager som komprimerar 0,1-sekundersfönster till 10 ljudtoken per sekund.
• Visionstorn — 0,46B parametrar. 27 block med dold storlek 1 152, patchstorlek 16, spatial sammanslagning 2, temporal patch 2.
Så ungefär en femtedel av filen är öron och ögon. Artikeln är tydlig med ursprunget: de densa 2B-, 4B- och 9B-modellerna är byggda på Qwen3.5-2B, Qwen3.5-4B och Qwen3.5-9B, mixture-of-experts-modellen på Qwen3.6-35B-A3B, ljudkodarna initieras från Qwen2.5-Omni, och de inbyggda visuella kodarna behålls i stället för att bytas ut och fryses från och med det andra förträningssteget, eftersom de "redan ger tillräckligt starka visuella representationer".
Själva backbone är en hybrid: 32 lager, hidden size 4 096, 16 attention-huvuden mot 4 key-value-huvuden med dimensionen 256 per huvud, med ett full-attention-lager efter var tredje linear-attention-lager och en float32-SSM-cache – vilket är anledningen till att varje serving-kommando i repot bär flaggan mamba-ssm-cache-dtype float32. Positionella embeddings deklareras vid 262 144 tokens; interfolierade multimodala RoPE-sektioner är 11/11/10. Licensen är Apache 2.0 med ett undantag för tredjepart som inte specificeras post för post på modellkortet.
Fyra byggversioner, fyra nästan identiska storlekar
Här är hela kvantiseringsstegen, mätt från varje repositorys egen filförteckning snarare än från en avrundad siffra på ett kort:
• BF16 base — 19,54 GiB fördelat över fem shardar.
• FP8 Block128 — 13,10 GiB, en fil. Kräver en FP8-kapabel GPU och patchad vLLM 0.18.0.
• AWQ W4A16 — 12,86 GiB, group-128 INT4 i compressed-tensors-format. Patchad vLLM 0.18.0.
• NVFP4 W4A16 — 13,07 GiB, ModelOpt 0.45.0 blandad precision med gruppstorlek 16. Patchad vLLM 0.31.0 med Marlin, SM120-referenskonfiguration.
• GGUF Q4_K_M — 13,28 GiB som ett paket med tre filer: 10,41 GiB språk, 2,01 GiB ljud, 0,86 GiB visionsprojektor.

Spridningen mellan de fyra komprimerade byggena är 0,42 GiB, vilket är mindre än den buffert du skulle lämna för en drivrutinsuppdatering. Om du väljer mellan dem för att få plats på ett kort väljer du fel variabel: utgå från vilken GPU du har och vilken runtime du kan patcha, eftersom minnesskillnaden inte ligger där.
Den naiva förväntningen – en fjärdedel av 19,54 GiB, alltså cirka 4,9 GiB – ligger fel med en faktor på två och ett halvt. Även marginalen mot BF16 är blygsam: 6,68 GiB som sparas med AWQ, vilket faktiskt är 34 %, men inte i närheten av det "fyra gånger mindre" som en W4-beteckning antyder.
Vad exportörerna skyddar, och varför
Både AWQ- och GGUF-manifesten anger exakt vilka tensorer de fick röra, och svaret förklarar storleksplatån.
• Endast de täta feed-forward-matriserna kvantiseras. AWQ-manifestet registrerar 96 kvantiserade språkmatriser – tre per lager över 32 lager, var och en 4 096 × 12 288. Det är 4,83 miljarder parametrar av 10,49 miljarder, eller 46 % av checkpointen. Allt annat behåller sin precision.
• Attentionsvägen har återställts till BF16. AWQ-manifestet innehåller ett attention_restoration-block som listar 152 attention-projektionsmatriser och 32 indatanormer som kopierats tillbaka från källcheckpointen med deras SHA-256-hashar. GGUF-omfångsfilen rapporterar samma antal — protected_attention_BF16: 152 — och tillägger att inbäddnings- och utdatatensorerna är de enda två andra skyddade objekten.
• Frontend och båda medietornen går aldrig in i kvantiseraren. 881 tensorer listas som skyddade frontend-, embedding- och head-tensorer i AWQ-manifestet – 333 från det visuella tornet, 545 från ljudtornet, token-embeddingen, den icke-delade output-headen och den slutliga normen. I BF16 är det cirka 3,57B parametrar, eller 7,1 GB av filens 21,0 GB, som ligger helt utanför komprimeringssteget.
Konsekvensen är den siffra som en driftsättningsplan faktiskt behöver: budgetera 13–13,5 GiB VRAM för vikter vilken build du än väljer, och lägg sedan till KV-cachen och float32-SSM-cachen ovanpå. En "4-bitars 9B" som behöver 13 GiB för vikterna är inte ett problem med modellen – enbart vokabulären är 248 320 token som bäddas in två gånger, och ljudtornet är en Whisper med 1,08B parametrar som sitter mitt i det – men det är skillnaden mellan att få plats på ett 16 GB-kort med arbetsutrymme och att inte få plats alls.
Validerad för att laddas, inte validerad för att vara lika
Varje kvantiseringskort i den här familjen rapporterar ett smoke-test, och varje manifest rapporterar något mer rakt på sak. Läs de två sida vid sida, eftersom gapet mellan dem är hela risken med att använda en komprimerad build.
• FP8 Block128 — kort: patchad vLLM laddade det på en H20 och slutförde kontroller för generering av text, bild, ljud och video med ljud, och en granskning av körtidsprecision bekräftade W8A8-vägen. Manifest: status quantized_and_independently_reloaded_native_inference_pending, med native_inference_validated: false och native_low_precision_gemm_validated: false registrerade som separata flaggor.
• AWQ W4A16 — kort: patchad vLLM laddade det på en H20, slutförde samma fyra kontroller, och precisionsgranskningen bekräftade INT4-vikter för feed-forward mot BF16-attention. Manifest: status quantized_unvalidated, med en diagnostic_variant som namnger ett referensbygge för BF16-attention vid sidan av INT4-versionen.
• NVFP4 W4A16 — kort: patchad vLLM 0.31.0 laddade och körde "PRO 5000-referensvikterna" och klarade fem genereringskontroller, inklusive tyst video. Manifest: samma tre påståenden registreras som flaggor och var och en av dem läses som false — native_FP4_GEMM_validated, PRO5000_inference_validated, vllm_validated — under statusen cpu_NVFP4_weight_artifact_independently_reread. Vad manifestet däremot intygar är en numerisk kontroll: 96 matriser och 4 831 838 208 element dekvantiserade oberoende, genomsnittlig relativ RMSE 0,095 mot en gräns på 0,35, med 1 209 skyddade tensorer bekräftade som bit-exakta. Det elementantalet är samma 4,83 miljarder som omfattningsbeskrivningen anger, vilket är hur du vet att aritmetiken i den här artikeln och exportörens stämmer överens.
• GGUF Q4_K_M — kort: den inbyggda CPU-körtiden laddade paketet och genererade text-, bild-, ljud- och videoutdata. Manifeststatus exported_unvalidated; omfattningsstatus quantized_candidate_not_validated.
"Det laddades och det genererade" är ett verkligt resultat och värt att ha – många kvantiserade multimodala checkpoints misslyckas precis i det steget. Det är inte resultatet som avgör en driftsättning, eftersom ingen av dessa kort rapporterar en enda noggrannhetssiffra för den komprimerade versionen mot sin egen BF16-källa. Det finns ingen uppmätt delta på MMAU, på Video-MME, på transkriptions-WER. Det enda precisionspåståendet som görs någonstans är strukturellt, från AWQ-granskningen: INT4 i feed-forward, BF16 i attention. Det beskriver filen. Det säger inte vad komprimeringen kostade, och på en modell vars marginal över Qwen3-Omni-30B-A3B-Instruct på Video-MME med ljud är 7,8 punkter är storleken på den kostnaden inte en avrundningsfråga.
Så den praktiska regeln för den här familjen är att köra om ett benchmark som du bryr dig om på exakt den build du avser att leverera, mot BF16-basen, innan du litar på en tabell från artikeln. Det är några timmars arbete, och det är det enda sättet att veta om INT4-feed-forwarden kan bytas in under videoresultaten, eller om 34 %-besparingen betalas i de siffror som kortet säljs med.

Två mekaniska fällor ligger under det.
Det första är GGUF. "GGUF Q4_K_M" läses som "körs i llama.cpp eller Ollama." Det gör det inte. Paketet är byggt för Tencent:s egen nativa runtime, som du kompilerar från repositoriet; modellkortets snabbstart är install-cpu/bin och en native/run_hf.py startare, och serveringsguiden dirigerar GGUF till den runtimmen och till inget annat. Om din pipeline är llama.cpp-formad är denna checkpoint inte den genväg den ser ut att vara.
Den andra är en dokumentationsbrist som är värd att nämna eftersom den kommer att förvirra alla som läser manifesten i ordning. Alla tre FP8-manifesten – för 2B, 4B och 9B – har samma official_repo-fält: Qwen/Qwen3.5-35B-A3B-FP8. Det är en kopierad provenienssträng i receptposten, inte ett påstående om att en 9B-kontrollpunkt i hemlighet är en 35B mixture-of-experts-modell. Inget annat i filen stöder den tolkningen: samma manifests källförteckning pekar på tencent/WeMM-Video-9B:s fem shards med matchande hashar, och arkitekturblocket registrerar en tät 32-lagermodell med noll experter. 35B-A3B är en verklig separat modell; den är också den enda storleken i familjen utan ett eget FP8-repository, och har endast base, AWQ, GGUF och NVFP4.
9B mot en 30B, enligt Tencents tabeller
Varje benchmark-siffra nedan är författarnas egen, från arXiv 2611.26409, och ingen tredje part har reproducerat någon av dem. Det står uttryckligen i artikeln: befintliga modeller rapporteras med "officiella resultat där sådana finns och annars våra egna utvärderingar". Betrakta det här avsnittet som en beskrivning av ett påstående, inte som en mätning.
I den gemensamma audio-visuella tabellen, i Thinking-läge, slår 9B Qwen3-Omni-30B-A3B-Instruct på 35 av de 37 värden som de två kolumnerna delar, med ett oavgjort och ett förlorat — mot en modell som är ungefär tre gånger så stor:
• Video-MME med ljud — 85,1 mot 77,3. MiniCPM-o-4.5-9B ligger på 69,2.
• Video-MME-v2 med ljud — 51,6 mot 36,3, en skillnad på 15,3 punkter.
• Daily-Omni — 83,6 mot 70,7, även om MiniCPM-o-4.5-9B:s 80,2 gör detta till ett trevägsresultat snarare än en enkel seger.
• SciVideoBench och MMOU — 64,2 mot 49,9, och 71,7 mot 60,5.
• EvaOmni och OmniReasoningBench — 50,7 mot 26,1, och 43,9 mot 24,1.
• Den enda förlusten — FutureOmni, 53,7 mot 55,1. MiniCPM-o-4.5-9B får 56,1 där.
Tyst video är den mer användbara tabellen, eftersom den innehåller en kontroll från samma familj: Qwen3.5-9B, den basmodell som denna checkpoint bygger på. Läs de två kolumnerna sida vid sida så framträder en tydlig profil för efterträningen. Den förbättras inom temporal grounding och temporal perception – F-16-NBA 88,7 mot 75,8, TimeLens-QVHighlights 66,8 mot 64,3, TimeLens-ActivityNet 55,3 mot 52,2, TOMATO 48,5 mot 45,0 – och försämras inom sammanfattning av långa videor och allmän igenkänning: MLVU 82,4 mot 84,4, LVBench 68,2 mot 70,0, VideoVista 82,2 mot 84,7, VSI-Bench 54,5 mot 58,3, MVBench 71,4 mot 74,4. Detta är alltså inte en enhetlig uppgradering jämfört med den basmodell den ärver. Det är en modell som trimmats mot när och var något hände, till ett mätbart pris i de sammanvägda videopoängen och det spatiala resonemang som basmodellen redan klarade bättre.
Det är på ljudområdet som 9B slutar vinna. I Instruct-läge får 9B 70,9 på MMAU-Pro mot 64,8 för Qwen3.5-Omni-Flash och 76,8 på MMSU mot 72,2 – men förlorar MMAU med 77,0 mot 80,4 och MMAR med 72,8 mot 74,0, och förlorar taligenkänning helt: LibriSpeech-ordfelprocent 1,5 och 3,1 mot 1,3 och 2,4, WenetSpeech-teckenfelprocent 5,4 och 6,8 mot 4,4 och 5,5. Text och kunskap visar samma sak: MMLU-Pro 81,6 mot 82,5 för Qwen3.5-9B-backbonen, GPQA 77,8 mot 81,7, HMMT 75,0 mot 82,9. Om transkriptet är produkten vinner en dedikerad igenkännare fortfarande.
En jämförelse i artikeln bör läsas med försiktighet. I den omnimodala tabellen körs WeMM-modellerna i Thinking-läge, medan de i ljudtabellen körs i Instruct, eftersom författarna bedömde att standardbenchmarkarna för ljud är direkta perceptuella uppgifter. Det är en försvarbar uppdelning, och det innebär också att en WeMM-rad i den ena tabellen inte är jämförbar med en konkurrerande rad i den andra.
Åtta sekunder video, som standard
Klyftan mellan vad checkpointen kan acceptera och vad de medföljande recepten skickar till den är tillräckligt stor för att förändra resultaten, så den hör hemma i varje utvärderingsplan.
• Bildrutebudget — processorn använder som standard 2 fps, minst 4 bildrutor, högst 128 bildrutor och totalt 100 663 296 pixlar. vLLM-receptet åsidosätter alla fyra till 2 fps, 16 bildrutor och 262 144 pixlar. Vid 2 fps motsvarar sexton bildrutor åtta sekunders täckning från mitten av ett klipp.
• Kontext — textkonfigurationen deklarerar 262 144 positionella embeddingar. Varje serveringskommando som Tencent publicerar skickar max-model-len 8192 eller context-length 8192, och ingenting i kodförrådet förklarar hur man når den större siffran.
• Ljudkostnad — 10 tokens per sekund, så en budget på 8 192 tokens är ungefär tretton minuter ljud och inget annat. En video med sitt ljudspår spenderar den budgeten på bildrutor och ljud samtidigt.
• Media per begäran — fyra bilder, två videor, två ljudobjekt, enligt de levererade gränserna.
Ingen utanför WeChat Vision har publicerat vilken sampling benchmarkkörningarna använde. Om du återskapar en siffra från tabellen ovan är det den första okända faktorn att fastställa, och den medföljande standardinställningen på 16 bildrutor är fel ställe att börja på.
Vad du faktiskt kan göra med det idag
OrcaRouter tillhandahåller inte WeMM-Video-9B, och dess katalog listar ingen WeMM-checkpoint alls. Det finns inget pris för hostad tjänst att uppge och ingen endpoint att anropa, så i dag är detta ett jobb att köra själv: patcha vLLM eller SGLang från repots overlay-katalog, lås den exakta kombination av PyTorch, Transformers och CUDA 12.9 som patchmanifestet anger för din motorversion, och räkna med 13 GiB plus cache. GGUF-vägen kräver att Tencent:s inbyggda runtime byggs från källkod.
För visionshalvan av arbetet finns det redan öppna alternativ på plattformen — Qwen3-VL-235B-A22B-Thinking och Qwen3-VL-8B-Thinking båda tar bilder och videobildrutor — nåbara via en OpenAI-kompatibel nyckel tillsammans med 200+ andra modeller, till 0 % påslag över leverantörens listpris. Ingen av dem hör något, och det finns ingen WeMM-motsvarighet för ljuddelen. Om du vill prova en självhostad 9B utan att lägga en produktionsväg på den är det billigaste sättet att dirigera den bakom en failover-regel att ta reda på om den patchade körtiden håller vid din samtidighet innan du satsar ett grafikkort på den.
Under tiden är fyrabitarsbyggena det man bör vänta på snarare än det man bör adoptera. Deras egna manifest betecknar sig som ovaliderade, och storleksberäkningen säger att den komprimering de erbjuder innebär en besparing på 34 % på vikterna – värt att ha, inte värt att bygga om en driftsättning för. Signalen att hålla utkik efter är inte ännu ett kvantiseringsrepo. Det är det första manifestet i den här familjen som tar bort ordet väntande, följt av den första oberoende reproduktionen av en tabell som för närvarande finns på exakt ett ställe: författarnas PDF.
Jämförda i den här artikeln1
Identifierat från den här artikeln
